Προανάκληση δεδομένων στην κρυφή μνήμη αναζήτησης μετάφρασης με χρήση μοντέλων μηχανικής μάθησης

Γεζεκελιάν, Βικέν; Gezekelian, Viken

dc.contributor.author	Γεζεκελιάν, Βικέν	el
dc.contributor.author	Gezekelian, Viken	en
dc.date.accessioned	2023-01-20T10:11:09Z
dc.date.available	2023-01-20T10:11:09Z
dc.identifier.uri	https://dspace.lib.ntua.gr/xmlui/handle/123456789/56801
dc.identifier.uri	http://dx.doi.org/10.26240/heal.ntua.24499
dc.rights	Αναφορά Δημιουργού-Μη Εμπορική Χρήση-Όχι Παράγωγα Έργα 3.0 Ελλάδα	*
dc.rights.uri	http://creativecommons.org/licenses/by-nc-nd/3.0/gr/	*
dc.subject	Αρχιτεκτονική Υπολογιστών	el
dc.subject	Εικονική Μνήμη	el
dc.subject	Μηχανική Μάθηση	el
dc.subject	Κρυφή Μνήμη Αναζήτησης Μετάφρασης	el
dc.subject	Μηχανισμός Προσοχής	el
dc.subject	Computer Architecture	en
dc.subject	Virtual Memory	en
dc.subject	Machine Learning	en
dc.subject	Translation Lookaside Buffer	en
dc.subject	Attention	en
dc.title	Προανάκληση δεδομένων στην κρυφή μνήμη αναζήτησης μετάφρασης με χρήση μοντέλων μηχανικής μάθησης	el
heal.type	bachelorThesis
heal.classification	Αρχιτεκτονική Υπολογιστών	el
heal.classification	Μηχανική Μάθηση	el
heal.language	el
heal.access	free
heal.recordProvider	ntua	el
heal.publicationDate	2022-10-20
heal.abstract	Η χρήση τεχνικών μηχανικής μάθησης, και συγκεκριμένα τα νευρωνικά δίκτυα, έχουν οδηγήσει σε πρόοδο σε διάφορους τομείς τα τελευταία χρόνια, ενώ έχουν ενθαρρύνει και τη χρήση ηλεκτρονικών υπολογιστών σε πολλά πεδία. ΄Ενας από τους τομείς αυτούς, είναι αυτός της αρχιτεκτονικής υπολογιστών, όπου έχουν υπάρξει ήδη μελέτες σχετικά με την αντικατάσταση ορισμένων μηχανισμών του επεξεργαστή με νευρωνικά δίκτυα, όπως είναι ο προβλεπτής διακλαδώσεων ή προανακλητές στην κρυφή μνήμη του επεξεργαστή. Συγχρόνως, πρόσφατες εργασίες έχουν δείξει πως οι πολυάριθμες αστοχίες της Κρυφής Μνήμης Αναζήτησης Μετάφρασης(TLB) αποτελούν σημαντικό κώλυμα στην προσπάθεια μεγιστοποίησης της απόδοσης των επεξεργαστών. Καθώς η διαχείριση μνήμης σε πολλά συστήματα εκτελείται πλέον με χρήση Εικονικής Μνήμης, η ανάγκη έγκαιρης διάθεσης των απαραίτητων μεταφράσεων εικονικών διευθύνσεων σε φυσικές είναι υψίστης σημασίας για τη διατήρηση υψηλής απόδοσης. Καθώς οι απαιτήσεις και το πλήθος των προγραμμάτων αυξάνονται, με φυσικούς περιορισμούς να αποτρέπουν την αύξηση του μεγέθους της TLB, οι αστοχίες σε αυτή συνεχίζουν να πληθαίνουν οδηγώντας σε επιβάρυνση του συστήματος. Μια από τις σημαντικότερες τεχνικές αντιμετώπισης του προβλήματος αυτού αποτελεί η προανάκληση μεταφράσεων στην Κρυφή Μνήμη Αναζήτησης Μετάφρασης (TLB Prefetching), δηλαδή η φόρτωση δεδομένων σε αυτή από πιο αργά προσπελάσιμες μνήμες, προτού αυτά ζητηθούν. Παρόλα αυτά, έως τώρα δεν έχει υπάρξει κάποια καθολική λύση στο ζήτημα της προανάκλησης μεταφράσεων, με την απόδοση κάθε προανακλητή να κυμαίνεται αισθητά αναλόγως με το πρόγραμμα που χρησιμοποιείται. Στόχος της παρούσας διπλωματικής εργασίας είναι η αξιολόγηση της χρήσης νευρωνικών δικτύων για την εκτέλεση προανακλήσεων στην Κρυφή Μνήμη Αναζήτησης ΜετάφρασηςTLB του επεξεργαστή. Για τον σκοπό αυτό χρησιμοποιείται μια τροποποιημένη έκδοση του νευρωνικού δικτύου TransFetch, το οποίο στην αρχική του μορφή εκτελεί προανάκληση στην τελευταίου επιπέδου κρυφή μνήμη του επεξεργαστή. Το δίκτυο βασίζεται στον μηχανισμό προσοχής (Attention) για την πρόβλεψη μελλοντικών προσβάσεων στη μνήμη, μέσω ταξινόμησης πολλαπλών ετικετών. Τα δεδομένα εισόδου αρχικά μορφοποιούνται στη μορφή πινάκων που περιλαμβάνουν το ιστορικό προσβάσεων για κάθε αίτημα, ώστε να τροφοδοτηθούν σε ένα Χωρικό Συνελικτικό Δίκτυο (TCN). Στη συνέχεια χρησιμοποιούνται στρώματα Transformer για την πρόβλεψη των πιθανότερων μελλοντικών προσβάσεων. Αφού εκπαιδεύτηκαν μοντέλα για την εύρεση των υπερπαραμέτρων που οδηγούν στη βέλτιστη απόδοση, η δική μας ανάλυση βασίζεται στην αξιολόγηση της σημασίας της έννοιας του χρονισμού κατά την εκτέλεση προανακλήσεων στην TLB, στην αξιολόγηση διαφορετικών μεθόδων εκπαίδευσης για το μοντέλο, καθώς και την εκπαίδευση ενός δικτύου για προανάκληση σε σύνολο εφαρμογών. Τα δεδομένα εκπαίδευσης αποτελούνται από το πλήρες ιστορικό προσβάσεων εφαρμογών και αντλήθηκαν από ίχνη που ανήκουν στις σουίτες GAP, SPEC2006 και SPEC 2017, μέσω του προσομοιωτή ChampSim. Η αξιολόγηση της απόδοσης έγινε επίσης μέσω του προσομοιωτή, με σύγκριση με την εκτέλεση δίχως χρήση προανακλητή, καθώς και με τη χρήση ορισμένων ”κλασσικών” προανακλητών στην TLB. Με βάση τα αποτελέσματα της ανάλυσής μας, η χρήση τεχνητών νευρωνικών δικτύων φαίνεται να αποτελεί μια ελκυστική λύση στο ζήτημα της προανάκλησης μεταφράσεων. Βεβαίως, μελλοντικά θα ήταν θεμιτές ορισμένες αλλαγές στον τρόπο λειτουργίας του μοντέλου, ώστε να προσομοιωθεί η χρήση σε πραγματικό σύστημα, καθώς στην παρούσα εργασία έχουν γίνει ορισμένες παραδοχές που θα αναλυθούν παρακάτω.	el
heal.abstract	In the past few years, Machine Learning, and specifically artificial neural networks, have led to breakthroughs in various fields, while simultaneously encouraging the usage of computer systems in those fields. One of said fields is computer architecture, where various studies have attempted to replace certain aspects of the processor via artificial neural networks. Such aspects include the CPUs branch prediction unit, as well as prefetchers to the CPUs caches. At the same time, multiple studies have shown that Translation Lookaside Buffer misses can prove to be a significant hindrance when trying to maximize the performance of computing systems. As memory management of systems is nowadays mostly implemented through the usage of Virtual Memory, the need for timely available translations of virtual to physical addresses is of the utmost importance. As the number of programs and their memory requirements continue to increase, with physical constraints barring an increase in TLB size, the number of TLB misses continues to increase, negatively affecting overall system performance. One of the most used ways to alleviate this problem, is TLB prefetching, i.e., fetching and inserting address translations into the TLB, from slowly accessed types of memory. Nonetheless, there appears to be no universal solution to prefetching, with the performance of prefetchers varying depending on the program they are used on. In this Diploma Thesis, we attempt to evaluate usage of artificial neural networks in TLB Prefetching. In this context, we use a modified version of TransFetch, which is a neural network modeled to work as a Last Level Cache Prefetcher. The network is based on the Attention Mechanism to identify and predict future accesses, through multiple label classification. Input data is first transformed into arrays, containing the access history of each translation request, and is then fed into a Temporal Convolutional Network. Transformer layers are then used to predict the most probable future accesses. After training networks to find model parameters leading to highest performance, our evaluation is based on the assessment of the concept of prefetching timeliness, the assessment of different methods of network training and the assessment of using a single network as a prefetcher for multiple programs. Training data used is derived from the complete access history of programs and was generated from traces of GAP, SPEC2006 and SPEC2017 suites, using the ChampSim Simulator. Performance evaluation was also completed using the simulator, through comparison of executions using no TLB Prefetcher, and some “classic” TLB prefetching schemes. According to the results, using artificial neural networks appears to be a promising solution in translation prefetching. In the future, changes to the way the model is trained and used would be necessary in order to emulate usage in a real system.	en
heal.advisorName	Πνευματικάτος, Διονύσιος	el
heal.committeeMemberName	Πνευματικάτος, Διονύσιος	el
heal.committeeMemberName	Καρακώστας, Βασίλειος	el
heal.committeeMemberName	Κοζύρης, Νεκτάριος	el
heal.academicPublisher	Εθνικό Μετσόβιο Πολυτεχνείο. Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών. Τομέας Τεχνολογίας Πληροφορικής και Υπολογιστών	el
heal.academicPublisherID	ntua
heal.numberOfPages	85 σ.	el
heal.fullTextAvailability	false