Μελέτη μεθόδων βελτιστοποίησης και αξιολόγηση συμβατότητας μοντέλων μετασχηματιστών σε κινητές συσκευές

Κοκκινάκης, Παναγιώτης; Kokkinakis, Panagiotis

dc.contributor.author	Κοκκινάκης, Παναγιώτης	el
dc.contributor.author	Kokkinakis, Panagiotis	en
dc.date.accessioned	2024-04-12T09:53:42Z
dc.date.available	2024-04-12T09:53:42Z
dc.identifier.uri	https://dspace.lib.ntua.gr/xmlui/handle/123456789/59155
dc.identifier.uri	http://dx.doi.org/10.26240/heal.ntua.26851
dc.rights	Αναφορά Δημιουργού-Μη Εμπορική Χρήση-Όχι Παράγωγα Έργα 3.0 Ελλάδα	*
dc.rights.uri	http://creativecommons.org/licenses/by-nc-nd/3.0/gr/	*
dc.subject	Βαθιά Μάθηση	el
dc.subject	Deep Learning	en
dc.subject	Μετασχηματιστές	el
dc.subject	Αλγόριθμοι βελτιστοποίησης	el
dc.subject	Επεξεργασία φυσικής γλώσσας	el
dc.subject	Κινητές συσκευές	el
dc.subject	Transformers	en
dc.subject	Optimization algorithms	en
dc.subject	Natural language processing	en
dc.subject	Mobile devices	en
dc.title	Μελέτη μεθόδων βελτιστοποίησης και αξιολόγηση συμβατότητας μοντέλων μετασχηματιστών σε κινητές συσκευές	el
heal.type	bachelorThesis
heal.classification	Τηλεπικοινωνίες	el
heal.classification	Telecommunications	en
heal.language	el
heal.access	free
heal.recordProvider	ntua	el
heal.publicationDate	2023-10-26
heal.abstract	Τα μοντέλα Βαθιάς Μάθησης χρησιμοποιούνται πλέον σε πληθώρα εφαρμογών σε κάθε τομέα και γίνονται όλο και πιο διαδεδομένα με την πάροδο του χρόνου. Έτσι έχει δημιουργηθεί η ανάγκη να μπορούν τα μοντέλα αυτά να εκτελεστούν τοπικά σε φορητές κινητές συσκευές, ώστε να αποφεύγεται η μεταφορά των δεδομένων σε απομακρυσμένους εξυπηρετητές, γεγονός που αυξάνει την καθυστέρηση και εγείρει κινδύνους ασφαλείας. Τα σύγχρονα μοντέλα όμως χαρακτηρίζονται από μεγάλο μέγεθος και από υπολογιστική περιπλοκότητα, επομένως αποτελεί πρόκληση το να μπορούν να ενσωματωθούν αποτελεσματικά σε κινητές συσκευές, των οποίων οι δυνατότητες είναι περιορισμένες. Σκοπός της παρούσας διπλωματικής εργασίας είναι η μελέτη της τρέχουσας κατάστασης γύρω από την εκτέλεση μοντέλων Μετασχηματιστών σε κινητές συσκευές και η αξιολόγηση μεθόδων βελτιστοποίησης, για την μείωση του χώρου που απαιτείται για την αποθήκευση, του χρόνου εκτέλεσης και για τη συμβατότητα με τους διαθέσιμους επιταχυντές. Για τις ανάγκες των πειραμάτων που πραγματοποιήθηκαν, εκπαιδεύτηκε ένας αριθμός από μοντέλα Μετασχηματιστών, ειδικευμένων στην Επεξεργασία Φυσικής Γλώσσας για να επιλύσουν το πρόβλημα της Ανάλυσης Συναισθήματος. Εφαρμόστηκαν αντικαταστάσεις και μέθοδοι βελτιστοποίησης, και ελήφθησαν μετρήσεις σχετικά με τον χρόνο και την ακρίβεια για τα αρχικά και τα τροποποιημένα μοντέλα. Από τις μετρήσεις αυτές, προέκυψε το συμπέρασμα ότι με την αντικατάσταση της συνάρτησης ενεργοποίησης και της μεθόδου Κανονικοποίησης των μοντέλων με απλούστερες, επιτυγχάνεται σημαντική επιτάχυνση του χρόνου εκτέλεσης διατηρώντας ή και βελτιώνοντας την ακρίβεια των αρχικών μοντέλων για τη CPU και τη GPU, ενώ δοκιμάστηκε η διατήρηση του Πολλαπλασιασμού Πινάκων ανά Παρτίδα με ανάμεικτα αποτελέσματα. Οι παρατηρήσεις αυτές θέτουν ένα πλαίσιο για εύκολη βελτιστοποίηση μοντέλων Βαθιάς Μάθησης που μπορεί να επεκταθεί με περαιτέρω έρευνα σε επίπεδο υλικού και μοντέλων.	el
heal.advisorName	Venieris, Iakovos	en
heal.committeeMemberName	Panagopoulos, Athanasios	en
heal.committeeMemberName	Kaklamani, Dimitra	en
heal.academicPublisher	Εθνικό Μετσόβιο Πολυτεχνείο. Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών. Τομέας Συστημάτων Μετάδοσης Πληροφορίας και Τεχνολογίας Υλικών	el
heal.academicPublisherID	ntua
heal.numberOfPages	90 σ.	el
heal.fullTextAvailability	false