Χρήση τεχνικών βαθιάς μηχανικής μάθησης για αναγνώριση συναισθήματος σε κείμενο

Κόλλιας, Γεώργιος Παναγιώτης; Kollias, Georgios Panagiotis

dc.contributor.author	Κόλλιας, Γεώργιος Παναγιώτης	el
dc.contributor.author	Kollias, Georgios Panagiotis	en
dc.date.accessioned	2022-05-25T11:02:53Z
dc.date.available	2022-05-25T11:02:53Z
dc.identifier.uri	https://dspace.lib.ntua.gr/xmlui/handle/123456789/55210
dc.identifier.uri	http://dx.doi.org/10.26240/heal.ntua.22908
dc.description	Εθνικό Μετσόβιο Πολυτεχνείο--Μεταπτυχιακή Εργασία. Διεπιστημονικό-Διατμηματικό Πρόγραμμα Μεταπτυχιακών Σπουδών (Δ.Π.Μ.Σ.) "Επιστήμη Δεδομένων και Μηχανική Μάθηση"	el
dc.rights	Default License
dc.subject	Επεξεργασία φυσικής γλώσσας	el
dc.subject	Ανάλυση συναισθήματος	el
dc.subject	Απόσταξη γνώσης	el
dc.subject	Transformers	en
dc.subject	BERT	en
dc.subject	Natural language processing	en
dc.subject	Sentiment analysis	en
dc.subject	Knowledge distillation	en
dc.subject	Transformers	en
dc.subject	BERT	en
dc.title	Χρήση τεχνικών βαθιάς μηχανικής μάθησης για αναγνώριση συναισθήματος σε κείμενο	el
heal.type	masterThesis
heal.classification	Μηχανική Μάθηση	el
heal.classification	Επιστήμη Υπολογιστών	el
heal.language	el
heal.access	free
heal.recordProvider	ntua	el
heal.publicationDate	2021-10-29
heal.abstract	Η Επεξεργασία Φυσικής Γλώσσας αποτελεί ένα υποπεδίο της Τεχνητής Νοημοσύνης που έχει γνωρίσει αλματώδη πρόοδο τα τελευταία χρόνια. Ειδικότερα, μετά την εισαγωγή των Transformers και κυρίως του μοντέλου BERT την τελευταία πενταετία, οι επιδόσεις των μηχανών σε διάφορες εργασίες έχουν βελτιωθεί και σε πολλές περιπτώσεις προσεγγίζουν ή και ξεπερνούν το ανθρώπινο επίπεδο. Τα μοντέλα αυτά είναι γενικού σκοπού και έχουν αυξήσει σημαντικά τις επιδόσεις σε πολλές διαφορετικές εργασίες που εντάσσονται στο υποπεδίο αυτό. Μια από αυτές τις εργασίες είναι και η Ανάλυση Συναισθήματος στην οποία επικεντρώνεται και η παρούσα πτυχιακή εργασία. Η επίτευξη ωστόσο των προαναφερθέντων επιδόσεων συνακολουθείται από αύξηση στον αριθμό των παραμέτρων των εκάστοτε μοντέλων και τελικά σε αύξηση του μεγέθους, του βάθους και της εν γένει πολυπλοκότητάς τους. Είναι χαρακτηριστικό για τα πρόσφατα SOTA μοντέλα των τελευταίων χρόνων αριθμούν εκατομμύρια παραμέτρους. Αυτό στην πράξη ο- δηγεί σε αυξημένους χρόνους εκπαίδευσης και ανάγκες για αυξημένη υπολογιστική ισχύ. Σε περιβάλλοντα περιορισμένων υπολογιστικών πόρων ή σε περιβάλλοντα όπου απαιτείται μικρή καθυστέρηση απόκρισης, αυτές οι αυξημένες απαιτήσεις μπορούν δυνητικά να καταστήσουν τη χρήση αυτών των μοντέλων προβληματική. Για την αντιμετώπιση αυτού του προβλήματος έχουν προταθεί διάφορες τεχνικές, που επικεντρώνονται ως επί το πλείστον στη συμπίεση των πολύπλοκων μοντέλων. Μια από τις πλέον υποσχόμενες είναι και η Απόσταξη Γνώσης, όπου ένα μεγάλο μοντέλο εκπαιδεύεται εκ των προτέρων και εν συνεχεία μεταφέρεται η γνώση του σε μικρότερα συμπιεσμένα μοντέλα, τα οποία παρουσιάζουν με τον τρόπο αυτό σημαντικά αυξημένες επιδόσεις. Στόχος της παρούσας πτυχιακής εργασίας είναι η σύγκριση συμπιεσμένων μοντέλων BERT με το αντίστοιχο μοντέλο βάσης και η συνεπακόλουθη εξαγωγή συμπερασμάτων αναφορικά με τις επιδόσεις τους σε σχέση με την υποκείμενη πολυπλοκότητά τους. Αφού πραγματοποιηθεί μια γενική βιβλιογραφική ανασκόπηση του πεδίου της Επεξεργασίας Φυσικής Γλώσσας και της Ανάλυσης Συναισθήματος ειδικότερα, εκτελούνται πειράματα με τέσσερα συμπιεσμένα μοντέλα BERT στο σετ δεδομένων του GoEmotions, για αναγνώριση συναισθημάτων από γραπτό λόγο. Παρουσιάζονται και αντιπαρατίθενται οι διάφορες μετρικές που χρησιμοποιήθηκαν για την αξιολόγησή τους και εκτιμάται κατά πόσον η χρήση τους σε περιβάλλοντα με περιορισμούς ειναι μια πραγματιστική επιλογή.	el
heal.advisorName	ΣΤΑΜΟΥ, ΓΕΩΡΓΙΟΣ	el
heal.committeeMemberName	ΚΟΛΛΙΑΣ, ΣΤΕΦΑΝΟΣ	el
heal.committeeMemberName	ΣΤΑΦΥΛΟΠΑΤΗΣ, ΑΝΔΡΕΑΣ-ΓΕΩΡΓΙΟΣ	el
heal.academicPublisher	Εθνικό Μετσόβιο Πολυτεχνείο. Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών	el
heal.academicPublisherID	ntua
heal.numberOfPages	73 σ.
heal.fullTextAvailability	false