Emotion recognition in conversation using prompt-based learning

Γκότση, Πολυτίμη-Άννα; Gkotsi, Polytimi-Anna

dc.contributor.author	Γκότση, Πολυτίμη-Άννα	el
dc.contributor.author	Gkotsi, Polytimi-Anna	en
dc.date.accessioned	2022-12-16T10:55:25Z
dc.date.available	2022-12-16T10:55:25Z
dc.identifier.uri	https://dspace.lib.ntua.gr/xmlui/handle/123456789/56478
dc.identifier.uri	http://dx.doi.org/10.26240/heal.ntua.24176
dc.rights	Αναφορά Δημιουργού-Μη Εμπορική Χρήση-Όχι Παράγωγα Έργα 3.0 Ελλάδα	*
dc.rights.uri	http://creativecommons.org/licenses/by-nc-nd/3.0/gr/	*
dc.subject	Επεξεργασία Φυσικής Γλώσσας	el
dc.subject	Αναγνώριση Συναισθήματος σε Συζητήσεις	el
dc.subject	Μάθηση Βάσει Προτροπών	el
dc.subject	Μηχανική Μάθηση	el
dc.subject	Προ-εκπαιδευμένα Γλωσσικά Μοντέλα	el
dc.subject	Natural Language Processing	en
dc.subject	Emotion Recognition in Conversation	en
dc.subject	Machine Learning	en
dc.subject	Prompt-Based Learning	en
dc.subject	Pre-trained Language Models	en
dc.title	Emotion recognition in conversation using prompt-based learning	en
heal.type	bachelorThesis
heal.classification	Natural Language Processing	en
heal.classification	Machine / Deep learning	en
heal.language	el
heal.language	en
heal.access	free
heal.recordProvider	ntua	el
heal.publicationDate	2022-09-27
heal.abstract	With the vast amount of conversational data that is made publicly available daily on platforms such as Twitter, Reddit, Facebook etc., its automatic analysis for the aim of mining opinions and understanding human behavior is in high demand. Additionally, a full grasp of the emotional state of the human interlocutor is necessary for the development of empathetic agents that can interact with humans in a manner natural to the latter. Such and other potential applications have lead to an increasing research interest on the task of Emotion Recognition in Conversation (ERC), which aims at determining the emotion each utterance in a given dialogue expresses. A lot of previous approaches in the field utilize pre-trained language models such as BERT and RoBERTa as part of their proposed architecture, which they adapt to the specific task using the traditional fine-tuning method. However, despite its effectiveness, fine-tuning is very expensive in terms of computational and storage resources, while it can often lead to overfitting. An alternative, more lightweight method for the adaptation of pre-trained language models to downstream tasks that has been proposed in the recent years and aims at mitigating these issues, is prompt-based learning, which keeps the language model’s pre-trained parameters frozen and adds a small set of new parameters in the mode’s input level, called a prompt. Nevertheless, because it is still a very new method, there is limited work available, especially in the field of optimizing the method for a specific task. In our work, we aim to study prompt-based learning as an adaptation method for the task of ERC. We follow two approaches and perform extensive experiments on both. In our first approach, we aim to study the applicability of prompt-based learning in comparison to fine-tuning and set a baseline for prompt-based learning for Emotion Recognition in Conversation. We experiment with a simple baseline model as well as models utilizing popular methods previously used in related work for integrating speaker-specific information. We conclude that prompt-based learning can indeed contribute to the adaptation of our pre-trained language model, even yielding a performance comparable to fine-tuning for one of the two datasets we experiment on, with its performance depending on the dataset, prompt-size, architecture and training method. In our second approach, we propose a method for integrating additional information, useful for recognizing emotion in a conversation, directly through the prompts, without further changes to the pre-trained language model’s architecture and input. We experiment with adding speaker-specific and topic-specific information and observe an increase in performance in many cases, compared to our baseline. Our method may easily be extended to other types of information, besides speaker identity and topic, following the same logic.	en
heal.abstract	Με τον τεράστιο όγκο δεδομένων συνομιλιών που δημοσιοποιούνται καθημερινά σε πλατφόρμες όπως το Twitter, το Reddit και το Facebook, η αυτόματη ανάλυσή τους με στόχο την εξόρυξη απόψε ων και την κατανόηση της ανθρώπινης συμπεριφοράς γνωρίζει μεγάλη ζήτηση. Επιπλέον, η κατανόηση της συναισθηματικής κατάστασης του ανθρώπινου συνομιλητή είναι απαραίτητη για την ανάπτυξη πρα κτόρων που διαθέτουν ενσυναίσθηση και μπορούν να αλληλεπιδρούν με τους ανθρώπους με τρόπο φυσικό για τους τελευταίους. Τέτοιες και άλλες πιθανές εφαρμογές έχουν οδηγήσει σε αυξανόμενο ερευνητικό ενδιαφέρον για το πρόβλημα της Αναγνώρισης Συναισθήμετος σε Συζητήσεις (Emotion Recognition in Conversation - ERC), το οποίο αποσκοπεί στον προσδιορισμό του συναισθήματος που εκφράζει κάθε εκφώνηση σε έναν δεδομένο διάλογο. Πολλές προηγούμενες προσεγγίσεις στον τομέα χρησιμοποιούν προ-εκπαιδευμένα γλωσσικά μο ντέλα, όπως τα BERT και RoBERTa, τα οποία προσαρμόζουν στο ERC πρόβλημα μέσω της μεθόδου fine-tuning. Ωστόσο, παρά την αποτελεσματικότητά της, η τελευταία είναι ιδιαίτερα δαπανηρή από άποψη υπολογιστικών και αποθηκευτικών πόρων, ενώ συχνά μπορεί να οδηγήσει σε υπερπροσαρμογή (overfitting). Μια εναλλακτική, πιο ελαφριά μέθοδος προσαρμογής που έχει προταθεί τα τελευταία χρόνια είναι η μάθηση βάσει prompt, η οποία διατηρεί παγωμένες τις προ-εκπαιδευμένες παραμέτρους του γλωσσικού μοντέλου και προσθέτει ένα μικρό σύνολο νέων, εκπαιδεύσιμων παραμέτρων στο ε πίπεδο εισόδου αυτού, που αποτελούν το ονομαζόμενο prompt. Καθώς πρόκειται ακόμη για μια πολύ νέα μέθοδο, η διαθέσιμη βιβλιογραφία, ιδίως στον τομέα της βελτιστοποίησης της μεθόδου για συγκεκριμένα προβλήματα, είναι περιορισμένη. Στην παρούσα διπλωματική, στοχεύουμε στη μελέτη της μάθησης βάσει prompt ως μέθοδο προ σαρμογής προ-εκπαιδευμένων γλωσσικών μοντέλων στο έργο του ERC. Ακολουθούμε δύο προσεγ γίσεις και εκτελούμε εκτεταμένα πειράματα και για τις δύο. Στην πρώτη μας προσέγγιση, στοχεύουμε να μελετήσουμε την εφαρμοσιμότητα της μάθησης βάσει prompt σε σύγκριση με το fine-tuning και να θέσουμε ένα βασικό μέτρο σύγκρισης (baseline) για τη μάθηση βάσει prompt για το ERC. Πειραματιζόμαστε με ένα απλό βασικό μοντέλο καθώς και με μοντέλα που χρησιμοποιούν δημοφιλείς μεθόδους που έχουν χρησιμοποιηθεί προηγουμένως στην βιβλιογραφία για την ενσωμάτωση πληροφοριών που αφορούν τον ομιλητή. Συμπεραίνουμε τελικά ότι η μάθηση βάσει prompt μπορεί πράγματι να συμβάλει στην προσαρμογή του προ-εκπαιδευμένου γλωσσικού μοντέλου μας, επιτυγχάνοντας μάλιστα επιδόσεις συγκρίσιμες με το fine-tuning για ένα από τα δύο σύνολα δεδομένων στα οποία πειραματιζόμαστε, με την απόδοσή της να εξαρτάται από το σύνολο δεδομένων, το μέγεθος του prompt, την αρχιτεκτονική και τη μέθοδο εκπαίδευσης. Στη δεύτερη προσέγγισή μας, προτείνουμε μια μέθοδο για την ενσωμάτωση πρόσθετων πληροφο ριών, χρήσιμων για την αναγνώριση συναισθήματος σε μια συζήτηση, απευθείας μέσω των prompts, χωρίς περαιτέρω αλλαγές στην αρχιτεκτονική και την είσοδο των προ-εκπαιδευμένων γλωσσικών μο ντέλων. Πειραματιζόμαστε με την προσθήκη πληροφοριών συγκεκριμένων για κάθε ομιλητή και θέμα συζήτησης και παρατηρούμε αύξηση της απόδοσης σε πολλές περιπτώσεις, σε σύγκριση με το baseline μοντέλο μας. Η μέθοδός μας μπορεί εύκολα να επεκταθεί και σε άλλους τύπους πληροφοριών, εκτός από την ταυτότητα του ομιλητή και το θέμα συζήτησης, ακολουθώντας την ίδια λογική.	el
heal.advisorName	Ποταμιάνος, Αλέξανδρος	el
heal.committeeMemberName	Κόλλιας, Στέφανος	el
heal.committeeMemberName	Τζαφέστας, Κωνσταντίνος	el
heal.academicPublisher	Εθνικό Μετσόβιο Πολυτεχνείο. Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών. Τομέας Σημάτων, Ελέγχου και Ρομποτικής	el
heal.academicPublisherID	ntua
heal.numberOfPages	151 σ.	el
heal.fullTextAvailability	false