Αυτόμαστη αναγνώριση συναισθήματος μέσω συνδυαστικής ανάλυσης φυσιολογικών και συμπεριφορικών παραμέτρων.

Σπηλιώτης, Θεόδωρος; Spiliotis, Theodoros

dc.contributor.author	Σπηλιώτης, Θεόδωρος	el
dc.contributor.author	Spiliotis, Theodoros	en
dc.date.accessioned	2022-07-25T10:11:09Z
dc.date.available	2022-07-25T10:11:09Z
dc.identifier.uri	https://dspace.lib.ntua.gr/xmlui/handle/123456789/55490
dc.identifier.uri	http://dx.doi.org/10.26240/heal.ntua.23188
dc.rights	Default License
dc.subject	Αναγνώριση συναισθήματος	el
dc.subject	Συναισθηματική υπολογιστική	el
dc.subject	Πολύτροπο μοντέλο	el
dc.subject	Ηλεκτροκαρδιογράφημα	el
dc.subject	Εκφράσεις προσώπου	el
dc.subject	Emotion recognition	en
dc.subject	Electrocardiogram	en
dc.subject	Emotional computational	en
dc.subject	Facial expressions	el
dc.subject	Multimodal model	el
dc.title	Αυτόμαστη αναγνώριση συναισθήματος μέσω συνδυαστικής ανάλυσης φυσιολογικών και συμπεριφορικών παραμέτρων.	el
dc.title	Automatic emotion recognition using physiological and behavioural parameters.	en
dc.contributor.department	Τομέας συστημάτων μετάδοσης πληροφορίας και τεχνολογίας υλικών	el
heal.type	bachelorThesis
heal.classification	Μηχανική Μάθηση	el
heal.classification	Machine Learning	en
heal.classification	Αναγνώριση Συναισθήματος	el
heal.classification	Emotion Recognition	el
heal.language	el
heal.access	free
heal.recordProvider	ntua	el
heal.publicationDate	2022-03-09
heal.abstract	Ο σκοπός της παρούσας εργασίας είναι η ανάπτυξη ενός αυτόματου τρόπου αναγνώρισης των συναισθημάτων μέσω της αξιοποίησης φυσιολογικών και συμπεριφορικών δεδομένων. Τα συναισθήματα, επηρεάζουν τόσο την ψυχολογία όσο και την φυσιολογία του ανθρώπου και παίζουν πολύ σημαντικό ρόλο στην ανθρώπινη ζωή. Ο κλάδος που ασχολείται με τα συναισθήματα ονομάζεται συναισθηματική υπολογιστική και έχει ως στόχο να εκπαιδεύει τον υπολογιστή, ώστε να τα αναγνωρίσει και να τα προσομοιώνει με τον καλύτερο δυνατό τρόπο. Αν και δεν υπάρχει κάποιος ακριβής ορισμός των βασικών συναισθημάτων, οι επιστήμονες μοντελοποιούν τα συναισθήματα με δύο διαφορετικούς τρόπους. Ο πρώτος τρόπος θεωρεί τα συναισθήματα διακριτά και επομένως ότι αναφέρονται σε συγκεκριμένους όρους, όπως είναι η χαρά, η λύπη, ο θυμός κ.ά. Ο δεύτερος τρόπος τα θεωρεί πολυδιάστατα, δηλαδή ότι μπορούν να περιγραφούν με βάση το σθένος και την ένταση τους. Η αναγνώριση των συναισθημάτων βασίζεται στην αξιοποίηση και ανάλυση είτε φυσιολογικών σημάτων είτε συμπεριφορικών σημάτων είτε στον συνδυασμό των δύο αυτών ειδών. Στην τελευταία περίπτωση το μοντέλο που αναπτύσσεται ονομάζεται πολύτροπο. Δύο από τα φυσιολογικά σήματα που χρησιμοποιούνται ευρέως στον κλάδο της συναισθηματικής υπολογιστικής είναι το Ηλεκτροκαρδιογράφημα και το Ηλεκτροεγκεφαλογράφημα. Από την άλλη, τα συμπεριφορικά σήματα έχουν να κάνουν με τον τρόπο δράσης του ανθρώπου, όπως είναι οι εκφράσεις του προσώπου του, οι χειρονομίες και η στάση σώματος. Στην παρούσα διπλωματική εργασία σχεδιάστηκε και αναπτύχθηκε ένα πείραμα, μέσω του οποίου λήφθηκαν δεδομένα ηλεκτροεγκεφαλογραφήματος και εκφράσεων προσώπου από 8 συμμετέχοντες με στόχο την δημιουργία ενός πολύτροπου μοντέλου αναγνώρισης συναισθήματος. Κατά την διάρκεια του πειράματος, οι συμμετέχοντες έβλεπαν ένα σύνολο εικόνων, που προέρχονταν από μία γνωστή και δωρεάν προσβάσιμη βάση εικόνων, η οποία έχει σχεδιαστεί ειδικά για πειράματα αναγνώρισης συναισθήματος, με σκοπό την διέγερση συγκεκριμένων συναισθημάτων. Κατά την διαδικασία αυτή οι συμμετέχοντες βαθμονομούσαν τα συναισθήματα τους ως προς το σθένος και την ένταση, από αρνητικά έως θετικά και από παθητικά έως ενεργά αντίστοιχα. Παράλληλα καθ’ όλη την διάρκεια του πειράματος καταγράφονταν το ηλεκτροεγκεφαλογράφημα του κάθε συμμετέχοντα, καθώς και οι εκφράσεις του προσώπου του. Μέσω της εκπόνησης του πειράματος δημιουργήθηκε ένα σύνολο δεδομένων, όπου ως χαρακτηριστικά είχε βασικές μετρικές του ηλεκτροεγκεφαλογραφήματος, όπως επίσης και χαρακτηριστικά που υπολογίστηκαν μέσω της καταγραφής των εκφράσεων του προσώπου του κάθε συμμετέχοντα. Σε κάθε σύνολο χαρακτηριστικών αντιστοιχήθηκαν δύο ετικέτες, που δημιουργήθηκαν με βάση τον βαθμό του σθένους και της έντασης του συναισθήματος που προκλήθηκε στους συμμετέχοντες από την εικόνα που έβλεπαν. Τέλος αναπτύχθηκαν και αξιολογήθηκαν μοντέλα μηχανικής μάθησης με σκοπό την πρόβλεψη των παραπάνω ετικετών, με χρήση των χαρακτηριστικών που περιεγράφηκαν. Μεταξύ αυτών το καλύτερο μοντέλο ως προς το σθένος ήταν του αλγορίθμου XgBoost με ακρίβεια 61%, ενώ ως προς την ένταση η μεγαλύτερη ακρίβεια που επιτεύχθηκε ήταν για τον αλγόριθμο Random Forest και έφτασε το 73%.	el
heal.abstract	The purpose of this paper is to develop an automatic way of recognizing emotions through the use of physiological and behavioral data. Emotions affect both the psychology and the physiology of human and play a very important role in human life. The discipline that deals with emotions is called emotional computing and aims to train the computer to recognize and simulate them in the best possible way. Although there is no precise definition of basic emotions, scientists model emotions in two different ways. The first way considers emotions to be distinct and therefore refer to specific terms, such as joy, sadness, anger, etc. The second way considers them multidimensional, that is, that they can be described based on their valence and arousal. The recognition of emotions is based either on the exploitation of physiological signals or behavioral signals or on the combination of these two kinds. In the latter case the model being developed is called a multimodal. Two of the physiological signals widely used in the field of emotional computing are the Electrocardiogram and the Electroencephalogram. On the other hand, behavioral signals have to do with the way a person acts, such as facial expressions, gestures and posture. In the present dissertation, an experiment was designed and developed, through which ECG data and facial expressions were obtained from 8 participants with the aim of creating a multimodal model of emotion recognition. During the experiment, participants saw a set of images, derived from a well-known and freely accessible image base, which is specifically designed for emotion recognition experiments, in order to stimulate specific emotions. During this process, participants calibrated their feelings in terms of valence and arousal, from negative to positive and from passive to active respectively. At the same time, throughout the experiment, the Electroencephalogram of each participant was recorded, as well as the facial expressions. Through the elaboration of the experiment, a data set was created, where as characteristics it had basic metrics of the electroencephalogram, as well as characteristics calculated through the recording of the facial expressions of each participant. In each set of features were assigned two labels, created based on the degree of valence and arousal of emotion caused to the participants by the image they saw. Finally, machine learning models were developed and evaluated in order to predict the above labels, using the characteristics described. Among them the best model in terms of valence was that of the XgBoost algorithm with an accuracy of 61%, while in terms of arousal the highest accuracy achieved was for the Random Forest algorithm and reached 73%.	en
heal.advisorName	Κουτσούρης, Δημήτριος-Διονύσιος	el
heal.committeeMemberName	Ματσόπουλος, Γεώργιος	el
heal.committeeMemberName	Τσανάκας, Παναγιώτης	el
heal.academicPublisher	Εθνικό Μετσόβιο Πολυτεχνείο. Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών. Τομέας Συστημάτων Μετάδοσης Πληροφορίας και Τεχνολογίας Υλικών	el
heal.academicPublisherID	ntua
heal.numberOfPages	113 σ.	el
heal.fullTextAvailability	false