Πολυτροπική Προσέγγιση Αναγνώρισης Συναισθήματος Βασισμένη σε Δίκτυα Βαθιάς Μάθησης

Τερζάκη-Παπαδοπούλου, Στυλιανή; Terzaki-Papadopoulou, Styliani

dc.contributor.author	Τερζάκη-Παπαδοπούλου, Στυλιανή	el
dc.contributor.author	Terzaki-Papadopoulou, Styliani	en
dc.date.accessioned	2022-02-07T08:18:38Z
dc.date.available	2022-02-07T08:18:38Z
dc.identifier.uri	https://dspace.lib.ntua.gr/xmlui/handle/123456789/54573
dc.identifier.uri	http://dx.doi.org/10.26240/heal.ntua.22271
dc.rights	Αναφορά Δημιουργού-Μη Εμπορική Χρήση-Όχι Παράγωγα Έργα 3.0 Ελλάδα	*
dc.rights.uri	http://creativecommons.org/licenses/by-nc-nd/3.0/gr/	*
dc.subject	Αναγνώριση συναισθήματος	el
dc.subject	Ανάλυση συναισθηματικής συμπεριφοράς	el
dc.subject	Βαθιά μάθηση	el
dc.subject	Συνελικτικά νευρωνικά δίκτυα	el
dc.subject	Ενσωμάτωση δεδομένων	el
dc.subject	Emotion recognition	en
dc.subject	Affective behavior analysis	en
dc.subject	Deep learning	en
dc.subject	Convolutional neural networks	en
dc.subject	Data fusion	en
dc.title	Πολυτροπική Προσέγγιση Αναγνώρισης Συναισθήματος Βασισμένη σε Δίκτυα Βαθιάς Μάθησης	el
heal.type	bachelorThesis
heal.classification	Μηχανική Μάθηση	el
heal.language	el
heal.access	free
heal.recordProvider	ntua	el
heal.publicationDate	2021-07-14
heal.abstract	Η παρούσα διπλωματική εργασία πραγματεύεται το θέμα της αυτόματης Αναγνώρισης Συναισθήματος χρησιμοποιώντας μεθόδους Βαθιάς Μάθησης που εξάγουν πληροφορία από οπτικά και ακουστικά δεδομένα. Το αντικείμενο της ανάλυσης της συναισθηματικής συμπεριφοράς έχει εφαρμογή στην αλληλεπίδραση ανθρώπου-υπολογιστή, στην αυτόματη παρακολούθηση ασθενών, στην ασφάλεια, κ.α. Η προσέγγιση του προβλήματος αναγνώρισης συναισθημάτων από οπτικοακουστικά δεδομένα γίνεται με την χρήση σύγχρονων Συνελικτικών Νευρωνικών Δικτύων και την εκμετάλλευση της μεθόδου της μεταφοράς μάθησης από προεκπαιδευμένα μοντέλα. Συγκεκριμένα, στη παρούσα εργασία καλούμαστε να επιλύσουμε δύο είδη προβλημάτων Επιβλεπόμενης Μάθησης, ένα πρόβλημα ταξινόμησης και ένα πρόβλημα παλινδρόμησης. Τα δύο αυτά προβλήματα προκύπτουν από τα είδη ετικετών που περιέχει το σύνολο δεδομένων, το οποίο χρησιμοποιείται για την εκπαίδευση των μοντέλων. Το σύνολο αυτό ονομάζεται Aff-Wild2 και απαρτίζεται από μία συλλογή βίντεο που έχουν δημιουργηθεί σε πραγματικές συνθήκες ή όπως αναφέρεται χαρακτηριστικά "in-the-wild". Το συγκεκριμένο σύνολο έχει χαρακτηρισθεί με ετικέτες που βασίζονται σε δύο διαφορετικά μοντέλα αναπαράστασης συναισθημάτων. Το πρώτο μοντέλο είναι κατηγορικό και χωρίζει το πλήθος των συναισθημάτων σε 7 βασικές κατηγορίες, οι οποίες είναι ο Φόβος, ο Θυμός, η Αηδία, η Χαρά, η Λύπη, η Έκπληξη και η Ουδετερότητα. Συνεπώς, οι ετικέτες αυτές χρησιμοποιούνται για την ανάπτυξη μοντέλων ταξινόμησης πολλαπλών κλάσεων. Το δεύτερο μοντέλο είναι διαστατικό και εντάσσει τα συναισθήματα σε ένα δισδιάστατο χώρο με άξονες το σθένος και τη διέγερση. Οι ετικέτες του σθένους και της διέγερσης παίρνουν συνεχόμενες τιμές στο διάστημα [-1,1] και η πρόβλεψή τους από τα μοντέλα μάθησης αποτελεί πρόβλημα παλινδρόμησης. Για το κάθε πρόβλημα μάθησης αναπτύσσονται διαφορετικά μοντέλα, τα οποία δέχονται οπτικά ή ακουστικά δεδομένα ή και τον συνδυασμό τους. Τα συνελικτικά νευρωνικά δίκτυα που χρησιμοποιούνται ως βάση για τα παραπάνω μοντέλα είναι τα δίκτυα VGG, τα Διαφορικά δίκτυα (Residual Networks) και τα Πυκνά Συνδεδεμένα δίκτυα (Dense Networks). Μετά τη σχεδίαση των μοντέλων γίνεται η εκπαίδευση και η τελική αξιολόγησή τους στο συγκεκριμένο σύνολο δεδομένων.	el
heal.abstract	This diploma thesis deals with the topic of automatic Emotion Recognition using Deep Learning methods that extract information from visual and audio data. The field of affective behavior analysis is applicable to human-computer interaction, automatic patient monitoring, security, etc.The problem of recognizing emotions from audiovisual data is approached by using modern Convolutional Neural Networks and exploiting the method of transfer learning from pre-trained models. Specifically, in this paper we are called to solve two types of Supervised Learning problems, a classification problem and a regression problem. These two problems arise from the type of labels contained in the data set, which is used to train the models. This dataset is called Aff-Wild2 and it consists of a collection of videos created in real-life conditions or as it is typically called "in-the-wild". The dataset has been annotated with labels based on two different emotion representation models. The first model is categorical and it divides the range of different emotions into 7 basic categories, which are Fear, Anger, Disgust, Happiness, Sadness, Surprise and Neutral. These labels are therefore used to develop multi-class classification models. The second model is dimensional and incorporates emotions into a two-dimensional space with axis of valence and arousal. Valence and arousal labels take continuous values in the range [- 1, 1] and their prediction by a learning model is a regression problem.Different models are developed for each learning problem, which accept visual or audio data or their fusion. The convolutional neural networks used as the basis for the above models are the VGG networks, the Residual Networks and the Dense Networks. After the design of the models, their training and final evaluation in the specific dataset takes place.	en
heal.advisorName	Κόλλιας, Στέφανος	el
heal.committeeMemberName	Στάμου, Γεώργιος	el
heal.committeeMemberName	Σταφυλοπάτης, Ανδρέας-Γεώργιος	el
heal.academicPublisher	Εθνικό Μετσόβιο Πολυτεχνείο. Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών. Τομέας Τεχνολογίας Πληροφορικής και Υπολογιστών. Εργαστήριο Συστημάτων Τεχνητής Νοημοσύνης και Μάθησης	el
heal.academicPublisherID	ntua
heal.numberOfPages	90 σ.	el
heal.fullTextAvailability	false