Ανάπτυξη Προγραμματιστικής Εφαρμογής για την Εκτίμηση του Συναισθήματος από Εκφράσεις Προσώπου σε Καρέ Βίντεο

Abstract

Ο σκοπός της παρούσας διπλωματικής εργασίας ήταν η ανάπτυξη μιας προγραμματιστικής εφαρμογής για την εκτίμηση του συναισθήματος σε εικόνες προσώπων προερχόμενες από ακολουθίες βίντεο. Η μεθοδολογία που χρησιμοποιείται βασίζεται στον υπολογισμό των παραμέτρων κίνησης FAPs του προσώπου σύμφωνα με τον ορισμό τους από το διεθνές πρότυπο MPEG-4. Είσοδοι του συστήματος εκτίμησης συναισθημάτων είναι οι συντεταγμένες συγκεκριμένων χαρακτηριστικών σημείων στο πρόσωπο. Η εκτίμηση για το συναίσθημα πραγματοποιείται μέσω της αποτίμησης ενός συνόλου κανόνων που διατυπώνονται με τη βοήθεια των παραμέτρων FAPs. Η αποτίμηση των κανόνων αξιοποιεί βασικές αρχές της ασαφούς λογικής. Η υλοποίηση έχει σχεδιαστεί με τέτοιο τρόπο ώστε να μπορεί να χρησιμοποιηθεί ως πρόσθετη συνάρτηση σε εφαρμογές πραγματικού χρόνου ή ανεξάρτητα ως εκτελέσιμο αρχείο. Το πρόγραμμα δε θέτει περιορισμούς για τη μέθοδο ανίχνευσης των σημείων εισόδου επιτρέποντας έτσι τη χρήση της εφαρμογής με δεδομένα εισόδου χειροκίνητης ή αυτόματης ανίχνευσης. Επιπλέον δεν τίθεται περιορισμός για το πλήθος ή το μέγεθος των κανόνων, παρά μόνο για τη μορφοποίηση της πληροφορίας, διατηρώντας έτσι την ευελιξία της εφαρμογής για χρήση με ποικίλους κανόνες και πιθανή μελλοντική επέκταση. Κατά την εκτέλεσή της, ο χρήστης της εφαρμογής έχει τη δυνατότητα να επιλέξει το πλήθος των πληροφοριών που εκτυπώνονται. Το θεωρητικό υπόβαθρο της εργασίας περιλαμβάνει πληροφορίες για τις θεμελιώδεις θεωρίες συναισθημάτων, τις σημαντικότερες μεθόδους ποσοτικής αναπαράστασης συναισθημάτων και τις βασικές αρχές της ασαφούς λογικής. Επιπρόσθετα παρουσιάζονται πληροφορίες για το διεθνές πρότυπο MPEG-4. Η παρουσίαση και περιγραφή της υπολογιστικής υλοποίησης περιλαμβάνει παραδείγματα εικόνων με πραγματικά πρόσωπα και αποτελέσματα εκτύπωσης.

The objective of this diploma thesis was to develop a program that would estimate a person’s emotion as demonstrated in picture frames taken from video sequences. The implementation is based on the calculation of facial animation parameters (FAPs) as defined by the international MPEG-4 standard. The coordinates of specific feature points on the face are used as an input to the above program. The person’s emotion is estimated through the evaluation of a set of rules which are formulated by means of FAP parameters. The evaluation process utilizes fundamental principles of fuzzy logic theory. The program’s design allows for use as an additional function to real-time applications or as a stand-alone executable file. The method used does not impose any limitations on the tracking method of the facial feature points. As a result, it is suitable for either manually or automatically detected input data. Furthermore, other than the formatting requirements, there is no restriction on the length or number of evaluation rules, which promotes flexibility and allows for future extensibility. As for the program’s output, the user is given the option to choose the amount of information to be printed. Finally, the theoretical background of this thesis includes information on the most notable theories of emotion, prominent methods for quantitative representation of emotions and basic principles of fuzzy logic. Moreover, information is provided on the MPEG-4 standard. The presentation and description of the computational implementation contains examples of natural faces and samples of printed results.