Παρακολούθηση Χαρακτηριστικών Προσώπου με Χρήση Μοντέλων Ενεργού Περιγράμματος

Abstract

Ο υπέρτατος στόχος της όρασης των υπολογιστών είναι η κατανόηση των εικόνων, η οποία περιλαμβάνει εκτός από την αναγνώριση της δομής τους, και την γνώση του τι αυτή αναπαριστά. Η αναγνώριση των εκφράσεων του ανθρώπινου προσώπου, είναι μία έμφυτη ικανότητα των ανθρώπων, η οποία μάλιστα αναπτύσσεται από πολύ νωρίς. Μία τέτοια ικανότητα είναι πολύ χρήσιμη, ακόμη και απαραίτητη, να την κατέχουν και τα υπολογιστικά συστήματα. Μέσω των εκφράσεων του προσώπου μπορούν να εξαχθούν πολύτιμα συμπεράσματα για τη συναισθηματική κατάσταση του χρήστη, τα οποία αν αξιοποιηθούν σωστά, μπορούν να βελτιώσουν σημαντικά τον τρόπο και την ποιότητα της αλληλεπίδρασης του υπολογιστή με τον χρήστη. Στην αναγνώριση των εκφράσεων, και κατ’ επέκταση των συναισθημάτων, βασίζεται πληθώρα εφαρμογών όπως τα video games,η προσωποποιημένη επιλογή μουσικής και τηλεοπτικών προγραμμάτων, τα συστήματα ασφαλείας των αυτοκινήτων κ.α. Σκοπός αυτής της διπλωματικής εργασίας είναι η ανάπτυξη ενός συστήματος αυτόματης αναγνώρισης των εκφράσεων του προσώπου. Για την αναγνώριση των εκφράσεων, παρακολουθούνται τα χαρακτηριστικά του προσώπου σε ακολουθίες εικόνων. Ο εντοπισμός του προσώπου και των χαρακτηριστικών του γίνεται με τη χρήση στατιστικών μοντέλων εμφάνισης, και ειδικότερα με τα Μοντέλα Ενεργού Περιγράμματος. Η υλοποίηση του συστήματος έγινε σε Matlab και χρησιμοποιήθηκε ήδη υπάρχουσα υλοποίηση των Μοντέλων Ενεργού Περιγράμματος σε C++. Επίσης παρουσιάζεται η σχετική βιβλιογραφία, που αφορά τις εκφράσεις του προσώπου. Αναφέρονται τα χαρακτηριστικά των εκφράσεων, η σημασία τους στην έκφραση των συναισθημάτων, οι εφαρμογές που έχουν κ.α. Τέλος περιγράφονται τα στατιστικά μοντέλα σχήματος, υφής και εμφάνισης καθώς και τα μοντέλα Ενεργού Περιγράμματος.

The ultimate goal of machine vision is image-understanding, the ability not only to recover image structure but also to know what it represents. Recognizing the expressions of the human face is an innate ability to the humans that is developed at an early age. This ability can be very useful, for the computers to have it. Face expressions contain a lot of useful information for the user’s emotional state. If this information is used correctly, the way the computer interacts with the user, as well as the quality of this interaction, can be significantly improved. A lot of applications are based on expression and emotion recognition, such as video games, personalized music and TV programs, safety systems in the cars, etc. The goal of this diploma thesis is the development of an automated face expressions recognition system. For the recognition of the expressions, the features of the face are tracked, through a sequence of images. The tracking of the face and its features is performed with statistical models of appearance, and in particular with Active Appearance Models. The system is implemented in Matlab. A previous implementation of the Active Appearance Models in C++ is also used. In the diploma thesis is also presented the literature that is relevant with face expressions. Among others, are presented the characteristics of face expressions, their role in emotion expression, their applications etc. Finally the statistical models of shape, texture, appearance and the Active Appearance Models are described.