Εκτίμηση της κατεύθυνσης του βλέμματος με χρήση Ενεργών Μοντέλων Εμφάνισης

Abstract

Η συγκεκριμένη διπλωματική έχει σαν αντικείμενο την επίλυση προβλημάτων που προκύπτουν από την αναγνώριση και μοντελοποίηση του αναθρώπινου προσώπου, εστιάζοντας στο μεγαλύτερο μέρος της στην εκτίμηση της κατεύθυνσης του βλέμματος (eye gaze). Επιπλέον, αναλύονται και γίνεται προσπάθεια να επιλυθούν και άλλα σημαντικά προβλήματα που σχετίζονται με τη μοντελοποίηση του προσώπου όπως η εκτίμηση της πόζας κεφαλιού και η αναγνώριση συναισθήματος με βάση χαρακτηριστικά του προσώπου του. Αρχικά, γίνεται μια συστηματική και συνοπτική επισκόπηση των μεθόδων της βιβλιογραφίας σχετικά με τα παραπάνω προβλήματα καθώς και περιγραφή των μεθόδων υλοποίησης και προσαρμογής των Ενεργών Μοντέλων Εμφάνισης (AAMs) σε νέες εικόνες. Στη συνέχεια, ακολουθεί η ανάλυση και υλοποίηση του συστήματος υπολογισμού του eye gaze ακολουθώντας δύο διαφορετικές προσεγγίσεις. Στην πρώτη από αυτές αναλύεται μια μέθοδος υπολογισμού του eye gaze που στηρίζεται στο γεωμετρικό μοντέλο του ματιού, η οποία παρέχει εκτίμηση υπό μορφή γωνιών. Για την ακριβέστερη εκτίμηση του eye gaze αναπτύσσεται, σαν ένα ενδιάμεσο στάδιο, μια τεχνική υπολογισμού της πόζας κεφαλιού. Σύμφωνα με τη δεύτερη προσέγγιση γίνεται κατηγοριοποίηση του gaze με χρήση μοντέλων μείγματος γκαουσιανών συναρτήσεων (GMMs) σε διακριτές κλάσεις, τόσο με βάση τις παραμέτρους του τοπικού AAM όσο και με χαρακτηριστικά Ιστογραμμάτων Προσανατολισμένης Κλίσης (HOGs), και προτείνεται τρόπος για την αντιστοίχιση των κλάσεων με γωνίες. Τέλος, γίνεται ανάπτυξη ενός συστήματος κατηγοριοποίησης του συναισθήματος σε διακριτές κλάσεις, βασιζόμενο στις παραμέτρους των AAMs και χρησιμοποιώντας σαν ταξινομητές GMMs αλλά και Κρυφά Μαρκοβιανά Μοντέλα (HMMs).

The aim of this thesis is to find solutions to problems that occur from the recognition and modeling of the human face, focusing primarily on the estimation of eye gaze. Moreover, a greater range of problems concerning from the face modeling, such as head pose estimation and emotion classification by facial features, are being analyzed and an effort is being made to resolve them. Initially, a systematic and compact review of the bibliography methods about these problems is made, as well as a description of the solution and fitting technique of Active Appearance Models (AAMs) into prototype pictures. Furthermore, the analysis and implementation of a computing system for eye gaze by two different points of view is being presented. In the first one, one eye gaze computing method based on a geometric model of eye is analyzed; this method provides angle form estimation. For a more accurate estimation, it is developed in an intermediate step one computing technique for the head pose. In the second one, gaze is being classified into discrete classes through Gaussian Mixture Models (GMM), using both the AAMs parameters, and the HOGs (Histograms of Oriented Gradients) features; and a matching way between classes and gaze angles. Finally, a system for discrete emotion classification, based on AAMs parameters using GMMs and Hidden Markov Models (HMMs) classifiers, is developed.