Ανίχνευση προσώπου και εκτίμηση της πόζας με εφαρμογή στην αυτόματη ανάλυση νοηματικής γλώσσας

Abstract

Ο στόχος της διπλωματικής αυτής εργασίας είναι η ανάπτυξη μιας εύρωστης μεθόδου για την ανίχνευση του προσώπου και την εκτίμηση της πόζας του ομιλητή κατά την Νοηματική Γλώσσα. Η θέση του προσώπου και η πόζα του ομιλητή είναι απαραίτητα για την περαιτέρω ανάλυση της έκφρασης του, ενώ κρύβουν και αυτά γλωσσική πληροφορία. Οι ιδιαίτερες προκλήσεις που αντιμετωπίζονται σε αυτό το πρόβλημα είναι η συχνή και εκτεταμένη επικάλυψη του προσώπου από τα χέρια, και η σχετικά χαμηλή ανάλυση της εικόνας στην περιορισμένη περιοχή του προσώπου. Για την ανάγκη της εφαρμογής σύγχρονες μέθοδοι μελετώνται και προσαρμόζονται στις ιδιαιτερότητες του συγκεκριμένου προβλήματος. Η εργασία διαιρείται σε τρία κεφάλαια.

Στο πρώτο κεφάλαιο μελετάται η πλέον σύγχρονη μέθοδος ανίχνευσης προσώπων, υλοποιείται και προσαρμόζεται στο πρόβλημα. Το δεύτερο κεφάλαιο εισάγει ένα στοχαστικό πλαίσιο συνεχούς ανίχνευσης του προσώπου που βασίζεται στο φίλτρο Κάλμαν. Στο τρίτο κεφάλαιο παρουσιάζονται οι κυριότερες μέθοδοι για την εκτίμηση της πόζας, με ιδιαίτερη έμφαση στους ευέλικτους γράφους προσώπου. Τελικά αναπτύσσεται μια πρωτότυπη μέθοδος για την εκτίμηση της πόζας, η οποία εκμεταλλεύεται την ανίχνευση του στενού μοτίβου του προσώπου, και αποδεικνύεται ιδιαίτερα εύρωστη σε επικαλύψεις.

The goal of this thesis is to develop a robust method for face tracking and pose estimation for the problem of Automatic Sign Language Analysis. The position and pose of signer's head are necessary for the further investigation of his facial expression but they also hide linguistic information themselves. The particular challenges faced, are the extended and frequent occlusion by the hands and the relatively low resolution of the face region. Current state-of-the-art methods are used and adapted to fit the specificities of this problem. The thesis is divided into three chapters:

In the first chapter, the method of face detection based on boosted Haar features is presented and theoretically analyzed. The second chapter introduces a tracking framework for the face, based on the Kalman filter. In the third chapter, the most important methods for pose estimation are presented and evaluated, with special focus on the ones based on Active Appearance Models. A novel method is finally developed that estimates the head pose from the relative position of the head centroid to the face center. This method exploits the good face tracking results, and proves to be much more resilient to occlusion.