Αναγνώριση Χειρονομιών της Αλφαβήτου της Ελληνικής Νοηματικής Γλώσσας με Έμφαση στην Eξαγωγή Περιστροφικά Ανεξάρτητων Οπτικών Χαρακτηριστικών

Abstract

Η παρούσα διπλωματική επικεντρώνεται στις μεθόδους εξαγωγής οπτικών χαρακτηριστικών στα πλαίσια του προβλήματος της αναγνώρισης χειρονομιών της αλφαβήτου της Ελληνικής Νοηματικής Γλώσσας για στατικές χειρομορφές (fingerspelling). Συγκεκριμένα γίνεται εκτενής μελέτη διαφορετικών προσεγγίσεων για την εξαγωγή χαρακτηριστικών με ιδιαίτερη έμφαση στην μέθοδο HOG (Histogram of Oriented Gradients), η οποία ουσιαστικά αποτελεί μια πυκνή κατανομή τοπικών περιγραφών (ένα ιστογράμματα κατευθύνσεων για κάθε υποπεριοχή). Για την καλύτερη αξιοποίηση της υπάρχουσας οπτικής πληροφορίας προτείνονται διάφορες παραλλαγές των HOG ως προς την κατεύθυνση της βελτιστοποίησης της χωρικής κατανομής των τοπικών περιγραφών. Επιπλέον, παρουσιάζεται μια απλοποίηση των HOG και των προτεινόμενων παραλλαγών του για την εφαρμογή τους σε δυαδικές εικόνες, μειώνοντας σε μεγάλο βαθμό το υπολογιστικό κόστος και διατηρώντας την αποτελεσματικότητα των HOG περιγραφών. Μεγάλο μέρος της παρούσας μελέτης καταλαμβάνει η εξερεύνηση της δυνατότητας εξαγωγής περιγραφών ανεξάρτητων σε περιστροφές της εικόνας αλλά και της δυνατότητας εκτίμησης της εκάστοτε περιστροφής. Ως προς αυτή την κατεύθυνση αναπτύχθηκαν δυο διαφορετικές προσεγγίσεις με κοινό δομικό στοιχείο την μέθοδο HOG. Η πρώτη βασίζεται σε μια αρχική εκτίμηση της περιστροφής, η οποία βασίζεται στο περίγραμμα της χειρομορφής και αξιοποιεί την μέθοδο Shape Context. Η δεύτερη πρόκειται ουσιαστικά για μια γενίκευση των HOG και αποτελεί μια πιο συμπαγή μέθοδος με πολύ ενθαρρυντικά αποτελέσματα. Τέλος, γίνεται μελέτη της ικανότητας μοντελοποίησης και κατηγοριοποίησης των περιγραφών που προκύπτουν από τις προτεινόμενες μεθόδους με χρήση απλών τεχνικών αναγνώρισης προτύπων.

This thesis focuses on feature extraction techniques regarding the problem of finger-spelling recognition for the Greek Sign Language. In particular, several feature extraction techniques had been explored with emphasis on HOG (Histogram of Oriented Gradients) technique, which extracts dense distributed local histograms of gradient direction. In order to achieve better performance in recognition, some spatial variations of HOG are proposed, which try to make better use of simple shape metrics. In addition, a simplified version of the HOG technique and its variations is proposed for binary images, which reduces computational complexity while maintaining the initial HOG efficiency. Rotation invariant descriptors as well as rotation estimation are studied extensively in this thesis. In this context, two techniques are proposed with HOG as the common base. The first one makes an initial estimation of the rotation based on the shape of the hand with the use of the Shape Context technique. The latter is a generalization of the simple HOG technique and constitutes a more concrete technique with very promising results. Lastly, the efficiency in recognition of the proposed descriptors is examined using popular pattern recognition techniques with emphasis on generative models.