Τρισδιάστατη ανακατασκευή ανθρωπίνου σώματος, χεριών και προσώπου με εφαρμογές στην αναγνώριση νοηματικής γλώσσας

Κρατημένος, Άγγελος; Kratimenos, Angelos

dc.contributor.author	Κρατημένος, Άγγελος
dc.contributor.author	Kratimenos, Angelos	en
dc.date.accessioned	2022-01-20T09:18:18Z
dc.date.available	2022-01-20T09:18:18Z
dc.identifier.uri	https://dspace.lib.ntua.gr/xmlui/handle/123456789/54377
dc.identifier.uri	http://dx.doi.org/10.26240/heal.ntua.22075
dc.rights	Default License
dc.subject	3D computer vision	en
dc.subject	Isolated sign language recognition	en
dc.subject	SMPL-X	en
dc.subject	ExPose	en
dc.subject	Όραση υπολογιστών	el
dc.subject	Τρισδιάσταση ανακατασκεύη χεριών, προσώπου και σώματος	el
dc.subject	Αναγνώριση νοηματικής γλώσσας	el
dc.subject	3D body face and hands reconstruction	en
dc.title	Τρισδιάστατη ανακατασκευή ανθρωπίνου σώματος, χεριών και προσώπου με εφαρμογές στην αναγνώριση νοηματικής γλώσσας	el
heal.type	bachelorThesis
heal.classification	Όραση υπολογιστών	el
heal.language	el
heal.access	free
heal.recordProvider	ntua	el
heal.publicationDate	2021-06-30
heal.abstract	Αυτή η διπλωματική εργασία μελετά τις πιο σύγχρονες τρισδιάστατες μεθόδους για την ανακατασκευή σώματος, προσώπου και χεριών από μια απλή εικόνα, ενώ παράλληλα εφαρμόζει τα εργαλεία αυτά στο πρόβλημα της αναγνώρισης νοηματικής γλώσσας. Η αναγνώριση νοηματικής γλώσσας είναι ένα σύνθετο οπτικό πρόβλημα αναγνώρισης που συνδυάζει πολλές πτυχές της όρασης υπολογιστών, λόγω της αναγκαιότητας να συνδυαστεί και να εξαχθεί πληροφορία τόσο από τα χέρια και τις εκφράσεις του προσώπου, αλλά και από ολόκληρη τη σωματοδομή. Αφού μελετηθούν αναλυτικά οι state-of-the-art μέθοδοι για την τρισδιάστατη ανακατασκευή καθώς και οι τεχνικές που χρησιμοποιούνται για την αντιμετώπιση του προβλήματος αναγνώρισης νοηματικής γλώσσας, επιστρατεύουμε το SMPL-X, ένα σύγχρονο παραμετρικό μοντέλο που επιτρέπει την εξαγωγή αρθρώσεων για το τρισδιάστατο ανθρώπινο σώμα, τα χέρια και το πρόσωπο από μια εικόνα. Χρησιμοποιούμε αυτό το ολιστικό μοντέλο για την αναγνώριση νοηματικής γλώσσας, δείχνοντας ότι οδηγεί σε υψηλότερες επιδόσεις από απλές εικόνες μαζί με την οπτική τους ροή όταν δίνονται σαν είσοδο σε state-of-the-art I3D-τύπου νευρωνικό δίκτυο, αλλά και από δισδιάστατο Openpose σκελετό όταν δίνεται σαν είσοδο σε ένα Recurrent νευρωνικό δίκτυο. Επιπλέον, ένα σύνολο από πειράματα πάνω στο σώμα, στα χέρια και στο πρόσωπο, δείχνουν ότι η παράλειψη οποιουδήποτε εκ των τριών καναλιών πληροφορίας, μειώνει σημαντικά το ποσοστό αναγνώρισης, αποδεικνύοντας έτσι την σημαντικότητα της συνολικής παραμετροποίησης του ανθρωπίνου σώματος, της έκφρασης και των χεριών στο πρόβλημα αναγνώρισης νοηματικής γλώσσας. Τέλος, μερικά πειράματα με εκτίμηση βάθους πραγματοποιούνται, ενώ γίνεται και αναλυτική σύγκριση μεταξύ των μοντέλων SMPL-X και ExPose.	el
heal.advisorName	Μαραγκός, Πέτρος	el
heal.committeeMemberName	Μαραγκός, Πέτρος	el
heal.committeeMemberName	Τζαφέστας, Κωνσταντίνος	el
heal.committeeMemberName	Ποταμιάνος, Γεράσιμος	el
heal.academicPublisher	Εθνικό Μετσόβιο Πολυτεχνείο. Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών. Τομέας Σημάτων, Ελέγχου και Ρομποτικής	el
heal.academicPublisherID	ntua
heal.numberOfPages	110 σ.	el
heal.fullTextAvailability	false