Αναγνώριση στατικών χαρακτηριστικών στο πλαίσιο της μετάφρασης νοηματικών γλωσσών

Κουλιεράκης, Ιωάννης; Koulierakis, Ioannis

dc.contributor.author	Κουλιεράκης, Ιωάννης	el
dc.contributor.author	Koulierakis, Ioannis	en
dc.date.accessioned	2020-12-02T10:06:33Z
dc.date.available	2020-12-02T10:06:33Z
dc.identifier.uri	https://dspace.lib.ntua.gr/xmlui/handle/123456789/52164
dc.identifier.uri	http://dx.doi.org/10.26240/heal.ntua.19862
dc.rights	Αναφορά Δημιουργού - Παρόμοια Διανομή 3.0 Ελλάδα	*
dc.rights.uri	http://creativecommons.org/licenses/by-sa/3.0/gr/	*
dc.subject	Νοηματική	el
dc.subject	Βαθιά μάθηση	el
dc.subject	Αναγνώριση χειρονομιών	el
dc.subject	Εντοπισμός χεριού	el
dc.subject	Όραση υπολογιστών	el
dc.subject	HamNoSys	en
dc.subject	OpenPose	en
dc.subject	Gesture recognition	en
dc.subject	Deep learning	en
dc.subject	Computer vision	en
dc.title	Αναγνώριση στατικών χαρακτηριστικών στο πλαίσιο της μετάφρασης νοηματικών γλωσσών	el
heal.type	bachelorThesis
heal.classification	Μηχανική μάθηση	el
heal.classification	Machine learning	en
heal.language	el
heal.access	free
heal.recordProvider	ntua	el
heal.publicationDate	2020-05-11
heal.abstract	Η παρούσα εργασία εξετάζει μία μέθοδο βασισμένη σε μοντέλα Μηχανικής Μάθησης με σκοπό την αναγνώριση των κύριων δομικών χαρακτηριστικών που συνθέτουν μεμονωμένες λέξεις μίας νοηματικής γλώσσας. Αρχικά, γίνεται αναφορά στις ιδιαιτερότητες των νοηματικών γλωσσών συγκριτικά με τον προφορικό λόγο αλλά και μία παρουσίαση για μερικές από τις συλλογές καταγραφής νοηματικών γλωσσών διεθνώς. Η μεθοδολογία που αναπτύσσεται εστιάζει στην παρακολούθηση και ανάλυση του κυρίαρχου χεριού κάθε νοηματιστή αλλά είναι άμεσα επεκτάσιμη και στο δευτερεύον χέρι. Το πρόβλημα της μετάφρασης από μία νοηματική γλώσσα σε γραπτό λόγο αντιμετωπίζεται με τη χρήση του συστήματος επισημείωσης HamNoSys ως ενδιάμεσο στάδιο. Το πρώτο μέρος της μεθόδου αφορά την διαλογή των χρήσιμων στιγμιοτύπων κάθε βίντεο μέσα από την ανάπτυξη ενός προστακτικού αλγορίθμου και την μετάβαση από την επισημείωση σε επίπεδο βίντεο στην επισημείωση σε επίπεδο στιγμιοτύπων με χρήση αλγορίθμων μη επιβλεπούμενης μάθησης. Τέλος, το τροποποιημένο σύνολο δεδομένων χρησιμοποιείται για την εκπαίδευση βαθιών νευρωνικών δικτύων με εξειδίκευση το κάθε ένα στην αναγνώριση επί μέρους χαρακτηριστικών. Ολοκληρώνοντας, εξηγείται πώς ο συνδυασμός αυτών των δικτύων μπορεί να αποτελέσει ένα πολύ καλό σύστημα συστάσεων σε επίπεδο λέξεων και γίνονται προτάσεις για σχεδιασμό Dataset που θα μπορέσουν να χρησιμοποιηθούν για την ανάπτυξη μελλοντικών συστημάτων με δυνατότητες μετάφρασης νοηματικών γλωσσών.	el
heal.abstract	The present paper examines a method based on Machine Learning models to identify the key structural features that make up single words of a Sign Language. Initially, a simple reference is made to the specific features of Sign Languages compared to spoken ones but also a presentation on some of the Sign Language collections from around the world. The methodology developed focuses on monitoring and analyzing the dominant hand of each signer but is also immediately extensible to the non-dominant hand. The problem of translating from a sign language into a written language is addressed using the HamNoSys notation system as an intermediate stage. The first part of the method is to sort out the useful snapshots of each video by developing an deterministic algorithm and the transition from video-level notation to snapshot-level notation using unsupervised learning algorithms. Finally, the modified dataset is used to train deep neural networks specializing in the recognition of individual features. In conclusion, it is explained how the combination of these networks can be a very good word-level recommendation system, and suggestions are made for designing a Dataset that can be used to develop future systems with sign language translation capabilities.	en
heal.advisorName	Σταφυλοπάτης, Ανδρέας-Γεώργιος	el
heal.committeeMemberName	Στάμου, Γεώργιος	el
heal.committeeMemberName	Ευθυμίου, Ελένη	el
heal.academicPublisher	Εθνικό Μετσόβιο Πολυτεχνείο. Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών. Τομέας Τεχνολογίας Πληροφορικής και Υπολογιστών	el
heal.academicPublisherID	ntua
heal.numberOfPages	74 σ.	el
heal.fullTextAvailability	false