Ευφυής καταγραφή 3Δ ανθρώπινης κίνησης μέσω δεικτών με χρήση βαθιάς μάθησης και χαρτών βάθους πολλαπλών προβολών

Χατζητοφής, Ανάργυρος; Chatzitofis, Anargyros

dc.contributor.author	Χατζητοφής, Ανάργυρος	el
dc.contributor.author	Chatzitofis, Anargyros	en
dc.date.accessioned	2023-03-06T10:14:43Z
dc.date.available	2023-03-06T10:14:43Z
dc.identifier.uri	https://dspace.lib.ntua.gr/xmlui/handle/123456789/57206
dc.identifier.uri	http://dx.doi.org/10.26240/heal.ntua.24904
dc.rights	Αναφορά Δημιουργού-Μη Εμπορική Χρήση-Όχι Παράγωγα Έργα 3.0 Ελλάδα	*
dc.rights.uri	http://creativecommons.org/licenses/by-nc-nd/3.0/gr/	*
dc.subject	Βαθιά μάθηση	el
dc.subject	Καταγραφή κίνησης	el
dc.subject	Αισθητήρες βάθους	el
dc.subject	Εκτίμηση πόζας	el
dc.subject	Deep learning	en
dc.subject	Motion capture	en
dc.subject	Depth sensors	en
dc.subject	Pose estimation	en
dc.title	Ευφυής καταγραφή 3Δ ανθρώπινης κίνησης μέσω δεικτών με χρήση βαθιάς μάθησης και χαρτών βάθους πολλαπλών προβολών	el
dc.title	Deep marker-based 3D Motion Capture using multi-view depth maps	en
heal.type	doctoralThesis
heal.classification	Motion Capture	en
heal.classification	Deep Learning	en
heal.classification	Computer Vision	en
heal.classification	Καταγραφή Κίνησης	el
heal.classification	Υπολογιστική Όραση	el
heal.classification	Βαθιά Μάθηση	el
heal.language	el
heal.access	free
heal.recordProvider	ntua	el
heal.publicationDate	2022-08-26
heal.abstract	Εδώ και δεκαετίες, η καταγραφή ανθρώπινης κίνησης με χρήση δεικτών αποτελεί το βασικό πρότυπο για την καταγραφή και παρακολούθηση κίνησης υψηλής πιστότητας, ενώ παράλληλα, καινοτόμα μοντέλα βαθιάς μάθησης προτείνονται συνεχώς από την ερευνητική κοινότητα υπολογιστικής όρασης και βαθιάς μάθησης. Ωστόσο, παρά την ακρίβεια χιλιοστού που προσφέρουν τα πρώτα, η χρήση τους είναι περιορισμένη, λόγω υψηλού κόστους εξοπλισμού, αδειών λογισμικού, συντήρησης, κτλ., ενώ τα δεύτερα, αν και αποτελεσματικά και πιο ευέλικτα, δεν μπορούν να επιτύχουν τα ίδια επίπεδα ακρίβειας ελλείψει ισχυρών προκαθορισμών. Εστιάζοντας σε αυτό το ερευνητικό και τεχνολογικό κενό, η προτεινόμενη διδακτορική διατριβή διερευνά και συνδυάζει την υψηλή ακρίβεια που επιτυγχάνουν τα επαγγελματικά συστήματα στην καταγραφή των αρθρωτών κινήσεων του ανθρωπίνου σώματος με τη χρήση δεικτών, την αξιοσημείωτη ικανότητα των μοντέλων όρασης υπολογιστών βαθιάς μάθησης να επιλύουν προβλήματα που σχετίζονται με την παρακολούθηση και εκτίμηση της ανθρώπινης πόζας, καθώς και τις πρόσφατες τεχνολογικές εξελίξεις στους αισθητήρες ανίχνευσης βάθους καταναλωτικής ποιότητας και χαμηλού κόστους για την ανάπτυξη καινοτόμων "υβριδικών" μεθόδων καταγραφής κίνησης. Κατά τη διάρκεια της μελέτης και έρευνας στο συγκεκριμένο πεδίο για την επίτευξη του ερευνητικού στόχου της διατριβής πραγματοποιήθηκαν μια σειρά από ερευνητικές συνεισφορές όπως, μεταξύ άλλων, η μοντελοποίηση του προβλήματος καταγραφής κίνησης με δείκτες από δεδομένα βάθους πολλαπλών χρονικά και χωρικά συσχετισμένων προβολών, η εισαγωγή κατάλληλων αναπαραστάσεων ανεξάρτητων από τον τρόπο καταγραφής των αρχικών δεδομένων ή τη θέση και λειτουργία των αισθητήρων, καθιστώντας τα μοντέλα ικανά να αντεπεξέλθουν αποτελεσματικά ακόμα και με σχετικά περιορισμένα δεδομένα εκπαίδευσης, η ανάπτυξη νέων τεχνικών αποκωδικοποίησης 3Δ συντεταγμένων από 2Δ και 2.5Δ δεδομένα εισόδου με υψηλή ακρίβεια για την αξιοποίηση των μοντέλων σε πραγματικού χρόνου τεχνολογίες καταγραφής κίνησης. Επιπρόσθετα, για την πραγματοποίηση των παραπάνω κρίθηκε απαραίτητη η δημιουργία δύο (2) μεγάλων συνόλων δεδομένων, των DMC και HUMAN4D. Η δημιουργία τους ήταν απαραίτητη λόγω της περιορισμένης δημόσιας διάθεσης δεδομένων βάθους πολλαπλών προβολών που καταγράφουν κινήσεις υποκειμένων με τοποθετημένους δείκτες στο σώμα τους. Αρχικά, με τη δημιουργία του συνόλου δεδομένων DMC επιβεβαιώσαμε τη βασική ιδέα καταγραφής κίνησης με χρήση βαθιάς μάθησης και πολλαπλών χαρτών βάθους με οπισθοανακλαστικά υλικά χωρίς υψηλές απαιτήσεις σε ακρίβεια συγχρονισμού και ground-truth δεδομένων πόζας. Κατόπιν, δημιουργήσαμε το σύνολο δεδομένων HUMAN4D το οποίο παρέχει δεδομένα βάθους από πολλαπλές κάμερες ταυτόχρονης λήψης με συγχρονισμό υλισμικού και εξαιρετικά ακριβείς 3Δ πόζες για εποπτεία και αξιολόγηση, το οποίο κατά σειρά, μας επέτρεψε την πραγματοποίηση περαιτέρω έρευνας γύρω από σύγχρονες μεθόδους εκτίμησης πόζας/κίνησης και τεχνικών αναπαράστασης 3Δ συντεταγμένων. Τέλος, ως ακολουθία των παραπάνω πραγματοποιήθηκε η ανάπτυξη μιας νέας, state-of-the-art μεθόδου εκτίμησης 3Δ πόζας/κίνησης από δεδομένα βάθους με τη χρήση σφαιρικών οπισθοανακλαστικων δεικτών.	el
heal.abstract	For decades, marker-based human motion capture has been the standard for high-fidelity motion capture, while new, innovative deep learning models are constantly being proposed by the computer vision and deep learning research community. However, despite the millimeter accuracy offered by the former, their use is limited due to the high costs of equipment, software licenses, maintenance, etc., while the latter, although efficient and more flexible, cannot achieve the same levels of accuracy and precision in the absence of robust priors. Focusing on this research and technological gap, the proposed Ph.D. thesis explores and combines the high accuracy achieved by professional systems in capturing articulated human motions using markers, the remarkable ability of deep learning models to solve human pose estimation and tracking problems, and recent technological developments in consumer-grade and low-cost depth sensing sensors for the development of novel "hybrid" methods for motion capture. To achieve the research objectives of this thesis, a number of research contributions took place, such as the modeling of marker-based motion capture from spatiotemporally aligned multi-view depth maps, the introduction of appropriate scale and translation invariant representations independent of the way the original data is captured or the pose and operation of the sensors, making the models able to cope effectively even with relatively limited training data, the development of new techniques for decoding 3D coordinates from 2D and 2.5D input data with high accuracy for real-time operation.In addition, to achieve the above, it was necessary to create 2 large datasets, DMC and HUMAN4D. Their creation was necessary due to the limited availability of public multi-view depth data with body-attached markers on the subjects. Initially, by creating the DMC dataset, we validated the basic concept of motion capture using the deep learning paradigm and multiple depth maps with retro-reflective materials without high requirements on synchronization accuracy and \en{ground-truth} poses. Then, we created the HUMAN4D dataset which provides depth data from multiple cameras with hardware synchronization and highly accurate 3D pose data for supervision and evaluation, which in turn allowed us to conduct further research around state-of-the-art pose/motion estimation methods and 3D coordinate representation techniques. Finally, as a result of the above, we carried out the conceptualization and development of a novel, state-of-the-art method for estimating 3D pose/motion from depth data using spherical retro-reflective markers.	en
heal.advisorName	Κόλλιας, Στέφανος	el
heal.advisorName	Kollias, Stefanos	en
heal.committeeMemberName	Κόλλιας, Στέφανος	el
heal.committeeMemberName	Δάρας, Πέτρος	el
heal.committeeMemberName	Καρπούζης, Κωνσταντίνος	el
heal.committeeMemberName	Σταφυλοπάτης, Ανδρέας	el
heal.committeeMemberName	Στάμου, Γιώργος	el
heal.committeeMemberName	Βουλοδήμος, Αθανάσιος	el
heal.committeeMemberName	Καρυδάκης, Γεώργιος	el
heal.academicPublisher	Εθνικό Μετσόβιο Πολυτεχνείο. Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών	el
heal.academicPublisherID	ntua
heal.numberOfPages	151 σ.	el
heal.fullTextAvailability	false