Αυτόματα Συστήματα Αντίληψης και Εκμάθησης Ανθρώπινων Δράσεων

Ευθυμίου, Νίκη; Efthymiou, Niki

dc.contributor.author	Ευθυμίου, Νίκη	el
dc.contributor.author	Efthymiou, Niki	en
dc.date.accessioned	2024-02-13T11:24:20Z
dc.date.available	2024-02-13T11:24:20Z
dc.identifier.uri	https://dspace.lib.ntua.gr/xmlui/handle/123456789/58886
dc.identifier.uri	http://dx.doi.org/10.26240/heal.ntua.26582
dc.rights	Αναφορά Δημιουργού-Μη Εμπορική Χρήση-Όχι Παράγωγα Έργα 3.0 Ελλάδα	*
dc.rights.uri	http://creativecommons.org/licenses/by-nc-nd/3.0/gr/	*
dc.subject	Αναγνώριση Δράσεων	el
dc.subject	Ρομποτική αντίληψη	el
dc.subject	Αλληλεπίδραση παιδιών - ρομπότ	el
dc.subject	Ψηφιακός φαινότυπος	el
dc.subject	Εντοπισμός ψυχωτικών υποτροπών	el
dc.subject	Action Recognition	el
dc.subject	Child-robot interaction	el
dc.subject	Robotic perception	el
dc.subject	Digital phenotype	el
dc.subject	Psychotic relapse detection	el
dc.title	Αυτόματα Συστήματα Αντίληψης και Εκμάθησης Ανθρώπινων Δράσεων	el
dc.title	Automated Perception and Learning Systems for Human Activity Recognition	en
heal.type	doctoralThesis
heal.classification	Machine Learning	en
heal.classification	Computer Vision	el
heal.classification	Μηχανική Μάθηση	el
heal.classification	Όραση Υπολογιστών	el
heal.language	el
heal.access	free
heal.recordProvider	ntua	el
heal.publicationDate	2023-11-02
heal.abstract	Η μελέτη της ανθρώπινης δραστηριότητας έχει απασχολήσει και συνεχίζει να απασχολεί πολυπλεύρως την επιστημονική κοινότητα. Στην παρούσα διατριβή εστιάζουμε στην ανάπτυξη καινοτόμων αυτόματων συστημάτων ικανών να αντιληφθούν και να μάθουν τις διαφορετικές εκφάνσεις των ανθρώπινων δράσεων. Η διατριβή χωρίζεται σε δύο μέρη που διαφοροποιούνται κύρια από τον τρόπο αντίληψης των δράσεων. Στο πρώτος μέρος η καταγραφή των δράσεων γίνεται με οπτικούς αισθητήρες ενώ στο δεύτερο, με μη οπτικούς αισθητήρες καταγραφής βιοσημάτων. Στο πρώτο μέρος της διατριβής ερευνούμε την ανάπτυξη ευφυών συστημάτων αναγνώρισης δράσεων παιδιών κατά τη διάρκεια αλληλεπιδράσεων τους με ρομπότ. Αρχικά μελετήσαμε την ανάπτυξη ενός διευρυμένου συστήματος αλληλεπίδρασης παιδιών με ρομπότ με πολλαπλές αντιληπτικές ικανότητες, λ.χ. αναγνώριση δράσεων, ομιλίας, εντοπισμού ομιλητών και αντικειμένων, μέσω πολλαπλών καμερών και δυνατότητα χρήσης και ενσωμάτωσης πολλαπλών ρομπότ σε ένα ενιαίο σύστημα. Συλλέξαμε και δημιουργήσαμε μια μεγάλη βάση παιδικών δραστηριοτήτων που περιλαμβάνει χειρονομίες, γενικευμένες κινήσεις του σώματος, ομιλία, έκφραση συναισθημάτων κ.α. μεμονωμένα αλλά και κατά τη διάρκεια των αλληλεπιδράσεων. Αξιολογήσαμε το σύστημα τόσο ως προς την ικανότητα των μονάδων αναγνώρισης όσο και ως προς την συνολική αλληλεπίδραση των παιδιών με τα ρομπότ. Στη συνέχεια αναπτύξαμε ένα πιο ελαφρύ σύστημα για τη σχεδίαση και εκτέλεση εκπαιδευτικών σεναρίων με βάση την οπτική πληροφορία για χρήση σε πιο ελεύθερα περιβάλλοντα, όπως η σχολική αίθουσα. Κατά την ανάπτυξη των παραπάνω συστημάτων, κάναμε εκτενή έρευνα ως προς την οπτική αναγνώριση των δράσεων και των χειρονομιών των παιδιών. Αναδείξαμε την ανάγκη ύπαρξης συστημάτων αναγνώρισης ειδικά προσαρμοσμένων σε δεδομένα παιδιών, μελετήσαμε την απόδοση των συστημάτων κατά τη χρήση πολλαπλών ή/και μεμονωμένων όψεων καταγραφής ενώ μελετήσαμε και εφαρμόσαμε μεθόδους επαυξημένης μάθησης για εύκολη επέκταση των δράσεων αναγνώρισης. Στο δεύτερο μέρος της διατριβής ασχολούμαστε με την αναγνώριση δράσεων μέσω της χρήσης βιοσημάτων από έξυπνους φορετούς αισθητήρες, η χρήση των οποίων διευρύνεται καθημερινά και παρέχει νέες δυνατότητες για ανάπτυξη καινοτόμων συστημάτων αναγνώρισης της ανθρώπινης δραστηριότητας. Έτσι, ερευνούμε την αξιοποίηση σημάτων που συλλέγονται από έξυπνα ρολόγια, λ.χ. επιτάχυνσης, γωνιακής ταχύτητας, καρδιακού ρυθμού, ώστε να μελετήσουμε τη δυνατότητα δημιουργίας ψηφιακών φαινοτύπων των χρηστών, δηλαδή ψηφιακών προφίλ που μπορούν να αποδώσουν τα χαρακτηριστικά μοτίβα της καθημερινότητάς τους αλλά και να αποκαλύψουν σημαντικές μεταβολές από αυτά. Αρχικά, μελετήσαμε τη διαφορά των ψηφιακών αναπαραστάσεων-φαινοτύπων μεταξύ ενός δείγματος ελέγχου και ενός δείγματος ασθενών με ψυχωτικές διαταραχές μέσω εκτεταμένης στατιστικής ανάλυσης και αναπτύξαμε ένα ευφυές σύστημα ταυτοποίησης-ταξινόμησης του κάθε χρήστη με βάση τον ψηφιακό του φαινότυπο ερευνώντας εκτενώς τις επιμέρους παραμέτρους του συστήματος. Στη συνέχεια προσεγγίσαμε το πρόβλημα του εντοπισμού των ψυχωτικών υποτροπών που παρουσιάζονται συχνά σε άτομα με ψυχωτικές διαταραχές. Συγκεκριμένα, αντιμετωπίσαμε το πρόβλημα ως ένα πρόβλημα λανθασμένης ταξινόμησης υποθέτοντας πως κατά τη διάρκεια μιας υποτροπής της ασθένειας είναι δυνατόν να παρατηρήσουμε σημαντικές μεταβολές στον ψηφιακό φαινότυπο και άρα να μειώνεται η πιθανότητα ταυτοποίησης του εκάστοτε χρήστη σε περιόδους υποτροπών ή λίγο πριν από αυτές. Τέλος, επεκτείναμε το σύστημα εντοπισμού υποτροπών συνδυάζοντας τεχνικές εντοπισμού ανωμαλιών με τις τεχνικές που αναπτύξαμε για την ταυτοποίηση των χρηστών ώστε να επιτύχουμε βελτιωμένη απόδοση στην εκτίμηση της φάσης διαταραχής των ασθενών.	el
heal.abstract	The study of human activity is a subject of great interest to the scientific community. The primary objective of this dissertation is to develop novel automatic systems with the ability to perceive and acquire knowledge regarding diverse facets of human behavior. The dissertation is structured into two sections, which are primarily distinguished by the method of perception employed; in the initial section, actions are perceived through visual sensors while in the subsequent section, non-visual biometric sensors are employed. In the first section, we explore the development of intelligent action recognition systems for children during their interactions with robots. Initially, we study the development of a robust integrated system for child-robot interactions with multiple perceptual capabilities, such as action recognition, speech recognition, speaker localization and object tracking, through multiple cameras and leveraging multiple robots. We collect and create a large database of children's activities, including gestures, generalized body movements, speech, expression of emotions, etc., both individually and during interactions. We evaluated the system both in terms of the performance of the recognition modules and the overall interaction of children with robots. Subsequently, we developed a lightweight system for designing and executing educational scenarios based on visual information, for use in more open environments, such as classrooms. During the development of the above systems, we conducted extensive research on visual action and gesture recognition of children activities. We highlighted the need for recognition systems specifically adapted to children's data, assessed the impact of employing both multiple and single recording perspectives on the system's efficiency in recognition, and experimented with incremental learning methods for easier expansion of action recognition capabilities. In the second section, we delve into the recognition of activity through the use of biometrics from smart wearable sensors. Wearable sensors such as smartwatches are becoming increasingly more popular, creating exciting new opportunities for the design of unique human activity recognition systems. Thus, we explore the use of signals collected from smartwatches, such as acceleration, angular velocity, and heart rate, to study the users’ digital phenotypes, i.e., digital profiles that can reflect the characteristic patterns of their daily lives. These patterns are especially useful since they allow us to detect significant deviations in the daily life of a user. Initially we used comprehensive statistical analysis to compare the differences in digital representations-patterns between a control sample and a sample of individuals with psychiatric disorders. We developed an intelligent identification-classification system based on their digital patterns, thoroughly investigating the system's individual attributes. We then addressed the problem of detecting psychotic relapses that often occur in individuals with psychotic disorders. Specifically, we treated the problem as a misclassification problem, assuming that during a relapse of the disorder significant changes in the digital pattern could be observed, thus reducing the probability of identifying the respective user during relapse periods or shortly before them. Finally, we extended the relapse detection system by combining anomaly detection techniques with the techniques we developed for user identification to achieve improved and robust performance in estimating relapses.	en
heal.advisorName	Μαραγκός, Πέτρος	el
heal.committeeMemberName	Μαραγκός, Πέτρος	el
heal.committeeMemberName	Ποταμιάνος, Αλέξανδρος	el
heal.committeeMemberName	Τζαφέστας, Κωνσταντίνος	el
heal.committeeMemberName	Ποταμιάνος, Γεράσιμος	el
heal.committeeMemberName	Τσανάκας, Παναγιώτης	el
heal.committeeMemberName	Ροντογιάννης, Αθανάσιος	el
heal.committeeMemberName	Σμυρνής, Νικόλαος	el
heal.academicPublisher	Εθνικό Μετσόβιο Πολυτεχνείο. Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών. Τομέας Σημάτων, Ελέγχου και Ρομποτικής	el
heal.academicPublisherID	ntua
heal.numberOfPages	169 σ.	el
heal.fullTextAvailability	false