Προτυποποίηση και ανάλυση εκφραστικότητας μη λεκτικής συμπεριφοράς κατα την φυσική αλληλεπίδραση

Abstract

Τα τελευταία χρόνια έχει γίνει σημαντικό ερευνητικό έργο σχετικά με τον καθορισμό και την εξόρυξη των χαρακτηριστικών εκφραστικότητας όλου του σώματος μέσα στο πλαίσιο της χρησιμοποίησης της φυσικής αλληλεπίδρασης στα παιχνίδια και σε μάθηση βασιζόμενη σε παιχνίδια. Η εκφραστικότητα της συμπεριφοράς αποτελεί αναπόσπαστο μέρος της διαδικασίας της επικοινωνίας δεδομένου ότι μπορεί να παρέχει πληροφορίες σχετικά με την τρέχουσα συναισθηματική κατάσταση, την προσωπικότητα του συνομιλητή και τις επιδόσεις του, όταν ο στόχος της αλληλεπίδρασης είναι μετρήσιμος. Πολλοί ερευνητές έχουν μελετήσει χαρακτηριστικά της ανθρώπινης κίνησης και τα κωδικοποίησαν σε δυαδικές κατηγορίες όπως αργή / γρήγορη, περιορισμένη / ευρεία, αδύναμη / ισχυρή, μικρή / μεγάλη, δυσάρεστη/ευχάριστη, ώστε να μοντελοποιήσουν κατάλληλα την εκφραστικότητα. Οι διαστάσεις της εκφραστικότητας επιλέγονται ως η πιο ολοκληρωμένη προσέγγιση στη μοντελοποίηση της εκφραστικότητας του σώματος, δεδομένου ότι καλύπτουν όλο το φάσμα των εκφραστικών παραμέτρων που σχετίζονται με το συναίσθημα. Από τον τομέα της σύνθεσης εκφραστικότητας πέντε παράμετροι έχουν οριστεί υπολογιστικά ακολουθώντας διαφορετικές προσεγγίσεις και η σύγκριση αυτών των προσεγγίσεων έχει ως στόχο να διερευνήσει την πλέον κατάλληλη για την αναπαράσταση κάθε χαρακτηριστικού εκφραστικότητας. Στη συγκεκριμένη διπλωματική εργασία έγινε στατιστική επεξεργασία με τη χρήση του Matlab, δεδομένων που καταγράψαμε από τέσσερις χρήστες με τη βοήθεια του Kinect της Microsoft. Tα δεδομένα που καταγράψαμε προήλθαν από την κίνηση των χρηστών με βάση πέντε εκφραστικές παραμέτρους (συνολική ενεργοποίηση, χωρική έκταση, διάρκεια κίνησης, ρευστότητα, δύναμη) για ελάχιστη κίνηση του χρήστη (τιμή 0) και για μέγιστη κίνηση (τιμή 1). Για κάθε εκφραστική παράμετρο χρησιμοποιήθηκαν διαφορετικές προσεγγίσεις με βάση τη σιλουέτα, τα άκρα και τις αρθρώσεις. Στη συνέχεια, χρησιμοποιήθηκαν διάφοροι αλγόριθμοι για την αξιολόγηση των παραπάνω εκφραστικών παραμέτρων με τη χρήση της πλατφόρμας λογισμικού μηχανικής μάθησης Weka.

In recent years preliminary research has been conducted on defining and extracting full body expressivity features within the framework of using natural interaction in games and game based learning. Behavior expressiveness is an integral part of the communication process since it can provide information on the current emotional state, the personality of the interlocutor and his performance when the aim of the interaction is measurable. Many researchers have studied characteristics of human movement and coded them in binary categories such as slow/fast, restricted/wide, weak/strong, small/big, unpleasant/pleasant in order to properly model expressivity. Expressivity dimensions are selected as the most complete approach to body expressivity modeling, since they cover the entire spectrum of expressivity parameters related to emotion and affect. Derived from the field of expressivity synthesis five parameters have been computationally defined following different approaches and comparison of these approaches aims to investigate the most suitable for representing each expressivity feature. In this thesis, statistical analysis was made using Matlab, from data that we recorded from four users with the help of Microsoft’s Kinect . The recorded data were derived from the movement of users according to five expressivity features (overall activation, spatial extent, temporal, fluidity, power) for minimum movement of the user (value 0) and for maximum movement (value 1). For each expressivity feature we used different approaches based on the silhouette, limbs and joints. Then, we used various algorithms for the evaluation of these expressivity features using machine learning software platform Weka.