Leveraging sensor data for real time recognition of 
engagement in adaptive serious games for health

Μήτσης, Κωνσταντίνος; Mitsis, Konstantinos

dc.contributor.author	Μήτσης, Κωνσταντίνος	el
dc.contributor.author	Mitsis, Konstantinos	en
dc.date.accessioned	2023-06-30T09:36:16Z
dc.date.available	2023-06-30T09:36:16Z
dc.identifier.uri	https://dspace.lib.ntua.gr/xmlui/handle/123456789/57852
dc.identifier.uri	http://dx.doi.org/10.26240/heal.ntua.25549
dc.rights	Default License
dc.subject	Serious games	en
dc.subject	Health	en
dc.subject	Adaptivity	en
dc.subject	Procedural content generation	en
dc.subject	Sensors	en
dc.subject	Παιχνίδια σοβαρού σκοπού	el
dc.subject	Υγεία	el
dc.subject	Προσαρμοστικότητα	el
dc.subject	Αυτοματοποιημένη παραγωγή περιεχομένου	el
dc.subject	Αισθητήρες	el
dc.title	Leveraging sensor data for real time recognition of engagement in adaptive serious games for health	en
dc.title	Αναγνώριση της προσήλωσης χρήστη σε δυναμικά μεταβαλλόμενα παιχνίδια σοβαρού σκοπού για την υγεία με χρήση δεδομένων από αισθητήρες	el
dc.contributor.department	Τομέας συστημάτων μετάδοσης πληροφορίας και τεχνολογίας υλικών	el
heal.type	doctoralThesis
heal.classification	Biomedical Engineering	en
heal.language	en
heal.access	campus
heal.recordProvider	ntua	el
heal.publicationDate	2023-02-13
heal.abstract	The aim of the present Doctoral Thesis is the development of a novel conceptual framework for personalization in serious games (SGs) for health. The proposed framework leverages sensor data for the recognition of player engagement during interaction with SGs for health in real time. This approach aims to automatically generate game content based on player engagement, in-game performance, and health-related needs. In the present thesis, two novel SGs for health are designed and developed, aiming to promote self-health management in chronic health conditions and incorporating mechanics to facilitate procedural generation of content. A novel technique, based on a genetic algorithm, that employs heterogeneous data for procedural content generation (PCG) in SGs for health is presented. Two carefully designed experimental processes are implemented to investigate the feasibility of the proposed framework. The experimental processes collect data from sensors and interaction with the SG for health and investigate matters of player experience, educational value of the intervention, and efficiency of the proposed PCG technique. The two employed SGs for health aim to promote food and nutrition literacy and raise awareness and promote self-health management for obstructive sleep apnea, respectively. Analysis for sensor-based real-time recognition of engagement is conducted by approximating the ground truth, in terms of perceived engagement, through continuous annotations by participants. Results indicate that the educational value of the first SG for health is similar to a traditional intervention and demonstrate the predictive capacity of features extracted from the collected data towards perceived player engagement. In addition, statistically significant differences are revealed in terms of player experience in correlation with the generated content by the PCG. Furthermore, the PCG technique’s capacity to rely on clinically relevant sensor data to produce tailored game content is investigated in a pre-pilot study employing a SG for health for children with type 1 diabetes and/or obesity. Results display the PCG’s effectiveness in generating useful and relevant content, tailored to player needs, based on sensor and platform interaction data. Finally, the proposed PCG technique is evaluated with the use of deep reinforcement learning (DRL) agents for automated playing. Results indicate an overall superiority in DRL agents’ training when exposed to SG content produced by the proposed PCG technique. Overall findings included in the present Doctoral Thesis advocate towards the feasibility of the introduced conceptual framework. The insights gained from the experimental processes provide convincing arguments towards creating a closed real-time engagement feedback loop in adaptive SG for health, based on sensor and interaction data.	en
heal.abstract	Στόχος της παρούσας Διδακτορικής Διατριβής είναι η ανάπτυξη ενός πρωτότυπου εννοιολογικού πλαισίου που επιτρέπει την ενίσχυση και εξατομίκευση της παρέμβασης που προσφέρουν έξυπνα παιχνίδια σοβαρού σκοπού για την υγεία (ΠΣΣΥ). Το προτεινόμενο πλαίσιο αξιοποιεί δεδομένα που συλλέγονται από αισθητήρες για την αναγνώριση των επιπέδων προσήλωσης χρήστη σε πραγματικό χρόνο κατά την αλληλεπίδρασή του με ΠΣΣΥ. Η προσέγγιση αυτή στοχεύει στη δυναμική προσαρμογή του περιεχομένου των παιχνιδιών, με βάση τα εκτιμώμενα επίπεδα προσήλωσης, την επίδοση στο παιχνίδι και τις ιδιαίτερες ανάγκες υγείας του χρήστη. Στη διατριβή, σχεδιάζονται και αναπτύσσονται δύο πρωτότυπα ΠΣΣΥ που αποσκοπούν στην ενημέρωση, στην εκπαίδευση και στην ενίσχυση της ικανότητας αυτοδιαχείρισης χρόνιων νοσημάτων και ενσωματώνουν μηχανισμούς που επιτρέπουν την αυτοματοποιημένη προσαρμογή περιεχομένου (ΑΠΠ). Προτείνεται μια πρωτότυπη μεθοδολογία ΑΠΠ που βασίζεται σε γενετικό αλγόριθμο και στοχεύει στο βέλτιστο και αυτόματο έλεγχο του περιεχόμενου ΠΣΣΥ με βάση συλλεγόμενα ετερογενή δεδομένα. Το προτεινόμενο εννοιολογικό πλαίσιο αξιολογείται σύμφωνα με δύο κατάλληλα σχεδιασμένες πειραματικές διαδικασίες. Οι πειραματικές διαδικασίες συλλέγουν δεδομένα από αισθητήρες και την αλληλεπίδραση με ΠΣΣΥ και διερευνούν ζητήματα εμπειρίας χρήστη, εκπαιδευτικής αξίας της παρέμβασης και επίδοσης της προτεινόμενης μεθοδολογίας ΑΠΠ. Τα δύο ΠΣΣΥ που αξιοποιούνται στοχεύουν στην ενίσχυση της διατροφικής παιδείας και την ενημέρωση και ενίσχυση της αυτοδιαχείρισης της υπνικής άπνοιας αντίστοιχα. Πραγματοποιείται ανάλυση για αναγνώριση των επιπέδων προσήλωσης σε πραγματικό χρόνο αξιοποιώντας επισημειώσεις της αντίληψης προσήλωσης από το χρήστη σε πραγματικό χρόνο. Τα αποτελέσματα υποδεικνύουν ότι το πρώτο ΠΣΣΥ έχει παρόμοια εκπαιδευτική αξία με παραδοσιακή παρέμβαση και επιδεικνύουν την προβλεπτική ικανότητα χαρακτηριστικών που εξάχθηκαν από τα συλλεγόμενα δεδομένα προς τα αντιληπτά επίπεδα προσήλωσης του χρήστη. Παράλληλα, αποκαλύπτονται στατιστικά σημαντικές διαφορές στην εμπειρία χρήστη που σχετίζονται με το παραγόμενο περιεχόμενο από την ΑΠΠ. Η ικανότητα της προτεινόμενης μεθοδολογίας ΑΠΠ να συνυπολογίζει δεδομένα με κλινική αξία που συλλέγονται από αισθητήρες για να παράγει εξατομικευμένο περιεχόμενο αξιολογείται σε προ πιλοτική μελέτη που αξιοποιεί ΠΣΣΥ για παιδιά με σακχαρώδη διαβήτη τύπου 1 ή/και παχυσαρκία. Τα αποτελέσματα παρουσιάζουν την ικανότητα της μεθοδολογίας ΑΠΠ να προβάλει χρήσιμο και σχετικό με τις ανάγκες του χρήστη περιεχόμενο παιχνιδιού, βασιζόμενη σε δεδομένα αισθητήρων και αλληλεπίδρασης. Τέλος, η προτεινόμενη μεθοδολογία ΑΠΠ ελέγχεται με τη χρήση πρακτόρων βαθιάς μάθησης που εκπαιδεύονται να διατρέχουν το ΠΣΣΥ αυτόματα. Τα αποτελέσματα αποδεικνύουν την ανωτερότητα της εκπαίδευσης πρακτόρων που εκτίθενται στο περιεχόμενο που παράγεται αυτόματα από την προτεινόμενη μεθοδολογία ΑΠΠ. Τα συμπεράσματα που παρουσιάζονται στην παρούσα Διδακτορική Διατριβή υποστηρίζουν τη δυνατότητα υλοποίησης του προτεινόμενου εννοιολογικού πλαισίου. Τα αποτελέσματα των πειραματικών διαδικασιών συνηγορούν στη δημιουργία ενός κλειστού βρόχου ανατροφοδότησης της προσήλωσης χρήστη σε δυναμικά μεταβαλλόμενα ΠΣΣΥ, αξιοποιώντας δεδομένα αισθητήρων και αλληλεπίδρασης.	el
heal.advisorName	Νικήτα, Κωνστίνα	el
heal.advisorName	Nikita, Konstantina	en
heal.committeeMemberName	Nikita, Konstantina
heal.committeeMemberName	Koutsouris, Dionysios-Dimitrios
heal.committeeMemberName	Stamou, Georgios
heal.committeeMemberName	Matsopoulos, Georgios
heal.committeeMemberName	Tsanakas, Panagiotis
heal.committeeMemberName	Voulodimos, Athanasios
heal.committeeMemberName	Golemati, Spireta
heal.academicPublisher	Εθνικό Μετσόβιο Πολυτεχνείο. Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών	el
heal.academicPublisherID	ntua
heal.numberOfPages	132 σ.	el
heal.fullTextAvailability	false