Navigating a virtual environment using eye movements

Abstract

Περιβάλλοντα εικονικής πραγματικότητας έχουν χρησιμοποιηθεί τα τελευταία χρόνια για σκοπούς ψυχαγωγικούς, εκπαιδευτικούς και αποκατάστασης. Η περιήγηση του χρήστη σε τέτοια περιβάλλοντα μπορεί να βελτιωθεί όχι μόνο με τελειοποιώντας τα γραφικά και το γενικότερο σχεδιασμό του περιβάλλοντος, αλλά επίσης επιτρέποντας στους χρήστες να πλοηγούνται με φυσικό τρόπο. Ως εκ τούτου, η παρούσα διπλωματική εργασία έχει δύο κυρίως στόχους: πρώτον, την ανάπτυξη ενός εικονικού περιβάλλοντος που μπορεί να εξερευνηθεί μέσω πολλαπλών μεθόδων αλληλεπίδρασης ανθρώπου-υπολογιστή και, δεύτερον, την υλοποίηση μιας συγκεκριμένης μεθόδου πλοήγησης βασισμένη σε κινήσεις των ματιών.

Για το σκοπό αυτό κατασκευάστηκε ένας ρεαλιστικός τρισδιάστατος λαβύρινθος, χρησιμοποιώντας αλγορίθμους γραφικών αιχμής. Το οπτικό μοτίβο του λαβυρίνθου είναι εμπνευσμένο από την ελληνική μυθολογία, ενώ η γεωμετρία του περιβάλλοντος βασίστηκε σε μια ψευδο-τυχαία γεννήτρια λαβύρινθων, προσφέροντας μια μοναδική, αλλά ελεγχόμενη, εμπειρία σε κάθε χρήστη. Προκειμένου να αυξηθεί η αίσθηση εμβύθυσης των χρηστών στο περιβάλλον αυτό, υλοποιήθηκαν αλγόριθμοι προσομοίωσης φωτός και σκιών, κίνησης νερού, αλλά και διάθλασης και περίθλασης του φωτός. Το περιβάλλον σχεδιάζεται σε πραγματικό χρόνο και παρουσιάζεται στους χρήστες σε στερεογραφική προβολή, στο Immersive Power Wall (CAVE) του Εργαστηρίου Εικονικής Πραγματικότητας, στο Ερευντηικό Πανεπιστημιακό Ινστιτούτο Συστημάτων Επικοινωνιών & Υπολογιστών.

Η πλοήγηση του χρήστη στο περιβάλλον επιτεύχθηκε μέσα από ένα πρωτόκολλο επικοινωνίας δικτύου που μπορεί να μεταφέρει σήματα εισόδου από διαφορετικές πηγές. Στο πλαίσιο της παρούσας εργασίας, το περιβάλλον ελέγχθηκε με πληκτρολόγιο υπολογιστή, ποντίκι και ηλεκτρο-οφθαλμογράφημα (ΗΟΓ). Οι χρήστες είχαν τελικά τη δυνατότητα να περιηγηθούν στο λαβύρινθο μέσω κινήσεων των ματιών τους. Αυτό επιτεύχθηκε με την καταγραφή και αποκωδικοποίηση σημάτων ΗΟΓ σε πραγματικό χρόνο, χρησιμοποιώντας τεχνικές επεξεργασίας σήματος.

Συνοπτικά, η παρούσα διπλωματική αποτελεί μια γενική πλατφόρμα που μπορεί να χρησιμοποιηθεί για ανάπτυξη, δοκιμή και σύγκριση διαφορετικών τρόποων πλοήγησης.

Virtual Environments have been used over the years in entertainment, educational and re-habilitation contexts. User immersion within such environments can be improved not only by optimizing the graphics and design of the environment per se, but also by allowing users to navigate them in a natural fashion. Hence, the purpose of this thesis is twofold: first, to develop a virtual environment that can explored via multiple Human-Computer Interaction methods and, second, to implement a navigation method using eye movements.

To that end, a realistic 3d labyrinth was constructed using state of the art graphics algo-rithms. The visual motif was inspired by Greek mythology, while the geometry of the envi-ronment was based on a pseudo-random labyrinth generator, providing a unique, but re-peatable, experience to users. Simulation of light and shadows, water movement, light bloom, refraction and reflection were implemented to increase user immersion. All effects were rendered in real time and presented using stereographic projection on the Immersive Power Wall (CAVE) of the Virtual Reality Laboratory in the Institute of Communication and Computer System.

User navigation within the environment was achieved through a network communication protocol that can transfer input signals from diverse input sources. In the context of this thesis, the environment was tested with a computer keyboard, mouse and electrooculog-raphy (EOG). Ultimately, users were able to navigate the labyrinth solely through eye movements. This was achieved by recording and decoding EOG signals in real time using signal processing techniques.

Overall, this project represents a generic platform that is suitable for developing, testing and comparing different ways of navigation.