Ανάπτυξη εφαρμογής επαυξημένης πραγματικότητας με χρήση τρισδιάστατου βίντεο

Abstract

Ο σκοπός της παρούσας διπλωματικής εργασίας είναι η δημιουργία μιας εφαρμογής επαυξημένης πραγματικότητας, βασισμένη στο ARToolKit, στην οποία ενα εικονικό αντικείμενο υπερτίθεται πάνω στην προοπτική του πραγματικού κόσμου. Το ARToolKit χρησιμοποιεί αλγόριθμους υπολογιστικής όρασης, για να υπολογίσει τη θέση της κάμερας, μεσω του εντοπισμού ενος φυσικού τετράγωνου σχεδίου, του λεγόμενου δείκτη (marker) ,και βάσει της θέσης αυτής σχεδιάζει το εικονικό αντικείμενο. Το εν λόγω αντικείμενο αποτελείται απο μια επίπεδη επιφάνεια στην οποία προβάλλεται μια κινούμενη σκηνή (είτε εικονική είτε του πραγματικόυ κόσμου). Η σκηνή παρουσιάζεται απο διαφορετική προοπτική, αναλογα με τον προσανατολισμό της επιφάνειας, ενισχύοντας με αυτόν τον τρόπο τη τρισδιάστατη αίσθηση προς τον χρήστη. .Οι διαφορετικές προοπτικές της κινούμενης σκηνής ουσιαστικά αποτελούν μια συλλογή απο αρχεία βίντεο γυρισμένα απο διαφορετική γωνία. Η εφαρμογή φροντίζει ετσι ώστε η μετάβαση μεταξυ αυτών να είναι ομαλή, χρησιμοποιώντας καταλληλες συναρτήσεις που παρέχονται απο τα API που χρησιμοποιήθηκαν για την ανάπτυξη της ( στην προκειμένη περίπτωση απο το OpenCV). Επιπροσθέτως, εφαρμόστηκε τρισδιάστατος ήχος με τη βοήθεια του OpenAL API. Τα χαρακτηριστικά του αναπαραγώμενου ήχου, όπως η ένταση μεταβάλλονται ανάλογα με τη θέση του δείκτη, δημιουργώντας με αυτόν τον τρόπο την εντύπωση οτι αυτός προέρχεται απο το εικονικό αντικείμενο και οτι κινείται μέσα στον τρισδιάστατο χώρο με ανάλογο τρόπο. Απο άποψης λειτουργικότητας, δίνεται η επιλογή στον χρήστη να εισάγει τα δικά του αρχεία βίντεο και ήχου στο πρόγραμμα χωρίς να χρειάζεται απο πλευράς του να παρέμβει στο πρόγραμμα (αρκεί τα αρχεία αυτά να πληρούν τις προδιαγραφές που αναφέρονται παρακάτω στο κείμενο). Η εφαρμογή αυτή μπορεί να επωφελήσει πολλούς τομείς, μερικοί απο τους οποίους είναι ο τομέας της διαφήμισης, με τη χρήση κινούμενων διαφημιστικών σπότ που μεταβάλλονται ανάλογα με την προοπτική του καταναλωτή, είτε ο τομέας των τηλε-συνδιασκέψεων, οπου ο χρήστης μπορεί να συνδιασκέπτεται με εικονικές εκδοχές των συνομιλητών του. Λαμβάνοντας υπόψιν οτι ο εξοπλισμός που απαιτείται πλέον είναι εύκολα προσβάσιμος απο το μέσο χρήστη γίνεται κατανοητό οτι η εφαρμογή μπορεί να χρησιμοποιηθεί ευρέως και με μικρό κόστος.

The purpose of this thesis is the development of an augmented reality application, based on the ARToolKit, in which a virtual object is superimposed over the view of the real world. ARToolKit uses computer vision algorithms in order to calculate the position of the camera, by tracking a physical square shape called marker, and according to that position it draws the virtual object. This object consists of a flat surface on which a moving scene is being projected (the scene can be either virtual or real-world). Depending on the orientation of the object, the scene is being presented from a different angle, thus creating an immersive user experience. The different perspectives of the moving scene are actually a collection of video files captured from a different angle. The application makes sure the transition between them is smooth, with the help of the appropriate functions, supplied by the used APIs (in this case, OpenCV). Furthermore, three-dimensional sound was implemented with the use of the OpenAL API. The characteristics of the audio file in reproduction, such as the volume vary depending on the position of the marker, thus creating the illusion that the virtual object is the sound source. From functional perspective, the user can import his own video and audio files in the application without the need to modify the source code ( as long as these files fill the requirements that are mentioned below). The program can be used in many areas, some of which are the advertising, with the use of moving billboards, that vary depending on the angle observed from the consumers, or in teleconference where the user can confer with virtual editions of his interlocutors. Considering the fact the equipment required for the application is easily accessible to the average user, it becomes clear it can be used widely and at a small cost.