Διαχείριση ψηφιακής ορχήστρας με χρήση κινητών τεχνολογιών

Abstract

Στόχος της διπλωματικής εργασίας είναι η σχεδίαση και ανάπτυξη μιας εφαρμογής η οποία αναπαράγει ένα μουσικό κομμάτι αποθηκευμένο σε αρχείο MIDI, επιτρέποντας παράλληλα τον έλεγχο των μουσικών οργάνων του μουσικού κομματιού σε πραγματικό χρόνο, χρησιμοποιώντας τις κινήσεις ενός κινητού τηλεφώνου με λειτουργικό σύστημα Android. Η εφαρμογή αποτελείται από δύο βασικά μέρη. Το πρώτο μέρος είναι αυτό που εκτελείται στον υπολογιστή, το οποίο φορτώνει το αρχείο MIDI που θέλουμε να αναπαράγουμε, αναπαριστά τα μουσικά όργανα από τα οποία αποτελείται το μουσικό κομμάτι και αναπαράγει τη μουσική με τρόπο ώστε να είναι δυνατός ο έλεγχος των χαρακτηριστικών της αναπαραγωγής όπως η συνολική ένταση του κομματιού, η ένταση του κάθε μουσικού οργάνου ξεχωριστά, η θέση του μουσικού οργάνου μέσα στο στερεοφωνικό χώρο και ο ρυθμός αναπαραγωγής του μουσικού κομματιού, παρουσιάζοντας παράλληλα τα χαρακτηριστικά αυτά κατά την εκτέλεση του μουσικού κομματιού. Το δεύτερο μέρος της εφαρμογής είναι αυτό που εκτελείται στο κινητό τηλέφωνο με λειτουργικό σύστημα Android. Το μέρος αυτό, χρησιμοποιώντας τους αισθητήρες κίνησης και προσανατολισμού που υπάρχουν στο κινητό τηλέφωνο, αντιλαμβάνεται τις κινήσεις του κινητού τηλεφώνου από τον χρήστη μέσα στο χώρο, τις οποίες ερμηνεύει και στέλνει στο μέρος της εφαρμογής που εκτελείται στον υπολογιστή, επιτρέποντας έτσι τον έλεγχο της αναπαραγωγής από απόσταση και με πιο αλληλεπιδραστικό και φυσικό τρόπο. Οι κινήσεις του κινητού τηλεφώνου ερμηνεύονται ανάλογα με την επιλογή του χρήστη, είτε ως κινήσεις του δείκτη επιλογής (mouse) είτε ως εντολές για την μεταβολή των μεταβλητών της εφαρμογής. Η επικοινωνία μεταξύ υπολογιστή και κινητού τηλεφώνου, γίνεται με χρήση της τεχνολογίας Bluetooth. Οι δύο συσκευές συνδέονται ασύρματα και μηνύματα ελέγχου στέλνονται από το κινητό τηλέφωνο στον υπολογιστή, χρησιμοποιώντας ένα ελαφρύ πρωτόκολλο επικοινωνίας.

The scope of this thesis is to design and develop a software application that plays music stored in a MIDI file, allowing the user to control the musical instruments of the orchestra in real time, by using the move gestures of a mobile phone with Android operating system. The application consists of two basic components. The first one, is the part that runs on the computer, which loads the MIDI file that we choose to play, visually represents the musical instruments that compose the music file and plays the music in a way that makes it possible for the user to control music elements, such as the total volume of the music, the volume of each musical instrument, the position of each musical instrument in the stereo space and the tempo of the music. At the same time, it displays all this information to the user, as the music is playing. The second component is the one that runs on the mobile phone with the Android operating system. This part uses the motion and orientation sensors of the mobile phone, in order to understand the way that the user is moving the mobile phone. The application interprets the motion gestures and sends them to the first component, the one that runs on the computer, allowing the playing process to be controlled remotely in a natural and interactive way. User can choose the way that mobile phone’s movements are interpreted, either as mouse movements or as control commands that change the variables of the application. The communication between the computer and the mobile phone is achieved with the use of Bluetooth technology. The two devices are connected wirelessly and the mobile phone sends control messages to the computer, by using a lightweight communication protocol.