Υλοποίηση συστήματος σύνθεσης μουσικής μέσω κίνησης

Γαρούφης, Χρήστος; Garoufis, Christos

dc.contributor.author	Γαρούφης, Χρήστος	el
dc.contributor.author	Garoufis, Christos	en
dc.date.accessioned	2018-06-19T10:50:47Z
dc.date.available	2018-06-19T10:50:47Z
dc.date.issued	2018-06-19
dc.identifier.uri	https://dspace.lib.ntua.gr/xmlui/handle/123456789/47087
dc.identifier.uri	http://dx.doi.org/10.26240/heal.ntua.15202
dc.rights	Αναφορά Δημιουργού-Μη Εμπορική Χρήση 3.0 Ελλάδα	*
dc.rights.uri	http://creativecommons.org/licenses/by-nc/3.0/gr/	*
dc.subject	Διαδραστική εφαρμογή	el
dc.subject	Σύνθεση μουσικής μέσω κίνησης	el
dc.subject	Κινέκτ	el
dc.subject	Αναγνώριση χειρονομιών	el
dc.subject	Σκελετικά δεδομένα	el
dc.subject	Interactive application	en
dc.subject	Motion-based music synthesis	en
dc.subject	Kinect	en
dc.subject	Gesture recognition	en
dc.subject	Skeletal data	en
dc.title	Υλοποίηση συστήματος σύνθεσης μουσικής μέσω κίνησης	el
dc.title	A Kinect application for composing music through motion	en
heal.type	bachelorThesis
heal.classification	Αντίληψη και όραση υπολογιστών	el
heal.classification	Βασική μηχανική μάθηση	el
heal.classification	Μουσική με χρήση ηλεκτρονικού υπολογιστή	el
heal.classification	Computer vision	en
heal.classification	Machine learning	en
heal.classification	Computer music	en
heal.classificationURI	http://data.seab.gr/concepts/12c1c913dbe758d67c4c509a6768bdbc7905830c
heal.classificationURI	http://data.seab.gr/concepts/fec24cd140d4b110c225ac68fec062a57fb86360
heal.classificationURI	http://data.seab.gr/concepts/907ace9ccc48c4fc7730d123b90751bf8fa6c7ee
heal.classificationURI	http://id.loc.gov/authorities/subjects/sh85029549
heal.classificationURI	http://id.loc.gov/authorities/subjects/sh85079324
heal.classificationURI	http://id.loc.gov/authorities/subjects/sh85029511
heal.language	el
heal.access	free
heal.recordProvider	ntua	el
heal.publicationDate	2018-03-12
heal.abstract	Το θέμα της παρούσας διπλωματικής εργασίας είναι η δημιουργία ενός συστήματος σύνθεσης μουσικής, και της πλατφόρμας επικοινωνίας του με το χρήστη, το οποίο θα κάνει, με χρήση του αισθητήρα κίνησης του Kinect της Microsoft, tracking σε 2 άτομα και, ανάλογα με την κίνησή τους, θα συνθέτει μουσική σε πραγματικό χρόνο. Ο εντοπισμός της στάσης των χεριών των δύο χρηστών γίνεται μέσω της ενσωματωμένης λειτουργίας skeleton tracking του Kinect. Συγκεκριμένα, με χρήση του ενσωματωμένου συστήματος παρακολούθησης μπορούν να προσδιοριστούν (με αρκετή ακρίβεια) οι θέσεις 25 σημείων του σώματος. Σε ότι αφορά τη στάση των χεριών, έχουμε ορίσει 12 πρότυπες στάσεις χεριών, οι οποίες αντιστοιχούν σε συγκεκριμένες νότες. Για τον προσδιορισμό της στάσης των χεριών, χρησιμοποιείται ένας απλός αλγόριθμος ταιριάσματος (matching), αφού πρώτα εξάγουμε σαν χαρακτηριστικά τα κανονικοποιημένα διανύσματα κατεύθυνσης των χεριών – τα οποία είναι ανεξάρτητα από τα χαρακτηριστικά του παίχτη – χρήστη. Επιπλέον, για την επικοινωνία του παιχνιδιού με τους χρήστες, έχει εκπαιδευτεί ένα σύστημα αναγνώρισης δυναμικών χειρονομιών. Οι χειρονομίες είναι κωδικοποιημένες ως θέσεις των συνδέσμων που αναγνωρίζει η κάμερα, και για την αναγνώρισή τους, αφού εξήχθσαν και εδώ τα κανονικοποιημένα διανύσματα κατεύθυνσης ως γεωμετρικά χαρακτηριστικά, χρησιμοποιήθηκαν αλγόριθμοι που χρησιμοποιούνται για την αναγνώριση και ταξινόμηση χρονοσειρών. Πραγματοποιήθηκε πειραματισμός τόσο με κρυφά μοντέλα Markov,είτε μέσω της διακριτοποίησης των δεδομένων μέσω μίας παρόμοιας με την BoW προσέγγιση, είτε μέσω της εκμάθησης των παρατηρήσεων ως μίγμα Γκαουσιανών, όσο και με διάφορες παραλλαγές του αλγορίθμου του κοντινότερου γείτονα, είτε σε ότι αφορά τη μείωση της διαστατικότητας, είτε την καλύτερη προσαρμογή του στο πρόβλημα της σύγκρισης χρονοσειρών. Τον ταξινομητή συμπληρώνουν τόσο ένας ανιχνευτής κίνησης, όσο και ένας μηχανισμός απόρριψης χειρονομιών που δεν βρίσκονται στο σύνολο εκπαίδευσης. Η μουσική νότα που αντιστοιχεί σε κάθε διαφορετική στάση χεριών καθορίζεται με την αντιστοίχιση διαφορετικής συχνότητας σε καθεμιά από αυτές, με την απαραίτητη προσοχή ώστε παραπλήσιες στάσεις να αντιστοιχούν σε κοντινές ηχητικά νότες. Για την παραγωγή των ημιτονικών κυμάτων, χρησιμοποιήθηκε η βιβλιοθήκη ανοιχτού κώδικα portaudio.	el
heal.abstract	The scope of the following thesis is the programming of a virtual music box, and its user interface, which will, using the motion sensor of a Microsoft Kinect, perform skeleton tracking on 2 people, and, dependent on their movements, will compose music. The detection of the hand pose of the two users is achieved using the skeleton tracking feature of the Kinect. More specifically, using the built-in tracking system, the positions of 25 joints of the human body can be defined with satisfying accuracy. Regarding the static hand pose, we have defined 12 template hand stances, which correspond to specific musical notes. For hand pose classification, we are using a simple template matching algorithm, using as features the normalized direction vectors of the hands, which are largely independent from a player's person - specific characteristics. Furthermore, to model a natural interface between the application and the users, a system for detecting and classifying dynamic hand gestures has been built. Again, using the initial encoding of the joint positions in (x,y,z) coordinates, the normalized direction vectors were extracted as geometric characteristics, and algorithms that are normally used for identifying and classifying time series were used on them. We experimented with a) Hidden Markov Models, either via discretizing the input data using a simplified Bag-of-Words approach, or via learning the observations as a mixture of Gaussians and b) some variations of the vanilla nearest-neighbour algorithm, by either reducing the dimensionality of the search space and the feature space, or adapting the algorithm to the problem of comparing time-series. The bare classifier is supported by an activity detector, as well as a control mechanism that rejects gestures that were not learned. The musical note corresponding to each different hand pose is defined by matching a unique frequency to each possible hand pose, with care being taken to match similar poses to close musically notes. The open-source portaudio library was used to produce the sine waves.	en
heal.advisorName	Μαραγκός, Πέτρος	el
heal.committeeMemberName	Μαραγκός, Πέτρος	el
heal.committeeMemberName	Τζαφέστας, Κωνσταντίνος	el
heal.committeeMemberName	Ποταμιάνος, Γεράσιμος	el
heal.academicPublisher	Εθνικό Μετσόβιο Πολυτεχνείο. Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών. Τομέας Σημάτων, Ελέγχου και Ρομποτικής. Εργαστήριο Όρασης Υπολογιστών, Επικοινωνίας Λόγου και Επεξεργασίας Σημάτων	el
heal.academicPublisherID	ntua
heal.numberOfPages	105 σ.
heal.fullTextAvailability	true