dc.contributor.author | Γαρούφης, Χρήστος![]() |
el |
dc.contributor.author | Garoufis, Christos![]() |
en |
dc.date.accessioned | 2018-06-19T10:50:47Z | |
dc.date.available | 2018-06-19T10:50:47Z | |
dc.date.issued | 2018-06-19 | |
dc.identifier.uri | https://dspace.lib.ntua.gr/xmlui/handle/123456789/47087 | |
dc.identifier.uri | http://dx.doi.org/10.26240/heal.ntua.15202 | |
dc.rights | Αναφορά Δημιουργού-Μη Εμπορική Χρήση 3.0 Ελλάδα | * |
dc.rights.uri | http://creativecommons.org/licenses/by-nc/3.0/gr/ | * |
dc.subject | Διαδραστική εφαρμογή | el |
dc.subject | Σύνθεση μουσικής μέσω κίνησης | el |
dc.subject | Κινέκτ | el |
dc.subject | Αναγνώριση χειρονομιών | el |
dc.subject | Σκελετικά δεδομένα | el |
dc.subject | Interactive application | en |
dc.subject | Motion-based music synthesis | en |
dc.subject | Kinect | en |
dc.subject | Gesture recognition | en |
dc.subject | Skeletal data | en |
dc.title | Υλοποίηση συστήματος σύνθεσης μουσικής μέσω κίνησης | el |
dc.title | A Kinect application for composing music through motion | en |
heal.type | bachelorThesis | |
heal.classification | Αντίληψη και όραση υπολογιστών | el |
heal.classification | Βασική μηχανική μάθηση | el |
heal.classification | Μουσική με χρήση ηλεκτρονικού υπολογιστή | el |
heal.classification | Computer vision | en |
heal.classification | Machine learning | en |
heal.classification | Computer music | en |
heal.classificationURI | http://data.seab.gr/concepts/12c1c913dbe758d67c4c509a6768bdbc7905830c | |
heal.classificationURI | http://data.seab.gr/concepts/fec24cd140d4b110c225ac68fec062a57fb86360 | |
heal.classificationURI | http://data.seab.gr/concepts/907ace9ccc48c4fc7730d123b90751bf8fa6c7ee | |
heal.classificationURI | http://id.loc.gov/authorities/subjects/sh85029549 | |
heal.classificationURI | http://id.loc.gov/authorities/subjects/sh85079324 | |
heal.classificationURI | http://id.loc.gov/authorities/subjects/sh85029511 | |
heal.language | el | |
heal.access | free | |
heal.recordProvider | ntua | el |
heal.publicationDate | 2018-03-12 | |
heal.abstract | Το θέμα της παρούσας διπλωματικής εργασίας είναι η δημιουργία ενός συστήματος σύνθεσης μουσικής, και της πλατφόρμας επικοινωνίας του με το χρήστη, το οποίο θα κάνει, με χρήση του αισθητήρα κίνησης του Kinect της Microsoft, tracking σε 2 άτομα και, ανάλογα με την κίνησή τους, θα συνθέτει μουσική σε πραγματικό χρόνο. Ο εντοπισμός της στάσης των χεριών των δύο χρηστών γίνεται μέσω της ενσωματωμένης λειτουργίας skeleton tracking του Kinect. Συγκεκριμένα, με χρήση του ενσωματωμένου συστήματος παρακολούθησης μπορούν να προσδιοριστούν (με αρκετή ακρίβεια) οι θέσεις 25 σημείων του σώματος. Σε ότι αφορά τη στάση των χεριών, έχουμε ορίσει 12 πρότυπες στάσεις χεριών, οι οποίες αντιστοιχούν σε συγκεκριμένες νότες. Για τον προσδιορισμό της στάσης των χεριών, χρησιμοποιείται ένας απλός αλγόριθμος ταιριάσματος (matching), αφού πρώτα εξάγουμε σαν χαρακτηριστικά τα κανονικοποιημένα διανύσματα κατεύθυνσης των χεριών – τα οποία είναι ανεξάρτητα από τα χαρακτηριστικά του παίχτη – χρήστη. Επιπλέον, για την επικοινωνία του παιχνιδιού με τους χρήστες, έχει εκπαιδευτεί ένα σύστημα αναγνώρισης δυναμικών χειρονομιών. Οι χειρονομίες είναι κωδικοποιημένες ως θέσεις των συνδέσμων που αναγνωρίζει η κάμερα, και για την αναγνώρισή τους, αφού εξήχθσαν και εδώ τα κανονικοποιημένα διανύσματα κατεύθυνσης ως γεωμετρικά χαρακτηριστικά, χρησιμοποιήθηκαν αλγόριθμοι που χρησιμοποιούνται για την αναγνώριση και ταξινόμηση χρονοσειρών. Πραγματοποιήθηκε πειραματισμός τόσο με κρυφά μοντέλα Markov,είτε μέσω της διακριτοποίησης των δεδομένων μέσω μίας παρόμοιας με την BoW προσέγγιση, είτε μέσω της εκμάθησης των παρατηρήσεων ως μίγμα Γκαουσιανών, όσο και με διάφορες παραλλαγές του αλγορίθμου του κοντινότερου γείτονα, είτε σε ότι αφορά τη μείωση της διαστατικότητας, είτε την καλύτερη προσαρμογή του στο πρόβλημα της σύγκρισης χρονοσειρών. Τον ταξινομητή συμπληρώνουν τόσο ένας ανιχνευτής κίνησης, όσο και ένας μηχανισμός απόρριψης χειρονομιών που δεν βρίσκονται στο σύνολο εκπαίδευσης. Η μουσική νότα που αντιστοιχεί σε κάθε διαφορετική στάση χεριών καθορίζεται με την αντιστοίχιση διαφορετικής συχνότητας σε καθεμιά από αυτές, με την απαραίτητη προσοχή ώστε παραπλήσιες στάσεις να αντιστοιχούν σε κοντινές ηχητικά νότες. Για την παραγωγή των ημιτονικών κυμάτων, χρησιμοποιήθηκε η βιβλιοθήκη ανοιχτού κώδικα portaudio. | el |
heal.abstract | The scope of the following thesis is the programming of a virtual music box, and its user interface, which will, using the motion sensor of a Microsoft Kinect, perform skeleton tracking on 2 people, and, dependent on their movements, will compose music. The detection of the hand pose of the two users is achieved using the skeleton tracking feature of the Kinect. More specifically, using the built-in tracking system, the positions of 25 joints of the human body can be defined with satisfying accuracy. Regarding the static hand pose, we have defined 12 template hand stances, which correspond to specific musical notes. For hand pose classification, we are using a simple template matching algorithm, using as features the normalized direction vectors of the hands, which are largely independent from a player's person - specific characteristics. Furthermore, to model a natural interface between the application and the users, a system for detecting and classifying dynamic hand gestures has been built. Again, using the initial encoding of the joint positions in (x,y,z) coordinates, the normalized direction vectors were extracted as geometric characteristics, and algorithms that are normally used for identifying and classifying time series were used on them. We experimented with a) Hidden Markov Models, either via discretizing the input data using a simplified Bag-of-Words approach, or via learning the observations as a mixture of Gaussians and b) some variations of the vanilla nearest-neighbour algorithm, by either reducing the dimensionality of the search space and the feature space, or adapting the algorithm to the problem of comparing time-series. The bare classifier is supported by an activity detector, as well as a control mechanism that rejects gestures that were not learned. The musical note corresponding to each different hand pose is defined by matching a unique frequency to each possible hand pose, with care being taken to match similar poses to close musically notes. The open-source portaudio library was used to produce the sine waves. | en |
heal.advisorName | Μαραγκός, Πέτρος | el |
heal.committeeMemberName | Μαραγκός, Πέτρος | el |
heal.committeeMemberName | Τζαφέστας, Κωνσταντίνος | el |
heal.committeeMemberName | Ποταμιάνος, Γεράσιμος | el |
heal.academicPublisher | Εθνικό Μετσόβιο Πολυτεχνείο. Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών. Τομέας Σημάτων, Ελέγχου και Ρομποτικής. Εργαστήριο Όρασης Υπολογιστών, Επικοινωνίας Λόγου και Επεξεργασίας Σημάτων | el |
heal.academicPublisherID | ntua | |
heal.numberOfPages | 105 σ. | |
heal.fullTextAvailability | true |
Οι παρακάτω άδειες σχετίζονται με αυτό το τεκμήριο: