Αυτόματη Ανάλυση Ρυθμικής Συμπεριφοράς Μουσικών Εκτελέσεων

Abstract

Η παρούσα εργασία προτείνει μια μέθοδο αυτόματης ανάλυσης μουσικών εκτελέσεων, η οποία επιτυγχάνεται μέσω της αντιπαραβολής δύο αρχείων, μίας ψηφιακά επεξεργάσιμης παρτιτούρας και μιας ηχογράφησης κάποιας εκτέλεσης της παραπάνω παρτιτούρας. Συγκεκριμένα, ελέγχουμε αν ο εκτελεστής της ηχογράφησης τηρεί τις οδηγίες ρυθμικής αγωγής που του δίδονται πάνω στην παρτιτούρα. Σκοπός είναι να μπορούμε αυτόματα να εμπλουτίσουμε την παρτιτούρα εισόδου με καινούριες σημειώσεις που να υποδεικνύουν ρυθμικές διαφοροποιήσεις μεταξύ των δοθέντων αρχείων, αν κι όπου αυτές υπάρχουν. Ξεκινάμε με την προεπεξεργασία των αρχείων η οποία έχει τους εξής βασικούς άξονες: τη σύνθεση της παρτιτούρας σε ήχο (δεδομένου ότι οι όποιες συγκρίσεις απαιτούν τα δύο αρχεία να παριστάνονται στην ίδια μορφή), την εξαγωγή των φασματικών ιδιοτήτων του προκύπτοντος αρχείου καθώς και της ηχογράφησης κάνοντας χρήση του Short Time Fourier Transform και, τελικά, την ανίχνευση βασικών χαρακτηριστικών της synthesized παρτιτούρας (λήψη των προαναφερθέντων ρυθμικών σημειώσεων και των χρονικών στιγμών έναρξης των θεμελιωδών ρυθμικών μονάδων της/beat). Για να μπορούμε να αντιστοιχίσουμε κάθε χρονική στιγμή της ηχογράφησης με κάποιο σημείο εντός της παρτιτούρας, ευθυγραμμίζουμε χρονικά τις δύο προκύπτουσες φασματικές αναπαραστάσεις με χρήση της τεχνικής Dynamic Time Warping. Ακολουθεί η ποσοτικοποίηση της ρυθμικής συμπεριφοράς της ηχογράφησης μέσω του υπολογισμού της ταχύτητας δομικών μονάδων της (μέτρα) σε μονάδες Beats Per Minute, και η σύγκρισή της με την ταχύτητα εκτέλεσης που ζητείται, έμμεσα ή άμεσα, από τον εκτελεστή, μέσω των ρυθμικών σημειώσεων. Τελικά, καταλήγουμε στο βασικό ζητούμενο, στην παραγωγή μιας επαυξημένης παρτιτούρας, που θα είναι κατά βάση αυτή της εισόδου με την προσθήκη σημειώσεων / παρατηρήσεων για τα σημεία όπου υπάρχουν αποκλίσεις μεταξύ των εισόδων. Όλα τα παραπάνω φτάνουν στο χρήστη μέσω ενός Graphic User Interface που έχει προγραμματιστεί στη Matlab κι εκμεταλλεύεται τον ψηφιακό επεξεργαστή μουσικής σημειογραφίας Musescore. Το GUI δέχεται δύο εισόδους (παρτιτούρα και ηχογράφηση), δίνει επιλογές για τρεις παραμέτρους που αφορούν τη Fourier ανάλυση και τελικά επιστρέφει σε μορφή .pdf την επαυξημένη παρτιτούρα.

This paper proposes a method for automatic analysis of musical performances, achieved by comparing two files, a digitally editable music score sheet and a recording of a performance of the same score. More specifically, we verify if the performer of the recording follows the rhythmic instructions provided by the score. The aim is to be able to automatically enrich the input score with new notations indicating rhythmic differences between the two files, if and where they exist. Firstly, we perform a pre-processing of the files which follows these basic axes: the synthesis of the score to sound (given that any comparison requires the two files to be represented in the same format), the export of spectral properties of the resulting file and the recording using Short Time Fourier Transform and ultimately the detection of key features of the synthesized score (taking the above rhythmic notations and onset of its fundamental rhythmic units/beats). In order to match each recording point in time with a point in the score, we align the two resulting spectral representations using the Dynamic Time Warping technique. Next, we quantify the rhythmic behaviour of the recording by calculating the speed of its structural units (measures) in Beats Per Minute, and comparing it with the speed of execution requested by the performer, directly or indirectly, through rhythmic notations. Finally, we tackle our main question, the production of an augmented score, which corresponds to the input score with the addition of notations/comments on the points where there are discrepancies between the inputs. This process is presented to the user via a Graphic User Interface programmed in Matlab which uses the digital scorewriter Musescore. The GUI accepts two inputs (score and recording), gives options for three parameters related to the Fourier analysis and finally returns the augmented score in .pdf format.