Automatic Music Synthesis using Neural Networks and
Machine Learning Techniques

Χαρίτου, Δανάη-Νικολέτα; Charitou, Danai-Nikoleta

dc.contributor.author	Χαρίτου, Δανάη-Νικολέτα	el
dc.contributor.author	Charitou, Danai-Nikoleta	en
dc.date.accessioned	2023-01-26T09:28:23Z
dc.date.available	2023-01-26T09:28:23Z
dc.identifier.uri	https://dspace.lib.ntua.gr/xmlui/handle/123456789/56926
dc.identifier.uri	http://dx.doi.org/10.26240/heal.ntua.24624
dc.rights	Αναφορά Δημιουργού 3.0 Ελλάδα	*
dc.rights.uri	http://creativecommons.org/licenses/by/3.0/gr/	*
dc.subject	Music	en
dc.subject	Synthesis	en
dc.subject	Machine Learning	en
dc.subject	Artificial Intelligence	en
dc.subject	Generative Adversarial Networks	en
dc.subject	Μουσική	el
dc.subject	Σύνθεση	el
dc.subject	Μηχανική Μάθηση	el
dc.subject	Τεχνητή Νοημοσύνη	el
dc.subject	Παραγωγικά Αντιπαραθετικά Δίκτυα	el
dc.title	Automatic Music Synthesis using Neural Networks and Machine Learning Techniques	en
dc.title	Αυτόματη Σύνθεση Μουσικής με χρήση Νευρωνικών Δικτύων και τεχνικών Μηχανικής Μάθησης	el
dc.contributor.department	Computer Vision, Speech Communication and Signal Processing Group	el
heal.type	bachelorThesis
heal.classification	Σύνθεση Μουσικής	el
heal.classification	Μηχανική Μάθηση	el
heal.classification	Music Synthesis	en
heal.classification	Machine Learning	en
heal.language	el
heal.language	en
heal.access	free
heal.recordProvider	ntua	el
heal.publicationDate	2022-10-31
heal.abstract	Machine Learning has flourished over the last few years, resulting in the inevitable inclusion of Artificial Intelligence into our everyday life. The emulation of human mental acuity, achieved by Artificial Neural Networks, has made overwhelming progress concerning fundamental or even instinctive intellectual processes. On this ground, the interest of research community is now focused on more creative and generative functionalities, one of those being music synthesis. The process of creating musical pieces is considered a higher mental function that still remains unfathomed, even at a non-computational level. A musical composition constitutes a form of expressing various attributes, such as knowledge, experience, ideas, emotions. Therefore, this involving notion of subjectivity makes the problem of automatic music generation particularly complex. Our approach in the research field of automatic music synthesis is based on Generative Adversarial Networks, one of the most prominent system architectures in the area of generative modeling with several applications in comparable problems of different data types, such as image, video and text. Initially, we examine the task of polyphonic music synthesis for multiple tracks, in terms of generation from scratch, that is without any human input or supplementary information. Afterwards, we extend our model in a human-AI cooperative framework by exploring the task of accompaniment generation, namely the generation process of the musical part which provides the rhythmic and/or harmonic support for the melody or main themes of a song, composed by human. The experimentation over the structure of individual networks, the architecture of the whole system, the training algorithm and various parameters with respect to the generated musical samples, allows us to investigate different aspects of the procedure that an Artificial Intelligence model follows in order to compose music, demonstrating at the same time the impact of the aforementioned components on the produced musical result. Finally, a set of objective metrics concerning musical features is established, while a user study is also conducted in the context of subjective evaluation. In this way, we show that our model is capable of creating novel aesthetic music characterized by tonal, temporal and harmonic structure, achieving competitive performance in comparison with the baseline implementation.	en
heal.abstract	Τα τελευταία χρόνια ο κλάδος της Μηχανικής Μάθησης αναπτύσσεται με ραγδαίους ρυθμούς, καθιστώντας αναπόφευκτη την ενσωμάτωση της Τεχνητής Νοημοσύνης σε ποικίλες πτυχές της ανθρώπινης καθημερινότητας. Η μοντελοποίηση της ανθρώπινης ευφυΐας μέσω της δημιουργίας Τεχνητών Νευρωνικών Δικτύων σημείωσε σημαντική πρόοδο σε επίπεδο βασικών, ίσως και ενστικτωδών για τον άνθρωπο, λειτουργιών, στρέφοντας έτσι το ενδιαφέρον της επιστημονικής κοινότητας στην προσπάθεια προσέγγισης πιο παραγωγικών και δημιουργικών διαδικασιών. Μια εξ αυτών είναι και η σύνθεση μουσικής. Πρόκειται για μία ανώτερη νοητική λειτουργία, η οποία ακόμη και σε μη υπολογιστικό επίπεδο θεωρείται ανεξερεύνητη. ΄Ενα μουσικό κομμάτι αποτελεί μια μορφή έκφρασης διαφόρων στοιχείων, όπως οι γνώσεις, η εμπειρία, τα ακούσματα, τα συναισθήματα, οπότε αυτή η έννοια της υποκειμενικότητας που εμπλέκεται, καθιστά το πρόβλημα δημιουργίας μουσικής με αυτόματο τρόπο ιδιαίτερα περίπλοκο. Η δική μας προσέγγιση στην ερευνητική περιοχή της αυτόματης σύνθεσης μουσικής στηρίζεται στα Παραγωγικά Αντιπαραθετικά Δίκτυα (Generative Adversarial Networks), τα οποία αποτελούν την κατ’ εξοχήν αρχιτεκτονική υπολογιστικού συστήματος όσον αφορά tasks που περιλαμβάνουν κάποια διαδικασία δημιουργίας και είναι ευρέως διαδεδομένα σε αντίστοιχα προβλήματα διαφορετικού τύπου δεδομένων, όπως η εικόνα, το βίντεο και το κείμενο. Βάσει, λοιπόν, του εν λόγω μοντέλου, εξετάζουμε σε πρώτο στάδιο την αυτόματη παραγωγή πολυφωνικής μουσικής για πολλαπλά όργανα χωρίς τη χρήση ανθρώπινης εισόδου ή συμπληρωματικών δεδομένων. Στην συνέχεια, επεκτείνουμε το σύστημά μας σε ένα συνεργατικό πλαίσιο ανθρώπου-μηχανής, μελετώντας τη διαδικασία αυτοματοποιημένης σύνθεσης του μουσικού τμήματος που αποτελεί την συνοδεία μιας κύριας μελωδικής γραμμής προερχόμενης από αυθεντική μουσική σύνθεση. Πειραματιζόμενοι με την δομή των επιμέρους δικτύων, την αρχιτεκτονική του συνολικού συστήματος, τον αλγόριθμο εκπαίδευσης αλλά και διάφορες παραμέτρους που χαρακτηρίζουν τα παραγόμενα μουσικά δείγματα, εξερευνούμε διαφορετικές πτυχές του τρόπου με τον οποίο μπορεί ένα μοντέλο Τεχνητής Νοημοσύνης να συνθέτει αυτόνομα μουσική, καταδεικνύωντας συγχρόνως την επίδραση αυτών των στοιχείων στο ακουστικό αποτέλεσμα. Τέλος, αξιοποιώντας ένα σύστημα ποσοτικών μετρικών που αφορούν μουσικά γνωρίσματα αλλά και διεξάγοντας μια ποιοτική μελέτη με την μορφή ακουστικού πειράματος, συμπεραίνουμε ότι το σύστημά μας κατέχει την δυνατότητα δημιουργίας νέων μουσικών συνθέσεων που χαρακτηρίζονται από τονική, χρονική και αρμονική δομή, επιτυγχάνοντας συγχρόνως ανταγωνιστικά αποτελέσματα συγκριτικά με την baseline αρχιτεκτονική.	el
heal.advisorName	Maragos, Petros
heal.committeeMemberName	Rontogiannis, Athanasios
heal.committeeMemberName	Potamianos, Gerasimos
heal.academicPublisher	Εθνικό Μετσόβιο Πολυτεχνείο. Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών. Τομέας Σημάτων, Ελέγχου και Ρομποτικής. Εργαστήριο Όρασης Υπολογιστών, Επικοινωνίας Λόγου και Επεξεργασίας Σημάτων	el
heal.academicPublisherID	ntua
heal.numberOfPages	227
heal.fullTextAvailability	false