Ημιεπιβλεπόμενη μάθηση για την ανάλυση ηχογραφήσεων ποντικιών

Στούμπου, Βασιλική; Stoumpou, Vasiliki

dc.contributor.author	Στούμπου, Βασιλική	el
dc.contributor.author	Stoumpou, Vasiliki	en
dc.date.accessioned	2022-01-10T09:44:13Z
dc.date.available	2022-01-10T09:44:13Z
dc.identifier.uri	https://dspace.lib.ntua.gr/xmlui/handle/123456789/54278
dc.identifier.uri	http://dx.doi.org/10.26240/heal.ntua.21976
dc.rights	Αναφορά Δημιουργού-Μη Εμπορική Χρήση-Όχι Παράγωγα Έργα 3.0 Ελλάδα	*
dc.rights.uri	http://creativecommons.org/licenses/by-nc-nd/3.0/gr/	*
dc.subject	Βαθιά μάθηση	el
dc.subject	Μη επιβλεπόμενη μάθηση	el
dc.subject	Μηχανική μάθηση	el
dc.subject	Υπέρηχοι ποντικιών	el
dc.subject	Ημιεπιβλεπόμενη μάθηση	el
dc.subject	Ultrasonic mice vocalizations	en
dc.subject	Deep learning	en
dc.subject	Unsupervised learning	en
dc.subject	Machine learning	en
dc.subject	Semisupervised learning	en
dc.title	Ημιεπιβλεπόμενη μάθηση για την ανάλυση ηχογραφήσεων ποντικιών	el
dc.title	Semi-Supervised learning for mice recordings analysis	en
heal.type	bachelorThesis
heal.classification	Machine learning	en
heal.classification	Signal processing	en
heal.language	el
heal.language	en
heal.access	free
heal.recordProvider	ntua	el
heal.publicationDate	2021-07-05
heal.abstract	Τα ποντίκια επικοινωνούν μεταξύ τους με υπερήχους (USVs (ultrasonic vocalizations)), οι οποία ποικίλλουν ανάλογα με το φύλο του ποντικιού και το στάδιο ανάπτυξης, τις περιβαλλοντικές και κοινωνικές συνθήκες και μπορούν να αξιοποιηθούν για τη μελέτη των νευρικών μηχανισμών που ενεργοποιούνται κατά την παραγωγή τους. Για να μελετηθεί η κοινωνική διάσταση των USVs, έχουν αναπτυχθεί εργαλεία για τον εντοπισμό και την ταξινόμησή τους σε διαφορετικές κατηγορίες. Πολλά από τα εργαλεία που έχουν ήδη αναπτυχθεί περιορίζονται σε offline προσεγγίσεις (περιορίζοντας τη δυνατότητα πειραμάτων πραγματικού χρόνου με ανατροφοδότηση), συχνά εξαρτώνται από συγκεκριμένες συνθήκες ηχογράφησης και χρησιμοποιούν επιβλεπόμενες προσεγγίσεις ταξινόμησης για την κατηγοριοποίηση των USVs, μειώνοντας την πιθανότητα ανακάλυψης νέων κλάσεων. Για να αντιμετωπίσουμε αυτά τα ζητήματα, αναπτύξαμε ένα εργαλείο επεξεργασίας ηχογραφήσεων ποντικών που ονομάζεται AMVOC (Analysis of Mouse VOcal Communication), με αρχικό στόχο την ανίχνευση USVs (offline και online λειτουργία) με συνθήκες κατωφλίωσης στη φασματική ενέργεια. Συγκρίνοντας με δεδομένα που έχουν επισημειωθεί από ειδικούς, το AMVOC εμφάνισε υψηλή ακρίβεια στην ανίχνευση των USVs και ξεπέρασε τις πιο ευρέως διαδεδομένες μεθόδους σε θορυβώδεις συνθήκες. Η διαδικασία online δίνει αποτελέσματα τόσο ακριβή όσο η offline, ανοίγοντας τον δρόμο για πληθώρα νέων πειραμάτων. Η πιο σημαντική συνεισφορά της δουλειάς μας είναι η εφαρμογή μιας μη επιβλεπόμενης μεθόδου βαθιάς μάθησης. Αυτή περιλαμβάνει τη συσταδοποίηση USVs χρησιμοποιώντας λανθάνουσες αναπαραστάσεις, που εξάγονται με χρήση ενός convolutional autoencoder. Η εντελώς μη επιβλεπόμενη προσέγγιση επιτρέπει εναλλακτικές ομαδοποιήσεις των USVs για την εξερεύνηση νέων κατηγοριών. Η διαδικασία αξιολόγησης έδειξε βελτίωση της ομαδοποίησης σε σύγκριση με την ομαδοποίηση με βάση χαρακτηριστικά που εξάγαμε με παραδοσιακές τεχνικές. Μια άλλη καινοτομία της δουλειάς μας είναι η εφαρμογή μιας ημι-επιβλεπόμενης προσέγγισης για την ενίσχυση της ποιότητας της συσταδοποίησης. Η ημι-επίβλεψη γίνεται με τη μορφή περιορισμών σε ζευγάρια από USVs, οι οποίοι εκφράζουν κατά πόσο θέλουμε να ανήκουν στην ίδια ομάδα ή όχι. Η απόδοση της ομαδοποίησης αξιολογήθηκε και πάλι, δείχνοντας μια συνολική βελτίωση σε σχέση με την αρχική, μη επιβλεπόμενη ομαδοποίηση. Η συσταδοποίηση που προκύπτει μπορεί να χρησιμοποιηθεί ως δεδομένα εκπαίδευσης ενός ταξινομητή, ο οποίος στη συνέχεια θα χρησιμοποιηθεί για την ταξινόμηση των USVs που ανιχνεύονται σε εφαρμογές πραγματικού χρόνου, παρέχοντας χρήσιμη ανατροφοδότηση σχετικά με τον τύπο κάθε USV. Αυτά τα αποτελέσματα μπορούν να χρησιμοποιηθούν για να εξερευνήσουν το φωνητικό ρεπερτόριο των ποντικιών. Το AMVOC είναι ένα νέο εργαλείο που διευκολύνει τις φωνητικές αναλύσεις σε ένα ευρύτερο φάσμα πειραματικών συνθηκών και επιτρέπει στους χρήστες να αναπτύξουν νέα πειράματα με πρωτοφανείς διευκολύνσεις.	el
heal.abstract	Mice communicate using ultrasonic vocalizations (USVs), which vary depending on mouse gender and development stage, environmental and social conditions. Neural mechanisms underlying mouse ultrasonic vocalizations (USVs) are a useful model for the neurobiology of human speech and speech-related disorders, making their study an interesting, promising and popular field. To study social meaning and dimensions of mice vocalizations, tools have been developed to detect and classify USVs to different categories. Many of the tools already developed are generally limited to offline approaches, are often dependent on specific recording conditions and employ supervised classification approaches to categorize vocalizations. These methods hinder real-time experimentation with produced vocalizations feedback and also limit the classification of vocalizations in pre-defined classes, reducing the likelihood of discovering new USVs types. To address these issues, we developed a mice recordings processing tool called AMVOC (Analysis of Mouse VOcal Communication), whose functionalities include USVs detection in both offline and online modes, by using spectral energy thresholding. Compared to hand-annotated ground-truth data, AMVOC USVs detection functionality has high accuracy, and outperforms leading methods in noisy conditions, thus allowing for broader experimental uses. Real-time detection method gives results nearly as accurate as the offline procedure, also opening the door to numerous new experiments. The most important contribution of our work is the implementation of an unsupervised deep learning method, which involves clustering USVs using latent features, extracted with the use of a convolutional autoencoder. The completely unsupervised approach we chose enables alternative groupings of vocalizations compared to predetermined classes, indicating the possibility of exploring new meaningful classes. Evaluation procedure involving human annotators showed an improvement of clustering USVs compared to clustering based on hand-crafted features. Another novelty of our work is the application of a semi-supervised approach to enhance the clustering performance and propose an alternative clustering, more recording-focused. Human intervention comes in the form of pairwise constraints between vocalizations. The clustering performances were again evaluated, showing an overall refinement of the completely unsupervised clustering. Resulting clustering can be used as ground-truth data to train a classifier, which will then be used to classify test data, i.e. vocalizations that are detected online, providing useful information about each vocalization's type in real-time experiments. These results can be used to explore the vocal repertoire space of the analyzed vocalizations. AMVOC is a new tool that facilitates vocal analyses in a broader range of experimental conditions and allows users to develop previously inaccessible experimental designs in studies of mouse vocal behavior.	en
heal.advisorName	Ποταμιάνος, Αλέξανδρος	el
heal.committeeMemberName	Ποταμιάνος, Αλέξανδρος	el
heal.committeeMemberName	Γιαννακόπουλος, Θεόδωρος	el
heal.committeeMemberName	Κόλλιας, Στέφανος	el
heal.academicPublisher	Εθνικό Μετσόβιο Πολυτεχνείο. Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών. Τομέας Σημάτων, Ελέγχου και Ρομποτικής	el
heal.academicPublisherID	ntua
heal.numberOfPages	113 σ.	el
heal.fullTextAvailability	false