Πολυτροπικές Σημασιολογικές Αναπαραστάσεις Λέξεων με Βάση την Ανθρώπινη Αντίληψη

Καραμανωλάκης, Ιωάννης

dc.contributor.author	Καραμανωλάκης, Ιωάννης	el
dc.date.accessioned	2020-04-14T15:56:34Z
dc.date.available	2020-04-14T15:56:34Z
dc.identifier.uri	https://dspace.lib.ntua.gr/xmlui/handle/123456789/50162
dc.identifier.uri	http://dx.doi.org/10.26240/heal.ntua.17860
dc.rights	Αναφορά Δημιουργού-Μη Εμπορική Χρήση-Όχι Παράγωγα Έργα 3.0 Ελλάδα	*
dc.rights.uri	http://creativecommons.org/licenses/by-nc-nd/3.0/gr/	*
dc.subject	Πολυτροπικά Σημασιολογικά Μοντέλα	el
dc.subject	Μηχανική Μάθηση	el
dc.subject	Μάθηση Αναπαραστάσεων	el
dc.subject	Σημασιολογική Ομοιότητα Λέξεων	el
dc.subject	Μουσική Ομοιότητα	el
dc.subject	Distributional Semantic Models	en
dc.subject	Machine Learning	el
dc.subject	Representation Learning	el
dc.subject	Word Semantic Similarity	el
dc.subject	Music Similarity	el
dc.title	Πολυτροπικές Σημασιολογικές Αναπαραστάσεις Λέξεων με Βάση την Ανθρώπινη Αντίληψη	el
dc.contributor.department	Εργαστήριο Όρασης Υπολογιστών, Επεξεργασίας Λόγου και Επεξεργασίας Σημάτων	el
heal.type	bachelorThesis
heal.secondaryTitle	Multimodal Semantic Word Representations Based on Human Perception	en
heal.classification	Τεχνητή Νοημοσύνη	el
heal.language	el
heal.access	free
heal.recordProvider	ntua	el
heal.publicationDate	2017-06-12
heal.abstract	Τα Κατανεμημένα Σημασιολογικά Μοντέλα είναι από τις πιο γνωστές υπολογιστικές μεθόδους για την αναπαράσταση της έννοιας των λέξεων, μοντελοποιώντας τα πρότυπα συνεμφάνισης λέξεων σε πηγές κειμένου. Λόγω της δυνατότητας υπολογισμού της σημασιολογικής ομοιότητας μεταξύ λέξεων, εφαρμόζονται με επιτυχία σε πολλά προβλήματα σχετικά με την Επεξεργασία Φυσικής Γλώσσας και την Εξαγωγή και Ανάκτηση Πληροφορίας. Ωστόσο, τα μοντέλα αυτά αδυνατούν να αναπαραστήσουν την έννοια των λέξεων σύμφωνα με την ανθρώπινη αντίληψη, καθώς ο άνθρωπος συνδυάζει την έννοια των λέξεων με τα ερεθίσματα που δέχεται μέσω των αισθήσεών του, όπως για παράδειγμα μέσω της όρασης ή της ακοής. Στόχος αυτής της Διπλωματικής εργασίας είναι η αντιμετώπιση του παραπάνω προβλήματος μέσω της δημιουργίας Πολυτροπικών Κατανεμημένων Σημασιολογικών Μοντέλων. Αρχικά, γίνεται περιγραφή της διαδικασίας για τη δημιουργία Κατανεμημένων Σημασιολογικών Μοντέλων και στη συνέχεια παρουσιάζεται η επέκτασή τους σε πολυτροπικά μοντέλα. Δίνεται έμφαση σε πολυτροπικά μοντέλα ήχου για την αναπαράσταση των λέξεων με βάση τις ακουστικές τους ιδιότητες, ωστόσο πραγματοποιείται συνοπτική περιγραφή και των πολυτροπικών μοντέλων εικόνας. ́Επειτα, γίνεται αναφορά σε μεθόδους για την Πολυτροπική Σύμπτυξη, δηλαδή τη σύμπτυξη των μοντέλων που βασίζονται σε χαρακτηριστικά κειμένων, ήχων και εικόνων με σκοπό τη δημιουργία μίας ενιαίας πολυτροπικής αναπαράστασης λέξεων. Σύμφωνα με όσα γνωρίζουμε, η παρούσα εργασία αποτελεί την πρώτη προσπάθεια για τη δημιουργία αναπαραστάσεων λέξεων χρησιμοποιώντας ταυτόχρονα τα κειμενικά, ακουστικά και οπτικά τους χαρακτηριστικά. Μάλιστα, διαπιστώνεται ότι η απόδοση των πολυτροπικών μοντέλων ξεπερνά την απόδοση των παραδοσιακών κατανεμημένων μοντέλων στο πρόβλημα αξιολόγησης της σημασιολογικής ομοιότητας των λέξεων. Επίσης, προτείνονται δύο επεκτάσεις των πολυτροπικών μοντέλων ήχου, η μία εκ των οποίων σχετίζεται με τη χρήση και σύμπτυξη πολλαπλών χώρων χαρακτηριστικών ανάλογα με τη φύση του ήχου. Αυτή η επέκταση οδηγεί σε βελτίωση της απόδοσης στο ίδιο πρόβλημα σε σύγκριση με τα πολυτροπικά μοντέλα ήχου που αναφέρονται στη βιβλιογραφία. Επιπλέον, οι πολυτροπικές αναπαραστάσεις λέξεων αποδεικνύονται χρήσιμες όχι μόνο για την εκτίμηση της ομοιότητας λέξεων αλλά και για την ομοιότητα μεταξύ λέξεων και ήχων, λέξεων και εικόνων κ.ο.κ. Στα πλαίσια αυτής της εργασίας, τα Κατανεμημένα Σημασιολογικά Μοντέλα ́Ηχου εφαρμόζονται για πρώτη φορά σε δύο προβλήματα του τομέα Ανάκτησης Μουσικής Πληροφορίας: τον αυτόματο χαρακτηρισμό ηχητικών αποσπασμάτων και την αξιολόγηση μουσικής ομοιότητας. Διαπιστώνεται ότι ο προτεινόμενος αλγόριθμος για τον χαρακτηρισμό ήχων προβλέπει αντιπροσωπευτικές λέξεις που περιγράφουν το ηχητικό περιεχόμενο και θα μπορούσαν να αξιοποιηθούν σε περιπτώσεις έλλειψης μεταδεδομένων. Ακόμη, η ταυτόχρονη αξιοποίηση των ακουστικών χαρακτηριστικών και των περιγραφικών λέξεων για την αξιο- λόγηση της μουσικής ομοιότητας, καθιστά τον προτεινόμενο αλγορίθμο (μη επιβλεπόμενης μάθησης) συγκρίσιμο με τους αλγορίθμους που προτείνονται στη βιβλιογραφία. Η ικανοποιητική απόδοση των πολυτροπικών μοντέλων σε καθένα από τα παραπάνω προβλήματα αποτελεί κίνητρο για την εφαρμογή περισσότερων ιδεών στα πλαίσια μελλοντικής έρευνας. (el)	el
heal.advisorName	Ποταμιάνος, Αλέξανδρος	el
heal.committeeMemberName	Μαραγκός, Πέτρος	el
heal.committeeMemberName	Πικράκης, Άγγελος	el
heal.academicPublisher	Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών	el
heal.academicPublisherID	ntua
heal.numberOfPages	109
heal.fullTextAvailability	true