Βαθιά μηχανική μάθηση για κατηγοριοποίηση προτάσεων

Κόκκινος, Φιλιππος; Kokkinos, Filippos

dc.contributor.author	Κόκκινος, Φιλιππος	el
dc.contributor.author	Kokkinos, Filippos	en
dc.date.accessioned	2017-09-05T07:38:39Z
dc.date.available	2017-09-05T07:38:39Z
dc.date.issued	2017-09-05
dc.identifier.uri	https://dspace.lib.ntua.gr/xmlui/handle/123456789/45506
dc.identifier.uri	http://dx.doi.org/10.26240/heal.ntua.14157
dc.rights	Default License
dc.subject	Βαθιά νευρωνικά δίκτυα	en
dc.subject	Μηχανική μάθηση	el
dc.subject	Επεξεργασία φυσική γλώσσας	el
dc.subject	Νευρωνικά Δίκτυα	el
dc.subject	Βελτιστοποίηση	el
dc.subject	Natural language processing	el
dc.subject	Deep learning	en
dc.subject	Neural Networks	en
dc.subject	Machine learning	en
dc.subject	Optimization	en
dc.title	Βαθιά μηχανική μάθηση για κατηγοριοποίηση προτάσεων	el
dc.title	Sentence classification using deep learning methods	en
heal.type	bachelorThesis
heal.classification	ΠΡΟΧΩΡΗΜΕΝΗ ΜΗΧΑΝΙΚΗ ΜΑΘΗΣΗ	el
heal.classification	ΠΛΗΡΟΦΟΡΙΚΗ	el
heal.classificationURI	http://data.seab.gr/concepts/d5cf140063d31fceb414be6c8dcb4654ffd3efcf
heal.classificationURI	http://data.seab.gr/concepts/77de68daecd823babbb58edb1c8e14d7106e83bb
heal.language	el
heal.language	en
heal.access	free
heal.recordProvider	ntua	el
heal.publicationDate	2017-06-20
heal.abstract	Καθώς το πλήθος των αδόμητων δεδομένων στο διαδίκτυο μεγαλώνει, γίνεται πλέον επιτακτική ανάγκη η εύρεση τρόπων για συστηματική επεξεργασία τους και η εξαγω- γή πολύτιμης γνώσης από αυτά. Το αντικείμενο της διπλωματικής εργασίας είναι η ανάπτυξη μοντέλων που μπορούν να εξαγάγουν αναπαραστάσεις από τη φυσική γλώσ- σα και συγκεκριμένα από τη συντακτική δομή και τη σημασία με σκοπό την επίλυση άλλων υψηλότερων προβλγημάτων όπως είναι η ανάλυση συναισθήματος. Ο σκοπός είναι η ανάπτυξη μια τεχνολογία για επεξεργασία φυσικής γλώσσας που μπορεί να δη- μιουργήσει αναπαραστάσεις φράσεις και προτάσεις. Επιπλέον, για τη δημιουργία των αναπαραστάσεων το αρχικό κομμάτι κειμένου δεν υπόκειται καμία επεξεργασία και δεν γίνεται κάποια υπόθεση απλοποίησης όπως για παράδειγμα αναξαρτησία των λέξων μεταξύ τους, σύνηθες τεχνική για αλγορίθμους επεξεργασίας λέξεων. Συγκεκριμένα, τα αναδρομικά νευρωνικά δίκτυα που αναπτύχθηκαν είναι μια κα- τηγορία νευρωνικών δικτύων που εφαρμόζονται σε δεδομένα με ιεραρχική δομή, πχ δυαδικά δέντρα. Η προσθήκη πληροφορίας για δομή έχει αποτελέσει καθοριστικό στοι- χείο για την καλή απόδοση αυτών των δικτύων ειδικά όταν αυτά εφαρμόζονται πάνω σε προβλήματα φυσικής γλώσσας όπως είναι η ανάλυση συναισθήματος, η συντακτική ανάλυση και η μοντελοποίηση γλώσσας. Η δύναμη τους βρίσκεται στο γεγονός οτι μπορούν να δημιουργήσουν αναπαραστάσεις προτάσεων μέσω της σύνθεσης λεκτικών αναπαραστάσεων, επιτυγχάνοντας με αυτό τον τρόπο τη δημιουργία ενός πολυδιάστα- του χώρου που μπορεί να ταξινομηθεί. Στα κεφάλαια παρουσιάζεται η θεωρία και αναπτύσσουμε αρχιτεκτονικές αναδρομι- κών δικτύων με μνήμες που υπολογίζουν σε μονή (TreeGRU) και διπλή κατεύθυνση (TreeBiGRU) και η εφαρμογή τους πάνω στο πρόβλημα της ανάλυσης συναισθήματος. Επομένω, χρησιμοποιώντας τη συντακτική δομή μιας πρότασης, δημιουργούνται αναπαραστάσεις για τη πρόταση και τις επιμέρους υπο-προτάσεις οι οποίες μετά ταξινο- μούνται με βάση το συναίσθημα. Στη σύνεχεια, προτάσσεται ο μηχανισμός προσοχής σε δομή (structural attention mechanism) και εφαρμόζεται πάνω στα δίκτυα που α- ναπτύχθηκαν. Ο μηχανισμός προσοχής πάνω σε δομή λειτουργεί στο πλαίσιο οτι οι αναπαραστάσεις υπο-προτάσεων δεν έχουν την ίδια βαρύτητα για τη σωστή αναπα- ράσταση μιας πρότασης. Τέλος, γίνεται ανάλυση διαφόρων παραλλαγών των δικτύων που αναπτύχθηκαν στη διπλωματική καθώς και δικτύων που παρουσιάζονται στη βιβλιογραφία.	el
heal.abstract	As the number of unstructured data on the web grows, it becomes imperative to find ways to systematically process them and extract valuable knowledge from them. The subject of this diploma thesis is the development of models that can extract representations from the natural language and in particular from the syntactic structure and the meaning in order to solve other problems such as sentiment analysis. The purpose is to develop a technology for natural language processing that can create representations of phrases and sentences. In addition, for the induction of representations, the original piece of text is not subject to any processing and no simplification assumption is made, such as for instance the independence of words, a common technique for natural language processing algorithms. In summary, the recursive neural networks developed are a class of neural networks that are applied to hierarchical structure data, e.g., binary trees. Adding structural information has been a key element in the good performance of these networks, especially when they are applied to natural language problems such as sentiment analysis, syntactic analysis and language modeling. Their power lies in the fact that they can create representations of sentences through the synthesis of word representations, thus achieving the creation of a multidimensional space that can be classified. In the chapters, we present the theory and we are developing recusive networks with memories that work either in an unidirectional ( en TreeGRU) and a bidirectional manner ( en TreeBiGRU) and apply them to the problem of sentiment analysis. Therefore, using the syntactic structure of a sentence, representations are created for the sentence and sub-phrases that are then categorized based on sentiment. Furthermore, structural attention mechanism is introduced and implemented on the networks that are being developed. The mechanism of attention on a structure works in the context that the sub-sentence representations do not have the same weight for the proper representation of a sentence. Finally, we analyze various variants of the networks developed in the diploma thesis as well as the networks presented in the bibliography.	en
heal.advisorName	Ποταμιάνος, Αλέξανδρος	el
heal.committeeMemberName	Ανδρουτσόπουλος, Ίων	el
heal.committeeMemberName	Στάμου, Γεώργιος	el
heal.academicPublisher	Εθνικό Μετσόβιο Πολυτεχνείο. Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών. Τομέας Σημάτων, Ελέγχου και Ρομποτικής	el
heal.academicPublisherID	ntua
heal.numberOfPages	121 σ.	el
heal.fullTextAvailability	true