Graph neural networks with external knowledge for visual dialog

Kalogeropoulos, Ioannis; Καλογερόπουλος, Ιωάννης

dc.contributor.author	Kalogeropoulos, Ioannis	en
dc.contributor.author	Καλογερόπουλος, Ιωάννης	el
dc.date.accessioned	2022-11-30T12:37:45Z
dc.date.available	2022-11-30T12:37:45Z
dc.identifier.uri	https://dspace.lib.ntua.gr/xmlui/handle/123456789/56324
dc.identifier.uri	http://dx.doi.org/10.26240/heal.ntua.24022
dc.rights	Default License
dc.subject	Μηχανική Μάθηση	el
dc.subject	Οπτικός Διάλογος	el
dc.subject	Επεξεργασία Φυσικής Γλώσσας	el
dc.subject	Βαθιά Μάθηση	el
dc.subject	Νευρωνικά Δίκτυα Γράφων	el
dc.subject	Deep Learning	en
dc.subject	Natural Language Processing	en
dc.subject	Visual Dialog	en
dc.subject	Graph Neural Networks	en
dc.subject	Machine Learning	en
dc.title	Graph neural networks with external knowledge for visual dialog	en
heal.type	bachelorThesis
heal.classification	Machine Learning	en
heal.language	en
heal.access	free
heal.recordProvider	ntua	el
heal.publicationDate	2022-07-21
heal.abstract	Στην παρούσα Διπλωματική Εργασία μελετήθηκε η αναπαράσταση δεδομένων ως γράφων και η κωδικοποίησή τους με Βαθιά Νευρωνικά Δίκτυα, με σκοπό τη χρήση τους για το πρόβλημα του Οπτικού Διαλόγου. Για την επίτευξη ανταγωνιστικών αποτελεσμάτων έγιναν πειράματα προς δύο κατευθύνσεις. Αρχικά, μελετήθηκαν Μέθοδοι Σύμμειξης Τροπικοτήτων. Για την επίλυση ενός μεγάλου συνόλου προβλημάτων που συνενώνουν τους τομείς της Επεξεργασίας Φυσικής Γλώσσας και της ΄Ορασης Υπολογιστών, η μέθοδος που θα χρησιμοποιηθεί για τη συγχώνευση των διαφόρων ειδών δεδομένων του προβλήματος αποτελεί μία από τις βασικότερες σχεδιαστικές επιλογές στην κατασκευή του μοντέλου και έναν από τους καίριους παράγοντες που δύναται να οδηγήσουν σε καλύτερα αποτελέσματα. Για την περίπτωση του Οπτικού Διαλόγου, πραγματοποιήθηκαν πειράματα ως προς τη σύντηξη των δύο διαφορετικών τροπικοτήτων , εικόνας και κειμένου. Στη συνέχεια, πειραματιζόμαστε με την Ενσωμάτωση Εξωτερικής Γνώσης. Το πρόβλημα του οπτικού διαλόγου δεν απαιτεί εκ των πραγμάτων κάποια εξωτερική γνώση. Ωστόσο, η εισαγωγή εξωτερική γνώσης τείνει να οδηγεί σε καλύτερα αποτελέσματα σε πολλά προβλήματα στο χώρο της Μηχανικής Μάθησης και ακόμα περισσότερο σε προβλήματα που ανήκουν στο χώρο της Επεξεργασίας Φυσικής Γλώσσας. Για το λόγο αυτό μελετάται συχνά από ερευνητές η επιστράτευσή της σε πολλές διαφορετικές εφαρμογές και στην παρούσα εργασία επιχειρούμε και εμείς να εκμεταλλευτούμε την επιπλέον πληροφορία που θα μας προσφέρει. Στα πειράματά μας χρησιμοποιούμε τις μεθόδους σύμμειξης τροπικοτήτων του αρχικού μας μοντέλου, προκειμένου να συνδυάσουμε τις τρεις τροπικότητες του μοντέλου μας. Στη συνέχεια, πειραματιζόμαστε με την κωδικοποίηση της εξωτερικής γνώσης. Συγκεκριμένα, ερευνάμε τη χρήση ενός ή πολλαπλών τύπων ακμών του γράφου γνώσης και μελετάμε διαφορετικούς τρόπους συλλογής της εξωτερικής γνώσης. Πραγματοποιώντας ένα σύνολο από πειράματα μπορούμε να εξάγουμε συμπεράσματα για την επίδραση της εισαγωγής εξωτερικής γνώσης στο μοντέλο. Συγκεκριμένα, ξεπερνώντας με δύο διαφορετικές μεθόδους τα αποτελέσματα του υλοποιημένου από εμάς αρχικού μοντέλου, αποδεικνύουμε την ευεργετική επίδραση αυτής στη συνολική επίδοση του μοντέλου. Επιπρόσθετα, αποδεικνύουμε την επίδραση αυτή πραγματοποιώντας πειράματα χρησιμοποιώντας δύο διαφορετικούς αποκωδικοποιητές. Η συνέπεια στα αποτελέσματα των μοντέλων χρησιμοποιώντας και τους δύο αποκωδικοποιητές τονίζει την επίδραση των διαφορετικών κωδικοποιητών στη συνολική απόδοση του μοντέλου.	el
heal.advisorName	Potamianos, Alexandros	en
heal.committeeMemberName	Kollias, Stefanos	en
heal.committeeMemberName	Tzafestas, Costas	en
heal.committeeMemberName	Potamianos, Alexandros	en
heal.academicPublisher	Εθνικό Μετσόβιο Πολυτεχνείο. Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών. Τομέας Σημάτων, Ελέγχου και Ρομποτικής	el
heal.academicPublisherID	ntua
heal.fullTextAvailability	false