Ευφυές σύστημα παραγωγής λεκτικής περιγραφής εικόνας

Κατάκης, Νικηφόρος Εμμανουήλ; Katakis, Nikiforos Emmanouil

dc.contributor.author	Κατάκης, Νικηφόρος Εμμανουήλ	el
dc.contributor.author	Katakis, Nikiforos Emmanouil	en
dc.date.accessioned	2020-12-15T06:42:08Z
dc.date.available	2020-12-15T06:42:08Z
dc.identifier.uri	https://dspace.lib.ntua.gr/xmlui/handle/123456789/52518
dc.identifier.uri	http://dx.doi.org/10.26240/heal.ntua.20216
dc.rights	Αναφορά Δημιουργού 3.0 Ελλάδα	*
dc.rights.uri	http://creativecommons.org/licenses/by/3.0/gr/	*
dc.subject	Λεκτική περιγραφή εικόνας	el
dc.subject	Βαθιά μηχανική μάθηση	el
dc.subject	Συνελικτικά νευρωνικά δίκτυα	el
dc.subject	Επαναληπτικά νευρωνικά δίκτυα	el
dc.subject	Διαδικτυακή εφαρμογή	el
dc.subject	Image captioning	en
dc.subject	Deep learning	en
dc.subject	Convolutional neural networks	en
dc.subject	Reccurent neural networks	en
dc.subject	Web application	en
dc.title	Ευφυές σύστημα παραγωγής λεκτικής περιγραφής εικόνας	el
heal.type	bachelorThesis
heal.classification	Μηχανική Μάθηση	el
heal.language	el
heal.access	free
heal.recordProvider	ntua	el
heal.publicationDate	2020-11-05
heal.abstract	Το θέμα της παρούσας διπλωματικής εργασίας είναι η δημιουργία ενός ευφυούς συστήματος παραγωγής λεκτικής περιγραφής εικόνας (Image Captioning), εφαρμόζοντας τεχνικές που εμπίπτουν στην περιοχή της Μηχανικής Μάθησης (Machine Learning), και συγκεκριμένα Βαθιάς Μηχανικής Μάθησης (Deep Learning). Τα τελευταία χρόνια, με την τεράστια ανάπτυξη της Τεχνητής Νοημοσύνης (Artificial Intelligence), το συγκεκριμένο πρόβλημα έχει τραβήξει την προσοχή πολλών ερευνητών, χάρη στην εφαρμογή που βρίσκει σε ένα ευρύ φάσμα τομέων, και έχει γίνει ένα ενδιαφέρον και επίπονο έργο. Καθημερινά προκύπτει ένας τεράστιος όγκος ψηφιακών δεδομένων, κάτι που κρίνει αναγκαία την βαθύτερη κατανόηση της δομής τους και την ανακάλυψη τρόπων επεξεργασίας και εξαγωγής χρήσιμης πληροφορίας από αυτά. H παραγωγή λεκτικής περιγραφής μίας εικόνας μπορεί να φανεί πολύ χρήσιμη σε διάφορους κλάδους, όπως η παραγωγή εφαρμογών για την βοήθεια ανθρώπων με προβλήματα όρασης, βελτίωση διαφόρων στοιχείων των πλατφορμών κοινωνικής δικτύωσης, περιγραφή ενός βίντεο frame by frame και βελτίωση των μηχανών αναζήτησης που ασχολούνται με εικόνες. Προκειμένου να προσεγγίσουμε το θέμα του Image Captioning, αρχικά θα γίνει μία ανάπτυξη όλων των απαραίτητων θεωρητικών γνώσεων στους τομείς της μηχανικής μάθησης και των βαθιών νευρωνικών δικτύων. Έπειτα, θα παρουσιάσουμε ένα σύνολο μεθόδων και διαφορετικών αρχιτεκτονικών που έχουν χρησιμοποιηθεί για την επίλυση του προβλήματος, μελετώντας τις επιδόσεις που έχουν σημειώσει και τελικά θα περιγράψουμε την δική μας αρχιτεκτονική. Στην συνέχεια θα υλοποιήσουμε το δικό μας μοντέλο παραγωγής λεκτικής περιγραφής εικόνας, το οποίο θα αποτελείται από έναν κωδικοποιητή, βασισμένο στα Συνελικτικά Νευρωνικά Δίκτυα (Convolutional Neural Networks - CNN) και έναν αποκωδικοποιητή, βασισμένο στα Αναδρομικά Νευρωνικά Δίκτυα (Recurrent Neural Networks - RNN), χρησιμοποιώντας ακόμα τον μηχανισμό της Προσοχής Attention, για την παραγωγή όσο το δυνατόν καλύτερων αποτελεσμάτων. Τέλος, θα κατασκευάσουμε ένα web app που θα χρησιμοποιεί το παραπάνω μοντέλο για την παραγωγή λεκτικής περιγραφής εικόνων, αλλά και δύο ακόμα pretrained μοντέλα για να δώσουμε στο application ακόμα περισσότερες δυνατότητες, όπως αυτή της αναζήτησης με βάση την παραγόμενη λεζάντα και την κατηγοριοποίηση των εικόνων σε μία γκαλερί με διαφορετικές κατηγορίες βασιζόμενοι στις λεκτικές περιγραφές των εικόνων.	el
heal.advisorName	Venieris, Iakovos	en
heal.committeeMemberName	Kaklamani, Dimitra	en
heal.committeeMemberName	Venieris, Iakovos	en
heal.committeeMemberName	Matsopoulos, Georgios	en
heal.academicPublisher	Εθνικό Μετσόβιο Πολυτεχνείο. Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών. Τομέας Συστημάτων Μετάδοσης Πληροφορίας και Τεχνολογίας Υλικών	el
heal.academicPublisherID	ntua
heal.numberOfPages	92 σ.	el
heal.fullTextAvailability	false