Συνελικτικά Νευρωνικά Δίκτυα για την Πυκνή Συνταύτιση Ζεύγους Εικόνων

Κάρκαλου, Έλλη; Karkalou, Elli

dc.contributor.author	Κάρκαλου, Έλλη	el
dc.contributor.author	Karkalou, Elli	en
dc.date.accessioned	2018-01-18T11:33:16Z
dc.date.issued	2018-01-18
dc.identifier.uri	https://dspace.lib.ntua.gr/xmlui/handle/123456789/46225
dc.identifier.uri	http://dx.doi.org/10.26240/heal.ntua.7405
dc.description	Εθνικό Μετσόβιο Πολυτεχνείο--Μεταπτυχιακή Εργασία. Διεπιστημονικό-Διατμηματικό Πρόγραμμα Μεταπτυχιακών Σπουδών (Δ.Π.Μ.Σ.) “Γεωπληροφορική”	el
dc.rights	Default License
dc.subject	Συνταύτιση εικόνων	el
dc.subject	Νευρωνικά Δίκτυα	el
dc.subject	Βαθιά μάθηση	el
dc.subject	Χάρτης ψηφιακής παράλλαξης	el
dc.subject	3Δ ανακατασκευή	el
dc.subject	Image matching	en
dc.subject	Neural Networks	en
dc.subject	Deep learning	en
dc.subject	Disparity map	en
dc.subject	3D reconstruction	en
dc.title	Συνελικτικά Νευρωνικά Δίκτυα για την Πυκνή Συνταύτιση Ζεύγους Εικόνων	el
dc.title	Convolutional Neural Networks for Dense Stereo Image Matching	en
dc.contributor.department	Γεωπληροφορική	el
heal.type	masterThesis
heal.classification	Όραση υπολογιστών	el
heal.classification	Τεχνητή Νοημοσύνη	el
heal.classification	Computer vision	en
heal.classification	Artificial Intelligence	en
heal.dateAvailable	2019-01-17T22:00:00Z
heal.language	el
heal.access	embargo
heal.recordProvider	ntua	el
heal.publicationDate	2017-10-20
heal.abstract	Σε αυτή την μεταπτυχιακή διπλωματική εργασία αναπτύχθηκαν, εφαρμόστηκαν και αξιολογήθηκαν μέθοδοι πυκνής συνταύτισης εικόνων με τη χρήση Συνελικτικών Νευρωνικών Δικτύων. Η πρώτη μεθοδολογία διερευνά και αξιολογεί την αποδοτικότητα του αλγορίθμου “Semi-Global Matching-Self-Adjusting Penalties” (SGM-SAP) για τον υπολογισμό των ποινών της υπο-σύνολης συνταύτισης, για περιπτώσεις στις οποίες το αρχικό κόστος συνταύτισης εξάγεται από κατάλληλο νευρωνικό δίκτυο. Ο παραγόμενος χάρτης παράλλαξης συγκρίθηκε με τον αντίστοιχο που προκύπτει από τους Zbontar & LeCun (2015) μετά από την εφαρμογή της παραλλαγής που προτείνουν με βάση τη μέθοδο SGM στο ίδιο αρχικό κόστος. Συνολικά έγινε εφαρμογή σε 194 ζεύγη εικόνων από το KITTI 2012 και 200 ζεύγη από το ΚΙΤΤΙ 2015. Τα δίκτυα που χρησιμοποιήθηκαν είναι μοντέλα από τους Zbontar & LeCun (2015), τα οποία έχουν ήδη εκπαιδευτεί στο σύνολο των εικόνων προς εκπαίδευση των σετ δεδομένων KITTI 2012 και 2015. Η δεύτερη μεθοδολογία αφορά την εφαρμογή του δικτύου των Zbontar & LeCun (2015), που έχει εκπαιδευτεί σε εικόνες του σετ δεδομένων KITTI 2012, σε εικόνες που έχουν ληφθεί από UAV, για το πρόβλημα της πρόβλεψης του χάρτη παράλλαξης από ένα ζεύγος εικόνων. Στη συνέχεια, για κάθε ζεύγος εικόνων δημιουργήθηκε 3D νέφος σημείων με βάση τον παραχθέντα χάρτη παράλλαξης μέσω φωτογραμμετρικής εμπροσθοτομίας και ακολούθως δημιουργήθηκε ψηφιακό μοντέλο εδάφους υπό τη μορφή κανονικοποιημένου κανάβου (“grid”). Συνολικά δημιουργήθηκαν 106 νέφη σημείων από αντίστοιχα ζεύγη εικόνων και παρουσιάζονται ενδεικτικά αποτελέσματα. Για την συγκριτική αξιολόγηση των μεθόδων χρησιμοποιήθηκαν οι διαθέσιμοι αληθείς χάρτες παράλλαξης και διαθέσιμο ψηφιακό μοντέλο εδάφους για την ίδια περιοχή που έχει παραχθεί αυτόματα από ένα λογισμικό “Structure from Motion-Multi-view Stereo”, για κάθε μεθοδολογία αντίστοιχα. Η εργασία ολοκληρώνεται με τα τελικά συμπεράσματα και ορισμένες προτάσεις για πιθανά θέματα μελλοντικής έρευνας. Για την υλοποίηση των παραπάνω διαδικασιών συντάχθηκε κώδικας στην γλώσσα προγραμματισμού Lua μέσω του περιβάλλοντος του Torch, καθώς και σε C++ και Matlab.	el
heal.abstract	In this Master Thesis, dense stereo-matching methods with the use of Convolutional Neural Networks (CNN) have been implemented and evaluated. The scope of the first approach is the investigation and evaluation of the effectiveness of “Semi-Global Matching-Self-Adjusting Penalties” (SGM-SAP) algorithm regarding the estimation of the penalties of the Semi-Global Matching method, when the initial matching cost is extracted from a neural network. The produced disparity map was compared against the derived disparity map from the recent Zbontar & LeCun (2015) approach on penalty estimation. In total, 194 stereo-pairs of the KITTI 2012 dataset and 200 stereo-pairs of the KITTI 2015 dataset were employed for the validation. The applied Zbontar & LeCun (2015) models were the pretrained ones from the KITTI 2012 and KITTI 2015 training datasets. The second method is evaluating the performance of the proposed Zbontar & LeCun (2015) network, trained on KITTI 2012, against a UAV dataset for the estimation of disparity map from UAV stereo-pair. From the resulted disparity maps, the corresponding 3D models were reconstructed and converted to a raster representation (“grid”). In total, 106 point clouds were reconstructed and indicative experimental results were derived and evaluated. In particular, certain quantitative and qualitative comparisons among the different methods were conducted based on the one hand, on the KITTI benchmark platform and on the other, on the calculated digital terrain models derived from a standard “Structure from Motion-Multi-view Stereo” software. Our main conclusions regarding the overall assessment and performance of the validated frameworks are presented as well as certain suggestions for further possible extensions of this work. The techniques and aforementioned frameworks were implemented in Lua exploiting the Torch library, as well as in C++ and Matlab.	en
heal.advisorName	Καράντζαλος, Κωνσταντίνος	el
heal.committeeMemberName	Καρράς, Γεώργιος	el
heal.committeeMemberName	Δουλάμης, Αναστάσιος	el
heal.academicPublisher	Εθνικό Μετσόβιο Πολυτεχνείο. Σχολή Αγρονόμων και Τοπογράφων Μηχανικών	el
heal.academicPublisherID	ntua
heal.numberOfPages	85 σ.	el
heal.fullTextAvailability	true