Προγραμματισμός και αξιολόγηση μεθόδων υπο-σύνολης συνταύτισης εικόνων (Semi-global matching)

Κάρκαλου, Έλλη; Karkalou, Elli

dc.contributor.author	Κάρκαλου, Έλλη	el
dc.contributor.author	Karkalou, Elli	en
dc.date.accessioned	2016-04-26T10:29:51Z
dc.date.available	2016-04-26T10:29:51Z
dc.date.issued	2016-04-26
dc.identifier.uri	https://dspace.lib.ntua.gr/xmlui/handle/123456789/42447
dc.identifier.uri	http://dx.doi.org/10.26240/heal.ntua.10311
dc.rights	Default License
dc.subject	Πυκνή συνταύτιση	el
dc.subject	3D ανακατασκευή	el
dc.subject	Υπο-σύνολη συνταύτιση	el
dc.subject	Χάρτης ψηφιακής παράλλαξης	el
dc.subject	Ραδιομετρικές αλλαγές	el
dc.subject	Semi-global matching	en
dc.subject	Disparity map	en
dc.subject	Absolute differences	en
dc.subject	Census transform	en
dc.subject	SGBM	en
dc.title	Προγραμματισμός και αξιολόγηση μεθόδων υπο-σύνολης συνταύτισης εικόνων (Semi-global matching)	el
dc.title	Implementation and evaluation of variations of semi-global matching	en
heal.type	bachelorThesis
heal.classification	Φωτογραμμετρία	el
heal.classification	Όραση υπολογιστών	el
heal.classification	Photogrammetry	en
heal.classification	Computer vision	en
heal.language	el
heal.access	free
heal.recordProvider	ntua	el
heal.publicationDate	2015-09-30
heal.abstract	Σε αυτή την διπλωματική εργασία προγραμματίστηκαν και αξιολογήθηκαν ορισμένες μέθοδοι υπο-σύνολης συνταύτισης στερεοζεύγους εικόνων, η οποία συνιστά υποκατηγορία της αυτόματης πυκνής ψηφιακής συνταύτισης. Από την εφαρμογή των μεθόδων αυτών προέκυψαν χάρτες ψηφιακής παράλλαξης και, βάσει αυτών, η ανακατασκευή 3D μοντέλων. Οι μέθοδοι που χρησιμοποιήθηκαν αφορούσαν διαφορετικές συναρτήσεις υπολογισμού του κόστους συνταύτισης, όπως οι Απόλυτες Διαφορές και ο Μετασχηματισμός Census αλλά και διαφορετικές συναρτήσεις υπολογισμού για την ποινή P2, μιας από τις κύριες παραμέτρους της υπο-σύνολης συνταύτισης που χρησιμοποιείται στο στάδιο βελτιστοποίησης της παράλλαξης. Αρχικά έγινε βελτιστοποίηση των παραμέτρων κάθε μεθόδου, με την δοκιμή διαφόρων τιμών σε 21 ζεύγη εικόνων από διαδικτυακή πλατφόρμα αξιολόγησης (Middlebury College). Στην συνέχεια, και με τη χρήση των βέλτιστων τιμών, οι μέθοδοι εφαρμόστηκαν στα ίδια ζεύγη αλλά όταν αυτά έχουν ληφθεί με διαφορετική έκθεση ή συνθήκες φωτισμού. Για την συγκριτική αξιολόγηση των μεθόδων χρησιμοποιήθηκαν οι διαθέσιμοι αληθείς χάρτες παράλλαξης. Εξετάστηκε, επίσης, μια ακόμη μέθοδος υπο-σύνολης συνταύτισης εικόνων από την βιβλιοθήκη ανοικτού κώδικα OpenCV. Έγινε και σε αυτήν βελτιστοποίηση παραμέτρων της με βάση τα ίδια ζεύγη εικόνων και έπειτα εφαρμογή της στα στερεοζεύγη με ραδιομετρικές διαφορές. Διενεργήθηκε σύγκριση μεταξύ των αποτελεσμάτων της και των αληθών χαρτών παράλλαξης άρα, έμμεσα, και με τα αποτελέσματα που είχαν προκύψει από τις υπόλοιπες μεθόδους. Εν συνεχεία, για τρεις από τις μεθόδους που εξετάστηκαν δημιουργήθηκαν 3D μοντέλα από 4 ζεύγη εικόνων με βάση τους παραχθέντες χάρτες παράλλαξης. Έγινε σύγκριση των μοντέλων με τα αντίστοιχα από τους αληθείς χάρτες παράλλαξης. Ακόμη, επιχειρήθηκε βελτίωση των ανακατασκευών της καλύτερης μεθόδου με την εφαρμογή τεχνικών βελτίωσης στους χάρτες παράλλαξης που είχαν παραχθεί. Οι τεχνικές που δοκιμάστηκαν ήταν: έλεγχος αμφίδρομης συμβατότητας, υποψηφιδική παρεμβολή, φίλτρο μεσαίας τιμής και εφαρμογή της διαθέσιμης μάσκας αποκρύψεων. Τέλος, έγινε ανακατασκευή 3D μοντέλου για τα σημεία που πέρασαν τον έλεγχο αμφίδρομης συμβατότητας στις περιοχές χωρίς αποκρύψεις και πραγματοποιήθηκε για κάθε ζεύγος εικόνων η τελική σύγκριση με το αληθές 3D μοντέλο. Η εργασία ολοκληρώνεται με τα τελικά συμπεράσματα και ορισμένες προτάσεις για πιθανά θέματα μελλοντικής έρευνας. Για την υλοποίηση των παραπάνω διαδικασιών συντάχθηκαν κώδικες στο προγραμματιστικό περιβάλλον του Matlab και, δευτερευόντως, στην γλώσσα προγραμματισμού C++ με χρήση της βιβλιοθήκης OpenCV.	el
heal.abstract	In this Diploma Thesis, several variations of semi-global matching, a sub-category of automatic dense stereo-matching, have been implemented and evaluated. The use of these methods led to the creation of disparity maps and the reconstruction of 3D models. The examined matching algorithms involve the use of different matching cost functions, such as the Absolute Differences (AD) and the Census transform, but also the employment of different functions for the computation of the P2 penalty, one of the main parameters of semi-global matching used in the optimization step. Initially, parameter tuning was carried out for each case by applying several values to the default 21 stereo-pairs of the Middlebury 2006 dataset. Next, using its optimal parameters each method was applied to stereo-pairs taken under illumination and exposure changes. Comparisons among different methods were conducted with the aid of true disparity maps, available on the aforementioned well-known evaluation platform. Afterwards, a semi-global matching method included in the OpenCV library (StereoSGBM) was investigated. Optimal values for certain parameters were again found in a tuning step applied to the same stereo-pairs and then used on the stereo-pairs with radiometric changes. StereoSGBM results were compared against the true disparity maps, and thus implicitly with the results of the other methods. Moreover, for 3 of the methods studied and for 4 stereo-pairs 3D models were reconstructed from the produced disparity maps. The models were compared against those from the true disparity maps. An effort for improving the reconstructions of the best method was made via following optimization techniques applied to the produced disparity maps: left-right consistency check, sub-pixel interpolation, median filter and application of the available occlusion mask. Finally, for all stereo-pairs a 3D model was generated from points having passed the left-right consistency check in the non-occluded areas, and a final comparison with true 3D models was made. The project concludes with an overall assessment of results and suggestions regarding possible further extensions of this work. The procedures mentioned above have been implemented primarily in Matlab and, secondarily, in C++ using the OpenCV library.	en
heal.advisorName	Καρράς, Γεώργιος	el
heal.committeeMemberName	Ιωαννίδης, Χαράλαμπος	el
heal.committeeMemberName	Καράντζαλος, Κωνσταντίνος	el
heal.committeeMemberName	Καρράς, Γεώργιος	el
heal.academicPublisher	Εθνικό Μετσόβιο Πολυτεχνείο. Σχολή Αγρονόμων και Τοπογράφων Μηχανικών. Τομέας Τοπογραφίας. Εργαστήριο Φωτογραμμετρίας	el
heal.academicPublisherID	ntua
heal.numberOfPages	198 σ.	el
heal.fullTextAvailability	true