Προγραμματισμός, εφαρμογή και αξιολόγηση μεθόδων αυτόματης πυκνής συνταύτισης εικόνας σε στερεοζεύγη

Abstract

Σε αυτή τη διπλωματική εργασία προγραμματίστηκαν, διερευνήθηκαν και αξιολογήθη‐ καν ορισμένα βασικά μέτρα ομοιότητας για την αυτόματη πυκνή ψηφιακή συνταύτιση στερεοζεύγους εικόνων, από την εφαρμογή των οποίων προέκυψε η δημιουργία χαρ‐ τών ψηφιακής παράλλαξης αλλά, βάσει αυτών, και η ανακατασκευή 3D μοντέλου. Τα μέτρα που χρησιμοποιήθηκαν ήταν κριτήρια βασισμένα στις απόλυτες διαφορές και τα τετράγωνα των διαφορών έντασης καθώς και ο συντελεστής συσχέτισης. Το κριτήριο του αθροίσματος των απόλυτων διαφορών εφαρμόστηκε και για τη συνταύτιση μετα‐ σχηματισμένων εικόνων. Οι μετασχηματισμοί που εξετάστηκαν ήταν βάσει του φίλτρου κατάταξης rank και του φίλτρου κλίσεων. Στους χάρτες παράλλαξης που προέκυψαν α‐ πό τη διαδικασία της συνταύτισης εφαρμόστηκαν ορισμένες τεχνικές βελτιστοποίησης, όπως η εφαρμογή φίλτρων εξομάλυνσης και η παρεμβολή πολυωνυμικής καμπύλης 2ου βαθμού για να επιτευχθεί υποψηφιδική ακρίβεια. Πραγματοποιήθηκε, ακόμη, έλεγχος “αμφίδρομης συμβατότητας” με σκοπό τον εντοπισμό περιοχών αποκρύψεων ή αστο‐ χιών στην εικόνα, αλλά και την αξιολόγηση της ποιότητας των χαρτών βάθους που προ‐ κύπτουν από τη διαδικασία συνταύτισης. Για να ελεγχθεί η ορθότητα των χαρτών ψη‐ φιακής παράλλαξης που υπολογίζονται, αλλά και για την συγκριτική αξιολόγηση των διαφορετικών κριτηρίων που χρησιμοποιήθηκαν, ελέγχθηκαν τα αποτελέσματα της δι‐ πλωματικής αυτής εργασίας με τους αντίστοιχους αληθείς χάρτες ψηφιακής παράλλα‐ ξης (οι οποίοι στην προκειμένη περίπτωση διατίθενται στο Διαδίκτυο). Τέλος, προσδιο‐ ρίστηκαν οι συντεταγμένες στον τρισδιάστατο χώρο των σημείων που πέρασαν τον έ‐ λεγχο “αμφίδρομης συμβατότητας”, με αποτέλεσμα την ανακατασκευή 3D μοντέλου. Η εργασία ολοκληρώνεται με τα τελικά συμπεράσματα και ορισμένες σκέψεις για πιθανά θέματα μελλοντικής μελέτης. Όλες οι διαδικασίες της διπλωματικής εργασίας προγραμ‐ ματίστηκαν σε περιβάλλον Matlab.

In this Diploma Thesis, basic similarity measures for automatic dense stereo‐matching, the application of which led to the creation of disparity maps, have been programmed, investigated and evaluated. The measures used here were based on the criteria of absolute differences (AD), squared differences (SD), sum of absolute differences (SAD), sum of squared differences (SSD) and correlation coefficient. The criterion of the sum of absolute differences was further applied on transformed input images. The image transformations applied here were those of the rank filter and the gradient filter. Optimization techniques, such as smoothing filtering and sub‐pixel interpolation, have also been applied on the disparity maps. Next, the left‐right consistency check was performed, in order to exclude outliers and occlusion areas in the image, and for evaluating the quality of disparity maps. In order to check the accuracy of disparity maps, as well as to perform a comparative evaluation of similarity measures used, results were compared against the true disparity maps, which are available on the well‐known evaluation platform of Middlebury College. Finally, object point coordinates were determined for 3D model reconstruction. The project concludes with some thoughts regarding possible further extensions of this work. All procedures have been implemented in Matlab.