Γεωμετρία του στερεοζεύγους από βαθμονομημένες και από μη βαθμονομημένες μηχανές

Abstract

Με την ταχέως αναπτυσσόμενη έρευνα στο πεδίο της Όρασης Υπολογιστών, νέοι δρόμοι άνοιξαν και για τη ψηφιακή Φωτογραμμετρία, ενώ επανήλθαν στο προσκήνιο έννοιες διατυπωμένες εδώ και έναν αιώνα από πρωτοπόρους Φωτογραμμέτρες, οι οποίες όμως δεν είχαν ερευνηθεί περαιτέρω. Η συγκεκριμένη διπλωματική εργασία αντιμετωπίζει τη γεωμετρία του στερεοζεύγους με βάση τόσο τις εμπεδωμένες μεθόδους της Φωτογραμμετρίας (όπως η συνθήκη συνεπιπεδότητας, η μέθοδος της δέσμης ή η επιπολική επανασύσταση) όσο και τους πιο πρόσφατους αλγορίθμους και τις σχετικές έννοιες που προέρχονται από το πεδίο της Όρασης Υπολογιστών. Ανάμεσά τους συγκαταλέγονται γραμμικοί αλγόριθμοι υπολογισμού του σχετικού προσανατολισμού μέσω του δεσμευμένου επιπολικού πίνακα αλλά και η έννοια του επιπολικού πίνακα, που χρησιμοποιείται για ζεύγη προερχόμενα από μηχανές άγνωστου εσωτερικού προσανατολισμού και εκφράζει τη δέσμευση της δισδιάστατης επιπολικής γεωμετρίας. Αναφέρονται οι ιδιότητες του πίνακα αυτού και οι αλγόριθμοι υπολογισμού του, αλλά και διαδικασίες που βασίζονται σε αυτόν, όπως η εύρεση των συντεταγμένων των πόλων του στερεοζεύγους, ο υπολογισμός της ομόλογης επιπολικής ευθείας εικονοσημείου και η επιπολική επανασύσταση στην περίπτωση που δεν έχει προηγηθεί αποκατάσταση του εσωτερικού προσανατολισμού. Μέσω του επιπολικού πίνακα είναι ακόμα εφικτές, με εμπροσθοτομία, τρισδιάστατες ανακατασκευές του απεικονιζόμενου αντικειμένου, οι οποίες διαφέρουν από το πραγματικό κατά έναν 3D προβολικό μετασχηματισμό. Άρση της αβεβαιότητας αυτής πραγματοποιείται με αναβάθμιση της ανακατασκευής σε ευκλείδεια (ή αρχικά σε αφινική και εν συνεχεία σε ευκλείδεια). Για την πλήρη αυτοματοποίηση του υπολογισμού του επιπολικού πίνακα απαιτείται ο αυτόματος εντοπισμός ομολογιών σημείων. Αναφέρονται, ως εκ τούτου, και διαδικασίες ψηφιακής συνταύτισης εικόνας που χρησιμοποιούνται στην Ψηφιακή Φωτογραμμετρία, αλλά κυρίως πιο πρόσφατοι αλγόριθμοι προερχόμενοι από το πεδίο της Όρασης Υπολογιστών, όπως ο σημειακός τελεστής SIFT που αξιοποιήθηκε εκτεταμένα και στην παρούσα εργασία. Εξετάστηκε ακόμα η περίπτωση της αυτοβαθμονόμησης, δηλαδή του υπολογισμού των παραμέτρων του εσωτερικού προσανατολισμού με μοναδικό δεδομένο ομολογίες σημείων, η οποία όμως μπορεί να επιτευ- χθεί πλήρως μέσω τουλάχιστον τριών λήψεων κοινού εσωτερικού προσανατολισμού. Στην περίπτωση του ζεύγους εικόνων που απασχολεί τη συγκεκριμένη εργασία, μπορεί να επιτευχθεί μοναχά μερική αυτοβαθμονόμηση, εφόσον ορισμένα από τα στοιχεία του εσωτερικού προσανατολισμού είναι γνωστά. Κατά κύριο λόγο μελετήθηκε ο υπολογισμός των σταθερών της μηχανής, με γνωστό πρωτεύον σημείο των εικόνων, μέσω γραμμικών όσο και μη γραμμικών αλγορίθμων. Για την υλοποίηση και αξιολόγηση όλων των παραπάνω διαδικασιών και μεθόδων, ιδίως βέβαια εκείνων από τον χώρο της Όρασης Υπολογιστών, συντάχθηκαν πολλοί κώδικες στο προγραμματιστικό περιβάλλον Matlab, και χρησιμοποιήθηκαν επίσης ορισμένοι έτοιμοι κώδικες διαθέσιμοι ελεύθερα στο Διαδίκτυο, οι οποίοι εφαρμόστηκαν τόσο σε προσομοιωμένα δεδομένα όσο και σε πραγματικά ζεύγη εικόνων. Τα αποτελέσματα συνοψίζονται και σχολιάζονται στο τέλος της εργασίας, όπου ακόμα παρατίθενται και κάποια τελικά συμπεράσματα και προτάσεις για μελλοντική έρευνα, όσο και η χρησιμοποιηθείσα βιβλιογραφία.

Research in the field of Computer Vision has resulted in several new approaches concerning the fundamental problems treated by Photogrammetry. Subject of this diploma thesis is to examine both the conventional photogrammetric algorithms of the stereo pair and the innovative algorithms proposed by researchers in Computer Vision. Among the well-established procedures of Photogrammetry, of interest here are mainly the computation of the five parameters of relative orientation in the case of calibrated cameras using either the coplanarity condition or bundle adjustment, and also the epipolar rectification of such stereo pairs. Research in the field of Computer Vision has proposed (or actually reformulated) a linear approach for computing relative orientation based on the essential matrix. Furthermore, the essential matrix may result from the fundamental matrix when the interior orientation is known. The fundamental matrix expresses the constraints of 2D epipolar lines in the general case, i.e. when the cameras are uncalibrated. For a totally automatic computation of the fundamental matrix, algorithms establishing point correspondences are required. Thus, the thesis makes a reference to area-based matching methods and interest point operators popular in Digital Photogrammetry, but mainly focuses on operators developed in the field of Computer Vision, which are essentially invariant to changes due to illumination, rotation and scale, like the SIFT algorithm which is extensively used here. Several important tasks may be tackled through the fundamental matrix, such as computation of the epipoles, generation of epipolar images of uncalibrated pairs and establishment of the correspondence between image points and epipolar lines. Furthermore, the fundamental matrix can be used for creating 3D object reconstructions by triangulation. Projective ambiguity characterizes these reconstructions, which can be upgraded to affine and Euclidian under the use of specific constraints. The relation of the fundamental matrix to self-calibration is also considered here. At least three images with the same interior orientation are needed for the computation of the camera parameters. For a pair of images, only partial self-calibration is possible, i.e. some of the parameters of interior orientation have to be known. Here, the problem of computing the camera constants (for known principal point location) of the image pair is addressed using both linear and non-linear algorithms. To evaluate all above-mentioned procedures, several algorithms have been implemented in Matlab (combined with certain algorithms freely available on the Web), and applied to both simulated and real data. Finally, results are presented and discussed, and the conclusions of the thesis are presented, along with the cited references.