Δημιουργία φωτογραμμετρικού σαρωτή laser με χρήση πρόσθετων γεωμετρικών δεσμεύσεων

Abstract

Η διατριβή παρουσιάζει τον σχεδιασμό, την υλοποίηση και την αξιολόγηση ενός 3D σαρωτή χαμηλού κόστους για μικρά αντικείμενα, κατά την λειτουργία του οποίου αξιοποιούνται και γεωμετρικές δεσμεύσεις προκειμένου να αυξηθεί η ακρίβεια και η αξιοπιστία του. Ο σαρωτής που περιγράφεται εδώ συνδυάζει τεχνικές στερεοσκοπικής όρασης με τεχνικές σαρωτών τριγωνισμού laser. Δύο μηχανές δικτύου (απλές web cameras), βαθμονομημένες αυτόματα εκ των προτέρων, παρατηρούν το ίχνος ενός χειροκίνητου επιπέδου laser πάνω στην επιφάνεια του υπό σάρωση αντικειμένου. Η απεικονιζόμενη γραμμή του laser επιτρέ- πει να επιλυθεί αυτόματα το πρόβλημα των ομολογιών μεταξύ εικονοσημείων και, τελικά, να υπολογίζονται οι συντεταγμένες 3D σημείων με εφαρμογή των απλών εξισώσεων πα- ράλλαξης σε επιπολικές εικόνες. Η επίλυση αυτή ενισχύεται από επιπλέον γεωμετρικές δε- σμεύσεις. Αναλυτικότερα, τα βήματα της διαδικασίας είναι τα εξής: Το σύστημα βαθμονομείται αυτόματα βάσει της μεθόδου της δέσμης (εκτίμηση των εσωτε- ρικών προσανατολισμών των δύο μηχανών και του υπό ορθή κλίμακα σχετικού προσανατο- λισμού τους) από τις στερεοσκοπικές λήψεις ενός 2D πεδίου ελέγχου τύπου σκακιέρας. Για τους σκοπούς της παρούσας μελέτης αναπτύχθηκε αλγόριθμος ώστε να αναγνωρίζεται το σύστημα συντεταγμένων του πεδίου και να συλλέγονται τα σημεία του, ενώ αυτόματα εκτι- μώνται και οι αρχικές τιμές των παραμέτρων. Έτσι, τα ζεύγη εικόνων που λαμβάνονται κατά την σάρωση μπορούν πλέον να επανασυσταθούν επιπολικά (με εξάλειψη των σφαλμάτων που έχουν μοντελοποιηθεί κατά την βαθμονόμηση). Στις χρησιμοποιούμενες επιπολικές ει- κόνες απεικονίζεται μόνο το ίχνος του laser καθώς από τις αρχικές εικόνες αφαιρείται το υ- πόβαθρο, ενώ παράλληλα εφαρμόζονται φίλτρα εξομάλυνσης για να αμβλύνονται οι επι- πτώσεις του θορύβου. Η αναζήτηση ομολόγων σημείων περιορίζεται επομένως στις ομόλο- γες επιπολικές γραμμές. Ομόλογα σημεία θεωρούνται οι τομές των επιπολικών γραμμών με τις γραμμές του laser, δηλαδή τα μέγιστα της έντασης της εικόνας σε κάθε επιπολική γραμμή. Από τις διαδικασίες ανίχνευσης κορυφής που δοκιμάστηκαν επελέγη τελικά η προσαρμογή καμπύλης Gauss στο προφίλ των τόνων. Η τελική θέση της κορυφής προκύπτει με την ταυτόχρονη προσαρμογή τριών καμπυλών Gauss, όπου οι πρόσθετες καμπύλες παρεμβάλλονται στις δύο διαγώνιες διευθύνσεις δια της αρχικής εκτίμησης της θέσης της κορυφής. Η θέση της κορυφής παρα- μένει επί της επιπολικής γραμμής, αλλά λαμβάνεται υπόψη και η ευρύτερη γειτονιά της αρ- χικής εκτίμησης ώστε να μειώνεται με τον τρόπο αυτό η επίδραση του θορύβου. Η αβεβαιό- τητα προσδιορισμού της θέσης του σημείου επί της επιπολικής είναι κριτήριο για τον απο- κλεισμό σημείων κατά την διαδικασία της σάρωσης. Η αρχική εκτίμηση των 3D συντεταγμένων των σημείων από τις εξισώσεις παράλλαξης (λύ- ση χωρίς περίσσεια μετρήσεων) ενισχύεται με την εισαγωγή πρόσθετων γεωμετρικών δε- σμεύσεων:  Όλα τα σημεία του χώρου που ανακατασκευάζονται από κάθε ζεύγος εικόνων οφεί- λουν είναι συνεπίπεδα ως σημεία που ανήκουν στο επίπεδο του laser.  Η τοποθέτηση του αντικειμένου στην κόγχη που σχηματίζεται από δύο επίπεδα (η ο- ποία προηγουμένως έχει σαρωθεί) επιτρέπει να εισάγεται μια επιπλέον δέσμευση συνεπιπεδότητας για τα ανακατασκευασμένα σημεία που ανήκουν στα επίπεδα αυ- τά.  Τέλος, γειτονικά σημεία δεν πρέπει να απέχουν μεταξύ τους πέραν ενός ορίου (στοι- χείο εξομάλυνσης της ανακατασκευαζόμενης επιφάνειας). Η διατριβή μελετά την επίδραση των εν λόγω δεσμεύσεων και εξετάζει την επιβολή τους ως αυστηρών ή ελαστικών. Η γενικότερη λύση που δίδεται στην διατριβή είναι εκείνη όπου οι συντεταγμένες των σημείων μίας πλήρους σάρωσης και όλοι οι άγνωστοι συντελεστές των επιπέδων εκτιμώνται ταυτόχρονα σε ενιαία επαναληπτική συνόρθωση. Η εισαγωγή γεωμε- τρικών δεσμεύσεων ενισχύει την λύση προσφέροντας περίσσεια παρατηρήσεων, επομένως αυξάνοντας την αξιοπιστία της, ενώ επιτρέπει να αντιμετωπιστεί και το πρόβλημα των πολ- λαπλών μεγίστων που οφείλεται σε αποκρύψεις ή ανακλάσεις. Τέλος, το παραγόμενο νέ- φος σημείων μπορεί να συμπληρωθεί με τιμές χρώματος από τις εικόνες υποβάθρου, οι ο- ποίες προκύπτουν από το σύνολο των δεδομένων με την τεχνική του χρονικού διαμέσου. Δεδομένου ότι για ένα πλήρες 3D μοντέλο του αντικειμένου απαιτούνται πολλές σαρώσεις από διαφορετικές θέσεις, τα επιμέρους νέφη σημείων πρέπει να συγχωνευθούν σε ενιαίο νέφος, πχ. με γνωστούς αλγορίθμους όπως ο ICP. Η πλήρης αυτοματοποίηση της διαδικα- σίας προϋποθέτει ότι η απαραίτητη αρχική προσέγγιση των παραμέτρων μετασχηματισμού για τον ICP πρέπει επίσης να εκτιμηθεί αυτόματα. Εν προκειμένω αυτό βασίζεται στις ίδιες τις εικόνες, εφόσον υπάρχει η ελάχιστη υφή στο αντικείμενο που θα επέτρεπε να ανιχνευ- τούν σημεία ενδιαφέροντος επαρκούς αριθμού και κατάλληλης κατανομής. Με τους αλγο- ρίθμους SIFT και RANSAC εντοπίζονται ομόλογα σημεία (βάσει του επιπολικού πίνακα) σε ζεύγη εικόνων αποτελούμενα από λήψεις από διαφορετικές (γειτονικές) θέσεις σάρωσης, για τα οποία παρεμβάλλονται 3D σημεία στα νέφη από κάθε θέση σάρωσης. Έτσι, οι 2D ο- μολογίες ανάγονται σε ομολογίες στον 3D χώρο, οπότε είναι πλέον δυνατός ο αυτόματος μετασχηματισμός στερεού σώματος μεταξύ των δύο επικαλυπτόμενων νεφών. Τελικό βήμα είναι η εξομάλυνση του παραγόμενου νέφους σημείων. Στην διατριβή αξιολο- γούνται διάφοροι αλγόριθμοι εξομάλυνσης, οι οποίοι εφαρμόζονται στα συνενωμένα ή και τα επιμέρους νέφη σημείων. Εδώ επιλέγεται εξομάλυνση υπό την θεώρηση ότι η επιφάνεια προσεγγίζεται τοπικά με στοιχειώδεις μαθηματικές επιφάνειες, με δυνατότητα εισαγωγής ανισοτροπικής κατανομής βαρών ώστε να λαμβάνεται υπόψη και το τοπικό ανάγλυφο της επιφάνειας. Η ακρίβεια μιας τυπικής διάταξης του σαρωτή είναι της τάξης των 0.2 mm, όπως εκτιμήθη- κε τόσο θεωρητικά όσο και πειραματικά. Για την πρακτική αξιολόγηση της ακρίβειας σαρώ- θηκαν αντικείμενα γνωστών διαστάσεων, ενώ ο σαρωτής δοκιμάστηκε επίσης έναντι εμπο- ρικών σαρωτών, υψηλού και χαμηλού κόστους, με ικανοποιητικά αποτελέσματα. Η διατρι- βή ολοκληρώνεται με την παρουσίαση και αξιολόγηση όλων των εφαρμογών που πραγμα- τοποιήθηκαν, τα συμπεράσματα και τις προτάσεις της εργασίας, και, τέλος, την χρησιμοποι- ηθείσα βιβλιογραφία.

This thesis presents the development, implementation and evaluation of a low cost surface scanner for small objects using additional constraints for increasing its robustness and accuracy. The scanner described here combines stereovision and the “slit-scanner” principle. Two web cameras, which are automatically pre-calibrated, view the trace of a moving hand-held laser plane in the scene. The laser line helps solve the correspondence problem and, finally, calculate the coordinates of 3D surface points by using the simple parallax equations on epipolar images. Triangulation is then strengthened by extra geometric constraints. In more detail, the steps of the procedure are as follows: The system is calibrated automatically with bundle adjustment in order to estimate the interior and the true-to-scale relative orientation of the two web cameras by processing stereo pairs of a 2D chess-board. For the purposes of this dissertation an algorithm was developed to automatically recognize the pattern coordinate system, collect all nodes of the chessboard and estimate initial values for all unknowns. This allows image pairs acquired during scanning to be re-sampled to (distortion-free) epipolar images. These images only depict the trace of the laser after subtraction of the background; also, smoothing filters are applied to reduce noise effects. The search for point homologies is thus confined on corresponding epipolar lines. Homologous points are defined as intersections of the epipolar lines with the viewed laser profiles (intensity peaks on each image row). Among a variety of tested methods, Gaussian curve fitting on each laser profile was chosen for peak detection. Peak position is given by simultaneously fitting three Gaussian profiles, with the additional curves being interpolated in the two diagonal directions through the initial peak approximation. This exploits information from the peak neighbourhood, while still keeping the detected point on the epipolar row. The accuracy of peak position functions as criterion for point acceptance. The initial calculation of the 3D coordinates for all points by means of the parallax equations (solution with no redundancy) is strengthened by imposing extra geometric constraints to the solution:  All points reconstructed from the laser stripe of each image pair should belong to the laser plane.  Placing the object in a corner formed by two intersecting planes (which have been previously scanned) allows introducing an extra co-planarity constraint for all points lying on these background planes.  Neighbouring points should have compatible depth values (smoothing effect). The influence of these constraints, enforced either as ‘hard’ or ‘soft’ constraints, is examined and evaluated. The suggested solution estimates all unknown values of a whole scanning process in a single adjustment step. The introduction of geometric constraints strengthens the solution by offering a redundancy of observations, thus increasing reliability, and also allows addressing the problem of multiple intensity maxima due to occlusions or reflections. Finally, the point cloud generated can be augmented with RGB values by projection of background images generated automatically from the data set with a time median approach. In order to obtain a full 3D model of an object, several scans from different positions must be fused, using algorithms such as ICP. In the context of a fully automatic procedure, initial estimates for translation and rotation for ICP must also be automatically calculated. Here information form the background images is used, provided that the object is sufficiently textured for an interest operator to extract sufficient points, both in number and in distribution. Using the SIFT and RANSAC algorithms, homologous points are extracted (via the fundamental matrix) between the images from adjacent scan positions. The 2D point pairs are upgraded to 3D by interpolation to the respective point clouds, thus making a rigid body transformation between the two point clouds possible. In the final step, the generated point cloud is smoothened. Several smoothing algorithms are evaluated and applied to the individual or the combined point clouds. For smoothing, it is assumed that the object may be locally approximated by basic mathematical surfaces, while an anisotropic approach depending on local surface shape is also introduced. The accuracy of the scanner is in the order of 0.2 mm, as evaluated both theoretically and experimentally. For the practical evaluation, objects of known dimensions were scanned, while the system was also tested against a high-cost and a low-cost commercial scanner. The dissertation concludes with a presentation and evaluation of all applications carried out, its conclusions and suggestions, and finally the cited references.