Αυτοματοποιημένος εντοπισμός ακμών σε νέφη σημείων με τη βοήθεια σημασιολογικής πληροφορίας

Μπέτσας, Θεόδωρος; Betsas, Theodoros

dc.contributor.author	Μπέτσας, Θεόδωρος	el
dc.contributor.author	Betsas, Theodoros	en
dc.date.accessioned	2021-03-18T07:59:38Z
dc.date.available	2021-03-18T07:59:38Z
dc.identifier.uri	https://dspace.lib.ntua.gr/xmlui/handle/123456789/53090
dc.identifier.uri	http://dx.doi.org/10.26240/heal.ntua.20788
dc.rights	Αναφορά Δημιουργού-Μη Εμπορική Χρήση-Όχι Παράγωγα Έργα 3.0 Ελλάδα	*
dc.rights.uri	http://creativecommons.org/licenses/by-nc-nd/3.0/gr/	*
dc.subject	Φωτογραμμετρία	el
dc.subject	Όραση υπολογιστών	el
dc.subject	3Δ εντοπισμός ακμών	el
dc.subject	Νέφος σημείων	el
dc.subject	Photogrammetry	en
dc.subject	Computer vision	en
dc.subject	3D edge detection	en
dc.subject	Point cloud	en
dc.subject	Semantic information	en
dc.subject	Σημασιολογική πληροφορία	el
dc.title	Αυτοματοποιημένος εντοπισμός ακμών σε νέφη σημείων με τη βοήθεια σημασιολογικής πληροφορίας	el
dc.title	Automated detection of edges in point clouds using semantic information	en
heal.type	bachelorThesis
heal.classification	Φωτογραμμετρία	el
heal.classification	Photogrammetry	en
heal.classification	Όραση υπολογιστών	el
heal.classification	Computer vision	en
heal.language	el
heal.language	en
heal.access	free
heal.recordProvider	ntua	el
heal.publicationDate	2021-03-10
heal.abstract	Στην παρούσα διπλωματική εργασία δημιουργήθηκε ένας αλγόριθμος εξαγωγής 3Δ ακμών από νέφη σημείων χρησιμοποιώντας ψηφιακές εικόνες και σημασιολογική πληροφορία. Ο αλγόριθμος αναπτύχθηκε σε γλώσσα Python και διανέμεται στο GitHub (www.github.com/thobet) ενώ μπορεί να χρησιμοποιηθεί με οποιοδήποτε λειτουργικό σύστημα. Αρχικά διερευνήθηκε η μεταφορά της σημασιολογικής πληροφορίας στο νέφος σημείων μέσω των ψηφιακών εικόνων. Για το σκοπό αυτό οι εικόνες εμπλουτίζονται με ένα τέταρτο κανάλι που περιέχει το χάρτη ακμών τους. Στη συνέχεια εισάγονται σε ένα λογισμικό δομής από κίνηση (SfM) και πυκνής συνταύτισης (MVS) ώστε να παραχθεί αρχικά το αραιό και εν τέλει το πυκνό νέφος σημείων. Για τη μελέτη του συγκεκριμένου βήματος αρχικά δημιουργήθηκε ένα πρόγραμμα τριγωνισμού στο οποίο εισάγονται οι εμπλουτισμένες εικόνες και παράγεται ένα αραιό νέφος σημείων. Τα σημεία του αραιού νέφους χαρακτηρίζονται από επτά τιμές. Τρεις για τη θέση, τρείς για το χρώμα και μια για το αν το εκάστοτε σημείο ανήκει σε ακμή ή όχι. Στη συνέχεια τροποποιήθηκε το λογισμικό OpenSfM [OpenSfM] ώστε να δέχεται εικόνες τεσσάρων καναλιών και να μεταφέρει τη σημασιολογική πληροφορία στο πυκνό νέφος σημείων που παράγει. Επιπλέον χρησιμοποιήθηκε και το λογισμικό Agisoft Metashape [Agisoft-Metashape] το οποίο μπορεί και επεξεργάζεται πολυκάναλες εικόνες ενώ μεταφέρει τις τιμές κάθε καναλιού στα σημεία τόσο του αραιού όσο και του πυκνού νέφους. Στην παρούσα διπλωματική εργασία αναπτύχθηκε και ένα πρόγραμμα το οποίο εκτελεί τους αλγορίθμους SfM-MVS του Agisoft Metashape [Agisoft-Metashape] μέσω της βιβλιοθήκης Python που παρέχει. Έτσι δίνεται η δυνατότητα να χρησιμοποιηθεί τόσο το γραφικό περιβάλλον του Metashape [Agisoft-Metashape] όσο και να εκτελεστούν οι αλγόριθμοι απευθείας από την Python. Ο χρήστης επιλέγει μια από τις προσεγγίσεις, (i) τριγωνισμός, (ii) OpenSfM [OpenSfM] και (iii) Agisoft Metashape GUI [Agisoft-Metashape] ή script, ώστε να παράξει το αραιό ή το πυκνό νέφος που περιέχει την πληροφορία των ακμών. Ο χρήστης εκτός της μεθόδου που θα παραχθεί το αραιό ή το πυκνό νέφος επιλέγει και τον τρόπο που θα οριστεί ο χάρτης ακμών δηλαδή η σημασιολογική πληροφορία. Πιο συγκεκριμένα μπορεί είτε να δώσει την πληροφρία ο ίδιος, στην περίπτωση που έχει υπολογιστεί ήδη ο χάρτης ακμών κάθε εικόνας, είτε να τη δημιουργήσει εφαρμόζοντας σε πραγαμτικό χρόνο [Arapellis (2020)] τον αλγόριθμο Canny [Canny (1983) και (1986)] σε κάθε μια. Στη συνέχεια εξάγονται τα σημεία που ανήκουν σε ακμές και ταξινομούνται σε σημεία της κάθε ακμής. Τέλος κάθε ομάδα σημείων διανυσματοποιείται και έτσι παράγεται ένα προσεγγιστικό 3Δ σχέδιο του αντικειμένου μελέτης. Ο αλγόριθμος εφαρμόστηκε σε δύο μνημεία πολιτιστικής κληρονομιάς, στο Ναό της Θεάς Δήμητρας στη Νάξο και στον Παλιό Αστυνομικό Σταθμό στη Ρόδο. Στα συμπεράσματα μελετάται η αποτελεσματικότητα του αλγορίθμου ενώ παρουσιάζονται και βελτιώσεις που μπορούν να προστεθούν στο μέλλον.	el
heal.abstract	In this diploma thesis, an algorithm for extracting 3D edges from point clouds was developed, combining digital images with semantic information. The proposed algorithm was built in Python and is distributed in GitHub (www.github.com/thobet). It can be used by any operating system. At first, the transition of semantic information to point clouds through digital images is investigated. For this purpose, the images are enriched by a fourth channel which contains their edge map. Afterwards, they are inserted into a SfM-MVS software to produce initially a sparse and finally, a dense point cloud. For the investigation of this procedure, a triangulation program was first created. More precisely, the enriched images are inserted, and the sparse point cloud is generated. Each of its points is defined by 7 values, i.e. three for the position, three for the color and one which determine whether the point belongs to an edge or not. The OpenSfM [OpenSfM] software was modified in such way, to accept four-channel images and transfer the semantic information to the produced dense point cloud. This transition can also be made using the Agisoft Metashape [Agisoft-Metashape] software which can process multi-channel images by default. Apart from that, it can transfer the semantic information to sparse point cloud, too. This diploma thesis also proposes a program which executes the SfM-MVS algorithms of Agisoft Metashape [Agisoft-Metashape] through the library that it provides. In this way, it enables one to use both the Metashape [Agisoft-Metashape] graphical interface and run the algorithms directly from Python. The user can choose one of the proposed approaches, i.e. triangulation, OpenSfM [OpenSfM] and Agisoft Metashape [Agisoft-Metashape] GUI or script, to produce the sparse or dense point cloud that contains the edge information. He can also decide about the way the edge map will be defined, i.e. the semantic information. Specifically, he can either provide the information himself in case the edge map has already been computed for each image or create it, by applying the Canny [Canny (1983) and (1986)] algorithm to each image, in real-time [Arapellis (2020)]. The points belonging to edges are extracted and classified into points of each edge. Finally, each segment of points is vectorized and thus, the approximated 3D plan of the object of interest is produced. The proposed algorithm was applied to two monuments of cultural heritage, the Ancient Temple of Demeter in Naxos, and the old Police Station in Rhodes. In the conclusions, the effectiveness of the algorithm is investigated while presenting improvements that can been added in the future.	en
heal.advisorName	Γεωργόπουλος, Ανδρέας	el
heal.advisorName	Georgopoulos, Andreas	en
heal.committeeMemberName	Δουλάμης, Αναστάσιος
heal.committeeMemberName	Doulamis, Anastasios	en
heal.committeeMemberName	Ιωαννίδης, Χαράλαμπος	el
heal.committeeMemberName	Ioannidis, Charalabos	en
heal.academicPublisher	Εθνικό Μετσόβιο Πολυτεχνείο. Σχολή Αγρονόμων και Τοπογράφων Μηχανικών. Τομέας Τοπογραφίας. Εργαστήριο Φωτογραμμετρίας	el
heal.academicPublisherID	ntua
heal.numberOfPages	110 σ.	el
heal.fullTextAvailability	false