Multimodal Remote Sensing Data Classification using Semi-Supervised Variational Autoencoder

Λόζου, Πηγή; Lozou, Pigi

dc.contributor.author	Λόζου, Πηγή	el
dc.contributor.author	Lozou, Pigi	en
dc.date.accessioned	2024-03-04T10:13:02Z
dc.identifier.uri	https://dspace.lib.ntua.gr/xmlui/handle/123456789/58961
dc.identifier.uri	http://dx.doi.org/10.26240/heal.ntua.26657
dc.rights	Αναφορά Δημιουργού 3.0 Ελλάδα	*
dc.rights.uri	http://creativecommons.org/licenses/by/3.0/gr/	*
dc.subject	Μηχανική μάθηση	el
dc.subject	Τηλεπισκόπηση	el
dc.subject	Πολυτροπικά δεδομένα	el
dc.subject	Ηημι-επιβλεπόμενη μάθηση	el
dc.subject	Σύντηξη δεδομένων	el
dc.title	Multimodal Remote Sensing Data Classification using Semi-Supervised Variational Autoencoder	el
heal.type	bachelorThesis
heal.classification	Μηχανική μάθηση	el
heal.dateAvailable	2025-03-03T22:00:00Z
heal.language	el
heal.language	en
heal.access	embargo
heal.recordProvider	ntua	el
heal.publicationDate	2023-10-20
heal.abstract	Τα τελευταία χρόνια, η ταχεία ανάπτυξη της μηχανικής μάθησης οδήγησε στην ενσωμά-- τωση της τεχνητής νοημοσύνης σε διάφορους επιστημονικούς κλάδους όπου οι τεχνικές μηχανικής μάθησης έφεραν την επανάσταση στην επεξεργασία και ανάλυση συνόλων δεδομένων μεγάλης κλίμακας. H ενοποίηση αυτή έχει φέρει σημαντικές αλλαγές στον τομέα της τηλεπισκόπησης. Aυτή η διατριβή συμβάλλει σε αυτή την πρόοδο παρουσιάζοντας μια ολοκληρωμένη έρευνα για την ταξινόμηση των πολυτροπικών δεδομένων τηλεπισκόπησης χρησιμοποιώντας ημι-επιβλεπόμενες αρχιτεκτονικές με Variational Autoencoders. Οι Variational Autoencoders έχουν αναδειχθεί ως ένα ισχυρό εργαλείο για την μελέτη των υπο-- κείμενων μοτίβων και δομών που χαρακτηρίζουν τις εικόνες τηλεπισκόπησης, δείχνοντας σημαντικές δυνατότητες στην ημι-εποπτευόμενη μάθηση. Η αρχιτεκτονική καινοτομία που προτείνουμε, ενσωματώνει τη στρατηγική συγχώνευσης δεδομένων σε επίπεδο latent χαρακτηριστικών στο πλαίσιο του Variational Autoencoder, επιτρέποντας την απρόσκοπτη ενσωμάτωση πολυτροπικών δεδομένων στον τομέα της τηλεπι-- σκόπησης. Μέσω μιας σειράς εκτεταμένων πειραμάτων που πραγματοποιήθηκαν σε σύνολα δεδομένων που απεικονίζουν αγροτικές και αστικές περιοχές, αυτή η μελέτη αναδεικνύει το αντίκτυπο της επιλογής κωδικοποιητή και της διάστασης του latent χώρου στην απόδοση ταξινόμησης. Τα ημι-εποπτευόμενα μοντέλα Variational Autoencoder ξεπέρασαν τις παραδοσιακες μεθόδους, όπως το Support Vector Machine και τo Random Forest, όχι μόνο ως προς τις μετρικες αλλά και ως προς την ποιοτική απόδοση και την αβεβαιότητα. Επιπλέον, παρέχουμε μια ανάλυση των δυνατοτήτων και των περιορισμών που σχετίζονται με τις στρατηγικές σύντηξης πολυτροπικών δεδομένων τόσο σε σε επίπεδο δεδομένων και σύντηξης σε επίπεδο latent χαρακτηριστικών. Δοκιμάζοντας τις προτεινόμενες αρχιτεκτονικές σε προοδευτικά μεγαλύτερο σύνολο δεδομένων αστικών περιοχών, απο-- κτούμε μια βαθύτερη κατανόηση της σημασίας της ποιοτικής ανάλυσης, η οποία αποκαλύπτει πολύτιμες πληροφορίες σχετικά με την απόδοση κάθε στρατηγικής σύντηξης. Καθώς ερευνούμε τον κλάδο της πολυτροπικής ανάλυσης δεδομένων, το πλαίσιο που προτείνεται σε αυτή τη διατριβή όχι μόνο προσφέρει πολύτιμες γνώσεις για την τηλεπισκόπη-- ση αλλά επίσης προσφέρει συναρπαστικές δυνατότητες για δημιουργικές λύσεις και εφαρμογές σε ένα φάσμα επιστημονικών τομέων.	el
heal.abstract	In recent years, the rapid expansion of machine learning has inevitably led to the integration of artificial intelligence into diverse scientific disciplines, where machine learning techniques have played a pivotal role in revolutionizing the processing and analysis of large-scale datasets. This integration has significantly transformed the field of remote sensing. This thesis contributes to this evolving landscape by presenting a comprehensive investigation into the classification of multimodal remote sensing data using semi-supervised Variational Autoencoder architectures. Variational Autoencoders have eme-- rged as a powerful tool for uncovering the underlying patterns and structures inherent in data, showing significant potential in semi-supervised learning. The architectural innovation proposed here incorporates a latent feature-level fusion strategy into the Variational Autoencoder framework, enabling the seamless integration of multiple modalities within the realm of remote sensing. Through a series of extensive experiments conducted on dataset representing rural area, we demonstrate the critical impact of encoder selection and latent space dimensionality on classification performance. The semi-supervised Variational Autoencoder models outperformed traditionally used methods such as Support Vector Machines and Random Forests, not only in terms of metrics but also in qualitative performance and uncertainty assessment. Furthermore, this study provides insights into the strengths and limitations associated with data-level fusion and latent feature-level fusion strategies. As we test the capability of the proposed architectures on progressively larger dataset of urban area, we gain a deeper understanding of the importance of qualitative analysis, which reveals valuable insights about the performance of each fusion strategy. As we navigate the complex landscape of multimodal data analysis, the framework proposed in this thesis not only offers valuable insights into remote sensing but also opens up exciting possibilities for creative solutions and applications across a spectrum of scientific domains.	en
heal.advisorName	Μαραγκός, Πέτρος	el
heal.committeeMemberName	Μαραγκός, Πέτρος	el
heal.committeeMemberName	Ποταμιάνος, Αλέξανδρος	el
heal.committeeMemberName	Ροντογιάννης, Αθανάσιος	el
heal.academicPublisher	Εθνικό Μετσόβιο Πολυτεχνείο. Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών. Τομέας Σημάτων, Ελέγχου και Ρομποτικής. Εργαστήριο Όρασης Υπολογιστών, Επικοινωνίας Λόγου και Επεξεργασίας Σημάτων	el
heal.academicPublisherID	ntua
heal.numberOfPages	130 σ.	el
heal.fullTextAvailability	false