Semantic Segmentation of Coastal Images with Transformer Models

Δρακοπούλου, Πελαγία; Drakopoulou, Pelagia

dc.contributor.author	Δρακοπούλου, Πελαγία	el
dc.contributor.author	Drakopoulou, Pelagia	en
dc.date.accessioned	2024-09-24T08:45:28Z
dc.date.available	2024-09-24T08:45:28Z
dc.identifier.uri	https://dspace.lib.ntua.gr/xmlui/handle/123456789/60261
dc.identifier.uri	http://dx.doi.org/10.26240/heal.ntua.27957
dc.rights	Αναφορά Δημιουργού 3.0 Ελλάδα	*
dc.rights.uri	http://creativecommons.org/licenses/by/3.0/gr/	*
dc.subject	Όραση Υπολογιστών	el
dc.subject	Computer Vision	en
dc.subject	Semantic Segmentation	en
dc.subject	Transformers	en
dc.subject	Coastal Environments	en
dc.subject	Σημασιολογική Κατάτμηση	el
dc.subject	Παράκτια Περιβάλλοντα	el
dc.subject	Μοντέλα Μετασχηματιστών	el
dc.subject	Τηλεπισκόπηση	el
dc.subject	Remote Sensing	en
dc.title	Semantic Segmentation of Coastal Images with Transformer Models	en
dc.title	Σημασιολογική Κατάτμηση Παράκτιων Εικόνων με Χρήση Μοντέλων Μετασχηματιστών	el
heal.type	bachelorThesis
heal.classification	Μηχανική Μάθηση	el
heal.classification	Machine Learning	en
heal.language	el
heal.language	en
heal.access	free
heal.recordProvider	ntua	el
heal.publicationDate	2024-04-01
heal.abstract	Οι παράκτιες περιοχές έχουν ιδιαίτερη σημασία στην ανάπτυξη διαφόρων κοινωνικοοικονομικών δραστηριοτήτων, την περιβαλλοντική βιωσιμότητα και τη διατήρηση της βιοποικιλότητας. Για τον λόγο αυτό, απαιτούνται αποτελεσματικά εργαλεία και μεθοδολογίες για την κατανόηση και την παρακολούθηση αυτών των δυναμικών οικοσυστημάτων. Η τηλεπισκόπηση, ειδικά μέσω δορυφορικών εικόνων, έχει αναδειχθεί ως μια ιδιαίτερα χρήσιμη τεχνολογία για την ανάλυση των ακτογραμμών. Οι πρόσφατες εξελίξεις στα μοντέλα που βασίζονται σε μετασχηματιστές προσφέρουν σημαντικές εναλλακτικές λύσεις στα παραδοσιακά συνελικτικά νευρωνικά δίκτυα (CNN), ιδιαίτερα στην καταγραφή εξαρτήσεων και πληροφοριών μεγάλης εμβέλειας. Με κίνητρο τη διαθεσιμότητα αεροφωτογραφιών υψηλής ανάλυσης της ελληνικής ακτογραμμής από το Ελληνικό Κτηματολόγιο, η έρευνα αυτή εστιάζει στην εφαρμογή μοντέλων μετασχηματιστών τελευταίας τεχνολογίας για την επίτευξη σημασιολογικής κατάτμησης στις εικόνες. Αξιοποιώντας προϋπάρχοντα επισημασμένα σύνολα δεδομένων από την ακτογραμμή των ΗΠΑ, προσαρμόζουμε και εκπαιδεύουμε τα μοντέλα SegFormer, MaskFormer και Mask2Former για να οριοθετήσουμε διάφορες κατηγορίες επιφανειών γης, όπως υδάτινα σώματα, βλάστηση, παραλίες και ανεπτυγμένες περιοχές. Μέσω της αξιολόγησης των μοντέλων, το Mask2Former αναδεικνύεται ως το μοντέλο με τις κορυφαίες επιδόσεις, επιτυγχάνοντας 85,43% mIoU στο σύνολο δεδομένων της Ελληνικής ακτογραμμής. Η αξιοποίηση της μεταφοράς μάθησης αποδεικνύεται κομβική, καθώς η χρήση προεκπαιδευμένων μοντέλων βελτιώνει σημαντικά τα τελικά μας αποτελέσματα. Αυτή η εργασία αποτελεί ένα σημαντικό βήμα προς την αξιοποίηση τεχνικών υπολογιστικής όρασης για τηλεπισκόπηση σε παράκτια περιβάλλοντα, ανοίγοντας το δρόμο για μελλοντική έρευνα. Οι μελλοντικές κατευθύνσεις έρευνας περιλαμβάνουν την επέκταση των κατηγοριών των κλάσεων, την ανάλυση σε επίπεδο υλικού και την αξιοποίηση της πληροφορίας της τρίτης διάστασης των εικόνων.	el
heal.abstract	Coastal regions play a vital role in various socio-economic activities, environmental sustainability, and biodiversity conservation. Efficient tools and methodologies are required for understanding and monitoring these dynamic and ecologically diverse ecosystems. Remote sensing, especially through aerial and satellite imagery, has emerged as a crucial technology for comprehensive coastline analysis. Furthermore, recent advancements in Transformer-based models offer promising alternatives to traditional convolutional neural networks (CNNs), particularly in capturing long-range dependencies and information. Motivated by the availability of high-resolution aerial images of the Greek coastline from the Hellenic Land Registry, this research focuses on applying state-of-the-art transformer models for semantic segmentation. Leveraging pre-existing labeled datasets from the US coastline, we adapt and train SegFormer, MaskFormer, and Mask2Former models to delineate land surface classes such as water bodies, vegetation, sediments and developed areas. Through the evaluation, Mask2Former emerges as the top-performing model, achieving 85.43% mIoU on the Greek Coastline dataset. Transfer learning proves to be vital, highlighting the value of adapting models to specific datasets. This work represents a crucial step towards leveraging computer vision techniques for remote sensing in coastal environments, paving the way for future research. Future research directions include expanding class categories, utilization of altitude information, material-level analysis, and optimization strategies for model training.	en
heal.advisorName	Κόλλιας, Στέφανος	el
heal.committeeMemberName	Στάμου, Γιώργος	el
heal.committeeMemberName	Βουλόδημος, Αθανάσιος	el
heal.academicPublisher	Εθνικό Μετσόβιο Πολυτεχνείο. Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών. Τομέας Τεχνολογίας Πληροφορικής και Υπολογιστών. Εργαστήριο Συστημάτων Τεχνητής Νοημοσύνης και Μάθησης	el
heal.academicPublisherID	ntua
heal.numberOfPages	112 σ.	el
heal.fullTextAvailability	false