HEAL DSpace

Object detection and semantic segmentation of aerial and satellite imagery with deep learning models

DSpace/Manakin Repository

Show simple item record

dc.contributor.author Φράγκος, Παναγιώτης el
dc.contributor.author Fragkos, Panagiotis en
dc.date.accessioned 2026-09-09T10:53:21Z
dc.identifier.uri https://dspace.lib.ntua.gr/xmlui/handle/123456789/65816
dc.identifier.uri http://dx.doi.org/10.26240/heal.ntua.33510
dc.description Εθνικό Μετσόβιο Πολυτεχνείο--Μεταπτυχιακή Εργασία. Διεπιστημονικό-Διατμηματικό Πρόγραμμα Μεταπτυχιακών Σπουδών (Δ.Π.Μ.Σ.) "Επιστήμη Δεδομένων και Μηχανική Μάθηση" el
dc.rights Default License
dc.subject Object detection en
dc.subject Semantic segmentation en
dc.subject Earth observation en
dc.subject SAM en
dc.subject YOLO en
dc.subject Ανίχνευση αντικειμένων el
dc.subject Σημασιολογική κατάτμηση el
dc.subject Παρατήρηση Γης el
dc.subject Σύστημα Ανίχνευσης–Κατάτμησης el
dc.subject Βαθιά μάθηση el
dc.title Object detection and semantic segmentation of aerial and satellite imagery with deep learning models en
dc.title Ανίχνευση αντικειμένων και σημασιολογική κατάτμηση εναέριων και δορυφορικών εικόνων με μοντέλα βαθιάς μάθησης el
heal.type masterThesis
heal.classification GeoAI en
heal.classification Deep Learning en
heal.classification Geospatial Engineering en
heal.classification Artificial Intelligence en
heal.classification Remote Sensing en
heal.classification Photogrammetry en
heal.dateAvailable 2027-09-08T21:00:00Z
heal.language en
heal.access embargo
heal.recordProvider ntua el
heal.publicationDate 2026-07-08
heal.abstract Object detection and instance segmentation in aerial and satellite imagery support a wide range of Earth observation applications, including urban mapping, infrastructure monitoring, maritime awareness, and environmental analysis. Unlike natural ground-level imagery, aerial data introduce several characteristic difficulties (extreme viewpoint changes, arbitrary object rotation, large scale variation, dense object layouts, and limited availability of pixel-level annotations). Recent deep learning models have achieved strong performance on conventional computer vision benchmarks, but their behavior in the aerial regime, particularly under restricted training data, is not as well understood. This thesis evaluates a modular Detection→Segmentation pipeline for aerial imagery that pairs object detectors from the YOLO family with the Segment Anything Model (SAM) used as a prompt-driven segmentation backend. The design avoids any task-specific training of the segmentation stage and aims to reduce annotation cost while maintaining usable mask quality. To support a unified evaluation of detection and segmentation, a paired dataset, AerialFuseCV, is constructed by reconciling DOTA v1.0 oriented bounding box annotations with iSAID instance masks at the instance level. The reconciled dataset enables systematic assessment of standalone detection, standalone segmentation, and end-to-end pipeline performance under consistent conditions. Three sets of experiments are reported. A YOLO detection benchmark covers multiple model variants in both axis-aligned (VBB) and oriented (OBB) configurations, isolating the contribution of rotation-aware representations. A SAM zero-shot benchmark evaluates three image-encoder variants (ViT-H, ViT-L, ViT-B) under both bounding box and point prompting strategies, using ground-truth prompts to isolate segmentation quality from detection error. The integrated pipeline benchmark connects the best-performing YOLO configuration to each SAM variant and measures end-to-end behavior on the AerialFuseCV validation split. The results reveal a clear asymmetry between the two stages. Detectors pretrained on ground-level imagery transfer poorly to the aerial domain, with OBB-trained variants substantially outperforming their VBB counterparts on rotated objects. SAM, by contrast, demonstrates useful zero-shot segmentation when supplied with accurate spatial prompts. Prompt quality emerges as the dominant factor affecting segmentation accuracy, with bounding box prompts yielding mask IoU roughly 20 percentage points higher than point-based prompts. Model size plays a comparatively minor role, as SAM-ViT-B reaches 66.9% mean IoU against 67.7% for SAM-ViT-H, a gap of less than one percentage point across a sevenfold parameter difference. The integrated pipeline (YOLOv11x-OBB paired with SAM-ViT-B and box prompts) achieves 67.9% mean mask IoU on matched prediction–ground-truth pairs, broadly comparable to the SAM-only upper bound. The principal limitation is detection Recall, which sits at 62.1% across 15 object categories, indicating that around 38% of ground-truth instances receive no segmentation prompt at all. Performance varies substantially by class, ranging from 87.1% IoU for soccer ball fields to 0% for swimming pools, where detection fails entirely. Total pipeline inference time averages roughly 730 ms per image on an RTX 3090 Ti, with SAM accounting for around 92% of the budget, which makes the approach suitable for batch processing of aerial datasets but not for real-time deployment. Overall, this thesis provides a systematic evaluation of a zero-shot Detection→Segmentation pipeline for aerial imagery, clarifies the conditions under which the approach is viable for operational use and quantifies the trade-offs between mask quality and operational latency. The findings offer practical guidance for deploying foundation-model-based segmentation in Earth observation (EO) workflows and identify directions for future improvement, namely detector adaptation for small and rare object categories, batched SAM inference and the construction of paired detection–segmentation datasets that preserve full radiometric range and georeferencing information. en
heal.abstract Η ανίχνευση αντικειμένων και η κατάτμηση στιγμιοτύπων σε εναέριες και δορυφορικές εικόνες υποστηρίζουν ένα ευρύ φάσμα εφαρμογών παρατήρησης Γης, όπως η αστική χαρτογράφηση, η παρακολούθηση υποδομών, η ναυτιλιακή επιτήρηση και η περιβαλλοντική ανάλυση. Σε αντίθεση με τις συνήθεις επίγειες εικόνες, τα εναέρια δεδομένα παρουσιάζουν αρκετές χαρακτηριστικές δυσκολίες (ακραίες μεταβολές στην οπτική γωνία λήψης, αυθαίρετο προσανατολισμό των αντικειμένων, μεγάλη διακύμανση κλίμακας, πυκνές διατάξεις αντικειμένων και περιορισμένη διαθεσιμότητα επισημειώσεων σε επίπεδο εικονοστοιχείου). Τα πρόσφατα μοντέλα βαθιάς μάθησης έχουν επιτύχει υψηλές επιδόσεις σε συμβατικά σετ δεδομένων αξιολόγησης, αλλά η συμπεριφορά τους στο πεδίο της εναέριας απεικόνισης, και ιδίως υπό συνθήκες περιορισμένων δεδομένων εκπαίδευσης, δεν έχει μελετηθεί εξίσου διεξοδικά. Η παρούσα διπλωματική εργασία αξιολογεί ένα αρθρωτό σύστημα Ανίχνευσης→Κατάτμησης (Detection→Segmentation) για εναέριες εικόνες, το οποίο συνδυάζει ανιχνευτές αντικειμένων της οικογένειας YOLO με το μοντέλο Segment Anything Model (SAM), χρησιμοποιούμενο για την, καθοδηγούμενη από προτροπές (prompts), κατάτμηση και εξαγωγή αυτών. Η σχεδίαση αυτή αποφεύγει οποιαδήποτε εξειδικευμένη εκπαίδευση του μοντέλου κατάτμησης και στοχεύει στη μειώνοντας το κόστος δημιουργίας σετ δεδομένων ενώ διατηρεί παράλληλα υψηλή ποιότητα μασκών. Για την υλοποίηση μια ενιαίας αξιολόγησης, τόσο ως προς το στάδιο ανίχνευσης όσο και ως προς την κατάτμηση, κατασκευάστηκε ένα ολοκληρωμένο σύνολο δεδομένων με την ονομασία AerialFuseCV, μέσω της αντιστοίχισης των προσανατολισμένων περικλειόντων πολυγώνων (OBB) του DOTA v1.0 με τις μάσκες στιγμιοτύπων του iSAID σε επίπεδο μεμονωμένου αντικειμένου. Το νέο σύνολο δεδομένων επιτρέπει τη συστηματική αξιολόγηση τόσο της αυτόνομης ανίχνευσης και της αυτόνομης κατάτμησης, όσο και της απόδοσης του ολοκληρωμένου συστήματος, υπό κοινές συνθήκες αξιολόγησης. Με τον τρόπο αυτό καθιερώνεται μια ενιαία βάση αξιολόγησης, για σαφώς συγκρίσιμα αποτελέσματα και τη συνακόλουθη εξαγωγή αντικειμενικών συμπερασμάτων. Παρουσιάζονται τρία σετ πειραμάτων. Μια αξιολόγηση (benchmark) του σταδίου ανίχνευσης με μοντέλα της οικογένειας YOLO, καλύπτοντας πολλαπλές παραλλαγές, τόσο σε διαμόρφωση κατακόρυφων (axis-aligned, VBB) όσο και προσανατολισμένων (oriented, OBB) περικλειόντων πολυγώνων, ποσοτικοποιώντας την επίδρασή τους στην ποιότητα της ανίχνευσης. Μια αξιολόγηση της ικανότητας γενίκευσης (zero-shot) του μοντέλου κατάτμησης SAM, εξετάζοντας τρεις παραλλαγές του κωδικοποιητή εικόνας (ViT-H, ViT-L, ViT-B). Αξιολογούνται στρατηγικές προτροπών είτε μέσω περικλειόντων πολυγώνων είτε μέσω σημείων, με χρήση δεδομένων αληθείας, ώστε η ποιότητα της κατάτμησης να απομονωθεί από τα σφάλματα ανίχνευσης. Τέλος, αξιολογείται το ολοκληρωμένο σύστημα Ανίχνευσης→Κατάτμησης το οποίο συντίθεται από την καλύτερη έκδοση YOLO και την καλύτερη παραλλαγή του SAM, οι οποίες προέκυψαν από τα προηγούμενα πειράματα και αξιολογείται η συμπεριφορά του συστήματος, από άκρο σε άκρο, στο σύνολο δεδομένων AerialFuseCV. Τα αποτελέσματα αποκαλύπτουν μια σαφή ασυμμετρία. Τα μοντέλα ανίχνευσης που έχουν προεκπαιδευθεί σε επίγειες εικόνες (COCO) παρουσιάζουν μηδενική απόδοση στο πεδίο των εναέριων εικόνων, δείχνοντας αδυναμία γενίκευσης και σημαντικές διαφορές μεταξύ των δυο οπτικών (κατακόρυφη και οριζόντια), παρά τη συνάφεια των αντικειμένων. Αντιθέτως, το SAM επιδεικνύει εξαιρετική ικανότητα κατάτμησης σε συνθήκες χωρίς προεκπαίδευση (zero-shot) στην εναέρια οπτική, εφόσον τροφοδοτείται με ακριβείς χωρικές προτροπές. Η ποιότητα της προτροπής αναδεικνύεται ως ο κυρίαρχος παράγοντας που επηρεάζει την ακρίβεια της κατάτμησης, με τις προτροπές περικλείοντος πολυγώνου να αποδίδουν μέσο IoU μάσκας μεγαλύτερο κατά περίπου 20% σε σχέση με τις προτροπές σημείου. Το μέγεθος του μοντέλου διαδραματίζει συγκριτικά μικρότερο ρόλο, καθώς το SAM-ViT-B επιτυγχάνει μέσο IoU 66,9% έναντι 67,7% του SAM-ViT-H, διαφορά μικρότερη του 1% παρά την επταπλάσια αύξηση στον αριθμό παραμέτρων του μοντέλου. Το ολοκληρωμένο σύστημα (YOLOv11x-OBB σε συνδυασμό με SAM-ViT-B και προτροπές περικλείοντος πολυγώνου) επιτυγχάνει μέσο IoU μάσκας 67,9% στη σύγκριση των προβλέψεων με τα δεδομένα αληθείας, τιμή σε γενικές γραμμές συγκρίσιμη με το άνω όριο που θέτει το ανεξάρτητο πείραμα της αξιολόγησης του μοντέλου SAM. Ο κύριος περιοριστικός παράγοντας που αναδεικνύεται, είναι η Ανάκληση (Recall) του μοντέλου ανίχνευσης, η οποία ανέρχεται σε 62,1% στις 15 κατηγορίες αντικειμένων, υποδηλώνοντας ότι περίπου το 38% των αντικειμένων αληθείας δεν λαμβάνει καμία προτροπή κατάτμησης. Η απόδοση παρουσιάζει σημαντική διακύμανση ανά κατηγορία, με εύρος από 87,1% IoU για τα γήπεδα ποδοσφαίρου έως 0% για τις πισίνες, όπου η ανίχνευση αποτυγχάνει πλήρως. Ο συνολικός χρόνος εκτέλεσης του αγωγού ανέρχεται κατά μέσο όρο σε περίπου 730 ms ανά εικόνα (σε GPU τύπου RTX 3090 Ti), με το SAM να καταναλώνει περίπου το 92% του προϋπολογισμού χρόνου, γεγονός που καθιστά τη μέθοδο κατάλληλη για μαζική επεξεργασία εναέριων συνόλων δεδομένων, όχι όμως για ανάπτυξη σε πραγματικό χρόνο (edge processing). Συνολικά, η παρούσα διπλωματική εργασία παρέχει μια συστηματική αξιολόγηση ενός συστήματος Ανίχνευσης→Κατάτμησης για εναέριες εικόνες, διασαφηνίζει τις συνθήκες υπό τις οποίες η προσέγγιση είναι βιώσιμη επιχειρησιακά και ποσοτικοποιεί τους συμβιβασμούς μεταξύ της αποδιδόμενης ποιότητας μάσκας και της χρονικής απόδοσης (latency). Τα ευρήματα προσφέρουν πρακτικές κατευθύνσεις για την ενσωμάτωση μοντέλων κατάτμησης βασισμένων σε βασικά μοντέλα (foundation models) σε ροές εργασίας παρατήρησης Γης (EO) και προσδιορίζουν συγκεκριμένες κατευθύνσεις για μελλοντική βελτίωση. Συγκεκριμένα αναδεικνύεται η ανάγκη βελτίωσης του μοντέλου ανίχνευσης, ιδίως για μικρά και σπάνια αντικείμενα, η ανάγκη ενσωμάτωσης δυνατότητας μαζική (batched) εκτέλεσης του SAM, καθώς και η κατασκευή συνόλων δεδομένων ανίχνευσης–κατάτμησης που να διατηρούν το πλήρες ραδιομετρικό εύρος και τη γεωαναφορά της αρχικής λήψης. el
heal.advisorName Βουλόδημος, Αθανάσιος el
heal.advisorName Voulodimos, Athanasios en
heal.committeeMemberName Ιωαννίδης, Χαράλαμπος el
heal.committeeMemberName Στάμου, Γεώργιος el
heal.committeeMemberName Ioannidis, Charalabos en
heal.committeeMemberName Stamou, Georgios en
heal.academicPublisher Εθνικό Μετσόβιο Πολυτεχνείο. Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών el
heal.academicPublisherID ntua
heal.numberOfPages 133 σ. el
heal.fullTextAvailability false


Files in this item

This item appears in the following Collection(s)

Show simple item record