Εντοπισμός και αναγνώριση τύπου αεροσκαφών σε δορυφορικές εικόνες: Δημιουργία συνόλου δεδομένων και εφαρμογή μοντέλων Deep Learning

Οικονόμου, Γεώργιος; Oikonomou, Georgios

dc.contributor.author	Οικονόμου, Γεώργιος	el
dc.contributor.author	Oikonomou, Georgios	en
dc.date.accessioned	2025-01-09T08:26:35Z
dc.date.available	2025-01-09T08:26:35Z
dc.identifier.uri	https://dspace.lib.ntua.gr/xmlui/handle/123456789/60669
dc.identifier.uri	http://dx.doi.org/10.26240/heal.ntua.28365
dc.description	Εθνικό Μετσόβιο Πολυτεχνείο--Μεταπτυχιακή Εργασία. Διεπιστημονικό-Διατμηματικό Πρόγραμμα Μεταπτυχιακών Σπουδών (Δ.Π.Μ.Σ.) "Επιστήμη Δεδομένων και Μηχανική Μάθηση"	el
dc.rights	Αναφορά Δημιουργού-Μη Εμπορική Χρήση-Όχι Παράγωγα Έργα 3.0 Ελλάδα	*
dc.rights.uri	http://creativecommons.org/licenses/by-nc-nd/3.0/gr/	*
dc.subject	Deep learning	en
dc.subject	Machine learning	en
dc.subject	Artificial intelligence	en
dc.subject	Data analysis	en
dc.subject	Data science	en
dc.subject	Βαθειά μάθηση	el
dc.subject	Μηχανική μάθηση	el
dc.subject	Τεχνητή νοημοσύνη	el
dc.subject	Ανάλυση δεδομένων	el
dc.subject	Επιστήμη δεδομένων	el
dc.title	Εντοπισμός και αναγνώριση τύπου αεροσκαφών σε δορυφορικές εικόνες: Δημιουργία συνόλου δεδομένων και εφαρμογή μοντέλων Deep Learning	el
heal.type	masterThesis
heal.classification	Deep Learning	en
heal.classification	Machine Learning	en
heal.classification	Data Analysis	en
heal.classification	Ανάλυση Δεδομένων	el
heal.classification	Βαθειά Μάθηση	el
heal.classification	Μηχανική Μάθηση	el
heal.classification	Τεχνητή Νοημοσύνη	el
heal.classification	Artificial Intelligence	en
heal.classification	Επιστήμη Δεδομένων	el
heal.classification	Data Science	en
heal.classification	Computer Vision	en
heal.classification	Όραση Υπολογιστών	el
heal.language	el
heal.access	campus
heal.recordProvider	ntua	el
heal.publicationDate	2024-07-19
heal.abstract	Ο εντοπισμός αεροσκαφών σε δορυφορικές εικόνες, με χρήση αλγορίθμων τεχνητής νοημοσύνης, είναι πολύ σημαντικός στον αεροπορικό και αμυντικό τομέα. Υπάρχει μεγάλη δυσκολία ως προς τον σκοπό αυτόν, διότι οι δορυφορικές εικόνες καλύπτουν μεγάλη επιφάνεια του εδάφους (οπότε τα αεροσκάφη αποτελούν μικρό μέρος των εικόνων) και ταυτόχρονα υπεισέρχονται και άλλοι παράγοντες όπως οι συνθήκες λήψης και η ποικ- ιλομορφία του περιβάλλοντος στο οποίο βρίσκονται τα αεροσκάφη αυτά. Τα μοντέλα που χρησιμοποιούνται είναι κυρίως βαθειάς μάθησης και βασίζονται στα συνελικτικά δίκτυα. Απαιτούν μεγάλο όγκο δεδομένων για να εκπαιδευτούν σωστά, κάτι που είναι σχετικά εφικτό λόγω των ήδη υπάρχοντων αντίστοιχων συνόλων δεδομένων. Στο πλαίσιο της παρούσας μεταπτυχιακής εργασίας δημιουργήθηκε ένα νέο σύνολο δε- δομένων με δορυφορικές εικόνες υψηλής ανάλυσης (0.3m-0.6m) προερχόμενες από δορυφόρους της εταιρίας Maxar, το οποίο επιδιώκεται να είναι πλήρως εξισορροπημένο για τις 30 κατηγορίες αεροσκαφών αλλά και για τις τρείς κλίμακες (1:500, 1:1000, 1:1500), ώστε να επιτυγχάνεται η βέλτιστη δυνατή εκπαίδευση των μοντέλων. Η εξισορρόπηση αυτή πραγ- ματοποιείται με τη διατήρηση μόνο ενός αεροσκάφους εντός της κάθε εικόνας αλλά και με τη σύνθεση νέων εικόνων που προκύπτουν από τη μίξη μεμονωμένων αεροσκαφών των κατηγοριών που υπολείπονται σε αεροσκάφη και νέων backgrounds όμοιων συνθηκών λήψης με των αεροσκαφών αυτών. Υπάρχει ποικιλία ως προς τα χαρακτηριστικά των αεροσκαφών και τις συνθήκες λήψης-ποιότητα των εικόνων. Τα μοντέλα που χρησιμοποιήθηκαν για τον εντοπισμό και την αναγνώριση του τύπου του κάθε αεροσκάφους των εικόνων, χωρίζονται σε δυο κατηγορίες: μοντέλα YOLO (yolov5m, yolov10M) και customised μοντέλα. Εκπαιδεύτηκαν στο σύνολό τους με το ίδιο σύνολο δεδομένων εκπαίδευσης και αξιολογήθηκαν στα ίδια σύνολα validation και test, ενώ αξιολογήθηκε η συμπεριφορά τους (κυρίως των YOLO) αναλόγως των υπερ- παραμέτρων που χρησιμοποιούνταν κάθε φορά. Οι κύριες μετρικές που χρησιμοποιήθηκαν στις αξιολογήσεις των μοντέλων YOLO είναι οι Box Precision, Box Recall, Box mAP@50 και Box mAP@50:95 ενώ για τα customised μοντέλα (τα οποία αναπτύχθηκαν περισ- σότερο δοκιμαστικά) είναι κυρίως το σφάλμα που εμφάνισαν στις προβλέψεις των bounding boxes και label ξεχωριστά, το accuracy ως προς την επιτυχία πρόβλεψης των labels (στο σύνολο των κατηγοριών και ξεχωριστά ανά κατηγορία) και οι τιμές των IoUs μεταξύ των πραγματικών και των προβλεπόμενων bounding boxes (στο σύνολο των κατηγοριών και ξεχωριστά ανά κατηγορία). Σχετικά με τα αποτελέσματα που προέκυψαν για τα μοντέλα YOLO, το μοντέλο της έκδοσης v10 αποδείχθηκε χρονοβόρο και σχετικά λιγότερο αποδοτικό σε σχέση με τα μοντέλα της εκδόσεως v5. Από τις υπερ-παραμέτρους, το batch size δεν έπαιξε ιδιαίτερο ρόλο ενώ το image size και το είδος των αρχικών βαρών τους ήταν τα πιο σημαντικά στοιχεία, καθώς μεγαλύτερο μέγεθος και χρήση προ-εκπαιδευμένων (στο COCO dataset) βαρών ως αρχικών αύξανε αντίστοιχα και την απόδοσή τους. Ανεξαρτήτως όμως των υπερ-παραμέτρων, όλα τα μοντέλα ήταν ικανά να εντοπίσουν σωστά τα positive samples και μάλιστα στην πλειοψηφία τους. Για κάθε τύπο αεροσκάφους ξεχωριστά φαίνεται πως πολύ σημαντικό ρόλο έπαιζαν τα μεγέθη των αεροσκαφών και το ποσοστό των σύνθετων εικόνων της κατηγορίας τους, όπου για μεγαλύτερο μέγεθος και ακόμη περισσότερο για μεγαλύτερο ποσοστό αυξανόταν η ικανότητα των μοντέλων να τα εντοπίσουν και να αναγνωρίσουν επιτυχώς τον τύπο τους. Αντίθετα, τα customised μοντέλα αδυνατούσαν να εντοπίσουν τα αεροσκάφη και μόνο σχετικά καλά κατάφερναν να αναγνωρίζουν τον τύπο τους. Εδώ ο ρόλος του ποσοστού των σύνθετων εικόνων στην απόδοση των μοντέλων ήταν σχετικά ασήμαντος ενώ σχετικός ήταν για το μέγεθος του αεροσκάφους.	el
heal.abstract	The detection of aircrafts in satellite images, using artificial intelligence algorithms, is very important in the aviation and defense sector. There is a great difficulty to this end, because satellite images cover a large area of the ground (so the aircrafts are a small part of the images) and, at the same time, other factors come into play such as the shooting conditions and the diversity of the environment in which these aircrafts are located. The models used are mainly deep learning and are based on convolutional networks. They require a large amount of data to be trained properly, which is relatively feasible due to the already existing corresponding datasets. In the context of this master’s thesis, a new dataset was created with high-resolution satellite images (0.3m-0.6m) from Maxar satellites, which is intended to be fully balanced for the 30 aircraft categories and also for the three scales (1:500, 1:1000, 1:1500) to achieve the best possible training of the models. This balancing is carried out by maintaining only one aircraft within each image, but also by composing new images resulting from the mixing of individual aircrafts of the categories lacking in aircrafts and new backgrounds of similar shooting conditions to those aircrafts. There is a variety in the characteristics of the aircrafts and the shooting conditions - quality of the images. The models used to detect and identify the type of each aircraft in the images are divided into two categories: YOLO models (yolov5m, yolov10M) and customized models. They were all trained with the same training dataset and evaluated on the same validation and test sets, while their behavior (mainly for YOLO models) was evaluated according to the hyper-parameters used each time. The main metrics used in the evaluations of the YOLO models were Box Precision, Box Recall, Box mAP@50 and Box mAP@50:95 while for the customized models (which were developed more experimentally) were mainly the loss they showed in the predictions of bounding boxes and labels separately, the accuracy in terms of label prediction success (in all categories and separately by category) and the values of IoUs between the actual and predicted bounding boxes (in all categories and separately by category). Regarding the results obtained for the YOLO models, the v10 model proved to be time-consuming and relatively less efficient than the v5 models. About the hyperparameters, the batch size did not play a particular role, while the image size and the type of their initial weights were the most important elements, as a larger size and the use of pre-trained (in the COCO dataset) weights as initial weights respectively increased models performances. Regardless of the hyper-parameters, all models were able to correctly identify the positive samples and in fact in the majority of them. For each aircraft type separately, it seems that the sizes of the aircrafts and the percentage of composite (new) images of their category played a very important role, where for a larger size and even more for a larger percentage, the ability of the models to detect them and successfully identify their type increased. In contrast, the customized models were unable to detect the aircrafts and were only relatively good at identifying their types. Here, the role of the percentage of composite images in the models performances was relatively insignificant while it was relevant for the size of the aircrafts.	en
heal.sponsor	Κοινωφελές ΄Ιδρυμα ”Αλέξανδρος Σ. Ωνάσης”	el
heal.advisorName	Καράντζαλος, Κωνσταντίνος	el
heal.committeeMemberName	Καράντζαλος, Κωνσταντίνος	el
heal.committeeMemberName	Στάμου, Γεώργιος	el
heal.committeeMemberName	Βουλόδημος, Αθανάσιος	el
heal.academicPublisher	Εθνικό Μετσόβιο Πολυτεχνείο. Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών	el
heal.academicPublisherID	ntua
heal.numberOfPages	227 σ.	el
heal.fullTextAvailability	false