Αξιολόγηση γεννητικών ανταγωνιστικών δικτύων για την ανακατασκευή χωρίς σύννεφα δορυφορικών εικόνων Sentinel-2

Σιούκα, Φωτεινή; Siouka, Foteini

dc.contributor.author	Σιούκα, Φωτεινή	el
dc.contributor.author	Siouka, Foteini	en
dc.date.accessioned	2021-01-13T15:03:00Z
dc.date.available	2021-01-13T15:03:00Z
dc.identifier.uri	https://dspace.lib.ntua.gr/xmlui/handle/123456789/52770
dc.identifier.uri	http://dx.doi.org/10.26240/heal.ntua.20468
dc.description	Εθνικό Μετσόβιο Πολυτεχνείο--Μεταπτυχιακή Εργασία. Διεπιστημονικό-Διατμηματικό Πρόγραμμα Μεταπτυχιακών Σπουδών (Δ.Π.Μ.Σ.) "Επιστήμη Δεδομένων και Μηχανική Μάθηση"	el
dc.rights	Αναφορά Δημιουργού-Μη Εμπορική Χρήση-Όχι Παράγωγα Έργα 3.0 Ελλάδα	*
dc.rights	Αναφορά Δημιουργού-Μη Εμπορική Χρήση-Όχι Παράγωγα Έργα 3.0 Ελλάδα	*
dc.rights.uri	http://creativecommons.org/licenses/by-nc-nd/3.0/gr/	*
dc.subject	Γεννητικά ανταγωνιστικά δίκτυα	el
dc.subject	Νευρωνικά δίκτυα	el
dc.subject	Βαθιά μάθηση	el
dc.subject	Ανακατασκευή εικόνας	el
dc.subject	Δορυφορικές εικόνες sentinel-2	el
dc.subject	Generative adversarial networks	en
dc.subject	Neural networks	en
dc.subject	Deep learning	en
dc.subject	Image reconstruction	en
dc.subject	Satellite Sentinel-2 images	en
dc.title	Αξιολόγηση γεννητικών ανταγωνιστικών δικτύων για την ανακατασκευή χωρίς σύννεφα δορυφορικών εικόνων Sentinel-2	el
dc.title	Evaluating Generative Adversarial Networks For Reconstructing without Clouds Satellite Sentinel-2 Data	en
heal.type	masterThesis
heal.classification	Machine Learning	en
heal.language	el
heal.access	free
heal.recordProvider	ntua	el
heal.publicationDate	2020-11-11
heal.abstract	Στις μέρες μας, οι δορυφορικές εικόνες είναι καθοριστικής σημασίας για ποικίλες εφαρμογές, όπως η αναγνώριση των αποτυπωμάτων των κτιρίων ή η ανίχνευση αλλαγών στις χρήσεις κάλυψης γης. Συχνά καλύπτονται από μεμβράνες νεφών που καλύπτουν εν μέρει ή πλήρως την εικόνα. Αυτό δυσκολεύει αρκετά τη χρήση τους, ειδικά για περιοχές που έχουν για μεγάλο μέρος του έτους συννεφοκάλυψη, όπως για παράδειγμα το Παρίσι ή το Λονδίνο. Για την αντιμετώπιση του προβλήματος, μέχρι στιγμής χρησιμοποιούνται συνδυαστικά μάσκες που υποδηλώνουν τη θέση των σύννεφων και στη συνέχεια φίλτρα που προσπαθούν να ανακατασκευάσουν την εικόνα στο τμήμα της μάσκας. Επομένως, απαιτείται να βρεθεί μία αυτόματη τεχνική που θα ανιχνεύει και θα αφαιρεί τις περιοχές με σύννεφα και θα τις αντικαθιστά με καθαρές από σύννεφα ανακατασκευασμένες σκηνές. Τα Γεννητικά Ανταγωνιστικά Δίκτυα (Generative Adversarial Networks, GANs) είναι μία οικογένεια μοντέλων ικανών να παράγουν ρεαλιστικές, συνθετικές εικόνες. Ένα γεννητικό ανταγωνιστικό δίκτυο αποτελείται στην πραγματικότητα από δύο δίκτυα. Με το ένα δίκτυο προσπαθεί να δημιουργήσει όσο το δυνατόν πιο ρεαλιστικές εικόνες (δημιουργός), και με το άλλο προσπαθεί να ξεχωρίσει όσο το δυνατόν καλύτερα τις τεχνητές από τις αληθινές εικόνες (διευκρινιστής). Μέσω του συνεχούς ανταγωνισμού μεταξύ τους, τα δίκτυα βελτιώνονται μέχρι να επέλθει η ισορροπία, όπου οι αληθινές και οι τεχνητές/δημιουργημένες εικόνες φαίνονται πανομοιότυπες στον διευκρινιστή. Κατά την κατάσταση της ισορροπίας ο δημιουργός παράγει τις πιο αληθοφανείς εικόνες. Τα συγκεκριμένα δίκτυα έχουν χρησιμοποιηθεί με μεγάλη επιτυχία σε προβλήματα «μετάφρασης» μίας εικόνας ενός πεδίου Α (π.χ άλογα) σε ένα πεδίο Β (π.χ ζέβρες). Αντικείμενο της παρούσας μελέτης είναι να εξεταστούν ήδη υπάρχοντα μοντέλα γεννητικών ανταγωνιστικών δικτύων ως προς την δυνατότητα τους να χρησιμοποιηθούν στο πρόβλημα αφαίρεσης σύννεφων από τις δορυφορικές εικόνες. Τα δεδομένα που χρησιμοποιήθηκαν για την μελέτη ήταν μία χρονοσειρά εικόνων από τον δορυφόρο sentinel-2 για το έτος 2018. Στο πρώτο στάδιο της μεθοδολογίας έγινε η προεπεξεργασία των εικόνων ώστε να καταλήξουμε στο τελικό σύνολο δεδομένων που χρησιμοποιήθηκε κατά την εκπαίδευση των μοντέλων. Στη συνέχεια, εκπαιδεύτηκαν τρία μοντέλα το Pix2Pix, το CycleGAN και το Learnable Gated Temporal Shifted Module (LGTSM). Στόχος ήταν να αντιμετωπιστεί το πρόβλημα της αφαίρεσης σύννεφων με δύο τρόπους. Αρχικά ως καθαρό πρόβλημα εικόνας με τη χρήση των δύο πρώτων μοντέλων και στη συνέχεια ως πρόβλημα χρονοσειράς, με τη χρήση του τρίτου μοντέλου, λαμβάνοντας υπόψη και τα χρονικά χαρακτηριστικά της εικόνας κατά την ανακατασκευή της. Τα αποτελέσματα του κάθε μοντέλου αξιολογήθηκαν με τα διαγράμματα απώλειας που δημιουργήθηκαν κατά τη διάρκεια της εκπαίδευσης του μοντέλου και με τις εικόνες που δημιουργήθηκαν. Για τα δύο πρώτα μοντέλα που αντιμετωπίζουν το πρόβλημα με τον ίδιο τρόπο χρησιμοποιήθηκε το ίδιο σύνολο ελέγχου για να μπορέσουν να συγκριθούν μεταξύ τους. Τέλος, υπολογίστηκαν κάποιες μετρικές που αφορούν την ποιότητα εικόνας ώστε να αξιολογηθούν τα αποτελέσματα του κάθε μοντέλου συγκριτικά με τα υπόλοιπα.	el
heal.abstract	Nowadays, satellite imagery is crucial for a variety of applications, such as the recognition of building footprints or the detection of changes in land coverage uses. They are often covered by cloud membranes that partially or completely cover the image. This makes them quite difficult to use, especially for areas that are covered by clouds most days of the year, such as Paris or London. So far, in order to face the problem, masks which indicate the position of the clouds are used in combination. Afterwards, filters are used to reconstruct the image in the part of the mask. Therefore, it is necessary to find an automatic technique that will detect and remove areas with clouds and replace them with cloudless reconstructed scenes. Generative Adversarial Networks (GANs) are a family of models capable of producing realistic synthetic images. A generative adversarial network actually consists of two networks. The first network tries to create as realistic images as possible (generator), while the other tries to discriminate the artificial images from the real ones as accurately as possible (discriminator). Through constant competition between them, the networks are improved until equilibrium is reached, where the real and the artificially created images look identical to the discriminator. During the equilibrium state the generator produces the most realistic images. These networks have been used with great success in "translation" problems of an image of a field A (e.g. horses) to a field B (e.g. zebras). The object of this study is to examine existing models of generative adversarial networks in terms of their potential to be used in the problem of removing clouds from satellite images. The data used for the study was a time series of images from the Sentinel-2 satellite for the year 2018. In the first stage of the methodology, the images were pre-processed in order to reach the final dataset which was used during the model training. Then, three models were trained: Pix2Pix, CycleGAN and the Learnable Gated Temporal Shifted Module (LGTSM). The aim was to address the problem of cloud removal in two ways. Initially as a pure image problem, by utilizing the first two models. Afterwards, by using the third model as a time series problem, taking into account the temporal characteristics of the image during its reconstruction as well. The results of each model were evaluated with the loss diagrams created during the model training and as well as with the generated images. For the first two models facing the problem in the same way, the same testing set was used so that they could be compared with each other. Finally, some metrics related to image quality were calculated in order to evaluate the results of each model compared to the others.	en
heal.advisorName	Καράντζαλος, Κωνσταντίνος	el
heal.committeeMemberName	Στάμου, Γιώργος	el
heal.committeeMemberName	Αργιαλάς, Δημήτριος	el
heal.academicPublisher	Εθνικό Μετσόβιο Πολυτεχνείο. Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών	el
heal.academicPublisherID	ntua
heal.numberOfPages	100 σ.	el
heal.fullTextAvailability	false