Ανάλυση υπερφασματικής απεικόνισης με χρήση του εργαλείου Apache Spark σε κατανεμημένο περιβάλλον

Βούλγαρη, Διονυσία; Τζιώτης, Κωνσταντίνος; Voulgari, Dionysia; Tziotis, Konstantinos

dc.contributor.author	Βούλγαρη, Διονυσία	el
dc.contributor.author	Τζιώτης, Κωνσταντίνος	el
dc.contributor.author	Voulgari, Dionysia	en
dc.contributor.author	Tziotis, Konstantinos	en
dc.date.accessioned	2018-11-27T10:15:33Z
dc.date.available	2018-11-27T10:15:33Z
dc.date.issued	2018-11-27
dc.identifier.uri	https://dspace.lib.ntua.gr/xmlui/handle/123456789/48141
dc.identifier.uri	http://dx.doi.org/10.26240/heal.ntua.16233
dc.rights	Αναφορά Δημιουργού-Μη Εμπορική Χρήση-Όχι Παράγωγα Έργα 3.0 Ελλάδα	*
dc.rights.uri	http://creativecommons.org/licenses/by-nc-nd/3.0/gr/	*
dc.subject	Υπερφασματικά δεδομένα	el
dc.subject	Φασματικός διαχωρισμός	el
dc.subject	Φασματικές υπογραφές	el
dc.subject	Κατανεμημένο σύστημα	el
dc.subject	Μεγάλα δεδομένα	el
dc.subject	Spectral Unmixing	en
dc.subject	Apache Spark	en
dc.subject	HDFS	en
dc.subject	Geotrellis	en
dc.subject	Big Data	en
dc.title	Ανάλυση υπερφασματικής απεικόνισης με χρήση του εργαλείου Apache Spark σε κατανεμημένο περιβάλλον	el
heal.type	bachelorThesis
heal.classification	Computer science	en
heal.classificationURI	http://id.loc.gov/authorities/subjects/sh89003285
heal.language	el
heal.access	free
heal.recordProvider	ntua	el
heal.publicationDate	2018-11-06
heal.abstract	Τα τελευταία χρόνια υπάρχει έντονη αύξηση των υπερφασματικών δεδομένων που συλλέγονται από δορυφόρους προς επεξεργασία και αποθήκευση. Τα δεδομένα αυτά χαρακτηρίζονται από υψηλό όγκο, καθώς εμπεριέχουν μεγάλη και αναλυτική πληροφορία για την περιοχή παρατήρησης σε ολόκληρο το ηλεκτρομαγνητικό φάσμα. Η ανάλυση των πληροφοριών αυτών είναι χρήσιμη για την εξαγωγή συμπερασμάτων σχετικά με τη μορφολογία του εδάφους και τη σύστασή του. Για το σκοπό αυτό απαιτείται η χρήση εργαλείων και τεχνολογιών που μπορούν να διαχειριστούν αποδοτικά μεγάλα δεδομένα(Big Data). Η παρούσα διπλωματική εργασία καλείται να επιλύσει αποδοτικά το πρόβλημα του φασματικού διαχωρισμού(Spectral Unmixing), το οποίο αποτελεί ένα σύνθετο πρόβλημα ανάλυσης υπερφασματικών δεδομένων με στόχο την αναγνώριση των υλικών και της ποσόστωσής τους σε κάθε εικονοστοιχείο(pixel) της εικόνας. Για την υλοποίηση του μοντέλου επίλυσης, χρησιμοποιήθηκε το εργαλείο Apache Spark και το κατανεμημένο σύστημα αρχείων HDFS(Hadoop Distributed File System). Η εφαρμογή που κατασκευάστηκε χωρίζεται σε τρία βασικά μέρη, τα οποία αναλαμβάνουν τον προσδιορισμό του πλήθους των καθαρών υλικών(endmembers), την εξαγωγή των φασματικών υπογραφών τους και την εύρεση της ποσόστωσής τους σε κάθε pixel. Πραγματοποιήθηκαν πειράματα για την επαλήθευση των αποτελεσμάτων κάθε σταδίου με χρήση συνθετικών δεδομένων, τα οποία κατασκευάστηκαν από υλικά της φασματικής βιβλιοθήκης του USGS. Τέλος, δόθηκε ιδιαίτερη έμφαση στην ανάλυση της επίδοσης της εφαρμογής, μέσω της παραμετροποίησης των πόρων που χρησιμοποιεί το Apache Spark σε ένα κατανεμημένο σύστημα.	el
heal.abstract	In recent years, there has been a significant increase in the amount of hyperspectral data collected by satellites for processing and storage. These data are characterized by a high volume as they contain detailed information about the observation area across the entire electromagnetic spectrum. The analysis of this information is useful for drawing conclusions on soil morphology and composition. This requires the use of tools and technologies that can efficiently handle large data (Big Dat a). This diploma thesis is intended to solve the Spectral Unmixing problem, which is a complex problem of the analysis of hyperspectral data in order to identify the materials and their quantification in each pixel of the image. To implement the resolving model, the Apache Spark tool and the Hadoop Distributed File System (HDFS) were used. The built -in application is divided into three main parts, which are responsible for determining the number of endmembers, extracting their spectral signatures, and findi ng their quota in each pixel. Experiments were performed to verify the results of each step using synthetic data generated with materials from the USGS spectral library. Finally, particular emphasis was placed on analyzing the performance of the applicatio n through the configuration of resources used by Apache Spark in a distributed system.	en
heal.advisorName	Βαρβαρίγου, Θεοδώρα	el
heal.committeeMemberName	Βαρβαρίγου, Θεοδώρα	el
heal.committeeMemberName	Παπαβασιλείου, Συμεών	el
heal.committeeMemberName	Ασκούνης, Δημήτριος	el
heal.academicPublisher	Εθνικό Μετσόβιο Πολυτεχνείο. Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών. Τομέας Επικοινωνιών, Ηλεκτρονικής και Συστημάτων Πληροφορικής	el
heal.academicPublisherID	ntua
heal.numberOfPages	108 σ.
heal.fullTextAvailability	true