Ανάλυση μεγάλων γεωχωρικών δεδομένων σε περιβάλλον cluster υπολογιστών για εφαρμογές παρατήρησης της γης

Κάρμας, Αθανάσιος; Karmas, Athanasios

dc.contributor.author	Κάρμας, Αθανάσιος	el
dc.contributor.author	Karmas, Athanasios	en
dc.date.accessioned	2017-03-07T08:46:04Z
dc.date.available	2017-03-07T08:46:04Z
dc.date.issued	2017-03-07
dc.identifier.uri	https://dspace.lib.ntua.gr/xmlui/handle/123456789/44527
dc.identifier.uri	http://dx.doi.org/10.26240/heal.ntua.4859
dc.description	Εθνικό Μετσόβιο Πολυτεχνείο--Μεταπτυχιακή Εργασία. Διεπιστημονικό-Διατμηματικό Πρόγραμμα Μεταπτυχιακών Σπουδών (Δ.Π.Μ.Σ.) “Γεωπληροφορική”	el
dc.rights	Default License
dc.subject	Γεωχωρικά δεδομένα	el
dc.subject	Νέφος υπολογιστών	el
dc.subject	Αναλύσεις μεγάλων δεδομένων	el
dc.subject	Γεωχωρικές υπηρεσίες	el
dc.subject	Δέσμες υπολογιστών	el
dc.subject	Geospatial data	en
dc.subject	Cloud computing	en
dc.subject	Big data platforms	en
dc.subject	Big data analytics	en
dc.subject	Computer cluster	en
dc.title	Ανάλυση μεγάλων γεωχωρικών δεδομένων σε περιβάλλον cluster υπολογιστών για εφαρμογές παρατήρησης της γης	el
dc.title	Geospatial big data analysis in a computer cluster environment for earth observation applications	en
heal.type	masterThesis
heal.classification	Big data	el
heal.classificationURI	http://id.loc.gov/authorities/subjects/sh2012003227
heal.language	el
heal.access	free
heal.recordProvider	ntua	el
heal.publicationDate	2016-10-27
heal.abstract	Τα δορυφορικά δεδομένα παρατήρησης γης αυξάνονται με ιλιγγιώδη ρυθμό σε όγκο, ποικιλομορφία και πολυπλοκότητα με συνέπεια να δημιουργούνται νέες προκλήσεις σχετικά με την πρόσβαση, αρχειοθέτηση, επεξεργασία και ανάλυσή τους. Για την άμεση εξυπηρέτηση αυτού του πρωτοφανούς όγκου δεδομένων και την εξαγωγή γνώσης, νέες τεχνολογίες υπολογιστικών συστημάτων και αρχιτεκτονικών όπως επίσης και εργαλεία διαχείρισης αναπτύσσονται διαρκώς. Για να είναι δυνατόν να εκμεταλλευθούμε αυτή την πληθώρα δεδομένων, υπολογιστικών μηχανών, προγραμματιστικών μοντέλων, βιβλιοθηκών και εργαλείων τα οποία είναι διαθέσιμα χρειαζόμαστε συντονισμένες, προσαρμοστικές και ολοκληρωτικές προσπάθειες ώστε να συνδυάσουμε αρμονικά τις υπάρχουσες τεχνολογίες. Προς την κατεύθυνση αυτή παρουσιάζεται σε αυτή την εργασία μια πλατφόρμα ανάλυσης μεγάλων γεωχωρικών δεδομένων για εφαρμογές παρατήρησης της γης η οποία για την επίτευξη των στόχων της αποδοτικής ανάλυσης, αποθήκευσης και διαχείρισης μεγάλων δεδομένων ενσωματώνει μια σειρά από εργαλεία, βιβλιοθήκες και υπολογιστικά μοντέλα σε ένα κατανεμημένο περιβάλλον cluster υπολογιστών. Ειδικότερα, η βασική λειτουργικότητα συνίσταται από το Geotrellis, μια μηχανή επεξεργασίας γεωχωρικών δεδομένων για εφαρμογές υψηλών επιδόσεων για την αποθήκευση, διαχείριση και επεξεργασία των δεδομένων και το framework Apache Spark για την κατανομή υπολογισμών και δεδομένων κατά μήκος του cluster. Διάφοροι αλγόριθμοι υλοποιήθηκαν στη γλώσσα προγραμματισμού Scala τόσο για εργασίες ETL (Extract, Transform, Load) πάνω στα raw δεδομένα όσο και για την πρόσβαση και την κατανεμημένη επεξεργασία πολυφασματικών δορυφορικών εικόνων. Το ανεπτυγμένο σύστημα στην τρέχουσα μορφή του καλύπτει μερικώς τον Ελλαδικό χώρο με πολυφασματικά δεδομένα τα οποία προέρχονται από το δορυφόρο Landsat 8, τα οποία αποθηκεύονται και προ-επεξεργάζονται αυτόματα στο υλικό το οποίο έχουμε στη διάθεσή μας, για σκοπούς επίδειξης. Τα ανεπτυγμένα ερωτήματα επεξεργασίας των δεδομένων εστιάζουν σε αγροτικές εφαρμογές και παράγουν τόσο τεχνητά έγχρωμα σύνθετα με βάση καλώς ορισμένους δείκτες, τα οποία και παρέχουν πληροφορία σχετικά με την κατάσταση των καλλιεργειών διαχρονικά ανά pixel και ανά έτος, όσο και χάρτες αποτύπωσης της εποχικότητας από τους οποίους είναι δυνατόν να εξαχθούν μοτίβα για τον κύκλο ζωής των υπό παρακολούθηση καλλιεργειών.	el
heal.abstract	Earth Observation satellite data are increasing with tremendous rate in volume, variety and complexity. As a consequence new challenges are emerging in regard to their access, archiving, processing and analysis. To serve rapidly this unprecedented data volume and extract knowledge through its analysis, new computing systems technologies and architectures as well as various administration tools are constantly developed. In order to exploit effectively this plethora of data, computing engines, programming models, libraries and tools that are available, coordinated, adaptive and integrated efforts are needed so as to seamlessly combine the existing technologies. Towards this direction a platform capable of analysing geospatial big data for earth observation applications is presented. The developed platform, in order to achieve the goals of efficient analysis, storage and handling of big data, integrates a number of tools, libraries and processing models in a distributed computer cluster environment. In particular, the core functionality consists of Geotrellis, a geospatial data processing engine for high performance applications, responsible for the storage, handling and processing of the data as well as the Apache Spark framework for distributing computations and data across the cluster. Various algorithms were implemented in Scala programming language both for applying ETL (Extract, Transform, Load) procedures on the raw data and for the access and distributed analysis of multispectral satellite data. The developed system in its current form covers partially the Greek territory with multispectral satellite data which are acquired by Landsat 8 satellite and that are stored and processed in an automated way in the infrastructure which is in our disposal for demonstration purposes. The developed data processing queries are focused mainly in agricultural applications and create artificial color composites, based on well defined indices, that provide valuable information regarding the crops’ state over time per pixel and per year as well as value-added products that map seasonality from which it is possible to extract patterns for the life cycle of the monitored crops.	en
heal.advisorName	Αργιαλάς, Δημήτριος	el
heal.committeeMemberName	Καράντζαλος, Κωνσταντίνος	el
heal.committeeMemberName	Κάβουρας, Μαρίνος	el
heal.academicPublisher	Εθνικό Μετσόβιο Πολυτεχνείο. Σχολή Αγρονόμων και Τοπογράφων Μηχανικών	el
heal.academicPublisherID	ntua
heal.numberOfPages	113 σ.	el
heal.fullTextAvailability	true