Σύγκριση τεχνολογιών αποθήκευσης και ανάκτησης γεωχωρικών δεδομένων μεγάλης κλίμακας

Περιβολιώτης, Νικόλαος; Perivoliotis, Nikolaos

dc.contributor.author	Περιβολιώτης, Νικόλαος	el
dc.contributor.author	Perivoliotis, Nikolaos	en
dc.date.accessioned	2020-09-29T07:43:00Z
dc.date.available	2020-09-29T07:43:00Z
dc.identifier.uri	https://dspace.lib.ntua.gr/xmlui/handle/123456789/51188
dc.identifier.uri	http://dx.doi.org/10.26240/heal.ntua.18886
dc.description	Εθνικό Μετσόβιο Πολυτεχνείο--Μεταπτυχιακή Εργασία. Διεπιστημονικό-Διατμηματικό Πρόγραμμα Μεταπτυχιακών Σπουδών (Δ.Π.Μ.Σ.) “Τεχνο-Οικονομικά Συστήματα (ΜΒΑ)”	el
dc.rights	Αναφορά Δημιουργού-Όχι Παράγωγα Έργα 3.0 Ελλάδα	*
dc.rights	Αναφορά Δημιουργού-Μη Εμπορική Χρήση-Όχι Παράγωγα Έργα 3.0 Ελλάδα	*
dc.rights.uri	http://creativecommons.org/licenses/by-nc-nd/3.0/gr/	*
dc.subject	Σύγκριση τεχνολογιών	el
dc.subject	Δεδομένα μεγάλης κλίμακας	el
dc.subject	Γεωχωρικά δεδομένα	el
dc.subject	HiveQL	en
dc.subject	MongoDb	en
dc.title	Σύγκριση τεχνολογιών αποθήκευσης και ανάκτησης γεωχωρικών δεδομένων μεγάλης κλίμακας	el
heal.type	masterThesis
heal.classification	Computer Engineering	el
heal.language	el
heal.access	free
heal.recordProvider	ntua	el
heal.publicationDate	2020-02-14
heal.abstract	Τα τελευταία χρόνια παρατηρείται μια εκρηκτική αύξηση στα δεδομένα που παράγονται από τον σύγχρονο άνθρωπο και οφείλεται στην χρήση της ψηφιακής τεχνολογίας. Η εκμετάλλευση του πλήθους αυτού των δεδομένων αποτελεί μια πρόκληση για τις επιχειρήσεις, τον άνθρωπο αλλά και την τεχνολογία. Στόχος της παρούσας διπλωματικής εργασίας είναι να κάνει μια ανασκόπηση στις τεχνολογίες που υπάρχουν για την διαχείριση δεδομένων μεγάλης κλίμακας και να συγκρίνει την απόδοση κάποιων από αυτών σε πραγματικά δεδομένα. Τα γεωχωρικά δεδομένα που αφορούν θαλάσσια μεγέθη είναι μια κατηγορία που συγκεντρώνει αρκετό ενδιαφέρον τόσο για κλιματολογικούς λόγους όσο και για εμπορικούς αν συμπεριλάβει κανείς την ναυτιλία. Οι τεχνολογίες μεγάλων δεδομένων χωρίζονται σε κατηγορίες με βάση το μοντέλο των δεδομένων που αποθηκεύουν και τον τρόπο επεξεργασίας των δεδομένων. Έτσι, έχουμε τις NoSQL βάσεις (βλέπε mongoDb, Cassandra), τις SQL για μεγάλα δεδομένα (SparkSQL, HiveQL, PrestoDb), επεξεργασίας ροών δεδομένων και επεξεργασίας γράφων. Στα πλαίσια αυτής της εργασίας θα συγκριθεί η απόδοση των mongoDb, SparkSQL και HiveQL σε γεωχωρικά δεδομένα που συλλέχθηκαν από το σύστημα θαλάσσιας επιτήρησης Copernicus. Η σύγκριση των τεχνολογιών γίνεται πάνω σε ένα σύνολο από 14 ερωτήματα που επιλέχθηκαν και αφορούν κυρίως ανάκτηση δεδομένων. Κριτήριο της απόδοσης αποτελεί ο χρόνος απάντησης σε κάθε ερώτημα. Για την εκτέλεση των ερωτημάτων χρειάστηκε να γίνει χρήση υπηρεσιών υπολογιστικού νέφους και να δημιουργηθεί ένα δίκτυο από 5 υπολογιστές. Από την συγκριτική αξιολόγηση των αποτελεσμάτων προέκυψε ότι καλύτερο χρόνο στην πλειοψηφία των ερωτημάτων παρουσίασε η SparkSQL. Αυτό οφείλεται κυρίως στην υπολογιστική μηχανή Spark που χρησιμοποιεί, η οποία αποθηκεύει τα δεδομένα της στην μνήμη RAM. Από την άλλη, η mongoDb κυρίως λόγω της αποθήκευσης των δεδομένων της σε BSON αύξανε αρκετά τον όγκο των προς επεξεργασία δεδομένων γεγονός που με τη σειρά του αύξανε τις απαιτήσεις του συστήματος σε RAM. Έτσι, η mongoDb χαρακτηρίζεται ως μια ακριβή λύση. Τέλος, η HiveQL είχε χειρότερους χρόνους από την SparkSQL λόγω των περιορισμών του Map Reduce αλγορίθμου που εφαρμόζεται από το Hadoop, πάνω στο οποίο λειτουργεί η HiveQL.	el
heal.advisorName	Ασκούνης, Δημήτριος	el
heal.committeeMemberName	Ασκούνης, Δημήτριος	el
heal.committeeMemberName	Ψαρράς, Ιωάννης	el
heal.committeeMemberName	Δούκας, Χάρης	el
heal.academicPublisher	Εθνικό Μετσόβιο Πολυτεχνείο. Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών	el
heal.academicPublisherID	ntua
heal.fullTextAvailability	false