Αναλυτική Επεξεργασία και Βελτιστοποίηση Ερωτημάτων σε
Ροές Δεδομένων

Θεοδωράκης, Γεώργιος Ραφαήλ; Theodorakis, Georgios-Rafail

dc.contributor.author	Θεοδωράκης, Γεώργιος Ραφαήλ	el
dc.contributor.author	Theodorakis, Georgios-Rafail	el
dc.date.accessioned	2017-09-18T10:33:18Z
dc.date.available	2017-09-18T10:33:18Z
dc.date.issued	2017-09-18
dc.identifier.uri	https://dspace.lib.ntua.gr/xmlui/handle/123456789/45631
dc.identifier.uri	http://dx.doi.org/10.26240/heal.ntua.14665
dc.rights	Αναφορά Δημιουργού-Όχι Παράγωγα Έργα 3.0 Ελλάδα	*
dc.rights.uri	http://creativecommons.org/licenses/by-nd/3.0/gr/	*
dc.subject	Επεξεργασία δεδομένων ροής	el
dc.subject	Στατική βελτιστοποίηση ερωτημάτων	el
dc.subject	Εισροή δεδομένων	el
dc.subject	Συρόμενα παράθυρα	el
dc.subject	Σταθερά παράθυρα	el
dc.subject	Volcano	en
dc.subject	Cost Based Logical Optimizer	en
dc.subject	Calcite	en
dc.subject	SABER	en
dc.subject	RBStream	en
dc.title	Αναλυτική Επεξεργασία και Βελτιστοποίηση Ερωτημάτων σε Ροές Δεδομένων	el
heal.type	bachelorThesis
heal.classification	ΠΑΡΑΛΛΗΛΟΣ ΚΑΙ ΚΑΤΑΝΕΜΗΜΕΝΟΣ ΥΠΟΛΟΓΙΣΜΟΣ	el
heal.classificationURI	http://data.seab.gr/concepts/c1d404f10706d40f4217b57d522765f22fec3f43
heal.language	el
heal.language	en
heal.access	free
heal.recordProvider	ntua	el
heal.publicationDate	2017-07-12
heal.abstract	Στην εποχή μας, εφαρμογές δεδομένων μεγάλων σε όγκο και πολυπλοκότητα παράγουν δεδομένα σε κολοσσιαίες τιμές. Οι σύγχρονες επιχειρήσεις έχουν την ανάγκη να εξαγάγουν πολύτιμες πληροφορίες σε αποδεκτό χρόνο από μεγάλους όγκους δεδομένων, ώστε να μπορούν να αντιδράσουν γρήγορα όταν προκύπτουν προβλήματα ή να ανιχνεύουν νέες τάσεις. Για να είναι εφικτή η επεξεργασία τέτοιων δεδομένων ροής και να παραχθούν γρήγορα αποτελέσματα, χρησιμοποιείται η τεχνολογία της επεξεργασίας δεδομένων ροής. Ωστόσο, οι σύγχρονες πλατφόρμες επεξεργασίας ροών δεδομένων, όπως το Apache Storm, το Spark Streaming και το Apache Samza, είτε δεν διαθέτουν είτε έχουν περιορισμένη υποστήριξη SQL για τη δήλωση ερωτημάτων συνεχούς ροής και απαιτούν καλή γνώση προστακτικού προγραμματισμού και κατανεμημένων συστημάτων για να χρησιμοποιηθούν αποτελεσματικά. Επιπλέον, τέτοια συστήματα υποστηρίζουν τυπικούς κανόνες βελτιστοποίησης που βασίζονται σε ευριστικούς κανόνες (Spark Catalyst) και τεχνικές βελτιστοποίησης που στοχεύουν σε μοντέλα κόστους βασισμένα σε Συστήματα Διαχείρισης Σχεσιακών Βάσεων Δεδομένων, χωρίς να λαμβάνονται υπόψη οι διαφορετικές απαιτήσεις που έχουν τα συστήματα ροής. Ενώ υπάρχουν πολλά διαφορετικά μοντέλα και αλγόριθμοι που έχουν προταθεί για τη βελτιστοποίηση της εκτέλεσης σύνθετων ερωτημάτων συνεχούς ροής, δεν χρησιμοποιούνται από τα σύγχρονα συστήματα ροής δεδομένων, καθώς απαιτείται μεγάλη σχεδιαστική και προγραμματική προσπάθεια για την υλοποίηση τους. Το σύστημά μας, το RBStream, είναι χτισμένο πάνω στο Apache Calcite, ένα σύγχρονο πλαίσιο ανοιχτού κώδικα για την ανάλυση, την επικύρωση και τη βελτιστοποίηση των ερωτημάτων και εισάγει ένα λογικό εργαλείο βελτιστοποίησης βάσει κόστους στην υβριδική μηχανή επεξεργασίας ροής SABER. Παρουσιάζουμε τεχνικές βελτιστοποίησης βασισμένες στο ρυθμό εισροής δεδομένων, χρησιμοποιώντας ένα συνδυασμό του Volcano μαζί με τη υλοποίηση ενός Heuristic βελτιστοποιητή στο Calcite, παρόμοιο με το Spark Catalyst. Η διαδικασία βελτιστοποίησης χωρίζεται σε φάσεις χρησιμοποιώντας ενσωματωμένους και προσαρμοσμένους κανόνες, που εφαρμόζουν ισοδύναμους αλγεβρικούς μετασχηματισμούς για να παραχθεί ένα πλάνο βελτιστοποιημένο σε επίπεδο throughput, latency και χρήσης της CPU. Εφαρμόσαμε τα ευρήματά μας στο SABER και αξιολογήσαμε πειραματικά το RBStream με συνθετικά δεδομένα σε διαφορετικά configuration.	el
heal.advisorName	Κοζύρης, Νεκτάριος	el
heal.committeeMemberName	Κοζύρης, Νεκτάριος	el
heal.committeeMemberName	Τσουμάκος, Δημήτριος	el
heal.committeeMemberName	Γκούμας, Γεώργιος	el
heal.academicPublisher	Εθνικό Μετσόβιο Πολυτεχνείο. Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών. Τομέας Τεχνολογίας Πληροφορικής και Υπολογιστών	el
heal.academicPublisherID	ntua
heal.numberOfPages	266 σ.	el
heal.fullTextAvailability	true