Κατανεμημένη Αναλυτική Επεξεργασία Ροών Δικτυακών Δεδομένων σε Πραγματικό Χρόνο

Τουλούπας, Γεώργιος; Touloupas, Georgios

dc.contributor.author	Τουλούπας, Γεώργιος	el
dc.contributor.author	Touloupas, Georgios	en
dc.date.accessioned	2016-03-17T09:24:46Z
dc.date.available	2016-03-17T09:24:46Z
dc.date.issued	2016-03-17
dc.identifier.uri	https://dspace.lib.ntua.gr/xmlui/handle/123456789/42163
dc.identifier.uri	http://dx.doi.org/10.26240/heal.ntua.10886
dc.rights	Default License
dc.subject	Επεξεργασία σε Πραγματικό Χρόνο	el
dc.subject	Ανάλυση Δικτυακών Δεδομένων	el
dc.subject	Κατανεμημένα Συστήματα	el
dc.subject	Kafka	en
dc.subject	Storm	en
dc.subject	Hadoop	en
dc.subject	Phoenix	en
dc.subject	HBase	en
dc.title	Κατανεμημένη Αναλυτική Επεξεργασία Ροών Δικτυακών Δεδομένων σε Πραγματικό Χρόνο	el
heal.type	bachelorThesis
heal.classification	Computer engineering	en
heal.classification	Computers	en
heal.classificationURI	http://id.loc.gov/authorities/subjects/sh85029495
heal.language	en
heal.access	free
heal.recordProvider	ntua	el
heal.publicationDate	2015-11-02
heal.abstract	Στην παρούσα διπλωματική, σχεδιάζουμε και υλοποιούμε ένα κατανεμημένο σύστημα το οποίο επιτρέπει την εκτέλεση SQL ερωτημάτων που πραγματοποιούν συνένωση μιας ροής δεδομένων πραγματικού χρόνου και ενός εξωτερικού συνόλου δεδομένων. Η περίπτωση χρήσης για την οποία υλοποιούμε αυτό το σύστημα είναι η εκτέλεση topN SQL ερωτημάτων που πραγματοποιούν συνένωση μιας ροής δικτυακών δεδομένων πραγματικού χρόνου, που παράγεται από δειγματοληψία κίνησης ενός IXP, και εξωτερικών συνόλων δεδομένων που περιλαμβάνουν Autonomous System και DNS πληροφορίες. Για να επιτύχουμε χαμηλό χρόνο απόκρισης στα ερωτήματα, η συνένωση πραγματοποιείται σε πραγματικό χρόνο χρησιμοποιώντας το Storm processing framework και η αποκανονικοποιημένη ροή δεδομένων αποθηκεύεται σε ένα Phoenix table, επιτρέποντας έτσι σε όλα τα επόμενα ερωτήματα να εκτελούνται χωρίς να χρειάζεται ξανά ο υπολογισμός της συνένωσης κατά το χρόνο εκτέλεσης. Το σύστημα χρησιμοποιεί τις κατανεμημένες τεχνολογίες Kafka, Storm και HBase, οι οποίες εξασφαλίζουν την κλιμακωσιμότητά του και την ανοχή του σε σφάλματα. Επιπλέον, το Storm προσφέρει επεκτασιμότητα στο σύστημα επιτρέποντάς μας να προσθέσουμε με εύκολο τρόπο νέα εξωτερικά σύνολα δεδομένων κάθε μεγέθους, τα οποία συνενώνονται με τη ροή δικτυακών δεδομένων. Επιπρόσθετα, εφαρμόζουμε ένα συνδυασμό βελτιστοποιήσεων στο HBase cluster και στο Phoenix table, οι οποίες μειώνουν ακόμα περισσότερο το χρόνο απόκρισης των ερωτημάτων. Τέλος, αξιολογούμε την επίδοση διαφόρων παραμέτρων του συστήματος και πειραματιζόμαστε με την κλιμακωσιμότητα του συστήματος.	el
heal.abstract	In this thesis, we design and implement a distributed system that allows the execution of low latency SQL queries that join a real-time data stream and an external dataset. The use case for which we implement this system is the execution of topN SQL queries that join a real-time network data stream, generated by sampling IXP traffic, and external datasets containing Autonomous System and DNS information. To achieve low query latency, the join is performed in real time using the Storm processing framework and the denormalized data stream is stored at a Phoenix table, allowing all subsequent queries to be performed without the need to compute the join on query time. The system utilizes distributed technologies such as Kafka, Storm and HBase, which ensure its scalability and fault tolerance. Moreover, Storm provides extensibility to the system, allowing us to easily add more external datasets of any size that are joined with the network data stream. We also apply a combination of optimizations to the HBase cluster and the Phoenix table that further reduce query latency. Finally, we evaluate the performance of the system for various parameters while tuning and applying optimizations, and experiment with the system’s scalability.	en
heal.advisorName	Κοζύρης, Νεκτάριος	el
heal.committeeMemberName	Παπασπύρου, Νικόλαος	el
heal.committeeMemberName	Γκούμας, Γεώργιος	el
heal.academicPublisher	Εθνικό Μετσόβιο Πολυτεχνείο. Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών. Τομέας Τεχνολογίας Πληροφορικής και Υπολογιστών	el
heal.academicPublisherID	ntua
heal.numberOfPages	66 σ.	el
heal.fullTextAvailability	true