Μοντελοποίηση επίδοσης συστημάτων κατανεμημένης επεξεργασίας ροών δεδομένων

Παπαμαργαρίτης, Γεώργιος; Papamargaritis, Georgios

dc.contributor.author	Παπαμαργαρίτης, Γεώργιος	el
dc.contributor.author	Papamargaritis, Georgios	en
dc.date.accessioned	2020-05-13T13:11:04Z
dc.date.available	2020-05-13T13:11:04Z
dc.identifier.uri	https://dspace.lib.ntua.gr/xmlui/handle/123456789/50544
dc.identifier.uri	http://dx.doi.org/10.26240/heal.ntua.18242
dc.rights	Default License
dc.subject	Σύστημα κατανεμημένης επεξεργασίας ροών δεδομένων	el
dc.subject	Κατανεμημένο σύστημα μεταφοράς μηνυμάτων	el
dc.subject	Μοντέλα μηχανικής μάθησης	el
dc.subject	Παλινδρόμηση	el
dc.subject	Ακρίβεια προβλέψεων	el
dc.subject	Flink cluster	en
dc.subject	Kafka cluster	en
dc.subject	Processing time latency	en
dc.subject	Event time latency	en
dc.subject	Maximum sustainable throughput	en
dc.title	Μοντελοποίηση επίδοσης συστημάτων κατανεμημένης επεξεργασίας ροών δεδομένων	el
heal.type	bachelorThesis
heal.classification	Κατανεμημένα συστήματα υπολογιστών	el
heal.language	el
heal.access	free
heal.recordProvider	ntua	el
heal.publicationDate	2019-11-11
heal.abstract	Στην παρούσα διπλωματική εργασία μελετάται η λειτουργία και η επίδοση συστημάτων κατανεμημένης επεξεργασίας ροών δεδομένων και γίνεται μια πρώτη προσπάθεια για τη μοντελοποίηση αυτών. Συγκεκριμένα, σχεδιάζεται και υλοποιείται μέσω του Flink framework ένα cluster στο οποίο εισέρχεται μεγάλος όγκος μηνυμάτων σε πραγματικό χρόνο από ένα κατανεμημένο σύστημα μεταφοράς μηνυμάτων, το Kafka cluster. Τα μηνύματα αυτά δημιουργούνται με τυχαίο τρόπο από γεννήτριες, ο ρυθμός παραγωγής των οποίων είναι ελεγχόμενος. Για να μπορέσουμε να προσομοιώσουμε υπολογισμούς σε ροές δεδομένων που μπορούν να ταυτιστούν με περιπτώσεις του πραγματικού κόσμου επιλέχθηκαν 3 είδη εργασιών προς εξέταση. Αυτές είναι οι Filtering, Αggregation on Windows και Window Joins εργασίες. Έχοντας υλοποιήσει τα παραπάνω, στη συνέχεια εκτελείται μια σειρά πειραμάτων διαφοροποιώντας κάθε φορά τις συνθήκες και τις παραμέτρους της κάθε εκτέλεσης. Οι παράμετροι αυτές αφορούν τόσο την εσωτερική λειτουργία του ίδιου του Flink και τους πόρους του συστήματος όσο και το είδος των δεδομένων εισόδου αλλά και της επιλεγμένης εργασίας. Με τον τρόπο αυτό λαμβάνονται υπόψη όλοι οι παράγοντες που μπορούν να επηρεάσουν την επίδοση του συστήματος κατανεμημένης επεξεργασίας ροής δεδομένων. Με τα σετ δεδομένων που δημιουργούνται από την πειραματική διαδικασία επιδιώκουμε τη δημιουργία μοντέλων για την πρόβλεψη τόσο του μέγιστου ρυθμού επεξεργασίας δεδομένων του συστήματος όσο και των καθυστερήσεων που προκύπτουν με το ρυθμό αυτό. Ο στόχος της έρευνας μας επιτυγχάνεται με την αξιολόγηση και την επιλογή των καλύτερων μοντέλων για κάθε μία από τις διαφορετικές εργασίες προς εκτέλεση.	el
heal.advisorName	Κοζύρης, Νεκτάριος	el
heal.committeeMemberName	Κοζύρης, Νεκτάριος	el
heal.committeeMemberName	Γκούμας, Γεώργιος	el
heal.committeeMemberName	Τσουμάκος, Δημήτριος	el
heal.academicPublisher	Εθνικό Μετσόβιο Πολυτεχνείο. Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών. Τομέας Τεχνολογίας Πληροφορικής και Υπολογιστών	el
heal.academicPublisherID	ntua
heal.numberOfPages	87 σ.
heal.fullTextAvailability	false