Σχεδιασμός και υλοποίηση εργαλείου προσομοίωσης κατανεμημένων συστημάτων επεξεργασίας συνεχών ροών δεδομένων σε πραγματικό χρόνο

Ιονίτσα, Αλέξανδρος; Ionitsa, Alexandros; Εμμανουηλίδης, Εμμανουήλ; Emmanouilidis, Emmanouil

dc.contributor.author	Ιονίτσα, Αλέξανδρος	el
dc.contributor.author	Ionitsa, Alexandros	en
dc.contributor.author	Εμμανουηλίδης, Εμμανουήλ	el
dc.contributor.author	Emmanouilidis, Emmanouil	en
dc.date.accessioned	2025-04-02T07:21:05Z
dc.date.available	2025-04-02T07:21:05Z
dc.identifier.uri	https://dspace.lib.ntua.gr/xmlui/handle/123456789/61563
dc.identifier.uri	http://dx.doi.org/10.26240/heal.ntua.29259
dc.rights	Αναφορά Δημιουργού - Μη Εμπορική Χρήση - Παρόμοια Διανομή 3.0 Ελλάδα	*
dc.rights.uri	http://creativecommons.org/licenses/by-nc-sa/3.0/gr/	*
dc.subject	Επεξεργασία συνεχών ροών δεδομένων	el
dc.subject	Κατανεμημένα συστήματα	el
dc.subject	Προσομοίωση	el
dc.subject	Ανάλυση επιδόσεων	el
dc.subject	Ισορροπία φόρτου	el
dc.subject	Stream processing	en
dc.subject	Distributed systems	en
dc.subject	Simulation	en
dc.subject	Performance analysis	en
dc.subject	Load balancing	en
dc.title	Σχεδιασμός και υλοποίηση εργαλείου προσομοίωσης κατανεμημένων συστημάτων επεξεργασίας συνεχών ροών δεδομένων σε πραγματικό χρόνο	el
dc.title	Design and implementation of a simulation tool for distributed real-time data stream processing systems	en
heal.type	bachelorThesis
heal.classification	Κατανεμημένα συστήματα	el
heal.classification	Επεξεργασία δεδομένων σε πραγματικό χρόνο	el
heal.classification	Τεχνολογία ανάλυσης δεδομένων	el
heal.classification	Προσομοίωση	el
heal.classification	Distributed systems	en
heal.classification	Stream processing	en
heal.classification	Data analysis	en
heal.classification	Simulation	en
heal.language	el
heal.access	free
heal.recordProvider	ntua	el
heal.publicationDate	2024-10-18
heal.abstract	Η επεξεργασία συνεχών ροών δεδομένων σε πραγματικό χρόνο (Stream Processing - SP) είναι μια εφαρμογή που τα τελευταία χρόνια έχει γίνει ιδιαίτερα δημοφιλής, χάρη στην ανάπτυξη των τεχνολογιών επεξεργασίας και αποθήκευσης δεδομένων μεγάλου όγκου (Big Data). Τεχνολογίες όπως τα Apache Storm, Flink, Spark Streaming και Kafka Streams παρέχουν την υποδομή για την κατανεμημένη επεξεργασία δεδομένων, προσφέροντας τη δυνατότητα παράλληλης εκτέλεσης και διαχείρισης μεγάλων ροών δεδομένων, που κατανέμονται σε υπολογιστικούς κόμβους σε διάφορα φυσικά ή εικονικά περιβάλλοντα. Η απόδοση αυτών των συστημάτων επηρεάζεται από ποικίλους παράγοντες, οι οποίοι περιλαμβάνουν την κατανομή των δεδομένων στους διαθέσιμους υπολογιστικούς πόρους, την αρχιτεκτονική και τον τρόπο λειτουργίας αυτών των συστημάτων (true streaming vs micro-batching), το είδος των τελεστών (stateful vs stateless), τις τεχνικές παραθύρου (windowing techniques) και τις στρατηγικές κατανομής των κλειδιών, με στόχο τον καλύτερο διαμοιρασμό του φόρτου μεταξύ των κόμβων. Αυτοί οι παράγοντες μπορούν να οδηγήσουν σε σημαντικές διακυμάνσεις στην απόδοση του συστήματος, επηρεάζοντας την καθυστέρηση επεξεργασίας (latency), τον συνολικό χρόνο εκτέλεσης και τη δυνατότητα κλιμάκωσης. ΄Ενα από τα κύρια ερευνητικά ερωτήματα αφορά την επίδραση που έχουν διαφορετικές παραμετροποιήσεις αυτών των συστημάτων στην απόδοσή τους καθώς και το πώς μπορούν να εξεταστούν νέες υλοποιήσεις και τεχνικές στα εκάστοτε συστήματα. Ωστόσο, η προσομοίωση και η αξιολόγηση αυτών των συστημάτων με ταχύτητα, χαμηλό κόστος και χωρίς την ανάγκη φυσικής ανάπτυξης αποτελεί μια πρόκληση, καθιστώντας δύσκολη την έρευνα και τη δοκιμή διαφορετικών παραμετροποιήσεων. Ο στόχος αυτής της διπλωματικής εργασίας είναι ο σχεδιασμός και η υλοποίηση ενός παραμετροποιήσιμου εργαλείου προσομοίωσης κατανεμημένων συστημάτων επεξεργασίας συνεχών ροών δεδομένων (Distributed Stream Processing Systems - DSPS). Το εργαλείο αυτό επιτρέπει τη διερεύνηση της επίδρασης διαφόρων παραμέτρων, εύκολα και γρήγορα. Μέσα από τη μελέτη διαφορετικών σεναρίων και τοπολογιών, η προσομοίωση προσφέρει μια εις βάθος κατανόηση του τρόπου λειτουργίας και βελτιστοποίησης των κατανεμημένων συστημάτων SP, επιτρέποντας τη λήψη αποφάσεων για τη βελτίωση της απόδοσης και της αποδοτικότητάς τους σε πραγματικές συνθήκες λειτουργίας.	el
heal.abstract	Real-time stream processing (Stream Processing - SP) is an application that has become particularly popular in recent years, thanks to the development of technologies for processing and storing large volumes of data (Big Data). Technologies such as Apache Storm, Flink, Spark Streaming, and Kafka Streams provide the infrastructure for distributed data processing, offering the capability of parallel execution and management of large data streams distributed across computing nodes in various physical or virtual environments. The performance of these systems is influenced by various factors, including the distribution of data across the available computational resources, the architecture and operational mode of these systems (true streaming vs. micro-batching), the type of operators used (stateful vs. stateless), windowing techniques, and key partitioning strategies, aiming for optimal load balancing across nodes. These factors can lead to significant fluctuations in system performance, affecting processing latency, overall execution time, and scalability. One of the main research questions concerns the impact of different configurations on the performance of these systems, as well as how new implementations and techniques can be evaluated in each system. However, simulating and evaluating these systems efficiently, at low cost, and without the need for physical deployment presents a challenge, making it difficult to research and test different configurations. The goal of this thesis is the design and implementation of a customizable simulation tool for Distributed Stream Processing Systems (DSPS). This tool allows the investigation of the impact of various parameters, such as data distribution, windowing techniques, the use of different operators, and load balancing techniques, on system performance. By studying different scenarios and topologies, the simulation offers an in-depth understanding of the operation and optimization of distributed SP systems, enabling decisions to improve their performance and efficiency in real-world operating conditions.	el
heal.advisorName	Κοζύρης, Νεκτάριος	el
heal.committeeMemberName	Κοζύρης, Νεκτάριος	el
heal.committeeMemberName	Κωνσταντίνου, Ιωάννης	el
heal.committeeMemberName	Τσουμάκος, Δημήτριος	el
heal.academicPublisher	Εθνικό Μετσόβιο Πολυτεχνείο. Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών. Τομέας Τεχνολογίας Πληροφορικής και Υπολογιστών	el
heal.academicPublisherID	ntua
heal.numberOfPages	157 σ.	el
heal.fullTextAvailability	false