Event-driven architectures using Apache Kafka

Λιαροκάπης, Αλέξανδρος Άρης; Liarokapis, Alexandros Aris

dc.contributor.author	Λιαροκάπης, Αλέξανδρος Άρης	el
dc.contributor.author	Liarokapis, Alexandros Aris	en
dc.date.accessioned	2022-11-24T12:35:04Z
dc.date.available	2022-11-24T12:35:04Z
dc.identifier.uri	https://dspace.lib.ntua.gr/xmlui/handle/123456789/56249
dc.identifier.uri	http://dx.doi.org/10.26240/heal.ntua.23947
dc.rights	Αναφορά Δημιουργού 3.0 Ελλάδα	*
dc.rights.uri	http://creativecommons.org/licenses/by/3.0/gr/	*
dc.subject	Asynchronous messaging	en
dc.subject	Event processing	en
dc.subject	Leader election	en
dc.subject	High availability	en
dc.subject	Latency	en
dc.subject	High resiliency	en
dc.subject	Message brokers	en
dc.subject	Event driven architecture	en
dc.subject	Event streaming	en
dc.subject	l consumers	en
dc.subject	Replication,producers	en
dc.subject	Consumer groups	en
dc.subject	Aynchronous communication	en
dc.subject	Inter-service communication	en
dc.title	Event-driven architectures using Apache Kafka	en
heal.type	bachelorThesis
heal.classification	Computer Science	en
heal.language	en
heal.access	free
heal.recordProvider	ntua	el
heal.publicationDate	2022-07-08
heal.abstract	Event-Driven architectures are a very useful approach to decoupling inter-service communication while enabling unique communication patterns. The specific resiliency, availability, and performance requirements of such architectures, warrants the usage of specialized Message-Broker services. Moreover, new real-time requirements of many event processing tasks, such as metrics and analytics, requires a new approach compared to legacy batch processing. Apache Kafka is an open-source event streaming platform that can accommodate both use cases. This thesis performs a succinct presentation of Apache Kafka’s main architectural model, while focusing on its concrete resiliency and availability guarantees and providing guidelines for achieving desired operational characteristics. We also document and further enhance a mathematical model that permits the estimation and concrete sizing of cluster infrastructure, as well as express the link between topic sizing, maximum unavailability and end-to-end latency.	en
heal.abstract	Οι αρχιτεκτονικές οδηγούμενες απο events αποτελούν μία πολύ χρήσιμη προσέγγιση ως προς την αποσύνδεση της επικοινωνίας μεταξύ υπηρεσιών, επιτρέποντας παράλληλα μοναδικά μοτίβα επικοιν- ωνίας. Οι συγκεκριμένες απαιτήσεις για ανθεκτικότητα, διαθεσιμότητα και απόδοση αυτών των αρ- χιτεκτονικών, δικαιολογεί τη χρήση εξειδικευμένων υπηρεσιών μεταβίβασης events. Επιπλέον, νέες, πραγματικού χρόνου απαιτήσεις διαδικασιών επεξεργασίας events, όπως παραγωγή και επεξεργασία μετρήσεων και αναλυτικών στοιχείων, απαιτούν μια νέα προσέγγιση σε σύγκριση με την παραδοσι- ακού τύπου batch επεξεργασίας events. Το Apache Kafka είναι μία ανοιχτού κώδικα πλατφόρμα ροής events που μπορεί να επιτρέψει και τις δύο περιπτώσεις χρήσης. Αυτή η διατριβή εκτελεί μια συνοπτική παρουσίαση του κύριου αρχιτεκτονικού μοντέλου του Αpache Kafka, ενώ εστιάζει στις εγγυήσεις που παρέχει ως προς την ανθεκτικότητά και διαθεσιμότητα του συστήματος, καθώς και παρέχει οδηγίες για την επίτευξη συγκεκριμένων επιθυμητών λειτουργικών χαρακτηριστικών. Επίσης, περιγράφει και ενισχύει περαιτέρω ένα μαθηματικό μοντέλο που επιτρέπει την εκτίμηση και τον καθορισμό μέγεθους της υποδομής ενός Apache Kafka σμήνους, αλλα και εκφράζει την σχέση μεταξύ του μεγέθους των Topics, το μέγιστο παράθηρο μη διαθεσιμότητας και την απο άκρο σε άκρο καθυστέρηση μεταφοράς.	el
heal.advisorName	Vescoukis, Vasileios	en
heal.committeeMemberName	Goumas, Georgios	en
heal.committeeMemberName	Vescoukis, Vasileios	en
heal.committeeMemberName	Tsanakas, Panayiotis	en
heal.academicPublisher	Εθνικό Μετσόβιο Πολυτεχνείο. Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών. Τομέας Τεχνολογίας Πληροφορικής και Υπολογιστών. Εργαστήριο Τεχνολογίας Λογισμικού	el
heal.academicPublisherID	ntua
heal.numberOfPages	140 σ.	el
heal.fullTextAvailability	false