Κλιμακώσιμο Σύστημα για κατ' απαίτηση Συλλογή και Επεξεργασία Δεδομένων Δικτυακής Κίνησης

Σωτηρόπουλος, Ιωάννης Νεκτάριος; Sotiropoulos, Ioannis Nektarios

dc.contributor.author	Σωτηρόπουλος, Ιωάννης Νεκτάριος	el
dc.contributor.author	Sotiropoulos, Ioannis Nektarios	en
dc.date.accessioned	2017-11-28T06:47:54Z
dc.date.available	2017-11-28T06:47:54Z
dc.date.issued	2017-11-28
dc.identifier.uri	https://dspace.lib.ntua.gr/xmlui/handle/123456789/45988
dc.identifier.uri	http://dx.doi.org/10.26240/heal.ntua.14470
dc.rights	Αναφορά Δημιουργού 3.0 Ελλάδα	*
dc.rights.uri	http://creativecommons.org/licenses/by/3.0/gr/	*
dc.subject	Καταγραφή δικτυακής κίνησης	el
dc.subject	Δικτυακή υπηρεσία κατ' απαίτηση	el
dc.subject	Kubernetes	el
dc.subject	Docker	el
dc.subject	ELK stack	el
dc.subject	Network monitoring	en
dc.subject	Monitoring as a service	en
dc.subject	Virtualized network function, VNF	en
dc.subject	Elasticsearch	en
dc.subject	Kafka	en
dc.title	Κλιμακώσιμο Σύστημα για κατ' απαίτηση Συλλογή και Επεξεργασία Δεδομένων Δικτυακής Κίνησης	el
dc.contributor.department	NETMODE	el
heal.type	bachelorThesis
heal.classification	ΕΠΙΣΤΗΜΗ ΥΠΟΛΟΓΙΣΤΩΝ/ΠΛΗΡΟΦΟΡΙΚΗ	el
heal.classification	Computer systems	en
heal.classificationURI	http://data.seab.gr/concepts/77de68daecd823babbb58edb1c8e14d7106e83bb
heal.classificationURI	http://id.loc.gov/authorities/subjects/sh98003200
heal.language	el
heal.access	free
heal.recordProvider	ntua	el
heal.publicationDate	2017-09-28
heal.abstract	The scope of this thesis is the development of a multilayer platform which is provided on demand to many users in order to store and monitor network traffic (sflow). Following the features of each layer, there was a focus on the adaptability and scalability of the whole platform. Therefore, the final service would be a personalized monitoring system provided on demand with data which corresponds to each user. Specifically, the main part of this platform is a distributed data collection system, where in this case the data is received from the switches of the network infrastructure. For this purpose, Apache Kafka was used for central logging, Logstash and Smonnet, a custom python application developed in-house for processing and data enrichment, Elasticsearch as an analytics engine which has a distributed storage system for monitoring and Kibana for the visualization of the correlations and metrics against time. This platform provides on demand the necessary tools in order to be used as the foundation for the creation of a unified framework for collecting –network– monitoring data, and automatically presenting them to the corresponding tenants of various (experimental) infrastructures as part of the functionality of the system.	en
heal.abstract	Σκοπός της διπλωματικής εργασίας είναι η ανάπτυξη πολύ-επίπεδης πλατφόρμας που παρέχεται κατ’ απαίτηση σε πολλαπλούς ενοίκους-χρήστες για την καταγραφή και αποθήκευση προσωποποιημένης δικτυακής πληροφορίας (sflow). Δίνεται ιδιαίτερη έμφαση στην ικανότητα προσαρμογής και κλιμάκωσής της, εκμεταλλευόμενοι των χαρακτηριστικών και ιδιαιτεροτήτων του κάθε σταδίου της πλατφόρμας. Επομένως, το τελικό επιθυμητό αποτέλεσμα είναι η αυτόματη παροχή, ύστερα από αίτημα, προσωποποιημένου συστήματος για την καταγραφή και παρακολούθηση δεδομένων που αντιστοιχούν στον εκάστοτε χρήστη. Ειδικότερα, πρόκειται για ένα κατανεμημένο σύστημα συλλογής δεδομένων, με δεδομένα, στη συγκεκριμένη περίπτωση, την κίνηση που λαμβάνεται από τους μεταγωγείς μιας δικτυακής υποδομής. Για τον σκοπό αυτό χρησιμοποιήθηκε το Apache Kafka για τη συλλογή των δεδομένων από τους μεταγωγείς (centralized logging), το Logstash και το Smonnet, το όνομα του python προγράμματος που αναπτύχθηκε για την επεξεργασία και τον εμπλουτισμό τους, το Elasticsearch σαν σύστημα ανάλυσης με κατανεμημένη τεχνική αποθήκευσης σε συστοιχίες υπολογιστών για την αποθήκευση και καταγραφή τους και τέλος το Kibana για την οπτικοποίηση συσχετισμών και μετρήσεων πάνω στον χρόνο. Με αυτόν τον τρόπο, η πλατφόρμα παρέχει κατ’ απαίτηση μηχανισμό που περιλαμβάνει τα απαραίτητα εργαλεία για να αποτελέσει βάση για τη δημιουργία ενός ενοποιημένου πλαισίου για την άντληση δεδομένων και αυτόματης παρουσίασης των δεδομένων αυτών στους χρήστες των διαφόρων (πειραματικών) υποδομών μεγάλης κλίμακας σαν μέρος της λειτουργικότητας που προσφέρει το περιβάλλον.	el
heal.advisorName	Μάγκλαρης, Βασίλειος	el
heal.committeeMemberName	Κοζύρης, Νεκτάριος	el
heal.committeeMemberName	Μάγκλαρης, Βασίλειος	el
heal.committeeMemberName	Συκάς, Ευστάθιος	el
heal.academicPublisher	Εθνικό Μετσόβιο Πολυτεχνείο. Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών. Τομέας Επικοινωνιών, Ηλεκτρονικής και Συστημάτων Πληροφορικής. Εργαστήριο Διαχείρισης και Βέλτιστου Σχεδιασμού Δικτύων	el
heal.academicPublisherID	ntua
heal.numberOfPages	89 σ.	el
heal.fullTextAvailability	true