Σχεδιασμός και ανάπτυξη ενός κατανεμημένου συστήματος για τη συλλογή, ανάλυση και αποθήκευση των δεδομένων χρήσης που παράγονται από τη λειτουργία ενός υπολογιστικού νέφους

Abstract

Σκοπός της συγκεκριμένης διπλωματικής εργασίας είναι η δημιουργία ενός κατανεμημένου συστήματος για τη συλλογή των δεδομένων χρήσης (logs) που παράγονται από τη λειτουργία ενός υπολογιστικού νέφους και την αποθήκευσή τους σε κεντρική βάση. Για το σκοπό αυτό μελετούνται εργαλεία ανοιχτού κώδικα για centralized logging, όπως το Apache Flume, Apache Kafka, Logstash που αναλαμβάνουν τη συλλογή των δεδομένων από τους κόμβους, καθώς και συστήματα με κατανεμημένες τεχνικές αποθήκευσης σε συστοιχίες υπολογιστών όπως το Apache Hadoop και Elasticsearch. Αναλύονται τα εργαλεία Elasticsearch, Logstash και Kibana (ELK stack) που επιλέχθηκαν για την δημιουργία του συστήματος ενώ στη συνέχεια παρουσιάζεται πρωτότυπο με την εφαρμογή τους στο Synnefo, μια open sourch cloud πλατφόρμα, η οποία χρησιμοποιείται στον ~Okeanos, ένα έργο που προσφέρει υπηρεσίες “Infrastructure as a service” (IaaS) στη Ελληνική ερευνητική και ακαδημαϊκή κοινότητα.

The purpose of this thesis is the design and development of a distributed monitoring system for the log data derived from a cloud service provider. To achieve this, open source, distributed systems for centralized logging are examined, like Apache Flume, Apache Kafka and Logstash. These systems are responsible for the collection of logs from the physical nodes. Apache Hadoop and Elasticsearch which can be used for the storage of “big data”, are also examined. Finally, the tools Elasticsearch, Logstash and Kibana are being selected for the development of the system and a prototype is created based on “Synnefo”. Synnefo is an open source cloud management platform that is used in ~Okeanos, the GRNET cloud service, for the Greek research and academic community.