Εξόρυξη, επεξεργασία, αποθήκευση και οπτικοποίηση δεδομένων από αισθητήρες σε πραγματικό χρόνο

Σουλιώτης, Στέφανος; Souliotis, Stefanos

dc.contributor.author	Σουλιώτης, Στέφανος	el
dc.contributor.author	Souliotis, Stefanos	en
dc.date.accessioned	2021-03-17T06:35:54Z
dc.date.available	2021-03-17T06:35:54Z
dc.identifier.uri	https://dspace.lib.ntua.gr/xmlui/handle/123456789/53069
dc.identifier.uri	http://dx.doi.org/10.26240/heal.ntua.20767
dc.rights	Default License
dc.subject	Διαδίκτυο των πραγμάτων	el
dc.subject	Υπολογιστικό νέφος και edge computing	el
dc.subject	MQTT	el
dc.subject	Apache kafka	en
dc.subject	Eπεξεργασία ροής	el
dc.subject	Internet of things	en
dc.subject	Cloud και edge computing	en
dc.subject	MQTT	en
dc.subject	Apache kafka	en
dc.subject	Stream processing	en
dc.title	Εξόρυξη, επεξεργασία, αποθήκευση και οπτικοποίηση δεδομένων από αισθητήρες σε πραγματικό χρόνο	el
dc.title	Mining, processing, storing and visualizing data from sensors in real time	en
heal.type	bachelorThesis
heal.classification	Διαχείριση δεδομένων	el
heal.classification	Data management	en
heal.language	el
heal.access	free
heal.recordProvider	ntua	el
heal.publicationDate	2021-03-03
heal.abstract	Η εξόρυξη, η επεξεργασία, η αποθήκευση και η οπτικοποίηση δεδομένων από αισθητήρες σε πραγματικό χρόνο, μέσω μιας κοινής αρχιτεκτονικής, αποτελεί μια όλο και μεγαλύτερη ανάγκη παγκοσμίως, όσο αυξάνονται τα αυτοδιαχειριζόμενα συστήματα. Η καταγραφή και συλλογή των δεδομένων από κτιριακές εγκαταστάσεις, όπως η θερμοκρασία τους, η κατανάλωση ενέργειας τους, η παραγωγή ενέργειάς τους αλλά και άλλα χαρακτηριστικά τους οποιασδήποτε φύσης επιτυγχάνεται μέσω εφαρμογών του IoT (Internet of Things). Διασυνδεδεμένες συσκευές και αισθητήρες συλλέγουν μεγάλο όγκο δεδομένων σε πραγματικό χρόνο, τα οποία παράλληλα αποστέλλουν με ταχεία και ελαφριά πρωτόκολλα MQTT σε σύστημα ανταλλαγής μηνυμάτων το οποίο βασίζεται στην τεχνική publish-subscribe. ΄Ενα τέτοιο συστήματα είναι το Apache Kafka το οποίο εγγυάται μικρές καθυστερήσεις και ελάχιστες απώλειες ενώ παράλληλα διαχειρίζεται μεγάλο όγκο δεδομένων. Στη συνέχεια, τα δεδομένα υποβάλλονται σε παράλληλη και real time επεξεργασία και ανάλυση μέσω κατάλληλων frameworks, όπως το Apache Spark Streaming, το Kafka Streams και το Apache Flink. Μετά την επεξεργασία τους ο μεγάλος και γρήγορα ανανεούμενος όγκος δεδομένων οπτικοποιείται σε ένα πρόγραμμα παρατήρησης και αποθηκεύεται σε βάσεις δεδομένων με τρόπο που να είναι ευκολότερη και πιο γρήγορη η αναζήτησή τους. Με αυτόν τον τρόπο τα άλλοτε πολλά, μεμονωμένα και ασύνδετα δεδομένα αποκτούν μορφή η οποία είναι ποιοτικά ανώτερη λόγω των μετατροπών που υφίσταται από τις εφαρμογές ανάλυσης και επεξεργασίας. Τέλος, αξιολογείται το σύστημα όσον αφορά τις εγγυήσεις για μικρές καθυστερήσεις και ελάχιστες απώλειες στην ροή της πληροφορίας, καθώς και την δυνατότητα κλιμακωσιμότητάς του.	el
heal.abstract	Mining, processing, storing and visualizing data from sensors in real time, through a common architecture, is a growing need worldwide as self-managed systems grow. The recording and collection of data from building installations, such as their temperature, energy consumption, energy production and other characteristics of any nature is achieved through IoT (Internet of Things) applications. Interconnected devices and sensors collect large volumes of data in real time, which at the same time send with fast and light MQTT protocols to a message exchange system based on the publish-subscribe technique. One such system is Apache Kafka which guarantees small delays and minimal losses while managing a large amount of data. The data is then processed and analyzed in real time via appropriate frameworks, such as Apache Spark Streaming, Kafka Streams and Apache Flink. After processing, the large and quickly updated volume of data is visualized in an observer program and stored in databases in a way that makes them easier and faster to search. In this way the once large, individual and unconnected data acquires a form which is qualitatively superior due to the transformations that exist from the analysis and processing applications. Finally, the system is evaluated in terms of guarantees for small delays and minimal losses in the flow of information, as well as its scalability.	en
heal.advisorName	Καντερέ, Βασιλική	el
heal.committeeMemberName	Καντερέ, Βασιλική	el
heal.committeeMemberName	Κοζύρης, Νεκτάριος	el
heal.committeeMemberName	Παπαβασιλείου, Συμεών	el
heal.academicPublisher	Εθνικό Μετσόβιο Πολυτεχνείο. Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών	el
heal.academicPublisherID	ntua
heal.fullTextAvailability	false