Αυτόματη παροχή πόρων στο περιβάλλον κατανεμημένης επεξεργασίας Storm

Γκολέμης, Ευάγγελος; Gkolemis, Evangelos

dc.contributor.author	Γκολέμης, Ευάγγελος	el
dc.contributor.author	Gkolemis, Evangelos	en
dc.date.accessioned	2017-07-20T11:20:01Z
dc.date.available	2017-07-20T11:20:01Z
dc.date.issued	2017-07-20
dc.identifier.uri	https://dspace.lib.ntua.gr/xmlui/handle/123456789/45296
dc.identifier.uri	http://dx.doi.org/10.26240/heal.ntua.14150
dc.rights	Default License
dc.subject	Επεξεργασία ροών δεδομένων	el
dc.subject	Παράλληλα συστήματα	el
dc.subject	Κατανεμημένα συστήματα	el
dc.subject	Υπολογιστικό νέφος	el
dc.subject	Μαζικά δεδομένα	el
dc.subject	Μηχανική μάθηση	el
dc.subject	Ελαστικότητα	el
dc.subject	Stream processing	en
dc.subject	Distributed systems	en
dc.subject	Parallel systems	en
dc.subject	Cloud	en
dc.subject	Apache storm	en
dc.subject	Big data	en
dc.subject	Machine learning	en
dc.subject	Elasticity	en
dc.title	Αυτόματη παροχή πόρων στο περιβάλλον κατανεμημένης επεξεργασίας Storm	el
heal.type	bachelorThesis
heal.classification	Κατανεμημένα συστήματα	el
heal.classification	Επιστήμη υπολογιστών	el
heal.classification	Big data	en
heal.classification	Cloud	en
heal.classification	Distributed systems	en
heal.classification	Machine learning	en
heal.classification	Πληροφορική	en
heal.classificationURI	http://data.seab.gr/concepts/bfaa023280a6530e576380c5847aabcb55b25b7b
heal.classificationURI	http://data.seab.gr/concepts/77de68daecd823babbb58edb1c8e14d7106e83bb
heal.classificationURI	http://id.loc.gov/authorities/subjects/sh2012003227
heal.classificationURI	http://data.seab.gr/concepts/bfaa023280a6530e576380c5847aabcb55b25b7b
heal.classificationURI	http://id.loc.gov/authorities/subjects/sh85079324
heal.language	el
heal.access	free
heal.recordProvider	ntua	el
heal.publicationDate	2017-04-03
heal.abstract	Στη σύγχρονη εποχή παράγονται συνεχώς δεδομένα σε μεγάλο όγκο και οι ρυθμοί παραγωγής αυξάνονται καθημερινά. Είναι λογικό, λοιπόν, να δημιουργείται η ανάγκη της άμεσης εξαγωγής χρήσιμης πληροφορίας και συμπερασμάτων από το σύνολο των παραγόμενων δεδομένων. Η επεξεργασία ροών δεδομένων είναι ένα μοντέλο επεξεργασίας που καλύπτει την παραπάνω ανάγκη. Τα δεδομένα μοντελοποιούνται ως συνεχόμενες ροές και η επεξεργασία τους διαιρείται σε επεξεργαστικά στάδια. Έχουν δημιουργηθεί αρκετά συστήματα επεξεργασίας ροών δεδομένων. Στην παρούσα διπλωματική θα χρησιμοποιήσουμε το Apache Storm.Ανεξάρτητα από το σύστημα που χρησιμοποιείται, η βελτιστοποίηση των επιδόσεων των εφαρμογών είναι ο πιο σημαντικός στόχος. Αυτός θα είναι και ο στόχος της διπλωματικής, η ανάπτυξη συστήματος που θα βελτιστοποιεί τις επιδόσεις μιας εφαρμογής στο σύστημα κατανεμημένης επεξεργασίας ροών δεδομένων Storm. Πιο συγκεκριμένα, θα δέχεται μια εφαρμογή και θα παρέχει τις κατάλληλες παραμέτρους παραλληλίας. Στα πλαίσια της διπλωματικής θα αναπτύξουμε δύο μηχανισμούς που θα έχουν τον ίδιο στόχο όπως τον παρουσιάσαμε παραπάνω, αλλά θα είναι διαφορετικοί δομικά και θα προσφέρουν διαφορετικού είδους πλεονεκτήματα ο καθένας. Ο πρώτος θα είναι ένας “dynamic” μηχανισμός, θα τρέχει παράλληλα(online) με την εφαρμογή για να βελτιστοποιήσει τις επιδόσεις της και θα παρέχει elasticity. Ο δεύτερος θα είναι ένας “static” μηχανισμός που θα περνάει από ένα machine learning στάδιο και θα μπορεί να παρέχει άμεσα και σε ένα βήμα τη βέλτιστη λύση.	el
heal.abstract	In the modern world, data is continually produced in large volumes and production rates are increasing daily. It is therefore reasonable to create the need to directly extract useful information and conclusions from all the data produced. Stream processing is a processing model that addresses the above need. The data is calculated as continuous streams and their processing is divided into processing steps. Several stream processing systems have been created. Apache Storm is the system that is going to be used in this diploma thesis. Regardless of the system used, optimization of application performance is of the most importance and it is going to be the goal of the diploma thesis. We will develop a system that will optimize the performance of an application in the distributed stream processing system Storm. In particular, the system introduced will take as input an application and provide the appropriate parallelization parameters. Within the framework of this diploma thesis, two mechanisms will be introduced and developed that will have the same goal as presented above but each one will be structurally different and will offer different kinds of advantages. The first will be a "dynamic" mechanism, running on-line with the application to optimize its performance and provide elasticity. The second will be a "static" mechanism that will go through a machine learning stage and will be able to offer the best solution at once.	en
heal.advisorName	Κοζύρης, Νεκτάριος	el
heal.committeeMemberName	Κοζύρης, Νεκτάριος	el
heal.committeeMemberName	Γκούμας, Γεώργιος	el
heal.committeeMemberName	Τσουμάκος, Δημήτριος	el
heal.academicPublisher	Εθνικό Μετσόβιο Πολυτεχνείο. Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών. Τομέας Τεχνολογίας Πληροφορικής και Υπολογιστών	el
heal.academicPublisherID	ntua
heal.numberOfPages	78 σ.
heal.fullTextAvailability	true