Αυτοµατοποίηση κύκλου ζωής συστηµάτων κατανεµηµένης επεξεργασίας δεδοµένων σε ροές εργασίας υπολογιστικών νεφών

Μαλανδράκης, Φίλιππος; Malandrakis, Filippos

dc.contributor.author	Μαλανδράκης, Φίλιππος	el
dc.contributor.author	Malandrakis, Filippos	en
dc.date.accessioned	2022-07-28T11:14:31Z
dc.date.available	2022-07-28T11:14:31Z
dc.identifier.uri	https://dspace.lib.ntua.gr/xmlui/handle/123456789/55526
dc.identifier.uri	http://dx.doi.org/10.26240/heal.ntua.23224
dc.rights	Αναφορά Δημιουργού-Μη Εμπορική Χρήση-Όχι Παράγωγα Έργα 3.0 Ελλάδα	*
dc.rights.uri	http://creativecommons.org/licenses/by-nc-nd/3.0/gr/	*
dc.subject	Υπολογιστικά νέφη	el
dc.subject	Μηχανική μάθηση	el
dc.subject	Πλατφόρμες ελαφριάς εικονοποίησης	el
dc.subject	Ροές εργασίας	el
dc.subject	Συστοιχίες αναλυτικής επεξεργασίας	el
dc.subject	Κατανεμημένα αποθηκευτικά συστήματα	el
dc.subject	Apache Spark	en
dc.subject	Kubernetes	en
dc.subject	HDFS	en
dc.subject	Kubeflow	en
dc.subject	Cloud	en
dc.subject	Machine Learning	en
dc.title	Αυτοµατοποίηση κύκλου ζωής συστηµάτων κατανεµηµένης επεξεργασίας δεδοµένων σε ροές εργασίας υπολογιστικών νεφών	el
heal.type	bachelorThesis
heal.classification	Πληροφορική	el
heal.language	el
heal.access	free
heal.recordProvider	ntua	el
heal.publicationDate	2022-03-09
heal.abstract	Ο πολλαπλασιασµός των εστιών παραγωγής δεδοµένων τα τελευταία χρόνια, έχει ως αποτέλεσµα την εντατικοποίηση των προσπαθειών για εξαγωγή αξίας και πρόσδωση νοήµατος σε αυτά. Οι προσπάθειες αυτές συνδυάζουν οντότητες τόσο από τον χώρο της αναλυτικής επεξεργασίας, όσο και της µηχανικής µάθησης. Παράλληλα, έντονη είναι και η τάση για µετακίνηση των παραγωγικών υποδοµών σε υπολογιστικά νέφη που ϐασίζονται σε ελαφριές µορφές εικονοποίησης. Ο συγκερασµός των δύο αυτών ϱευµάτων οδήγησε στην δηµιουργία του Kubeflow, το οποίο ζει πάνω στον ενορχηστρωτή containers Kubernetes και µεταξύ άλλων επιτρέπει την εκτέλεση ϱοών εργασίας. Οι ϱοές εργασίας αποτελούνται από έναν πεπερασµένο αριθµό ϐηµάτων, που εκτελούνται σε κάποιο υπολογιστικό σύστηµα (όπως την εκτέλεση ενός ερωτήµατος SQL σε µια συστοιχια Apache Spark). Η παρατήρηση ότι το Kubeflow Pipelines εστιάζει στη χρήση αποµακρυσµένων υπολογιστικών συστηµάτων, οδήγησε στην ιδέα της ανάπτυξης ϱοών στα πλαίσια των οποίων ϑα εκκινούνται, διαχειρίζονται και παύονται επιτόπια υπολογιστικά συστήµατα. Στην πράξη, επιλέχθηκε η αυτοµατοποίηση του κύκλου ζωής των κατανεµηµένων συστοιχιών αναλυτικής επεξεργασίας Apache Spark. Προς την κατεύθυνση αυτή, υλοποιήθηκε µια σειρά από Kubeflow Pipelines components γενικού σκοπού, τα οποία δένονται µεταξύ τους σε µια ακολουθία ϐηµάτων. ΄Επειτα, η ακολουθία αυτή µπορεί να εµπλουτιστεί εύκολα για την εκτέλεση οποιασδήποτε ϱοής µηχανικής µάθησης / αναλυτικής επεξεργασίας που απαιτεί τη χρήση του Apache Spark. Για την πρακτική επίδειξη του συγκεκριµένου, αναπτύχθηκε µια ενδεικτική διοχέτευση µηχανικής µάθησης που αξιοποιεί ένα Data Lake. Επιπλέον, µέρος των components που δηµιουργήθηκαν τέθηκαν στη διάθεση όλων των χρηστών του Kubeflow Pipelines.	el
heal.advisorName	Κοζύρης, Νεκτάριος	el
heal.committeeMemberName	Κοζύρης, Νεκτάριος	el
heal.committeeMemberName	Κωνσταντίνου, Ιωάννης	el
heal.committeeMemberName	Γκούμας, Γεώργιος	el
heal.academicPublisher	Εθνικό Μετσόβιο Πολυτεχνείο. Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών. Τομέας Τεχνολογίας Πληροφορικής και Υπολογιστών	el
heal.academicPublisherID	ntua
heal.numberOfPages	62 σ.	el
heal.fullTextAvailability	false