Επεκτάσεις στο Kubeflow για Συνεργατικές Ροές Εργασίας Μηχανικής Μάθησης Καθοδηγούμενες από τα Δεδομένα στον Κυβερνήτη

Σωτήρχος, Κίμωνας; Sotirchos, Kimonas

dc.contributor.author	Σωτήρχος, Κίμωνας	el
dc.contributor.author	Sotirchos, Kimonas	en
dc.date.accessioned	2020-04-26T20:40:12Z
dc.date.available	2020-04-26T20:40:12Z
dc.identifier.uri	https://dspace.lib.ntua.gr/xmlui/handle/123456789/50271
dc.identifier.uri	http://dx.doi.org/10.26240/heal.ntua.17969
dc.rights	Αναφορά Δημιουργού - Παρόμοια Διανομή 3.0 Ελλάδα	*
dc.rights.uri	http://creativecommons.org/licenses/by-sa/3.0/gr/	*
dc.subject	Κυβερνήτης	el
dc.subject	Διαχείριση Δεδομένων	el
dc.subject	Ροές Εργασίας	el
dc.subject	Μηχανική Μάθηση	el
dc.subject	Δικτυακές Εφαρμογές	el
dc.subject	Kubeflow	en
dc.subject	Jupyter Notebooks	en
dc.subject	Tensorboard	en
dc.subject	Kubernetes	en
dc.subject	Data Management	en
dc.title	Επεκτάσεις στο Kubeflow για Συνεργατικές Ροές Εργασίας Μηχανικής Μάθησης Καθοδηγούμενες από τα Δεδομένα στον Κυβερνήτη	el
dc.title	Kubeflow Extensions for Collaborative Data-Driven Machine Learning Workflows on Kubernetes	en
dc.contributor.department	CSLab	el
heal.type	bachelorThesis
heal.classification	Distributed Systems	el
heal.language	el
heal.language	en
heal.access	free
heal.recordProvider	ntua	el
heal.publicationDate	2019-11-11
heal.abstract	Η δημιουργία ενός προϊόντος που χρησιμοποιεί Μηχανική Μάθηση καθιστά αναγκαία την αποτελεσματική συνεργασία και συντονισμό μίας ομάδας ανθρώπων η οποία θα εκτελέσει πολύπλοκες και συνεργατικές ροές εργασίας. Προκειμένου να εκτελεστούν τέτοιες ροές εργασίας θα χρειαστεί μηχανικοί από διαφορετικές ειδικότητες να μπορούν να επικοινωνούν αποδοτικά, καθώς και μία πλατφόρμα πάνω στην οποία θα μπορέσουν να τις εκτελέσουν και θα τους παρέχει τα εργαλεία τους. Το Kubeflow είναι η πιο διαδεδομένη πλατφόρμα Μηχανικής Μάθησης στο cloud με σκοπό να επιτρέπει την εκτέλεση τέτοιων ροών εργασίας πάνω από τον Κυβερνήτη. Κατά τη διάρκεια αυτής της διπλωματικής γίναμε ένα μέλος της κοινότητας του Kubeflow και ήρθαμε σε επαφή με Data Scientists μέσω του Slack του Kubeflow και συμμετείχαμε στα Community Meetings. Από την επικοινωνία που είχαμε τόσο με τους χρήστες του Kubeflow όσο και με τους μηχανικούς του συνειδητοποιήσαμε πως το Kubeflow υστερούσε στο κομμάτι της διαχείρισης των δεδομένων. Συγκεκριμένα, οι ροές εργασίας που περιλάμβαναν Jupyter Notebooks, αλλά και η χρήση εργαλείων οπτικοποίησης, όπως το Tensorboard, δεν είχαν εύκολους και απλούς μηχανισμούς ώστε να αξιοποιούν τον τοπικό αποθηκευτικό χώρο της συστοιχίας. Ως αφορμή αυτήν την προβληματική συμπεριφορά πρώτον ξανά σχεδιάσαμε τις ροές εργασίας που περιλαμβάνουν αυτά τα εργαλεία προκειμένου να χρησιμοποιούν και τον τοπικό αποθηκευτικό χώρο και δεύτερον υλοποιήσαμε μια καινούργια ροή εργασίας που τους επιτρέπει να διαχειρίζονται αυτά τα τοπικά δεδομένα. Οι υλοποίηση των Jupyter Notebooks είναι μέρος της τελευταίας έκδοσης του Kubeflow και οι άλλες δύο θα εισαχθούν σε αυτό στις μελλοντικές εκδόσεις. Συνολικά, οι ροές εργασίας που υλοποιήσαμε χρησιμοποιούνται καθημερινά από μεγάλες εταιρίες και οργανισμούς όπως IBM, Cisco και Google, καθώς και από άλλους χρήστες, και λαμβάνουν όλο και περισσότερη προσοχή μέρα με τη μέρα. Ο σκοπός αυτής της διπλωματικής ήταν όχι μόνο να λύσουμε ένα υπάρχον πρόβλημα, αλλά ταυτόχρονα η λύση μας να είναι αποδεκτή και εύχρηστη από τους τελικούς χρήστες που θα την αξιοποιήσουν.	el
heal.abstract	The creation of a product that utilizes Machine Learning demands the use of advanced and collaborative workflows. In order to execute such workflows people with different skill sets and roles are needed to cooperate efficiently and effectively, as well as a platform that can support and provide the necessary infrastructure and tooling. Kubeflow is the de facto platform for running Machine Learning on Kubernetes that aims to seamlessly support and execute such collaborative and data-driven workflows on the cloud. During this thesis we became part of the Kubeflow community and we got in touch with data scientists through Kubeflow’s Slack workspace and Community Meetings. By getting in contact with end users as well as its developers we found out that Kubeflow was lacking in the data management part of such workflows. Specifically the support for data that lived inside the local in-cluster storage was limited. Therefore, we re designed the workflows for running Jupyter Notebooks and Tensorboard visualizations in order to natively support the use of Kubernetes Volumes and also implemented a new workflow for managing these Volumes and their contents. The implementation of the Jupyter Notebooks became part of the upstream project and the other two will be incorporated in the next iterations. All in all, the implemented workflows are widely used by organizations, such as IBM, Cisco and Google, as well as other users, and is getting more and more attention every day. The aim of this thesis was to not only solve a problem, but for the solution to be intuitive and acceptable from the end users.	en
heal.advisorName	Νεκτάριος, Κοζύρης	el
heal.committeeMemberName	Νεκτάριος, Κοζύρης	el
heal.committeeMemberName	Γκούμας, Γεώργιος	el
heal.committeeMemberName	Παπασπύρου, Νικόλαος	el
heal.academicPublisher	Εθνικό Μετσόβιο Πολυτεχνείο. Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών	el
heal.academicPublisherID	ntua
heal.numberOfPages	133 σ.	el
heal.fullTextAvailability	false