Μηχανισμός δημιουργίας επαναχρησιμοποιήσιμων δομικών στοιχείων σε ροές εργασίας μηχανικής μάθησης με Docker στην πλατφόρμα Kubeflow

Γιαννούλης, Παναγιώτης; Giannoulis, Panagiotis

dc.contributor.author	Γιαννούλης, Παναγιώτης	el
dc.contributor.author	Giannoulis, Panagiotis	en
dc.date.accessioned	2022-11-21T08:23:53Z
dc.date.available	2022-11-21T08:23:53Z
dc.identifier.uri	https://dspace.lib.ntua.gr/xmlui/handle/123456789/56188
dc.identifier.uri	http://dx.doi.org/10.26240/heal.ntua.23886
dc.rights	Αναφορά Δημιουργού-Μη Εμπορική Χρήση-Όχι Παράγωγα Έργα 3.0 Ελλάδα	*
dc.rights.uri	http://creativecommons.org/licenses/by-nc-nd/3.0/gr/	*
dc.subject	Εικόνες Περιεκτών	el
dc.subject	Κυβερνήτης	el
dc.subject	Λειτουργίες Μηχανικής Μάθησης	el
dc.subject	Δομικά Στοιχεία	el
dc.subject	Σωληνώσεις	el
dc.subject	Container Images	en
dc.subject	Kubernetes	en
dc.subject	MLOps	en
dc.subject	Pipelines	en
dc.subject	Components	en
dc.subject	Docker	en
dc.subject	Kubeflow	en
dc.subject	Kale	en
dc.title	Μηχανισμός δημιουργίας επαναχρησιμοποιήσιμων δομικών στοιχείων σε ροές εργασίας μηχανικής μάθησης με Docker στην πλατφόρμα Kubeflow	el
dc.title	A Mechanism to Create Reusable Machine Learning Workflow Components with Docker and Kubeflow	en
heal.type	bachelorThesis
heal.classification	Πληροφορική	el
heal.classification	Computer Science	en
heal.language	el
heal.language	en
heal.access	free
heal.recordProvider	ntua	el
heal.publicationDate	2022-07-15
heal.abstract	Η Μηχανική Μάθηση (ΜΜ) αποτελεί σήμερα την βάση για την επίλυση σύνθετων προβλημάτων του πραγματικού κόσμου, παρέχοντας αξία σε όλους τους τομείς. Οι επιστήμονες δεδομένων μπορούν να αναπτύξουν και να εκπαιδεύσουν ένα μοντέλο Μηχανικής Μάθησης με αναμενόμενη απόδοση σε ένα γνωστό σύνολο δεδομένων. Ωστόσο, αποτελεί αληθινή πρόκληση η κατασκευή ενός ολοκληρωμένου συστήματος ΜΜ και η συνεχής λειτουργία του σε πραγματικό χρόνο. Το Kubeflow έρχεται να κάνει την ανάπτυξη μοντέλων Μηχανικής Μάθησης στον Κυβερνήτη απλή, άμεση και επεκτάσιμη. Όμως η εκτέλεση ροών εργασίας ΜΜ στο Kubeflow είναι ακόμη μία επίπονη διαδικασία και η αναπαραγωγιμότητα φαντάζει ουτοπία. Ένα από τα σημαντικότερα εμπόδια στην υιοθέτηση των σωληνώσεων Kubeflow εκτενώς και στην παραγωγή είναι οι γνώσεις που απαιτούνται για την εσωτερική λειτουργία του Kubeflow Pipelines DSL, του Κυβερνήτη και του Docker. Τελικά, η ανάπτυξη ενός Kubeflow Pipeline απαιτεί επαναλαμβανόμενες, επαχθείς και άγνωστες στους επιστήμονες δεδομένων λειτουργίες. Στην παρούσα διπλωματική εργασία, αναπτύσσουμε μια αποτελεσματική προσέγγιση για την αυτόματη κατασκευή επαναχρησιμοποιήσιμων και αναπαραγώγιμων δομικών στοιχείων του Kubeflow Pipeline. Για να το πετύχουμε, εισάγουμε μια νέα βιβλιοθήκη για τη διαφανή αναπαραγωγή του περιβάλλοντος εργασίας του επιστήμονα δεδομένων μέσω της δημιουργίας εικόνων Docker σε μη προνομιούχα συστήματα. Έτσι, είμαστε σε θέση να μετατρέψουμε ένα δομικό στοιχείο του Kubeflow Pipeline, το οποίο είναι ένα αυτοτελές σύνολο κώδικα που εκτελεί ένα βήμα σε μια ροή εργασίας ML, σε μια συσκευασμένη και έτοιμη προς χρήση εικόνα Docker. Αξιοποιώντας την ικανότητα του μηχανισμού μας, οι επιστήμονες δεδομένων θα μπορούν να μοιράζονται, να ανακαλύπτουν, να αποθηκεύουν και να επαναχρησιμοποιούν συστατικά KFP σε μια πληθώρα από συνδυασμούς εξοικονομώντας πολύτιμο χρόνο για την εύρεση της καλύτερης ροής εργασίας MM για τις ανάγκες τους. Τέλος, θα κάνει την εξυπηρέτηση των μοντέλων τους εύκολη υπόθεση ακόμα και στα πιο απαιτητικά περιβάλλοντα.	el
heal.abstract	Data science and Machine Learning are becoming core capabilities for solving complex real-world problems, transforming industries, and delivering value in all domains. Data scientists can implement and train an ML model with predictive performance on an offline holdout dataset, given relevant training data for their use case. However, the real challenge isn't building an ML model, the challenge is building an integrated ML system and to continuously operate it in production. The Kubeflow project is dedicated to making deployments of machine learning (ML) workflows on Kubernetes simple, portable and scalable. Running Kubeflow Pipelines is challenging and reproducibility is only a pipe dream. One of the major obstacles in adopting Kubeflow pipelines extensively and in production is the knowledge required for the inner workings of Kubeflow Pipelines DSL, Kubernetes concepts and Docker expertise to compile and run a workflow. Eventually, the deployment of a Kubeflow Pipeline (ML workflow) requires repetitious, burdensome, and unknown to data scientists operations. In this diploma thesis, we develop an efficient approach to automatically build and transfer versioned, reusable and reproducible Kubeflow Pipeline components. We introduce a library to transparently reproduce the scientist's working environment by building images in unprivileged environments. Doing so, we are able to transform a Kubeflow Pipeline component, which is a self-contained set of code that performs one step in an ML workflow, into a packaged ready-to-use Docker image. Leveraging our mechanism’s ability, ML engineers will be able to share, discover, store and reuse KFP components in various different combinations saving valuable time towards finding the best ML workflow for their needs. Furthermore, packaging a model will make serving a piece of cake even in the most demanding environments. Finally, the creation of reusable components will open the road for splitting ML workflows into distinct parts that will run on different clusters that target different development stages, workflow life-cycles, or provide access to limited services or computing resources.	en
heal.advisorName	Κοζύρης, Νεκτάριος	el
heal.advisorName	Koziris, Nectarios	en
heal.committeeMemberName	Κοζύρης, Νεκτάριος	el
heal.committeeMemberName	Γκούμας, Γεώργιος	el
heal.committeeMemberName	Πνευματικάτος, Διονύσιος	el
heal.committeeMemberName	Goumas, Georgios	en
heal.committeeMemberName	Koziris, Nectarios	en
heal.committeeMemberName	Pnevmatikatos, Dionisios	en
heal.academicPublisher	Εθνικό Μετσόβιο Πολυτεχνείο. Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών	el
heal.academicPublisherID	ntua
heal.numberOfPages	279 σ.	el
heal.fullTextAvailability	false