Implementation and evaluation of machine learning systems, focusing on development and operations (MLOps). Application in semantic segmentation of geospatial data.

Triantafyllou, Dimitrios; Τριανταφύλλου, Δημήτριος

dc.contributor.author	Triantafyllou, Dimitrios	en
dc.contributor.author	Τριανταφύλλου, Δημήτριος	el
dc.date.accessioned	2023-03-01T10:13:20Z
dc.date.available	2023-03-01T10:13:20Z
dc.identifier.uri	https://dspace.lib.ntua.gr/xmlui/handle/123456789/57173
dc.identifier.uri	http://dx.doi.org/10.26240/heal.ntua.24871
dc.description	Εθνικό Μετσόβιο Πολυτεχνείο--Μεταπτυχιακή Εργασία. Διεπιστημονικό-Διατμηματικό Πρόγραμμα Μεταπτυχιακών Σπουδών (Δ.Π.Μ.Σ.) "Επιστήμη Δεδομένων και Μηχανική Μάθηση"	el
dc.rights	Default License
dc.subject	Machine Learning	en
dc.subject	Artificial Intelligence	en
dc.subject	MLOps	en
dc.subject	Kubernetes	en
dc.subject	Kubeflow	en
dc.subject	Pipelines	en
dc.subject	DevOps	en
dc.subject	Containerization	en
dc.subject	Μηχανική Μάθηση	el
dc.subject	Τεχνητή Νοημοσύνη	el
dc.subject	Σωληνώσεις	el
dc.subject	Εικονικοποίηση	el
dc.subject	∆ιαδικασίες Μηχανικής Μάθησης	el
dc.subject	Ενορχηστρωτής	el
dc.subject	Container orchestration	en
dc.title	Implementation and evaluation of machine learning systems, focusing on development and operations (MLOps). Application in semantic segmentation of geospatial data.	en
dc.title	Υλοποίηση και Αξιολόγηση Συστηµάτων Ανάπτυξης και Λειτουργίας ΛογισµικούΜηχανικής Μάθησης (MLOps). Εφαρµογή στη Σηµασιολογική Κατάτµηση Γεωχωρικών ∆εδοµένων.	el
heal.type	masterThesis
heal.classification	Machine Learning	en
heal.classification	Μηχανική Μάθηση	el
heal.language	el
heal.language	en
heal.access	free
heal.recordProvider	ntua	el
heal.publicationDate	2022-12-21
heal.abstract	Machine learning has made tremendous advances in the past decade. As machine learning and artificial intelligence proliferate in software products and services, there is a need to apply best practices and tools for testing, developing, managing, and monitoring machine learning models in real-world production. These practices are known as machine learning operations - MLOps. The goal of MLOps is to reduce the "technical debt" in machine learning applications. The majority of IT enterprises have adopted a container strategy. Kubernetes, as a container orchestrator, is gaining more and more popularity, especially in large-scale infrastructure and big data cases. Meanwhile, production machine learning systems are getting more complex requiring more and more resources and management. The combination of machine learning with Kubernetes, is favored due to Kubernetes key features of orchestration, scalability, and portability. The purpose of this thesis is the implementation and analysis of MLOps in production. An infrastructure with Kubernetes is implemented, simulating a production environment, and the Google’s Kubeflow platform is chosen for the development of MLOps. MLOps are developed and applied to a problem of semantic classification of seabed images. Additionally, there is an approach that describes the collaboration of data scientists and DevOps engineers in a production machine learning system and the benefits of automation provided by MLOps. The final product is a Kubeflow Pipeline which automates the regular retraining, deploying and monitoring a model in production.	en
heal.abstract	Τα τελευταία χρόνια η µηχανική µάθηση γνωρίζει µεγάλη άνθιση στον τοµέα της πληροϕορικής. Η εποχή ψηφιοποιείται και τα δεδοµένα µεγαλώνουν. Καθώς η µηχανική µάθηση και η τεχνητή νοηµοσύνη διαδίδονται σε προϊόντα και υπηρεσίες λογισµικού, κρίνεται αναγκαία η εφαρµογή ϐέλτιστων πρακτικών και εργαλείων για τη δοκιµή, την ανάπτυξη, τη διαχείριση και την παρακολούθηση µοντέλων µηχανικής µάθησης στην παραγωγή πραγµατικού κόσµου. Αυτές οι πρακτικές συνθέτουν τις διαδικασίες µηχανικής µάθησης MLOps. Στόχος των MLOps είναι η µείωση το «τεχνικού χρέους» σε εφαρµογές µηχανικής µάθησης. Η χρήση στρατηγικών εικονικοποίησης µε κοντέινερ έχει επικρατήσει στις εταιρείες και το Kubernetes, ως ενορχηστρωτής κοντέινερ, κερδίζει όλο και µεγαλύτερο έδαφος, ειδικότερα σε περιπτώσεις µεγάλης κλίµακας υποδοµών και δεδοµένων. Παράλληλα, οι διαδικασίες που πραγµατοποιούνται σε ένα σύστηµα µηχανικής µάθησης στην παραγωγή, µε την πάροδο του χρόνου, µεγεθύνουν τις απαιτήσεις για χρήση πόρων και διαχείριση. Ο συνδυασµός της µηχανικής µάθησης µε το Kubernetes, ευνοείται από τα κύρια χαρακτηριστικά του για ενορχήστρωση, κλιµακωσιµότητα και ϕορητότητα. Σκοπός της παρούσας διπλωµατικής είναι η υλοποίηση και διερεύνηση διαδικασιών MLOps στην παραγωγή. Υλοποιείται µια υποδοµή µε Kubernetes, που προσωµοιώνει ένα παραγωγικό περιβάλλον, καθώς και επιλέγεται η πλατφόρµα Kubeflow της Google για την ανάπτυξη των MLOps. Υλοποιούνται οι διαδικασίες MLOps και εφαρµόζονται σε ένα ζήτηµα σηµασιολογικής ταξινόµησης των στοιχείων εικόνων υποθαλάσσιου εδάφους. Ταυτόχρονα, περιγράφεται η συνεργασία επιστήµονων δεδοµένων και µηχανικών DevOps, σε ένα σύστηµα µηχανικής µάθησης στην παραγωγή και πως ευννοούνται από την αυτοµατοποίηση που παρέχουν οι διαδικασίες MLOps. Τελικό παραγόµενο είναι µια σωλήνωση Kubeflow Pipeline, η οποία αναλαµβάνει να αυτοµατοποιήσει την τακτική επανεκπαίδευση, προώθηση και παρακολούθηση ενός µοντέλου στην παραγωγή.	el
heal.advisorName	Karantzalos, Konstantinos	en
heal.committeeMemberName	Vakalopoulou, Maria	en
heal.committeeMemberName	Stamou, Giorgos	en
heal.academicPublisher	Εθνικό Μετσόβιο Πολυτεχνείο. Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών	el
heal.academicPublisherID	ntua
heal.fullTextAvailability	false