Σχεδίαση και υλοποίηση ροών εργασίας για αυτοματοποιημένη μηχανική μάθηση στον κυβερνήτη, με το Kubeflow

Ανδριόπουλος, Κωνσταντίνος; Andriopoulos, Konstantinos

dc.contributor.author	Ανδριόπουλος, Κωνσταντίνος	el
dc.contributor.author	Andriopoulos, Konstantinos	en
dc.date.accessioned	2022-04-13T07:35:43Z
dc.date.available	2022-04-13T07:35:43Z
dc.identifier.uri	https://dspace.lib.ntua.gr/xmlui/handle/123456789/55090
dc.identifier.uri	http://dx.doi.org/10.26240/heal.ntua.22788
dc.rights	Default License
dc.subject	Μηχανική μάθηση	el
dc.subject	Αυτοματοποιημένη μηχανική μάθηση	el
dc.subject	Νέφος	el
dc.subject	Επιστήμη δεδομένων	el
dc.subject	Machine learning	en
dc.subject	Κυβερνήτης	el
dc.subject	Kubernetes	en
dc.subject	Kubeflow	en
dc.subject	Auto-sklearn	en
dc.subject	AutoML	en
dc.title	Σχεδίαση και υλοποίηση ροών εργασίας για αυτοματοποιημένη μηχανική μάθηση στον κυβερνήτη, με το Kubeflow	el
dc.title	Design and Implementation of AutoML Workflows on Kubernetes, with Kubeflow	en
heal.type	bachelorThesis
heal.classification	Machine Learning	en
heal.language	el
heal.language	en
heal.access	free
heal.recordProvider	ntua	el
heal.publicationDate	2021-11-22
heal.abstract	Η επίλυση ενός πλήθους από απαιτητικά προβλήµατα στις µέρες µας γίνεται µε χρήση µηχανικής µάθησης. Μία τέτοια διαδικασία έχει µια ϐασική δυσκολία, την επιλογή του κατάλληλου αλγορίθµου µηχανικής µάθησης για ένα δεδοµένο σύνολο δεδοµένων (dataset). ∆ιαφορετικοί αλγόριθµοι µπορεί να έχουν διαφορετικά αποτελέσµατα πάνω στο ίδιο dataset, και η διαφορά µπορεί να είναι χαώδης. Για να λύσει αυτό το πρόβληµα έρχεται η έννοια της Αυτοµατοποιηµένης Μηχανικής Μάθησης, ή ΑutoML, που είναι ένα γενικότερο πλαίσιο διαδικασιών και µεθόδων το οποίο παράγει έτοιµα, εκπαιδευµένα µοντέλα µε είσοδο κυρίως το σύνολο δεδοµένων του χρήστη. Το AutoML αυτοµατοποιεί δύσκολες διαδικασίες της µηχανικής µάθησης, όπως την επεξεργασία του συνόλου δεδοµένων, την επιλογή του αλγορίθµου αλλά και την εκπαίδευση του αντίστοιχου µοντέλου, διευκολύνοντας µε αυτό τον τρόπο την χρήση µηχανικής µάθησης ακόµα και για αυτούς που δεν είναι ειδικοί σε αυτόν τον τοµέα. Υπάρχουν αρκετές ϐιβλιοθήκες ανοιχτού κώδικα που προσφέρουν λύσεις αυτοµατοποιηµένης µηχανικής µάθησης εκεί έξω. Μία από αυτές είναι το auto-sklearn, το οποίο χρησιµοποιήσαµε στην εργασία µας. Το ϐασικό πρόβληµα µε τέτοιες ϐιβλιοθήκες είναι ότι, µολονότι µια διαδικασία AutoML συνήθως περιέχει πολλά ϐήµατα που µπορούν να τρέξουν παράλληλα και ανεξάρτητα, αυτές είναι σχεδιασµένες να τρέχουν σε έναν µόνο κόµβο. Σε αυτήν την εργασία, χρησιµοποιώντας τον πυρήνα του auto-sklearn ως ϐάση, σχεδιάσαµε και υλοποιήσαµε µια διαδικασία αυτοµατοποιηµένης µηχανικής µάθησης στο Kubeflow, το οποίο τρέχει πάνω στον Κυβερνήτη, και είναι µια τελευταίας τεχνολογίας πλατφόρµα για ενορχήστρωση ϱοών εργασίας µηχανικής µάθησης. Εκεί, εκµεταλλευτήκαµε τα οφέλη της κατανεµηµένης ϕύσης του Κυβερνήτη, κατανέµοντας στο ¨νέφος¨ τα ϐήµατα της διαδικασίας AutoML που µπορούσαν να τρέξουν παράλληλα.	el
heal.abstract	Nowadays, a number of demanding real-world problems can be solved with the use of machine learning. One such process has a fundamental difficulty, that is, choosing the most suitable machine learning algorithm for a given dataset. Different algorithms may yield different results, on the same dataset, and their difference can be massive. AutoML is a solution to that problem. AutoML stands for Automated Machine Learning, and it consists of a plethora of procedures and methods that produce ready-to-use, fully trained models, mainly by receiving the dataset of the user as input. AutoML automates difficult machine learning tasks, such as the preprocessing of the input dataset, choosing an algorithm that is suitable for that dataset, as well as training the corresponding machine learning model. This way, it facilitates the use of machine learning for those that are not necessarily experts in the field. There is a proliferation of open-source libraries that offer AutoML solutions, out there. One of these libraries is auto-sklearn, which we used in our work. One fundamental problem with such libraries is that, although an AutoML procedure usually contains a large number of steps that can run in parallel, these libraries are designed to run on a single node. In this diploma thesis, we used auto-sklearn’s meta-learning kernel as a base, and we designed and implemented an AutoML process on Kubeflow, which runs on top of Kubernetes and is the state-of-the-art for orchestrating machine learning workflows. There, we leveraged the advantages of Kubernetes’ distributed nature by distributing, on the cluster, the steps of the AutoML process that could run in parallel.	en
heal.advisorName	Κοζύρης, Νεκτάριος	el
heal.committeeMemberName	Κοζύρης, Νεκτάριος	el
heal.committeeMemberName	Γκούμας, Γεώργιος	el
heal.committeeMemberName	Κωνσταντίνου, Ιωάννης	el
heal.academicPublisher	Εθνικό Μετσόβιο Πολυτεχνείο. Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών. Τομέας Τεχνολογίας Πληροφορικής και Υπολογιστών	el
heal.academicPublisherID	ntua
heal.numberOfPages	205 σ.	el
heal.fullTextAvailability	false