Βελτιστοποίηση ροών εργασίας μηχανικής μάθησης με την ενσωμάτωση ενός αποθετηρίου χαρακτηριστικών στην πλατφόρμα Kubeflow

Παπαϊωάννου, Κωνσταντίνος; Papaioannou, Konstantinos

dc.contributor.author	Παπαϊωάννου, Κωνσταντίνος	el
dc.contributor.author	Papaioannou, Konstantinos	en
dc.date.accessioned	2022-11-16T10:19:01Z
dc.date.available	2022-11-16T10:19:01Z
dc.identifier.uri	https://dspace.lib.ntua.gr/xmlui/handle/123456789/56150
dc.identifier.uri	http://dx.doi.org/10.26240/heal.ntua.23848
dc.rights	Αναφορά Δημιουργού-Μη Εμπορική Χρήση-Όχι Παράγωγα Έργα 3.0 Ελλάδα	*
dc.rights	Αναφορά Δημιουργού-Μη Εμπορική Χρήση-Όχι Παράγωγα Έργα 3.0 Ελλάδα	*
dc.rights.uri	http://creativecommons.org/licenses/by-nc-nd/3.0/gr/	*
dc.subject	Feast	en
dc.subject	Kubeflow	en
dc.subject	Kubernetes	en
dc.subject	Αποθετήριο Χαρακτηριστικών	el
dc.subject	Διαμοιρασμός Χαρακτηριστικών	el
dc.subject	Συνέπεια Χαρακτηριστικών	el
dc.subject	Μηχανική Μάθηση	el
dc.subject	Νέφος	el
dc.subject	Cloud	en
dc.subject	Machine Learning	en
dc.subject	Feature Store	en
dc.subject	Features Sharing	en
dc.subject	Features Consistency	en
dc.title	Βελτιστοποίηση ροών εργασίας μηχανικής μάθησης με την ενσωμάτωση ενός αποθετηρίου χαρακτηριστικών στην πλατφόρμα Kubeflow	el
dc.title	Optimizing ML Workflows by Integrating a Feature Store into Kubeflow	en
heal.type	bachelorThesis
heal.classification	Συστήματα Υπολογιστών	el
heal.classification	Μηχανική Μάθηση	el
heal.classification	Computer Systems	en
heal.classification	Machine Learning	en
heal.language	el
heal.language	en
heal.access	free
heal.recordProvider	ntua	el
heal.publicationDate	2022-07-15
heal.abstract	Η μηχανική μάθηση (ΜΜ) είναι σημαντική για τις επιχειρήσεις, γιατί βοηθάει στην επίλυση ποικίλων προβλημάτων, ενώ η ποιότητα των λύσεων που προσφέρει συμβαδίζει με αυτή των χαρακτηριστικών που χρησιμοποιούν τα μοντέλα ΜΜ. Οι επιστήμονες δεδομένων καταπιάνονται με την υλοποίηση ροών εργασίας που υποστηρίζουν ολόκληρο τον κύκλο ζωής της ΜΜ, μέρος του οποίου αφορά τη δημιουργία και τη διάθεση χαρακτηριστικών κατά την εκπαίδευση μοντέλων και την εξαγωγή συμπερασμάτων. Τα χαρακτηριστικά είναι μεταβλητές εισόδου σε ένα μοντέλο και είναι συνήθως ακατέργαστα δεδομένα που αναπαρίστανται ή κωδικοποιούνται σε διαφορετικές μορφές. Η διαδικασία αυτή απαιτεί πολύ χρόνο και προσπάθεια και συνεπάγεται διάφορες προκλήσεις. Οι πηγές δεδομένων έχουν διαφορετικά χαρακτηριστικά και απαιτούν διαφορετικές προσεγγίσεις στην κατανάλωση και τη διαχείρισή τους. Επιπλέον, η διάθεση χαρακτηριστικών με συνεπή τρόπο στη χρονοβόρα εκπαίδευση μοντέλων και την αστραπιαία εξαγωγή συμπερασμάτων είναι δύσκολη και οδηγεί συχνά στο πρόβλημα της στρέβλωσης μεταξύ εκπαίδευσης και διάθεσης ενός μοντέλου. Ένα αποθετήριο χαρακτηριστικών, όπως το Feast, λύνει αυτές τις προκλήσεις τυποποιώντας τους ορισμούς των χαρακτηριστικών, καταχωρώντας τα σε ένα κεντρικό αποθετήριο και κάνοντάς τα διαθέσιμα με συνέπεια κατά την εκπαίδευση μοντέλων και την εξαγωγή συμπερασμάτων. Η ενσωμάτωση του στο Kubeflow επιτρέπει την κοινή χρήση και επαναχρησιμοποίηση αυτών από πολλούς χρήστες και ομάδες. Η λύση μας μετατρέπει το Feast σε ένα νεφο-εγγενές σύστημα πελάτη-εξυπηρετητή. Δημιουργούμε έναν διακομιστή REST API που διαχειρίζεται και αποθηκεύει τους ορισμούς χαρακτηριστικών και τα μεταδεδομένα τους σε ποικίλες βάσεις δεδομένων SQL οι οποίες υποστηρίζονται μέσω του μηχανισμού Object-Relational Mapping (ORM). Επιπλέον, επιβάλλουμε έλεγχο πρόσβασης με τον μηχανισμό RBAC του Κυβερνήτη και επεκτείνουμε τον πελάτη του Feast ώστε να χρησιμοποιεί το νέο API.	el
heal.abstract	Machine learning (ML) is a core piece of businesses’ daily life, as it proves to be valuable for solving various real-world problems. What is more, the quality of solutions it offers goes hand in hand with the quality of data and features used by ML models and applications. Data scientists put a lot of effort in designing and implementing workflows that support the entire ML lifecycle, a large part of which deals with creating and extracting features from raw data, as well as serving these features during model training and inference. Features are variables that act as input in a model. They are usually data represented or encoded in different forms, but we can also find them in the form of raw data. This part of the process requires a lot of time and effort and entails various challenges. Data sources have different characteristics and require different approaches in their consumption and management. In addition, making features available both for time-consuming model training and lightning-fast model inference in a consistent way is tough and may result in the very common training-serving skew problem. A feature store such as Feast can solve these challenges by standardizing feature definitions, registering them in a central repository and making them consistently available during model training and inference. Integrating a feature store into Kubeflow, which is a complete ML platform, also allows sharing and reuse of features by multiple users and teams. The solution we propose turns Feast into a cloud native client-server system. We create a REST API server which manages and stores all feature definitions and their metadata in an SQL database. We support different SQL databases through the use of ObjectRelational Mapping (ORM) mechanism and we enforce access control using Kubernetes RBAC mechanism. Finally, we extend Feast’s client to use the new API in order to access feature definitions through the server.	en
heal.advisorName	Κοζύρης, Νεκτάριος	el
heal.advisorName	Koziris, Nectarios	en
heal.committeeMemberName	Κοζύρης, Νεκτάριος	el
heal.committeeMemberName	Koziris, Nectarios	en
heal.committeeMemberName	Γκούμας, Γεώργιος	el
heal.committeeMemberName	Πνευματικάτος, Διονύσιος	el
heal.committeeMemberName	Goumas, Georgios	en
heal.committeeMemberName	Pnevmatikatos, Dionisios	en
heal.academicPublisher	Εθνικό Μετσόβιο Πολυτεχνείο. Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών. Τομέας Τεχνολογίας Πληροφορικής και Υπολογιστών. Εργαστήριο Υπολογιστικών Συστημάτων	el
heal.academicPublisherID	ntua
heal.numberOfPages	173 σ.	el
heal.fullTextAvailability	false