Υλοποίηση μοντέλων μηχανικής μάθησης και αλγορίθμων κατανεμημένης επεξεργασίας δεδομένων σε υποδομές υπολογιστικού νέφους

Ζαχαριουδάκης, Χρήστος; Zacharioudakis, Christos

dc.contributor.author	Ζαχαριουδάκης, Χρήστος	el
dc.contributor.author	Zacharioudakis, Christos	en
dc.date.accessioned	2023-11-24T10:22:54Z
dc.date.available	2023-11-24T10:22:54Z
dc.identifier.uri	https://dspace.lib.ntua.gr/xmlui/handle/123456789/58326
dc.identifier.uri	http://dx.doi.org/10.26240/heal.ntua.26022
dc.rights	Αναφορά Δημιουργού-Μη Εμπορική Χρήση 3.0 Ελλάδα	*
dc.rights.uri	http://creativecommons.org/licenses/by-nc/3.0/gr/	*
dc.subject	Cloud Computing	en
dc.subject	Big Data	en
dc.subject	Apache Spark	en
dc.subject	Machine Learning	en
dc.subject	Kubernetes	en
dc.subject	Apache Hadoop	en
dc.subject	Μηχανική Μάθηση	el
dc.subject	Μεγάλα Δεδομένα	el
dc.subject	Υπολογιστικό Νέφος	el
dc.subject	Kubernetes	en
dc.title	Υλοποίηση μοντέλων μηχανικής μάθησης και αλγορίθμων κατανεμημένης επεξεργασίας δεδομένων σε υποδομές υπολογιστικού νέφους	el
heal.type	masterThesis
heal.secondaryTitle	Implementing Machine Learning Models and Distributed Data Processing on Cloud Computing Infrastructures	en
heal.classification	Data Science	en
heal.classification	Μηχανική Μάθηση	el
heal.classification	Επιστήμη Δεδομένων	el
heal.classification	Machine Learning	en
heal.language	en
heal.access	free
heal.recordProvider	ntua	el
heal.publicationDate	2023-07-14
heal.abstract	Στις μέρες μας, δεδομένα υπάρχουν σε αφθονία, αυξάνονται συνεχώς και βρίσκουν πολλές χρήσεις. Μια πιο πρόσφατη χρήση είναι η εκπαίδευση μοντέλων Μηχανικής Μάθησης, λογισμικού που είναι ικανό να λαμβάνει τις δικές του αποφάσεις. Σε αυτή τη διατριβή, θα εκπαιδεύσουμε και θα αναπτύξουμε τέτοια μοντέλα, με τη μορφή ροών εργασιών Μηχανικής Μάθησης. Μια ροή εργασίας Μηχανικής Μάθησης αποτελείται από έναν πεπερασμένο αριθμό βημάτων, τα οποία εκτελούνται σε κάποιο υπολογιστικό σύστημα. Ωστόσο, η εκπαίδευση τέτοιων μοντέλων απαιτεί περισσότερα από δεδομένα. Απαιτεί τεράστιους υπολογιστικούς πόρους, τους οποίους το μέσο υπολογιστικό σύστημα δεν διαθέτει. Το υπολογιστικό νέφος καλείται να λύσει αυτή τη δύσκολη θέση. Ο συνδυασμός των πόρων που προσφέρει το νέφος, μαζί με το Kubernetes, έναν ενορχηστρωτή container (πακέτρων), διευκολύνει την εκτέλεση ροών εργασιών Μηχανικής Μάθησης. Για αυτόν τον σκοπό, θα χρησιμοποιήσουμε το Kubeflow, το οποίο υλοποιείται ειδικά για το Kubernetes και είναι αφιερωμένο στην ανάπτυξη των ροών εργασιών Μηχανικής Μάθησης και τις καθιστά απλές, φορητές και επεκτάσιμες. Εκτός από το Kubernetes και το Kubeflow, τα πλαίσια ανάλυσης Μεγάλων Δεδομένων, όπως το Apache Hadoop και το Apache Spark, αξιοποιούνται για τη φιλοξενία και την προεπεξεργασία των δεδομένων, τα οποία θα χρησιμοποιηθούν για την εκπαίδευση των μοντέλων Μηχανικής Μάθησης.	el
heal.abstract	In our days, data exists in abundance, it is ever increasing and it finds numerous uses. A most recent use is the training of Machine Learning models, software capable of making their own decisions. In this thesis, we will train and deploy such models, in the form of Machine Learning workflows. A Machine Learning workflow consists of a finite number of steps, which are executed on some computing system. However, training such models requires more than data. It requires vast computational resources, that the average computing system does not possess. Cloud computing is called upon to solve this predicament. Combining the resources offered by the cloud, alongside Kubernetes, a container orchestrator, facilitates the execution of Machine Learning workflows. For that purpose, we will utilize the Kubeflow project, which is implemented especially for Kubernetes and is dedicated to making deployments of Machine Learning workflows simple, portable and scalable. In addition to Kubernetes and Kubeflow, Big Data analytics frameworks, such as Apache Hadoop and Apache Spark, are exploited to host and pre-process the data, that will be used to train our Machine Leaning models.	en
heal.advisorName	Κοζύρης, Νεκτάριος	el
heal.committeeMemberName	Κοζύρης, Νεκτάριος	el
heal.committeeMemberName	Γκούμας, Γεώργιος	el
heal.committeeMemberName	Κωνσταντίνου, Ιωάννης	el
heal.academicPublisher	Εθνικό Μετσόβιο Πολυτεχνείο. Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών	el
heal.academicPublisherID	ntua
heal.fullTextAvailability	false