Βελτιστοποίηση κατανεμημένης εκπαίδευσης νευρωνικών δικτύων μέσω υβριδικής αρχιτεκτονικής κατανεμημένης εκπαίδευσης σε περιβάλλον νέφους

Χαλάς, Ιάσων Θεοχάρης; Chalas, Iason Theocharis

dc.contributor.author	Χαλάς, Ιάσων Θεοχάρης
dc.contributor.author	Chalas, Iason Theocharis
dc.date.accessioned	2022-06-15T09:59:10Z
dc.date.available	2022-06-15T09:59:10Z
dc.identifier.uri	https://dspace.lib.ntua.gr/xmlui/handle/123456789/55281
dc.identifier.uri	http://dx.doi.org/10.26240/heal.ntua.22979
dc.rights	Default License
dc.subject	Βαθιά Μηχανική Μάθηση	el
dc.subject	Κατανεμημένα Συστήματα	el
dc.subject	Κατανεμημένη Εκπαίδευση	el
dc.subject	Νευρωνικά Δίκτυα	el
dc.subject	Παραλληλοποίηση Δεδομένων	el
dc.subject	Deep Learning	en
dc.subject	Distributed Systems	en
dc.subject	Distributed Deep Learning	en
dc.subject	Data Parallelism	en
dc.subject	Neural Networks	en
dc.subject	TensorFlow	en
dc.title	Βελτιστοποίηση κατανεμημένης εκπαίδευσης νευρωνικών δικτύων μέσω υβριδικής αρχιτεκτονικής κατανεμημένης εκπαίδευσης σε περιβάλλον νέφους	el
dc.contributor.department	Εργαστήριο Υπολογιστικών Συστημάτων	el
heal.type	bachelorThesis
heal.classification	Πληροφορική	el
heal.access	free
heal.recordProvider	ntua	el
heal.publicationDate	2021-11-23
heal.abstract	Η βαθιά μηχανική μάθηση τα τελευταία χρόνια έχει αποτελέσει έναν πολύ σημα- ντικό παράγοντα στην δημιουργία μιας πληθώρας εφαρμογών με αποτέλεσμα να έχει συγκεντρώσει μεγάλο ερευνητικό ενδιαφέρον. Η αύξηση των δεδομένων καθώς και η δημιουργία μεγαλύτερων και πιο εκλεπτυσμένης αρχιτεκτονικής νευρωνικών δικτύων έχουν συντελέση στην αναγκαιότητα της εκπαίδευσης των δικτύων αυτών σε κατα- νεμημένο περιβάλλον. Υπάρχουν διάφορες προκλήσεις τόσο στην αρχιτεκτονική όσο και στον συγχρονισμό της κατανεμημένης εκπαίδευσης παραλληλοποίησης δεδομένων. Το TensorFlow της Google αποτελεί ένα σύστημα που προσφέρει την δυνατότητα κατανεμημένης εκπαίδευσης το οποίο χρησιμοποιήσαμε για να αξιολογήσουμε στρα- τηγικές κατανεμημένης εκπαίδευσης παραλληλισμού δεδομένων πάνω σε ένα cluster CPU. Στην εργασία αυτή αξιολογήθηκαν η all-reduce αρχιτεκτονική Multi Worker Mirrored Strategy και η Parameter Server Strategy και προτάθηκε μία υβριδική στρα- τηγική η Strategy Switch. Η Strategy Switch αποδείχθηκε η καλύτερη επιλογή στο trade-off ακρίβεια πρόβλεψης του μοντέλου και χρόνου εκπαίδευσης, προσεγγίζοντας την βέλτιστη απόδοση σε μικρό συγκριτικά χρόνο εκτέλεσης.	el
heal.advisorName	Κοζύρης, Νεκτάριος
heal.committeeMemberName	Κοζύρης, Νεκτάριος
heal.committeeMemberName	Πνευματικάτος, Διονύσιος
heal.committeeMemberName	Κωνσταντίνου, Ιωάννης
heal.academicPublisher	Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών	el
heal.academicPublisherID	ntua
heal.numberOfPages	88
heal.fullTextAvailability	false