Μελέτη επίδρασης της χρήσης κατανεμημένων συστημάτων γενικού σκοπού στην εκπαίδευση νευρωνικών δικτύων σε υπολογιστικό νέφος

Τζαβάρας, Στέφανος

dc.contributor.author	Τζαβάρας, Στέφανος	el
dc.date.accessioned	2021-03-18T07:17:12Z
dc.date.available	2021-03-18T07:17:12Z
dc.identifier.uri	https://dspace.lib.ntua.gr/xmlui/handle/123456789/53086
dc.identifier.uri	http://dx.doi.org/10.26240/heal.ntua.20784
dc.rights	Default License
dc.subject	Βαθιά μηχανική μάθηση	el
dc.subject	Κατανεμημένη εκπαίδευση νευρωνικών δικτύων	el
dc.subject	Deep learning	en
dc.subject	Distributed training of neural networks	en
dc.title	Μελέτη επίδρασης της χρήσης κατανεμημένων συστημάτων γενικού σκοπού στην εκπαίδευση νευρωνικών δικτύων σε υπολογιστικό νέφος	el
dc.contributor.department	Εργαστήριο Υπολογιστικών Συστημάτων	el
heal.type	bachelorThesis
heal.classification	Μηχανική Μάθηση	el
heal.language	el
heal.access	free
heal.recordProvider	ntua	el
heal.publicationDate	2021-03-11
heal.abstract	Ο τομέας της βαθιάς μηχανικής μάθησης επεκτείνεται συνεχώς και ολοένα και αυξάνει τις εφαρμογές του, συμπεριλαμβανομένης και της κατηγοριοποίησης εικόνων. Για τον σκοπό αυτό αναπτύσσονται διαρκώς όλο και πιο πολύπλοκα νευρωνικά δίκτυα και αξιοποιούνται διάφορες τεχνικές προκειμένου να επιτευχθεί η επιθυμητή ακρίβεια στο μοντέλο. Όσο, όμως, αυξάνεται η πολυπλοκότητα των νευρωνικών δικτύων αλλά και ο όγκος των δεδομένων εκπαίδευσης, μεγαλώνει και η ανάγκη προς την κατανεμημένη εκπαίδευση νευρωνικών δικτύων προκειμένου να διαμοιραστεί ο φόρτος υπολογισμών και να επιτευχθεί υψηλότερη απόδοση και ταχύτητα. Στην παρούσα διπλωματική εργασία μελετώνται δύο δομές που υλοποιούν κατανεμημένη εκπαίδευση σε σύμπλεγμα (cluster) μηχανημάτων και αναλύονται εις βάθος προκειμένου να βρεθούν πλεονεκτήματα και μειονεκτήματα. Δίνεται βάση στο κατά πόσο ωφελεί ο συνδυασμός ενός κατανεμημένου συστήματος γενικού σκοπού με ένα ειδικό σύστημα βαθιάς μηχανικής μάθησης. Συνολικά γίνονται δύο πειράματα πάνω σε δύο διαφορετικά σύνολα εκπαίδευσης και νευρωνικά δίκτυα. Τα αποτελέσματα έδειξαν ότι συνολικά το κατανεμημένο TensorFlow είναι από μόνο του αποδοτικότερο και ταχύτερο απ’ ότι το Spark σε συνδυασμό με την βιβλιοθήκη Keras του TensorFlow, χάρη στην ικανότητα ταχύτερης διαχείρισης και προετοιμασίας των επιμέρους μικρό-ομάδων σε κάθε βήμα εκπαίδευσης, κομμάτι στο οποίο το TensorFlow αποδείχθηκε ακόμα και 164Χ ταχύτερο. Παρ’ όλα αυτά φάνηκε ότι η χρήση του Horovod για αυτήν την σύνδεση, προσέφερε σημαντική βελτίωση στην συλλογή και υπολογισμό των επιμέρους δεδομένων του κάθε μηχανήματος πάνω στην διαδικασία της εκπαίδευσης και αποδείχθηκε έως και 23Χ ταχύτερο.	el
heal.advisorName	Κοζύρης, Νεκτάριος	el
heal.committeeMemberName	Κοζύρης, Νεκτάριος	el
heal.committeeMemberName	Γκούμας, Γεώργιος	el
heal.committeeMemberName	Κωνσταντίνου, Ιωάννης	el
heal.academicPublisher	Εθνικό Μετσόβιο Πολυτεχνείο. Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών. Τομέας Τεχνολογίας Πληροφορικής και Υπολογιστών. Εργαστήριο Υπολογιστικών Συστημάτων	el
heal.academicPublisherID	ntua
heal.fullTextAvailability	false