Κατανεμημένα ζεύγη νευρωνικών δικτύων για την αποδοτική εκτέλεση εφαρμογών βαθιάς μάθησης σε κινητές συσκευές

Νικολαΐδης, Σωκράτης; Nikolaidis, Sokratis

dc.contributor.author	Νικολαΐδης, Σωκράτης	el
dc.contributor.author	Nikolaidis, Sokratis	en
dc.date.accessioned	2021-12-22T11:12:29Z
dc.date.available	2021-12-22T11:12:29Z
dc.identifier.uri	https://dspace.lib.ntua.gr/xmlui/handle/123456789/54248
dc.identifier.uri	http://dx.doi.org/10.26240/heal.ntua.21946
dc.rights	Αναφορά Δημιουργού-Μη Εμπορική Χρήση-Όχι Παράγωγα Έργα 3.0 Ελλάδα	*
dc.rights	Αναφορά Δημιουργού-Μη Εμπορική Χρήση-Όχι Παράγωγα Έργα 3.0 Ελλάδα	*
dc.rights.uri	http://creativecommons.org/licenses/by-nc-nd/3.0/gr/	*
dc.subject	Μηχανική μάθηση	el
dc.subject	Βαθιά μάθηση	el
dc.subject	Κατανεμημένα συστήματα	el
dc.subject	Ζεύγη νευρωνικών δικτύων	el
dc.subject	Κινητός υπολογισμός	el
dc.subject	Machine learning	en
dc.subject	Deep learning	en
dc.subject	Distributed systems	en
dc.subject	Neural network pair	en
dc.subject	Mobile computing	en
dc.title	Κατανεμημένα ζεύγη νευρωνικών δικτύων για την αποδοτική εκτέλεση εφαρμογών βαθιάς μάθησης σε κινητές συσκευές	el
dc.title	Distributed Neural Network Pairs for Efficient Execution of Deep Learning Applications on Mobile Devices	en
dc.contributor.department	Intelligent Communications & Broadband Networks Laboratory, ICBNet	el
heal.type	bachelorThesis
heal.classification	Μηχανική Μάθηση	el
heal.language	el
heal.access	free
heal.recordProvider	ntua	el
heal.publicationDate	2021-09-28
heal.abstract	Παραδοσιακά, για την εκπαίδευση ή τη συμπερασματολογία Νευρωνικών Δικτύων για Βαθιά Μάθηση υπεύθυνη ήταν μία μόνο υπολογιστική μηχανή. Ωστόσο, σήμερα, η αποθήκευση μεγάλου όγκου δεδομένων για την εκπαίδευση Νευρωνικών Δικτύων καθώς και η έλλειψη υπολογιστικών πόρων σε μεμονωμένες μηχανές για την επεξεργασία τους, καθιστούν τη χρήση μίας μόνο υπολογιστικής μηχανής αναποτελεσματική. Καθώς ο όγκος δεδομένων και η πολυπλοκότητα των σύγχρονων μοντέλων είναι αναγκαία για την αύξηση της ακρίβειας, η ανάπτυξη ιδεών οι οποίες θα αντιμετωπίζουν τα προβλήματα που δημιουργεί η χρήση μίας μόνο υπολογιστικής μηχανής είναι απαραίτητη. Με τις αναβαθμίσεις στον χώρο των κινητών συσκευών τα τελευταία χρόνια, οι οποίες έχουν επιφέρει μεγαλύτερη υπολογιστική ισχύ, μνήμη και καλύτερη διαχείριση της μπαταρίας, ένας νέος κλάδος αρχίζει και κερδίζει όλο και περισσότερο έδαφος. Η Κατανεμημένη Μηχανική Μάθηση σε Κινητές Συσκευές ξεφεύγει από τα όρια του νέφους αξιοποιώντας τα κατανεμημένα συστήματα για να ικανοποιήσει την ανάγκη για έξυπνες εφαρμογές στις σύγχρονες κινητές συσκευές. Ένα χαρακτηριστικό παράδειγμα τέτοιου συστήματος είναι τα Κατανεμημένα Ζεύγη Νευρωνικών Δικτύων, τα οποία χρησιμοποιούν δύο διαφορετικά νευρωνικά δίκτυα, από τα οποία το πρώτο εκτελείται σε έναν ισχυρό εξυπηρετητή στο νέφος ή στην άκρη του δικτύου και το δεύτερο στην κινητή συσκευή του χρήστη. Τα μοντέλα που χρησιμοποιούνται στον εξυπηρετητή είναι υπολογιστικά πιο ((βαριά)) αλλά ταυτόχρονα αποφέρουν μεγαλύτερη ακρίβεια, ενώ στην κινητή συσκευή ενσωματώνονται λιγότερο απαιτητικά μοντέλα με χαμηλότερη ακρίβεια, ώστε να είναι δυνατό να εκτελεστούν. Συγκριτικά με την εκτέλεση μόνο στην κινητή συσκευή, ένα Κατανεμημένο Ζεύγος μπορεί να βελτιώσει σημαντικά την απόδοση σε σχέση με διάφορες παραμέτρους, όπως είναι η ακρίβεια, το αποτύπωμα μνήμης ή η ενεργειακή κατανάλωση της κινητής συσκευής. Στόχος της παρούσας διπλωματικής εργασίας είναι η μοντελοποίηση και ανάπτυξη ενός συστήματος Κατανεμημένου Ζεύγους Νευρωνικών Δικτύων, το οποίο θα λαμβάνει υπόψιν έναν μεγάλο αριθμό από παραμέτρους και μετρικές, ώστε να επιτρέπει την αποδοτική εκτέλεση εφαρμογών Βαθιάς Μάθησης σε κινητές συσκευές με βάση τις ανάγκες του χρήστη.	el
heal.abstract	Traditionally, only a single computational machine was responsible for training and inference on Deep Neural Networks. However, today’s need to store huge amounts of data for training along with the lack of computational resources, makes the deployment of a single machine for data processing obsolete. Since the use of big amounts of data and the increased complexity of the models are necessary to achieve high accuracy, new ideas to solve the problems that the use of a single machine creates are needed. With the ever increasing development of mobile devices the last years, a new field is gaining ground. Mobile Distributed Machine Learning is able to escape the need for cloud computing and satisfy the demand for smart applications on modern mobile devices by using distributed systems. An interesting example of such a system is the Distributed Neural Network Pair, which takes advantage of two distinct neural networks, of which the first is on a powerful cloud server or a server on the network edge and the latter is on a mobile device. The server models are heavy but provide high accuracy while the device models are less demanding and provide lower accuracy. Using a distributed pair instead of just a mobile device can drastically improve the performance of many metrics such as the accuracy, the memory footprint or the energy consumption of the device. This diploma thesis aims to model and develop such a system which will take into account a large number of variables and metrics to achieve efficient execution of deep learning applications on mobile devices.	en
heal.advisorName	Βενιέρης, Ιάκωβος	el
heal.committeeMemberName	Κακλαμάνη, Δήμητρα-Θεοδώρα	el
heal.committeeMemberName	Συμβώνης, Αντώνιος	el
heal.academicPublisher	Εθνικό Μετσόβιο Πολυτεχνείο. Σχολή Εφαρμοσμένων Μαθηματικών και Φυσικών Επιστημών. Τομέας Μαθηματικών	el
heal.academicPublisherID	ntua
heal.numberOfPages	80 σ	el
heal.fullTextAvailability	false
heal.fullTextAvailability	false