Μελέτη και Αξιολόγηση Μεθόδων Συμπίεσης Βαθιών Νευρωνικών Δικτύων

Παύλου, Μαγδαληνή; Pavlou, Magdalini

dc.contributor.author	Παύλου, Μαγδαληνή	el
dc.contributor.author	Pavlou, Magdalini	en
dc.date.accessioned	2023-04-06T07:30:52Z
dc.date.available	2023-04-06T07:30:52Z
dc.identifier.uri	https://dspace.lib.ntua.gr/xmlui/handle/123456789/57491
dc.identifier.uri	http://dx.doi.org/10.26240/heal.ntua.25188
dc.rights	Αναφορά Δημιουργού-Μη Εμπορική Χρήση-Όχι Παράγωγα Έργα 3.0 Ελλάδα	*
dc.rights.uri	http://creativecommons.org/licenses/by-nc-nd/3.0/gr/	*
dc.subject	Βαθιά μάθηση	el
dc.subject	Αλγόριθμοι συμπίεσης	el
dc.subject	Κλάδεμα	el
dc.subject	Ομαδοποίηση	el
dc.subject	Κβαντοποίηση	el
dc.subject	Deep learning	en
dc.subject	Compression algorithms	el
dc.subject	Pruning	el
dc.subject	Clustering	el
dc.subject	Quantization	el
dc.title	Μελέτη και Αξιολόγηση Μεθόδων Συμπίεσης Βαθιών Νευρωνικών Δικτύων	el
heal.type	bachelorThesis
heal.classification	Βαθιά μάθηση	el
heal.classification	Νευρωνικά δίκτυα	el
heal.classification	Αλγόριθμοι συμπίεσης	el
heal.language	el
heal.access	free
heal.recordProvider	ntua	el
heal.publicationDate	2023-02-23
heal.abstract	Η εκτέλεση μοντέλων νευρωνικών δικτύων τοπικά, σε μια συσκευή, είναι ωφέλιμη, τόσο σε θέματα ιδιωτικότητας, όσο και στην αποφυγή επιπλέον καθυστερήσεων, που θα οφείλονταν στη μεταφορά των δεδομένων από και προς έναν απομακρυσμένο εξυπηρετητή. Στη σημερινή εποχή, τα μοντέλα νευρωνικών δικτύων που χρησιμοποιούνται στις σύγχρονες εφαρμογές έχουν σημαντικά υψηλή απόδοση, η οποία σε προβλήματα όπως η ταξινόμηση, μπορεί ακόμα να συγκριθεί ή και να ξεπεράσει την ανθρώπινη. Για να επιτευχθεί όμως η επιθυμητή αυτή ακρίβεια, ο αριθμός των παραμέτρων που περιέχουν τα εν λόγω μοντέλα είναι αρκετά μεγάλος και αυτό έχει αρνητικές συνέπειες, τόσο στο υπολογιστικό κόστος, αφού ο αριθμός των πράξεων που εκτελούνται είναι τεράστιος, όσο και στο χώρο που αυτά καταλαμβάνουν σε μια συσκευή. Σκοπός της παρούσας διπλωματικής εργασίας είναι η μελέτη και αξιολόγηση αλγορίθμων βελτιστοποίησης νευρωνικών δικτύων, όπως η κβαντοποίηση, το κλάδεμα και η ομαδοποίηση ή και συνδυασμών αυτών, οι οποίοι αποσκοπούν στη μείωση του χώρου που καταλαμβάνουν τα μοντέλα και του χρόνου απόκρισής τους κατά την εκτέλεση της συμπερασματολογίας, επιτυγχάνοντας ταυτόχρονα τη μικρότερη δυνατή πτώση στην ακρίβεια. Για τις ανάγκες των πειραμάτων που διεξήχθησαν, συγκεντρώθηκε ένας αριθμός από συνελικτικά μοντέλα που επιλύουν το πρόβλημα της κατηγοριοποίησης εικόνων, τα οποία είναι ήδη εκπαιδευμένα στο σύνολο δεδομένων ImageNet, στο οποίο οι εικόνες αντιστοιχίζονται σε 1000 κλάσεις. Οι μετρήσεις που πάρθηκαν κατά τη διάρκεια της διπλωματικής εργασίας αφορούν την ακρίβεια, το μέγεθος, το πλήθος των πράξεων κινητής υποδιαστολής και το χρόνο εκτέλεσης των μοντέλων πριν και μετά την εφαρμογή των αλγορίθμων σε αυτά, για διάφορες τιμές των παραμέτρων που αντιστοιχούν σε καθέναν από αυτούς. Με βάση τα τελικά αποτελέσματα, προκύπτει το συμπέρασμα ότι οι υπό μελέτη αλγόριθμοι συμπίεσης παρουσιάζουν ποικίλα πλεονεκτήματα, όσον αφορά το μέγεθος και τον χρόνο απόκρισης των μοντέλων, χωρίς να διακυβεύεται σημαντικά η ακρίβειά τους. Μια τέτοια παρατήρηση είναι ζωτικής σημασίας, καθώς επιτρέπει την καθιέρωση ενός κριτηρίου που μπορεί να χρησιμοποιηθεί για τον προσδιορισμό του καταλληλότερου αλγόριθμου συμπίεσης και των βέλτιστων παραμέτρων του, ανάλογα με τις απαιτήσεις επιτάχυνσης και συμπίεσης του προβλήματος, το οποίο, στη δική μας περίπτωση, είναι κάποια εφαρμογή για έξυπνες κινητές συσκευές.	el
heal.advisorName	Βενιέρης, Ιάκωβος	el
heal.committeeMemberName	Βενιέρης, Ιάκωβος	el
heal.committeeMemberName	Συμβώνης, Αντώνιος	el
heal.committeeMemberName	Κακλαμάνη, Δήμητρα Θεοδώρα	el
heal.academicPublisher	Εθνικό Μετσόβιο Πολυτεχνείο. Σχολή Εφαρμοσμένων Μαθηματικών και Φυσικών Επιστημών	el
heal.academicPublisherID	ntua
heal.numberOfPages	127 σ.	el
heal.fullTextAvailability	false