Τροπική γεωμετρική προσέγγιση ζωνοτόπων με εφαρμογές στην συμπίεση νευρωνικών δικτύων

Μισιακός, Παναγιώτης; Misiakos, Panagiotis

dc.contributor.author	Μισιακός, Παναγιώτης	el
dc.contributor.author	Misiakos, Panagiotis	en
dc.date.accessioned	2022-02-06T09:56:54Z
dc.date.available	2022-02-06T09:56:54Z
dc.identifier.uri	https://dspace.lib.ntua.gr/xmlui/handle/123456789/54556
dc.identifier.uri	http://dx.doi.org/10.26240/heal.ntua.22254
dc.rights	Αναφορά Δημιουργού - Μη Εμπορική Χρήση - Παρόμοια Διανομή 3.0 Ελλάδα	*
dc.rights.uri	http://creativecommons.org/licenses/by-nc-sa/3.0/gr/	*
dc.subject	Τροπική γεωμετρία	el
dc.subject	Tropical Geometry	en
dc.subject	Νευρωνικά δίκτυα	el
dc.subject	Ζωνότοπα	el
dc.subject	Προσέγγιση Hausdorff	el
dc.subject	Ελαχιστοποίηση νευρωνικών δικτύων	el
dc.subject	Neural networks	en
dc.subject	Zonotopes	en
dc.subject	Hausdorff approximation	en
dc.subject	Neural network compression	en
dc.title	Τροπική γεωμετρική προσέγγιση ζωνοτόπων με εφαρμογές στην συμπίεση νευρωνικών δικτύων	el
heal.type	bachelorThesis
heal.classification	Αναγνώριση προτύπων	el
heal.language	el
heal.access	free
heal.recordProvider	ntua	el
heal.publicationDate	2021-10-11
heal.abstract	Πρόσφατα, τα νευρωνικά δίκτυα είχαν σπουδαία ανάκαμψη στην Αναγνώριση Προτύπων και την Μηχανική Μάθηση με την προσέλευση των αρχιτεκτονικών βαθιάς μάθησης. Η πρωτοπορία αυτή έχει βελτιώσει τις state-of-the-art επιδόσεις σε ένα ευρύ φάσμα περιοχών εφαρμογής που περιλαμβάνει την Όραση Υπολογιστών και την Επεξεργασία Φυσικής Γλώσσας. Αυτό έχει δώσει κίνητρο στην περαιτέρω κατανόηση της θεωρίας των νευρωνικών δικτύων. Προς αυτή την κατεύθυνση, η παρούσα Διπλωματική εργασία συμβάλλει στην ενίσχυση του θεωρητικού πλαισίου μελέτης των νευρωνικών δικτύων μέσω τροπικής γεωμετρίας. Συγκεκριμένα, αποδεικνύουμε ένα άνω φράγμα στην προσέγγιση τροπικών πολυωνύμων που σχετίζεται με την απόσταση Hausdorff των εν λόγω επεκτεταμένων Newton πολυτόπων τους. Με αυτόν τον τρόπο γενικεύουμε την αμφιμονοσήμαντη αντιστοιχία των γραμμικών περιοχών ενός τροπικού πολυωνύμου με τις κορυφές του άνω φλοιού του επεκτεταμένου Newton πολυτόπου του. Το θεώρημα αυτό επιτυγχάνει την θεμελίωση ενός θεωρητικού πλαισίου κατασκευής αλγορίθμων ελαχιστοποίησης νευρωνικών δικτύων μέσω της γεωμετρικής ελαχιστοποίησης των ζωνοτόπων τους. Υπό αυτό το πρίσμα προτείνουμε $3$ γεωμετρικούς αλγορίθμους συμπίεσης Zonotope K-means, Neural Path K-means και Convolutional Neural Path K-means που εφαρμόζουν τον αλγόριθμο συμπίεσης διανυσμάτων K-means. Ο Zonotope K-means περιορίζεται σε νευρωνικά μίας εξόδου, ο Neural Path K-means δεν έχει περιορισμό ως προς τον αριθμό εξόδων και προορίζεται για συμπίεση γραμμικών επιπέδων, ενώ ο Convolutional Neural Path K-means αφορά την συμπίεση συνελικτικών επιπέδων και αποτελεί τον πρώτο αλγόριθμο τροπικής γεωμετρίας που το επιτυγχάνει αυτό. Επίσης, στο πλαίσιο της συμπίεσης γραμμικών επιπέδων νευρωνικών δικτύων προτείνουμε και δύο ακόμη αλγορίθμους τους, AMM και semi-NMF, οι οποίοι εφαρμόζουν αριθμητικές μεθόδους. Ο ΑΜΜ είναι πιθανοτικός και συμπίεζει το δίκτυο προσεγγίζοντας το γίνομενο των πινάκων δύο γραμμικών επιπέδων, ενώ ο semi-NMF πραγματοποιεί μη αρνητική παραγοντοποίηση πίνακα. Για την θεωρητική ανάλυση των αλγορίθμων μας χρησιμοποιούμε το θεώρημα προσέγγισης τροπικών πολυωνύμων. Επιπλέον, όλοι οι αλγόριθμοι εξετάζονται συγκριτικά με γνωστές τεχνικές συμπίεσης σε πειράματα που αφορούν σύγχρονες αρχιτεκτονικές συνελικτικών δικτύων. Για την εκτέλεση των πειραμάτων κάνουμε χρήση των συνόλων δεδομένων MNIST, Fashion-MNIST και CIFAR στα οποία εκπαιδεύουμε κάποια μικρά συνελικτικά δίκτυα, όπως το LeNet5, αλλά και μεγαλύτερα όπως τα CIFAR-VGG και AlexNet. Τα πειράματα αναδεικνύουν ότι οι μέθοδοι μας παρουσιάζουν βελτίωση έναντι άλλων τροπικών μεθόδων και βασικών μεθόδων συμπίεσης Random και L1 και επιπλέον παρουσιάζουν ανταγωνιστική επίδοση σε σχέση με την πιο σύγχρονης τεχνική συμπίεσης ThiNet.	el
heal.advisorName	Μαραγκός, Πέτρος	el
heal.committeeMemberName	Μαραγκός, Πέτρος	el
heal.committeeMemberName	Ποταμιάνος, Αλέξανδρος	el
heal.committeeMemberName	Φωτάκης, Δημήτριος	el
heal.academicPublisher	Εθνικό Μετσόβιο Πολυτεχνείο. Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών. Τομέας Σημάτων, Ελέγχου και Ρομποτικής	el
heal.academicPublisherID	ntua
heal.numberOfPages	106 σ.	el
heal.fullTextAvailability	false