Διαίρεση τροπικών πολυωνύμων και ελαχιστοποίηση νευρωνικών δικτύων

Σμυρνής, Γεώργιος; Smyrnis, Georgios

dc.contributor.author	Σμυρνής, Γεώργιος	el
dc.contributor.author	Smyrnis, Georgios	en
dc.date.accessioned	2020-10-02T12:13:18Z
dc.date.available	2020-10-02T12:13:18Z
dc.identifier.uri	https://dspace.lib.ntua.gr/xmlui/handle/123456789/51256
dc.identifier.uri	http://dx.doi.org/10.26240/heal.ntua.18954
dc.rights	Αναφορά Δημιουργού-Μη Εμπορική Χρήση-Όχι Παράγωγα Έργα 3.0 Ελλάδα	*
dc.rights.uri	http://creativecommons.org/licenses/by-nc-nd/3.0/gr/	*
dc.subject	Τροπική άλγεβρα	el
dc.subject	Τροπική γεωμετρία	el
dc.subject	Μηχανική μάθηση	el
dc.subject	Νευρωνικά δίκτυα	el
dc.subject	Διαίρεση τροπικών πολυωνύμων	el
dc.subject	Tropical algebra	en
dc.subject	Tropical geometry	en
dc.subject	Machine learning	en
dc.subject	Neural networks	en
dc.subject	Tropical polynomial division	en
dc.title	Διαίρεση τροπικών πολυωνύμων και ελαχιστοποίηση νευρωνικών δικτύων	el
dc.title	Tropical polynomial division and neural network minimization	en
heal.type	bachelorThesis
heal.classification	Μηχανική μάθηση	el
heal.classification	Machine learning	en
heal.language	el
heal.access	free
heal.recordProvider	ntua	el
heal.publicationDate	2020-06-25
heal.abstract	Η τροπική άλγεβρα και γεωμετρία αποτελούν μια σκοπιά των μαθηματικών διαφορετική από την κλασική άλγεβρα, της οποίας κύριο χαρακτηριστικό είναι η αντικατάσταση των πράξεων της πρόσθεσης και του πολλαπλασιασμού με τις πράξεις του μεγίστου και της πρόσθεσης, αντίστοιχα. Οι εφαρμογές τους ποικίλουν, και πρόσφατα υπάρχει προσπάθεια σύνδεσής τους με τον τομέα της μηχανικής μάθησης. Έχει αποδειχθεί ότι ένα από τα σημαντικότερα και πιο επιτυχημένα εργαλεία αυτού του κλάδου, δηλαδή τα νευρωνικά δίκτυα με τμηματικά γραμμικές ενεργοποιήσεις, μπορεί να μοντελοποιηθεί και να μελετηθεί με τη χρήση πολυωνύμων τα οποία κατασκευάζονται μέσω αυτής της μορφής άλγεβρας. Στην παρούσα εργασία, με απώτερο σκοπό την περαιτέρω σύνδεση μεταξύ των δύο αυτών κλάδων, εισάγουμε μία μορφή προσεγγιστικής διαίρεσης τροπικών πολυωνύμων, η οποία μας επιτρέπει να προσομοιώσουμε την κλασική Ευκλείδεια διαίρεση πολυωνύμων. Μέσω αυτής, λαμβάνουμε ένα πηλίκο και ένα υπόλοιπο, τα οποία είναι τέτοια ώστε το αποτέλεσμα της διαίρεσης αφενός να είναι μικρότερο από το διαιρετέο, αφετέρου να είναι το μεγαλύτερο δυνατό που να ικανοποιεί αυτήν την ιδιότητα. Χρησιμοποιώντας ιδέες από τη διαδικασία διαίρεσης αυτή, παρουσιάζουμε ορισμένες μεθόδους για την μείωση του μεγέθους του κρυφού επιπέδου νευρωνικών δικτύων, τα οποία είναι ήδη εκπαιδευμένα για την επίλυση ενός προβλήματος ταξινόμησης, είτε δυαδικής είτε πολλαπλών κλάσεων. Οι μέθοδοι αυτοί αποσκοπούν στην προσέγγιση των τροπικών πολυωνύμων, μέσω των οποίων εκφράζονται τα νευρωνικά δίκτυα αυτά. Για την μελέτη των αποτελεσμάτων των μεθόδων μας, εκτελούμε πειράματα σε μερικές απλές βάσεις δεδομένων, και συγκεκριμένα τις IMDB Movie Review, MNIST και Fashion-MNIST. Τα αποτελέσματα που λαμβάνουμε δείχνουν ότι οι μέθοδοί μας, οι οποίες στηρίζονται στην προσέγγιση της θεωρητικής δομής του δικτύου, έχουν την ικανότητα να διατηρούν σημαντικό κομμάτι της πληροφορίας που έχει ληφθεί κατά την εκπαίδευση, παρά τη μείωση του μεγέθους του δικτύου.	el
heal.abstract	Tropical algebra and geometry constitute a view of mathematics different from classical algebra, whose main characteristic is the substitution of the operations of addition and multiplication by the operations of maximum and addition, respectively. Their applications are varied, and recently there has been effort to link them with the domain of machine learning. It has been proven that one of the most important and successful tools of this field, namely neural networks with piecewise linear activations, can be modeled and studied using polynomials constructed via this form of algebra. In this thesis, with the ultimate goal of furthering the link between these two fields, we propose a form of approximate division of tropical polynomials, which allows us to simulate the classic Euclidean polynomial division. Via this process, we receive a quotient and a remainder such that the result of the division is, on the one hand, smaller than the dividend, while on the other hand it is the largest one which satisfies this property. Using ideas from this division process, we present certain methods for reducing the size of the hidden layer of networks which are already trained for a classification problem, either binary or multiclass. These methods seek to approximate the tropical polynomials, via which these networks are expressed. To study the results of our methods, we perform experiments in some simple databases, namely the IMDB Movie Review, MNIST and Fashion-MNIST. These results demonstrate that our methods, which are founded in the approximation of the theoretical structure of the network, have the ability to retain a significant portion of the information retained during the training of the network, despite the decrease of its size.	en
heal.advisorName	Μαραγκός, Πέτρος	el
heal.committeeMemberName	Παγουρτζής, Αριστείδης	el
heal.committeeMemberName	Ποταμιάνος, Γεράσιμος	el
heal.academicPublisher	Εθνικό Μετσόβιο Πολυτεχνείο. Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών. Τομέας Σημάτων, Ελέγχου και Ρομποτικής. Εργαστήριο Όρασης Υπολογιστών, Επικοινωνίας Λόγου και Επεξεργασίας Σημάτων	el
heal.academicPublisherID	ntua
heal.numberOfPages	108 σ.	el
heal.fullTextAvailability	false