HEAL DSpace

Διαίρεση τροπικών πολυωνύμων και ελαχιστοποίηση νευρωνικών δικτύων

Αποθετήριο DSpace/Manakin

Εμφάνιση απλής εγγραφής

dc.contributor.author Σμυρνής, Γεώργιος el
dc.contributor.author Smyrnis, Georgios en
dc.date.accessioned 2020-10-02T12:13:18Z
dc.date.available 2020-10-02T12:13:18Z
dc.identifier.uri https://dspace.lib.ntua.gr/xmlui/handle/123456789/51256
dc.identifier.uri http://dx.doi.org/10.26240/heal.ntua.18954
dc.rights Αναφορά Δημιουργού-Μη Εμπορική Χρήση-Όχι Παράγωγα Έργα 3.0 Ελλάδα *
dc.rights.uri http://creativecommons.org/licenses/by-nc-nd/3.0/gr/ *
dc.subject Τροπική άλγεβρα el
dc.subject Τροπική γεωμετρία el
dc.subject Μηχανική μάθηση el
dc.subject Νευρωνικά δίκτυα el
dc.subject Διαίρεση τροπικών πολυωνύμων el
dc.subject Tropical algebra en
dc.subject Tropical geometry en
dc.subject Machine learning en
dc.subject Neural networks en
dc.subject Tropical polynomial division en
dc.title Διαίρεση τροπικών πολυωνύμων και ελαχιστοποίηση νευρωνικών δικτύων el
dc.title Tropical polynomial division and neural network minimization en
heal.type bachelorThesis
heal.classification Μηχανική μάθηση el
heal.classification Machine learning en
heal.language el
heal.access free
heal.recordProvider ntua el
heal.publicationDate 2020-06-25
heal.abstract Η τροπική άλγεβρα και γεωμετρία αποτελούν μια σκοπιά των μαθηματικών διαφορετική από την κλασική άλγεβρα, της οποίας κύριο χαρακτηριστικό είναι η αντικατάσταση των πράξεων της πρόσθεσης και του πολλαπλασιασμού με τις πράξεις του μεγίστου και της πρόσθεσης, αντίστοιχα. Οι εφαρμογές τους ποικίλουν, και πρόσφατα υπάρχει προσπάθεια σύνδεσής τους με τον τομέα της μηχανικής μάθησης. Έχει αποδειχθεί ότι ένα από τα σημαντικότερα και πιο επιτυχημένα εργαλεία αυτού του κλάδου, δηλαδή τα νευρωνικά δίκτυα με τμηματικά γραμμικές ενεργοποιήσεις, μπορεί να μοντελοποιηθεί και να μελετηθεί με τη χρήση πολυωνύμων τα οποία κατασκευάζονται μέσω αυτής της μορφής άλγεβρας. Στην παρούσα εργασία, με απώτερο σκοπό την περαιτέρω σύνδεση μεταξύ των δύο αυτών κλάδων, εισάγουμε μία μορφή προσεγγιστικής διαίρεσης τροπικών πολυωνύμων, η οποία μας επιτρέπει να προσομοιώσουμε την κλασική Ευκλείδεια διαίρεση πολυωνύμων. Μέσω αυτής, λαμβάνουμε ένα πηλίκο και ένα υπόλοιπο, τα οποία είναι τέτοια ώστε το αποτέλεσμα της διαίρεσης αφενός να είναι μικρότερο από το διαιρετέο, αφετέρου να είναι το μεγαλύτερο δυνατό που να ικανοποιεί αυτήν την ιδιότητα. Χρησιμοποιώντας ιδέες από τη διαδικασία διαίρεσης αυτή, παρουσιάζουμε ορισμένες μεθόδους για την μείωση του μεγέθους του κρυφού επιπέδου νευρωνικών δικτύων, τα οποία είναι ήδη εκπαιδευμένα για την επίλυση ενός προβλήματος ταξινόμησης, είτε δυαδικής είτε πολλαπλών κλάσεων. Οι μέθοδοι αυτοί αποσκοπούν στην προσέγγιση των τροπικών πολυωνύμων, μέσω των οποίων εκφράζονται τα νευρωνικά δίκτυα αυτά. Για την μελέτη των αποτελεσμάτων των μεθόδων μας, εκτελούμε πειράματα σε μερικές απλές βάσεις δεδομένων, και συγκεκριμένα τις IMDB Movie Review, MNIST και Fashion-MNIST. Τα αποτελέσματα που λαμβάνουμε δείχνουν ότι οι μέθοδοί μας, οι οποίες στηρίζονται στην προσέγγιση της θεωρητικής δομής του δικτύου, έχουν την ικανότητα να διατηρούν σημαντικό κομμάτι της πληροφορίας που έχει ληφθεί κατά την εκπαίδευση, παρά τη μείωση του μεγέθους του δικτύου. el
heal.abstract Tropical algebra and geometry constitute a view of mathematics different from classical algebra, whose main characteristic is the substitution of the operations of addition and multiplication by the operations of maximum and addition, respectively. Their applications are varied, and recently there has been effort to link them with the domain of machine learning. It has been proven that one of the most important and successful tools of this field, namely neural networks with piecewise linear activations, can be modeled and studied using polynomials constructed via this form of algebra. In this thesis, with the ultimate goal of furthering the link between these two fields, we propose a form of approximate division of tropical polynomials, which allows us to simulate the classic Euclidean polynomial division. Via this process, we receive a quotient and a remainder such that the result of the division is, on the one hand, smaller than the dividend, while on the other hand it is the largest one which satisfies this property. Using ideas from this division process, we present certain methods for reducing the size of the hidden layer of networks which are already trained for a classification problem, either binary or multiclass. These methods seek to approximate the tropical polynomials, via which these networks are expressed. To study the results of our methods, we perform experiments in some simple databases, namely the IMDB Movie Review, MNIST and Fashion-MNIST. These results demonstrate that our methods, which are founded in the approximation of the theoretical structure of the network, have the ability to retain a significant portion of the information retained during the training of the network, despite the decrease of its size. en
heal.advisorName Μαραγκός, Πέτρος el
heal.committeeMemberName Παγουρτζής, Αριστείδης el
heal.committeeMemberName Ποταμιάνος, Γεράσιμος el
heal.academicPublisher Εθνικό Μετσόβιο Πολυτεχνείο. Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών. Τομέας Σημάτων, Ελέγχου και Ρομποτικής. Εργαστήριο Όρασης Υπολογιστών, Επικοινωνίας Λόγου και Επεξεργασίας Σημάτων el
heal.academicPublisherID ntua
heal.numberOfPages 108 σ. el
heal.fullTextAvailability false


Αρχεία σε αυτό το τεκμήριο

Οι παρακάτω άδειες σχετίζονται με αυτό το τεκμήριο:

Αυτό το τεκμήριο εμφανίζεται στην ακόλουθη συλλογή(ές)

Εμφάνιση απλής εγγραφής

Αναφορά Δημιουργού-Μη Εμπορική Χρήση-Όχι Παράγωγα Έργα 3.0 Ελλάδα Εκτός από όπου ορίζεται κάτι διαφορετικό, αυτή η άδεια περιγράφεται ως Αναφορά Δημιουργού-Μη Εμπορική Χρήση-Όχι Παράγωγα Έργα 3.0 Ελλάδα