Τροπική γεωμετρία και βελτιστοποίηση με εφαρμογές στη μηχανική μάθηση

Χαρισόπουλος, Βασίλειος; Charisopoulos, Vasileios

dc.contributor.author	Χαρισόπουλος, Βασίλειος	el
dc.contributor.author	Charisopoulos, Vasileios	en
dc.date.accessioned	2017-06-12T12:19:03Z
dc.date.available	2017-06-12T12:19:03Z
dc.date.issued	2017-06-12
dc.identifier.uri	https://dspace.lib.ntua.gr/xmlui/handle/123456789/45037
dc.identifier.uri	http://dx.doi.org/10.26240/heal.ntua.13995
dc.rights	Αναφορά Δημιουργού-Μη Εμπορική Χρήση 3.0 Ελλάδα	*
dc.rights.uri	http://creativecommons.org/licenses/by-nc/3.0/gr/	*
dc.subject	Μαθηματική μορφολογία	el
dc.subject	Τροπική γεωμετρία	el
dc.subject	Βελτιστοποίηση	el
dc.subject	Νευρωνικά δίκτυα	el
dc.subject	Μηχανική μάθηση	el
dc.subject	Mathematical morphology	en
dc.subject	Tropical geometry	en
dc.subject	Optimization	en
dc.subject	Neural networks	en
dc.subject	Machine learning	en
dc.title	Τροπική γεωμετρία και βελτιστοποίηση με εφαρμογές στη μηχανική μάθηση	el
dc.title	Tropical geometry and optimization with applications on machine learning	en
heal.type	bachelorThesis
heal.classification	Tropical geometry	en
heal.classification	Mathematical optimization	en
heal.classification	Neural networks (Computer science)	en
heal.classificationURI	http://id.loc.gov/authorities/subjects/sh2009002992
heal.classificationURI	http://id.loc.gov/authorities/subjects/sh85082127
heal.classificationURI	http://id.loc.gov/authorities/subjects/sh90001937
heal.language	el
heal.access	free
heal.recordProvider	ntua	el
heal.publicationDate	2017-04-01
heal.abstract	Την τελευταία δεκαετία, το επιστημονικό πεδίο της Τεχνητής Νοημοσύνης έχει σημαδευθεί από την ολοένα και εντονότερη χρήση του υπολογιστικού μοντέλου των Νευρωνικών Δικτύων. Τα Νευρωνικά Δίκτυα παραδοσιακά στηρίζονταν σε κυρίως γραμμικά μοντέλα, όπως η πολλαπλασιαστική-αθροιστική αρχιτεκτονική του γραμμικού Perceptron η οποία παραμένει το κυρίαρχο παράδειγμα νευρωνικών υπολογισμών. Ωστόσο, από την οπτική γωνία της Βιολογίας, η δραστηριότητα ενός νευρώνα θα μπορούσε εξίσου να στηρίζεται σε εγγενώς μη-γραμμικές και ανταγωνιστικές διαδικασίες και πράξεις. Η Μαθηματική Μορφολογία και η Minimax Άλγεβρα παρέχουν το κατάλληλο υπόβαθρο για τη μελέτη των Νευρωνικών Δικτύων που αποτελούνται από τέτοιες μη γραμμικές μονάδες.Η αποτελεσματική χρήση των Νευρωνικών Δικτύων σχεδόν πάντα προϋποθέτει την επίλυση “δύσκολων” προβλημάτων βελτιστοποίησης. Για το σκοπό αυτό, στην παρούσα εργασία αρχικά εξετά- ζουμε μια πρόσφατα προτεινόμενη μέθοδο εξομάλυνσης μη-κυρτών προβλημάτων στην περίπτωση που οι υπολογισμοί που περιλαμβάνει δεν είναι δυνατόν να υπολογιστούν αναλυτικά. Δείχνουμε ότι μπορούμε να προσεγγίσουμε τη μέθοδο αυτή με τη χρήση δειγματοληπτικών μεθόδων και αποδεικνύουμε κάποιες σχετικές ιδιότητες, μεταξύ των οποίων ένα πιθανοτικό φράγμα στο απαιτούμενο πλήθος δειγμάτων όταν η συνάρτηση προς προσέγγιση ικανοποιεί ορισμένες συνήθεις συνθήκες. Ακόμα, μελετούμε πρόσφατες μεθόδους αποδοτικής βελτιστοποίησης για μια κλάση δομημένων μη-κυρτών προβλημάτων, τα οποία περιλαμβάνουν περιορισμούς και κόστη που μπορούν να γραφούν ως συνδυασμός κυρτών συναρτήσεων, γνωστά ως DC προγράμματα. Έπειτα, προχωρούμε στη μελέτη ενός μη-γραμμικού μοντέλου νευρώνα, το οποίο ονομάζεται Τροπικό ή Μορφολογικό Perceptron. Αρχικά, επιχειρείται η διερεύνηση βασικών γεωμετρικών ιδιοτήτων του υπό το πρίσμα της δυαδικής ταξινόμησης. Σε επόμενο βήμα, προτείνεται ένας αλγόριθμος ο οποίος συνδέει την εκπαίδευση του Τροπικού Perceptron με την επίλυση ενός κατάλληλου στιγμιοτύπου της προαναφερθείσας κλάσης μη-κυρτών προβλημάτων. Ο αλγόριθμος εκμεταλλεύεται μια τεχνική χαρακτηρισμού “ασυνήθιστων” δεδομένων για την κατάλληλη στάθμιση της συμβολής τους στην εκπαίδευση, σε μια προσπάθεια να επιτύχουμε ευρωστία. Ακόμη, σχολιάζεται η καταλληλότητα της επιλογής της προαναφερθείσας κλάσης προβλημάτων και οι αναλλοίωτες της μεθόδου. Σε όλη σχεδόν την έκταση της εργασίας, αναδεικνύεται η συσχέτιση μεταξύ των μορφολογικών υπολογιστικών μοντέλων και του αναπτυσσόμενου πεδίου της Τροπικής Γεωμετρίας, η οποία μας προσφέρει διαίσθηση αλλά και αναλυτικά εργαλεία για την μελέτη βασικών χαρακτηριστικών των μοντέλων αυτών. Καταφέρνουμε να συσχετίσουμε το πλήθος των γραμμικών περιοχών μιας δημοφιλούς δομικής μονάδας βαθιών νευρωνικών δικτύων με ένα καλά μελετημένο γεωμετρικό αντικείμενο, το Πολύτοπο Newton ενός τροπικού πολυωνύμου. Η διερεύνηση αυτή μας επιτρέπει ταυτόχρονα να διατυπώσουμε μια διαδικασία για την απομάκρυνση των περιττών όρων από τροπικά πολυώνυμα πολλών μεταβλητών. Τέλος, παρουσιάζουμε τα αποτελέσματα αριθμητικών πειραμάτων, στα οποία σχολιάζεται η καταλληλότητα και η συμπεριφορά των Μορφολογικών Νευρωνικών Δικτύων για προβλήματα μηχανικής μάθησης έπειτα από εκπαίδευση σε διάφορα σύνολα δεδομένων που έχουν χρησιμοποιηθεί ως benchmarks στη βιβλιογραφία.	el
heal.abstract	Within the last decade, the scientific discipline of Artificial Intelligence has been marked by the steep rise of the use of Neural Networks. These have traditionally relied on mostly linear models, such as the multiply-accumulate architecture of the Linear Perceptron which remains the dominant model of neuronal computation. However, from a biological standpoint, a neuron's activity might as well rely on inherently nonlinear and competitive operations. Mathematical Morphology and Minimax Algebra provide the necessary framework consisting of such nonlinear units. Effective usage of Neural Networks almost always requires solving ``difficult'' optimization problems. For that reason, the current thesis initially examines a recently proposed method for smoothing of nonconvex problems, for the case where the computations it involves do not allow for an analytical form. We show that this method can be approximated by sampling methods and prove some pertinent results, among which a concentration bound on the number of required samples when the approximated function satisfies some common properties. Additionally, we study recently proposed efficient optimization methods for a class of structured nonconvex problems which include costs and inequalities that can be written as a combination of convex functions, also known as DC programs. We then move on to the study of a nonlinear neuron, which is called a Tropical (or Morphological) Perceptron. Initially, we attempt to explore its fundamental geometric properties in the context of binary classification. As a next step, we propose an algorithm which related the Tropical Perceptron's training to the solution of an appropriate instance of the aforementioned class of DC programs. The algorithm also utilizes a simple form of outlier ablation in order to weigh their contribution to training, in an effort towards robustness. Additionally, we comment on the fitness of the chosen class of problems and the method's invariants. Throughout almost all of the course of the thesis, the relationship between morphological computational models and the developing field of Tropical Geometry is highlighted. Tropical Geometry offers us intuition as well as analytical tools to study fundamental properties of those models. We manage to relate the number of linear regions of a popular choice for deep neural networks with a well-studied geometric object, namely the Newton Polytope of a tropical polynomial. Our exploration at the same time enables us to state a procedure for removing redundant terms from tropical polynomials of multiple variables. Finally, we present the results of numerical experiments, in which we also comment on the aptness and the general behaviour of Morphological Neural Networks with regards to problems in machine learning, after training them on several datasets used as benchmarks in recent literature.	en
heal.advisorName	Μαραγκός, Πέτρος	el
heal.committeeMemberName	Σταφυλοπάτης, Ανδρέας - Γεώργιος	el
heal.committeeMemberName	Τζαφέστας, Κωνσταντίνος	el
heal.committeeMemberName	Μαραγκός, Πέτρος	el
heal.academicPublisher	Εθνικό Μετσόβιο Πολυτεχνείο. Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών. Τομέας Σημάτων, Ελέγχου και Ρομποτικής	el
heal.academicPublisher	Computer Vision, Speech Communication and Signal Processing Group	en
heal.academicPublisherID	ntua
heal.numberOfPages	134 σ.
heal.fullTextAvailability	true