dc.contributor.author | Χαρισόπουλος, Βασίλειος![]() |
el |
dc.contributor.author | Charisopoulos, Vasileios![]() |
en |
dc.date.accessioned | 2017-06-12T12:19:03Z | |
dc.date.available | 2017-06-12T12:19:03Z | |
dc.date.issued | 2017-06-12 | |
dc.identifier.uri | https://dspace.lib.ntua.gr/xmlui/handle/123456789/45037 | |
dc.identifier.uri | http://dx.doi.org/10.26240/heal.ntua.13995 | |
dc.rights | Αναφορά Δημιουργού-Μη Εμπορική Χρήση 3.0 Ελλάδα | * |
dc.rights.uri | http://creativecommons.org/licenses/by-nc/3.0/gr/ | * |
dc.subject | Μαθηματική μορφολογία | el |
dc.subject | Τροπική γεωμετρία | el |
dc.subject | Βελτιστοποίηση | el |
dc.subject | Νευρωνικά δίκτυα | el |
dc.subject | Μηχανική μάθηση | el |
dc.subject | Mathematical morphology | en |
dc.subject | Tropical geometry | en |
dc.subject | Optimization | en |
dc.subject | Neural networks | en |
dc.subject | Machine learning | en |
dc.title | Τροπική γεωμετρία και βελτιστοποίηση με εφαρμογές στη μηχανική μάθηση | el |
dc.title | Tropical geometry and optimization with applications on machine learning | en |
heal.type | bachelorThesis | |
heal.classification | Tropical geometry | en |
heal.classification | Mathematical optimization | en |
heal.classification | Neural networks (Computer science) | en |
heal.classificationURI | http://id.loc.gov/authorities/subjects/sh2009002992 | |
heal.classificationURI | http://id.loc.gov/authorities/subjects/sh85082127 | |
heal.classificationURI | http://id.loc.gov/authorities/subjects/sh90001937 | |
heal.language | el | |
heal.access | free | |
heal.recordProvider | ntua | el |
heal.publicationDate | 2017-04-01 | |
heal.abstract | Την τελευταία δεκαετία, το επιστημονικό πεδίο της Τεχνητής Νοημοσύνης έχει σημαδευθεί από την ολοένα και εντονότερη χρήση του υπολογιστικού μοντέλου των Νευρωνικών Δικτύων. Τα Νευρωνικά Δίκτυα παραδοσιακά στηρίζονταν σε κυρίως γραμμικά μοντέλα, όπως η πολλαπλασιαστική-αθροιστική αρχιτεκτονική του γραμμικού Perceptron η οποία παραμένει το κυρίαρχο παράδειγμα νευρωνικών υπολογισμών. Ωστόσο, από την οπτική γωνία της Βιολογίας, η δραστηριότητα ενός νευρώνα θα μπορούσε εξίσου να στηρίζεται σε εγγενώς μη-γραμμικές και ανταγωνιστικές διαδικασίες και πράξεις. Η Μαθηματική Μορφολογία και η Minimax Άλγεβρα παρέχουν το κατάλληλο υπόβαθρο για τη μελέτη των Νευρωνικών Δικτύων που αποτελούνται από τέτοιες μη γραμμικές μονάδες.Η αποτελεσματική χρήση των Νευρωνικών Δικτύων σχεδόν πάντα προϋποθέτει την επίλυση “δύσκολων” προβλημάτων βελτιστοποίησης. Για το σκοπό αυτό, στην παρούσα εργασία αρχικά εξετά- ζουμε μια πρόσφατα προτεινόμενη μέθοδο εξομάλυνσης μη-κυρτών προβλημάτων στην περίπτωση που οι υπολογισμοί που περιλαμβάνει δεν είναι δυνατόν να υπολογιστούν αναλυτικά. Δείχνουμε ότι μπορούμε να προσεγγίσουμε τη μέθοδο αυτή με τη χρήση δειγματοληπτικών μεθόδων και αποδεικνύουμε κάποιες σχετικές ιδιότητες, μεταξύ των οποίων ένα πιθανοτικό φράγμα στο απαιτούμενο πλήθος δειγμάτων όταν η συνάρτηση προς προσέγγιση ικανοποιεί ορισμένες συνήθεις συνθήκες. Ακόμα, μελετούμε πρόσφατες μεθόδους αποδοτικής βελτιστοποίησης για μια κλάση δομημένων μη-κυρτών προβλημάτων, τα οποία περιλαμβάνουν περιορισμούς και κόστη που μπορούν να γραφούν ως συνδυασμός κυρτών συναρτήσεων, γνωστά ως DC προγράμματα. Έπειτα, προχωρούμε στη μελέτη ενός μη-γραμμικού μοντέλου νευρώνα, το οποίο ονομάζεται Τροπικό ή Μορφολογικό Perceptron. Αρχικά, επιχειρείται η διερεύνηση βασικών γεωμετρικών ιδιοτήτων του υπό το πρίσμα της δυαδικής ταξινόμησης. Σε επόμενο βήμα, προτείνεται ένας αλγόριθμος ο οποίος συνδέει την εκπαίδευση του Τροπικού Perceptron με την επίλυση ενός κατάλληλου στιγμιοτύπου της προαναφερθείσας κλάσης μη-κυρτών προβλημάτων. Ο αλγόριθμος εκμεταλλεύεται μια τεχνική χαρακτηρισμού “ασυνήθιστων” δεδομένων για την κατάλληλη στάθμιση της συμβολής τους στην εκπαίδευση, σε μια προσπάθεια να επιτύχουμε ευρωστία. Ακόμη, σχολιάζεται η καταλληλότητα της επιλογής της προαναφερθείσας κλάσης προβλημάτων και οι αναλλοίωτες της μεθόδου. Σε όλη σχεδόν την έκταση της εργασίας, αναδεικνύεται η συσχέτιση μεταξύ των μορφολογικών υπολογιστικών μοντέλων και του αναπτυσσόμενου πεδίου της Τροπικής Γεωμετρίας, η οποία μας προσφέρει διαίσθηση αλλά και αναλυτικά εργαλεία για την μελέτη βασικών χαρακτηριστικών των μοντέλων αυτών. Καταφέρνουμε να συσχετίσουμε το πλήθος των γραμμικών περιοχών μιας δημοφιλούς δομικής μονάδας βαθιών νευρωνικών δικτύων με ένα καλά μελετημένο γεωμετρικό αντικείμενο, το Πολύτοπο Newton ενός τροπικού πολυωνύμου. Η διερεύνηση αυτή μας επιτρέπει ταυτόχρονα να διατυπώσουμε μια διαδικασία για την απομάκρυνση των περιττών όρων από τροπικά πολυώνυμα πολλών μεταβλητών. Τέλος, παρουσιάζουμε τα αποτελέσματα αριθμητικών πειραμάτων, στα οποία σχολιάζεται η καταλληλότητα και η συμπεριφορά των Μορφολογικών Νευρωνικών Δικτύων για προβλήματα μηχανικής μάθησης έπειτα από εκπαίδευση σε διάφορα σύνολα δεδομένων που έχουν χρησιμοποιηθεί ως benchmarks στη βιβλιογραφία. | el |
heal.abstract | Within the last decade, the scientific discipline of Artificial Intelligence has been marked by the steep rise of the use of Neural Networks. These have traditionally relied on mostly linear models, such as the multiply-accumulate architecture of the Linear Perceptron which remains the dominant model of neuronal computation. However, from a biological standpoint, a neuron's activity might as well rely on inherently nonlinear and competitive operations. Mathematical Morphology and Minimax Algebra provide the necessary framework consisting of such nonlinear units. Effective usage of Neural Networks almost always requires solving ``difficult'' optimization problems. For that reason, the current thesis initially examines a recently proposed method for smoothing of nonconvex problems, for the case where the computations it involves do not allow for an analytical form. We show that this method can be approximated by sampling methods and prove some pertinent results, among which a concentration bound on the number of required samples when the approximated function satisfies some common properties. Additionally, we study recently proposed efficient optimization methods for a class of structured nonconvex problems which include costs and inequalities that can be written as a combination of convex functions, also known as DC programs. We then move on to the study of a nonlinear neuron, which is called a Tropical (or Morphological) Perceptron. Initially, we attempt to explore its fundamental geometric properties in the context of binary classification. As a next step, we propose an algorithm which related the Tropical Perceptron's training to the solution of an appropriate instance of the aforementioned class of DC programs. The algorithm also utilizes a simple form of outlier ablation in order to weigh their contribution to training, in an effort towards robustness. Additionally, we comment on the fitness of the chosen class of problems and the method's invariants. Throughout almost all of the course of the thesis, the relationship between morphological computational models and the developing field of Tropical Geometry is highlighted. Tropical Geometry offers us intuition as well as analytical tools to study fundamental properties of those models. We manage to relate the number of linear regions of a popular choice for deep neural networks with a well-studied geometric object, namely the Newton Polytope of a tropical polynomial. Our exploration at the same time enables us to state a procedure for removing redundant terms from tropical polynomials of multiple variables. Finally, we present the results of numerical experiments, in which we also comment on the aptness and the general behaviour of Morphological Neural Networks with regards to problems in machine learning, after training them on several datasets used as benchmarks in recent literature. | en |
heal.advisorName | Μαραγκός, Πέτρος | el |
heal.committeeMemberName | Σταφυλοπάτης, Ανδρέας - Γεώργιος | el |
heal.committeeMemberName | Τζαφέστας, Κωνσταντίνος | el |
heal.committeeMemberName | Μαραγκός, Πέτρος | el |
heal.academicPublisher | Εθνικό Μετσόβιο Πολυτεχνείο. Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών. Τομέας Σημάτων, Ελέγχου και Ρομποτικής | el |
heal.academicPublisher | Computer Vision, Speech Communication and Signal Processing Group | en |
heal.academicPublisherID | ntua | |
heal.numberOfPages | 134 σ. | |
heal.fullTextAvailability | true |
Οι παρακάτω άδειες σχετίζονται με αυτό το τεκμήριο: