Τροπική γεωμετρία και εφαρμογές σε μηχανική μάθηση και βελτιστοποίηση

Δημητριάδης, Νικόλαος

dc.contributor.author	Δημητριάδης, Νικόλαος	el
dc.date.accessioned	2020-12-04T08:36:43Z
dc.date.available	2020-12-04T08:36:43Z
dc.identifier.uri	https://dspace.lib.ntua.gr/xmlui/handle/123456789/52248
dc.identifier.uri	http://dx.doi.org/10.26240/heal.ntua.19946
dc.rights	Αναφορά Δημιουργού-Όχι Παράγωγα Έργα 3.0 Ελλάδα	*
dc.rights.uri	http://creativecommons.org/licenses/by-nd/3.0/gr/	*
dc.subject	Τροπική γεωμετρία	el
dc.subject	Μορφολογικά μαθηματικά	el
dc.subject	Τροπική βελτιστοποίηση	el
dc.subject	Νευρωνικά δίκτυα	el
dc.subject	Μονοτονία	el
dc.subject	Μηχανική μάθηση	el
dc.subject	Ερμηνευσιμότητα	el
dc.subject	Tropical geometry	en
dc.subject	Morphological mathematics	en
dc.subject	Tropical optimization	en
dc.subject	Neural networks	en
dc.subject	Machine learning	en
dc.subject	Monotonicity	en
dc.subject	Interpretability	en
dc.title	Τροπική γεωμετρία και εφαρμογές σε μηχανική μάθηση και βελτιστοποίηση	el
dc.contributor.department	Εργαστήριο Όρασης Υπολογιστών, Επικοινωνίας Λόγου και Επεξεργασίας Σημάτων	el
heal.type	bachelorThesis
heal.classification	Μηχανική Μάθηση	el
heal.classification	Machine Learning	en
heal.language	el
heal.access	free
heal.recordProvider	ntua	el
heal.publicationDate	2020-10-07
heal.abstract	Η μηχανική μάθηση έχει γνωρίσει ιδιαίτερη άνθηση την τελευταία δεκαετία με το ερευνητικό ενδιαφέρον να επικεντρώνεται στις βαθιές αρχιτεκτονικές. Στο πλαίσιο αυτό, το υποκείμενο μαθηματικό υπόβαθρο δεν είναι σαφώς θεμελιωμένο, με αποτέλεσμα οι διάφοροι μέθοδοι να χρησιμοποιούνται ως μαύρα κουτιά με ελλιπή κατανόηση των εσωτερικών τους διεργασιών. Τα τελευταία χρόνια, λοιπόν, ένθερμες προσπάθειες και σημαντικός ερευνητικός ζήλος κατευθύνονται στην εισαγωγή και μελέτη μαθηματικών εργαλείων που προσφέρουν εξηγήσεις και διαίθηση στα εργαλεία της μηχανικής μάθησης. Μία από αυτές τις προσεγγίσεις εντοπίζεται στον κλάδο της τροπικής γεωμετρίας καθώς και των μορφολογικών μαθηματικών. Με αφετηρία την τομή μεταξύ μαθηματικής βελτιστοποίησης και τροπικής γεωμετρίας, εξερευνούμε προβλήματα με τροπικούς περιορισμούς. Αναδεικνύεται η μη-κυρτή φύση τους και σκιαγραφείται μία μέθοδος διάβασης από την τροπική και μη-κυρτή βελτιστοποίηση σε μία συλλογή προβλημάτων με κυρτούς περιορισμούς. Στη συνέχεια, στρέφουμε την προσοχή μας στα μορφολογικά νευρωνικά δίκτυα, τα οποία θεμελιώνονται σε μη-γραμμικούς νευρώνες διαστολής και συστολής. Εμπλουτίζουμε την εκφραστικότητά τους συνδυάζοντας πολυάριθμους νευρώνες τόσο διαστολής και συστολής στο κρυφό επίπεδο και συνδέουμε το σύνορο απόφασης τους με την τροπική γεωμετρία. Μελετώνται δύο παραλλαγές των Πυκνών Μορφολογικών Δικτύων. Η πρώτη αφορά την επέκταση σε βαθιές αρχιτεκτονικές, όπου σχηματίζονται ενεργοποιήσεις εφάμιλλες του μορφολογικού ανοίγματος και κλεισίματος. Η δεύτερη εντοπίζεται στη χρήση της αποκβαντοποίησης κατά Maslov για την ομαλοποίηση των επιφανειών και την αντιμετώπιση του προβλήματος διάδοσης κλίσης που χαρακτηρίζει η μη-παραγωγισμότητα των μορφολογικών τελεστών. Επιπρόσθετα, διατυπώνεται τρόπος έκφρασης ενός προβλήματος ταξινόμησης δυαδικών προτύπων από ένα perceptron διαστολής-συστολής στη γλώσσα της μη-κυρτής βελτιστοποίησης. Βασιμένη στη θεωρία πλεγμάτων, η προσέγγιση αυτή υποθέτει μερική διάταξη των δεδομένων, ζήτημα που ανταπεξέρχεται με χρήση μειωμένης διάταξης. Στη συνέχεια, επεκτείνεται η δυαδική φύση του ταξινομητή σε διεργασίες πολλών κλάσεων. Παράλληλα, εξερευνούνται οι δυνατότητες των Μορφολογικών Δικτύων με μεθόδους εκπαίδευσης βασισμένες στην Κατάβαση Κλίσεων. Παρουσιάζονται αριθμητικά πειράματα σε γνωστά benchmarks για διάφορες επιλογές αρχιτεκτονικών, ακόμα και για τις ομαλοποιημένες εκδόσεις των μορφολογικών τελεστών ως νευρώνες. Οι προσπάθειες επικεντρώνονται στην αραιότητα των μοντέλων αξιολογώντας την απόδοσή τους κατόπιν pruning. Εξετάζονται δύο μέθοδοι αφαίρεσης παραμέτρων και συγκρίνεται η διατήρηση πληροφορίας των μορφολογικών δικτύων με τα αντίστοιχα πλήρως συνδεδεμένα νευρωνικά δίκτυα, καταλήγοντας στο συμπέρασμα ότι τα μορφολογικά δίκτυα κωδικοποιούν πολύ οικονομικά τις υποκείμενες αναπαραστάσεις των δεδομένων. Τέλος, τα τελευταία χρόνια αναπτύσσεται η τάση της ερμηνευσιμότητας, όπου οι μελετητές επιθυμούν εγγυήσεις για τη μορφή της εξόδου των μοντέλων. Υπό το πρίσμα αυτό, μελετάται η ιδιότητα της μονοτονίας. Προτείνεται μία αμιγώς τροπικά αλγεβρική επίλυση του προβλήματος μέσω εναλλάξ min-plus και max-plus παλινδρόμησης. Ακόμη, εξερευνούμε την ικανοποίηση του περιορισμού μέσω συγκεκριμένων αρχιτεκτονικών επιλογών σε μορφολογικά δίκτυα, εξετάζοντας και ομαλοποιημένους τελεστές.	el
heal.abstract	Machine learning has flourished over the last decade with research focusing on deep architectures. In this context, the underlying mathematical background is not well-founded, resulting in the use of various methods as black boxes without a complete understanding of their internal processes. In recent years, therefore, intense efforts and significant research zeal have been directed towards the introduction and study of mathematical tools that offer explanations and intuition to machine learning tools. One of these approaches lies on the field of tropical geometry as well as morphological mathematics. Starting with the intersection between mathematical optimization and tropical geometry, we explore problems with tropical constraints. Their non-convex nature is highlighted and a method of transition from tropical and non-convex optimization to a collection of problems with convex constraints is outlined. Next, we turn our attention to morphological neural networks, which are based on morphological dilation and erosion neurons. We enrich their expressiveness by combining numerous neurons, both dilation and erosion, at the hidden level and express their decision boundary with tropical geometry. Two variants of Dense Morphological Networks are studied. The first concerns the extension to deep architectures, where activations resembling morphological opening and closing are formed. The second is found in the use of Maslov Dequantization to smooth surfaces and to address the problem of gradient propagation characterized by the non-differentiability of morphological operators. Additionally, a way of formulating a binary pattern classification problem by a dilation-erosion perceptron is expressed in the language of non-convex optimization. Based on lattice theory, this approach presupposes a partial ordering of the data, an issue that is alleviated using a reduced ordering. Next, the binary nature of the classifier is extended to multiclass problems. At the same time, the capabilities of Morphological Networks are explored with training methods based on Gradient Descent. Numerical experiments are presented in known benchmarks for various architectural choices, even for softened versions of morphological operators as neurons. Efforts focus on the sparsity of the models by evaluating their performance after pruning. Two methods of parameter pruning are examined and the information retention of the morphological networks is compared with the corresponding fully connected neural networks, concluding that the morphological networks encode the underlying data representations more economically. Finally, in recent years the trend of interpretability has been developing, where researchers want guarantees for the form of output of the models. In this light, the property of monotonicity is studied. A purely tropical algebraic solution to the problem is proposed through alternating min-plus and max-plus regression. We also explore satisfying the constraints via specific architectural choices in morphological networks, and consider softened operators.	en
heal.advisorName	Μαραγκός, Πέτρος	el
heal.advisorName	Maragos, Petros	en
heal.committeeMemberName	Μαραγκός, Πέτρος	en
heal.committeeMemberName	Παγουρτζής, Αριστείδης	en
heal.committeeMemberName	Ποταμιάνος, Αλέξανδρος	el
heal.academicPublisher	Εθνικό Μετσόβιο Πολυτεχνείο. Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών. Τομέας Σημάτων, Ελέγχου και Ρομποτικής. Εργαστήριο Όρασης Υπολογιστών, Επικοινωνίας Λόγου και Επεξεργασίας Σημάτων	el
heal.academicPublisherID	ntua
heal.numberOfPages	129 σ.	el
heal.fullTextAvailability	false