Τροπική γεωμετρία και εφαρμογές στην μηχανική μάθηση

Φωτόπουλος, Κωνσταντίνος; Fotopoulos, Konstantinos

dc.contributor.author	Φωτόπουλος, Κωνσταντίνος	el
dc.contributor.author	Fotopoulos, Konstantinos	en
dc.date.accessioned	2025-05-05T10:12:25Z
dc.date.available	2025-05-05T10:12:25Z
dc.identifier.uri	https://dspace.lib.ntua.gr/xmlui/handle/123456789/61851
dc.identifier.uri	http://dx.doi.org/10.26240/heal.ntua.29547
dc.rights	Default License
dc.subject	Τροπική Γεωμετρία	el
dc.subject	Νευρωνικά Δίκτυα	el
dc.subject	Ζωνότοπα	el
dc.subject	Προσέγγιση Hausdorff	el
dc.subject	Συμπίεση Νευρωνικών Δικτύων	el
dc.subject	Tropical Geometry	en
dc.subject	Neural Networks	en
dc.subject	Zonotopes	en
dc.subject	Hausdorff Approximation	en
dc.subject	Neural Network Compression	en
dc.title	Τροπική γεωμετρία και εφαρμογές στην μηχανική μάθηση	el
dc.title	Tropical geometry and applications in machine learning	en
heal.type	bachelorThesis
heal.classification	Μηχανική Μάθηση	el
heal.classification	Machine Learning	en
heal.language	en
heal.access	free
heal.recordProvider	ntua	el
heal.publicationDate	2024-10-24
heal.abstract	Η παρούσα εργασία εξετάζει την τροπική άλγεβρα και γεωμετρία, με έμφαση στις εφαρμογές τους στη μηχανική μάθηση. Η τροπική άλγεβρα αποτελεί έναν ταχέως αναπτυσσόμενο κλάδο των μαθηματικών με εφαρμογές σε τομείς όπως η συνδυαστική βελτιστοποίηση, η γεωμετρία, η επιχειρησιακή έρευνα και, πιο πρόσφατα, η μηχανική μάθηση. Η πρόσφατη επιτυχία της βαθιάς μάθησης σε τομείς όπως η αναγνώριση προτύπων, η υπολογιστική όραση και η επεξεργασία φυσικής γλώσσας έχει εντείνει το ενδιαφέρον για τα μαθηματικά θεμέλια των νευρωνικών δικτύων. Προηγούμενες εργασίες έχουν χρησιμοποιήσει τα τροπικά μαθηματικά για να κατανοήσουν καλύτερα τις ιδιότητες των νευρωνικών δικτύων [54, 36, 46]. Βασιζόμενη σε αυτό το υπόβαθρο, η παρούσα εργασία εισάγει τόσο νέες συνεισφορές στον τομέα της μετατροπής αρχιτεκτονικών νευρωνικών δικτύων όσο και, κυριότερα, στη συμπίεση δικτύων. Για τη συμπίεση νευρωνικών δικτύων, προτείνουμε μια μέθοδο που βελτιώνει τις προηγούμενες τεχνικές χρησιμοποιώντας την απόσταση Hausdorff στην κανονική της συνεχή μορφή, ώστε να προκύψουν αυστηρότερα όρια για την προσέγγιση των τροπικών πολυωνύμων. Αυτή η βελτίωση οδηγεί στην ανάπτυξη ενός νέου αλγορίθμου που προσεγγίζει αποδοτικά τα ζονοτόπα που σχετίζονται με τις τροπικές αναπαραστάσεις των νευρωνικών δικτύων. Ο αλγόριθμός μας έχει σχεδιαστεί ώστε να υπερέχει σε σχέση με υπάρχουσες μεθόδους ως προς την ακρίβεια συμπίεσης και αξιολογείται σε ένα εύρος σύγχρονων αρχιτεκτονικών νευρωνικών δικτύων και συνόλων δεδομένων. Διεξάγουμε εκτεταμένα πειράματα σε γνωστά σύνολα δεδομένων, όπως τα MNIST, Fashion-MNIST, CIFAR10/100, και ImageNet, χρησιμοποιώντας αρχιτεκτονικές όπως LeNet5, AlexNet, CIFAR-VGG, και ResNet. Τα αποτελέσματα δείχνουν ότι η μέθοδός μας βελτιώνει σημαντικά το υπάρχον έργο των Misiakos et al. [37], υπερέχει έναντι βασικών προσεγγίσεων συμπίεσης, όπως οι Random και L1, και επιδεικνύει ανταγωνιστική ή ανώτερη απόδοση σε σύγκριση με αλγορίθμους αιχμής, όπως οι ThiNet και CUP.	el
heal.abstract	This thesis investigates tropical algebra and geometry with a focus on their applications in machine learning. Tropical algebra is a growing area of mathematics with applications across fields such as combinatorial optimization, geometry, operations research, and more recently, machine learning. The recent success of deep learning in areas such as pattern recognition, computer vision, and natural language processing has spurred interest in the mathematical foundations of neural networks. Prior studies have leveraged tropical mathematics to analyze neural networks’ structural properties and performance [54, 36, 46]. Building on this foundation, this thesis introduces novel contributions in both neural network architecture conversion and, mainly, network compression. For neural network compression, we propose a method that improves on previous techniques by employing the Hausdorff distance in its standard continuous form to derive tighter bounds for approximating tropical polynomials. This enhancement leads to the development of a new algorithm that efficiently approximates the zonotopes associated with the tropical representations of neural networks. Our algorithm is designed to outperform existing methods in terms of compression accuracy and is evaluated across a range of modern neural network architectures and datasets. We conduct extensive experiments on well-known datasets, including MNIST, Fashion-MNIST, CIFAR10/100, and ImageNet, using architectures such as LeNet5, AlexNet, CIFAR-VGG, and ResNet. The results show that our method significantly improves upon the existing work of Misiakos et al. [37], outperforms basic compression approaches like Random and L1, and demonstrates competitive or superior performance compared to the state-of-the-art algorithms like ThiNet and CUP.	en
heal.advisorName	Μαραγκός, Πέτρος	el
heal.committeeMemberName	Ροντογιάννης, Αθανάσιος	el
heal.committeeMemberName	Κορδώνης, Ιωάννης	el
heal.academicPublisher	Εθνικό Μετσόβιο Πολυτεχνείο. Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών. Τομέας Σημάτων, Ελέγχου και Ρομποτικής. Εργαστήριο Όρασης Υπολογιστών, Επικοινωνίας Λόγου και Επεξεργασίας Σημάτων	el
heal.academicPublisherID	ntua
heal.numberOfPages	153 σ.	el
heal.fullTextAvailability	false