Μέθοδοι κλίσης με θόρυβο Brown

Tsigkounakis, Apostolos; Τσιγκουνάκης, Απόστολος

dc.contributor.author	Tsigkounakis, Apostolos	en
dc.contributor.author	Τσιγκουνάκης, Απόστολος	el
dc.date.accessioned	2021-10-05T06:33:51Z
dc.date.available	2021-10-05T06:33:51Z
dc.identifier.uri	https://dspace.lib.ntua.gr/xmlui/handle/123456789/53921
dc.identifier.uri	http://dx.doi.org/10.26240/heal.ntua.21619
dc.rights	Αναφορά Δημιουργού-Μη Εμπορική Χρήση-Όχι Παράγωγα Έργα 3.0 Ελλάδα	*
dc.rights.uri	http://creativecommons.org/licenses/by-nc-nd/3.0/gr/	*
dc.subject	Βελτιστοποίηση	el
dc.subject	Μηχανική μάθηση	el
dc.subject	Στοχαστικές διαφορικές εξισώσεις	el
dc.subject	Κίνηση Brown	el
dc.subject	Μέθοδος της κλίσης	el
dc.subject	Optimization	en
dc.subject	Machine learning	en
dc.subject	Stochastic differential equations	en
dc.subject	Brownian motion	en
dc.subject	Gradient descent	en
dc.title	Μέθοδοι κλίσης με θόρυβο Brown	el
dc.title	Gradient Descent Methods with Brownian Noise	en
heal.type	bachelorThesis
heal.classification	Applied Mathematics	en
heal.classification	Εφαρμοσμένα Μαθηματικά	el
heal.language	el
heal.access	free
heal.recordProvider	ntua	el
heal.publicationDate	2021-06-28
heal.abstract	Σε αυτήν τη διπλωματική εργασία μελετάται πώς μπορούμε μέσω Στοχαστικών Διαφορικών Εξισώσεων να επιλύσουμε προβλήματα στην περιοχή της Μαθηματικής Βελτιστοποίησης. Στο πρώτο κεφάλαιο βλέπουμε γιατί η κίνηση Brown είναι μία τόσο θεμελιώδης στοχαστική διαδικασία συνοψίζοντας τέσσερις τρόπους με τους οποίους μπορούμε να την ορίσουμε. Στο δεύτερο κεφάλαιο βλέπουμε πώς μπορούμε να προσεγγίσουμε το πρόβλημα της ολικής βελτιστοποίησης (Global Optimization) με την εισαγωγή θορύβου Brown στη μέθοδο της κλίσης (Gradient Descent). Συγκεκριμένα, μελετάται πώς ο θόρυβος μπορεί να αναγκάσει τη διαδικασία να αποχωρεί από κρίσιμα σημεία τα οποία έχει επισκεφθεί με στόχο να συνεχίζει να βρίσκει νέα κρίσιμα σημεία. Παρατηρήθηκε ότι η εξερεύνηση του χώρου επιταχύνεται και γίνεται πιο ευδιάκριτη όταν χρησιμοποιείται ο αντίστροφος του Εσσιανού της συνάρτησης που θέλουμε να βελτιστοποιήσουμε στη θέση του συντελεστή διάχυσης. Στο τρίτο κεφάλαιο αρχικά γίνεται μία ανασκόπηση των κύριων μεθόδων βελτιστοποίησης μεγάλης κλίμακας και συγκεκριμένα των αλγορίθμων που βασίζονται στη στοχαστική μέθοδο της κλίσης (Stochastic Gradient Descent). Ύστερα δείχνουμε πώς με χρήση μιας Στοχαστικής Διαφορικής Εξίσωσης (δηλαδή την αριθμητική επίλυση αυτής) μπορούμε να επιταχύνουμε τη σύγκλιση σε κρίσιμα σημεία αλλά και να δημιουργήσουμε μια σχετική αναισθησία ως προς το αρχικό σημείο εκκίνησης της μεθόδου (δηλαδή η μέθοδος δεν συγκλίνει απαραίτητα στο πλησιέστερο κρίσιμο σημείο). Κατ' επέκταση λαμβάνουμε μια καλή συμπεριφορά της μεθόδου όταν αυτή βρεθεί σε «άσχημα» σημεία τα οποία μία μέθοδος χωρίς θόρυβο Brown θα έκανε πάρα πολύ χρόνο για να «ξεκολλήσει» και τελικώς να συγκλίνει. Επίσης, μελετώνται πρακτικά ζητήματα όπως πώς μπορούμε να αντιστρέψουμε τον εσσιανό πίνακα με υπολογιστικά ορθό τρόπο με χρήση του αλγορίθμου των Συζυγών Κλίσεων αλλά και τι μεθόδους βελτιστοποίησης μπορεί να παράξει ο αλγόριθμος αυτός, ανεξάρτητα με τη χρησιμότητά του για αντιστροφή πινάκων. Τέλος, βλέπουμε πώς μπορούμε να εκτελέσουμε επιλογή μεταβλητών με χρήση ποινών στο γραμμικό μοντέλο παλινδρόμησης ως μια εφαρμογή της βελτιστοποίησης μεγάλης κλίμακας. Ανοιχτά ερωτήματα παραμένουν πώς μπορούμε να εκτελέσουμε ακόμα καλύτερη ολική βελτιστοποίηση με χρήση θορύβου Brown (κεφάλαιο 2) και πώς μπορούμε να επιλέξουμε τις παραμέτρους στην προτεινόμενη μέθοδο σύγκλισης (κεφάλαιο 3) με κάποιον «βέλτιστο» τρόπο.	el
heal.abstract	This dissertation studies how mathematical optimization problems can be solved by using Stochastic Differential Equations. In the first chapter, we see why Brownian motion is such a fundamental stochastic process by summarizing four ways to define it. In the second chapter, Brownian noise is introduced to the Gradient Descent method in order to approach the problem of Global Optimization. Specifically, it is studied how Brownian noise can force the process to leave critical points it has visited to continue finding new critical points. It was observed that space exploration is accelerated and becomes more evident if the inverse of the Hessian (of the function we want to optimize) is used as the diffusion coefficient. In the third chapter, the main methods of Large-Scale Optimization are reviewed and, in particular, the algorithms based on the Stochastic Gradient Descent method. Then we show how a particular Stochastic Differential Equation (its numerical solution in particular) can accelerate the convergence at critical points and create relative insensitivity to the initial point of the method (i.e., the method does not necessarily converge to the nearest critical point). Consequently, we get an advantageous behaviour of the proposed method when the process falls in “bad” situations in which a method without noise would take too long to escape. Practical issues are also studied, such as how we can invert the Hessian in a computationally acceptable way using the Conjugate Gradient algorithm and what optimization methods this algorithm can produce, regardless of its utility for inverting matrices. Finally, as an application of large-scale optimization, we study how variable selection can be performed in the linear regression model using penalized optimization. Questions that remain open are how global optimization can be performed even better by using Brownian noise (chapter 2) and how we can optimally choose the parameters in the proposed method (chapter 3).	en
heal.advisorName	Γεωργούλης, Εμμανουήλ	el
heal.advisorName	Λουλάκης, Μιχαήλ	el
heal.committeeMemberName	Χρυσαφίνος, Κωνσταντίνος	el
heal.committeeMemberName	Γεωργούλης, Εμμανουήλ	el
heal.committeeMemberName	Λουλάκης, Μιχαήλ	el
heal.academicPublisher	Εθνικό Μετσόβιο Πολυτεχνείο. Σχολή Εφαρμοσμένων Μαθηματικών και Φυσικών Επιστημών. Τομέας Μαθηματικών	el
heal.academicPublisherID	ntua
heal.numberOfPages	50 σ.	el
heal.fullTextAvailability	false