Αλγόριθμοι Langevin και οι εφαρμογές τους στην Υπολογιστική Στατιστική

Φραντζεσκάκη, Ευαγγελία; Frantzeskaki, Evangelia

dc.contributor.author	Φραντζεσκάκη, Ευαγγελία	el
dc.contributor.author	Frantzeskaki, Evangelia	en
dc.date.accessioned	2023-10-02T09:13:10Z
dc.date.available	2023-10-02T09:13:10Z
dc.identifier.uri	https://dspace.lib.ntua.gr/xmlui/handle/123456789/58107
dc.identifier.uri	http://dx.doi.org/10.26240/heal.ntua.25804
dc.rights	Αναφορά Δημιουργού-Μη Εμπορική Χρήση-Όχι Παράγωγα Έργα 3.0 Ελλάδα	*
dc.rights.uri	http://creativecommons.org/licenses/by-nc-nd/3.0/gr/	*
dc.subject	Δειγματοληψία	el
dc.subject	Βελτιστοποίηση	el
dc.subject	Langevin Dynamics	en
dc.subject	Sampling	en
dc.subject	Convex optimization	en
dc.title	Αλγόριθμοι Langevin και οι εφαρμογές τους στην Υπολογιστική Στατιστική	el
heal.type	bachelorThesis
heal.classification	Μαθηματικά	el
heal.classification	Στατιστική	el
heal.language	el
heal.access	free
heal.recordProvider	ntua	el
heal.publicationDate	2023-07-05
heal.abstract	Στην εργασία αυτή μελετάμε τον αλγόριθμο Stochastic Gradient Langevin Dynamics (SGLD), μια μέθοδο για δειγματοληψία και βελτιστοποίηση που απορρέει από την διακριτοποίηση της στοχαστικής διαφορικής εξίσωσης Langevin. Στο πρώτο κεφάλαιο γίνεται μια σύντομη αναφορά στη θεωρία πιθανοτήτων και στοχαστικών ανελίξεων ώστε να δοθεί το θεωρητικό υπόβαθρο και τα εργαλεία για την κατανόηση των αποδείξεων του κυρίου μέρους. Στο δεύτερο κεφάλαιο εισάγουμε τον αλγόριθμο προς μελέτη, ξεκινώντας με την περιγραφή του όπως προτάθηκε από τους Welling \& Teh. Στην συνέχεια εισαγάγουμε το πρόβλημα δειγματοληψίας από μια κατανομή χρησιμοποιώντας τον αλγόριθμο SGLD, το οποίο θα αναλύσουμε κάτω από συγκεκριμένες υποθέσεις. Σκοπός μας αρχικά είναι να λάβουμε ένα άνω όριο στην απόσταση Wasserstein για την σύγκλιση του αλγορίθμου στην κατανομή από την οποία δειγματοληπτούμε. Στην συνέχεια εξετάζουμε τον αλγόριθμο SGLD ως μέθοδο βελτιστοποίησης και χρησιμοποιώντας την σύγκλιση στην απόσταση Wasserstein που αποδείξαμε, θα λάβουμε ένα μη ασυμπτωτικό φράγμα για το expected excess risk. Στο τρίτο κεφάλαιο θα ξεκινήσουμε με μια απλή εφαρμογή του αλγορίθμου για προσομοίωση τιμών από μια κατανομή. Στη συνέχεια θα χρησιμοποιήσουμε τον αλγόριθμο ως μέθοδο βελτιστοποίησης για τον υπολογισμό των ελαχίστων σημείων κυρτών συναρτήσεων και τέλος θα κάνουμε μια εφαρμογή σε ένα μοντέλο γραμμικής παλινδρόμησης.	el
heal.abstract	In this work, we study the Stochastic Gradient Langevin Dynamics (SGLD) algorithm, which is a method form sampling and optimization that arises from the discretization of the so-called overdamped Langevin stochastic differential equation (SDE). In the first chapter, a brief analysis is conducted on probability theory and stochastic processes in order to provide the theoretical background and tools for understanding the proofs of the main part. In the second chapter, we introduce the algorithm under study, starting with its description as proposed by Welling \& Teh. We then introduce the problem of sampling from a distribution using the SGLD algorithm, which we will analyze under specific assumptions. Our initial goal is to establish an upper bound on the Wasserstein distance between the target distribution π and its approximations generated by the SGLD algorithm. We then examine the SGLD algorithm as an optimization method, and using the Wasserstein-2 convergence result we establish a non asymptotic error bound for the expected excess risk. In the third chapter, we will begin with some simple applications of the algorithm for sampling from some known distributions. We will then use the algorithm as an optimization method to compute the minimum points of a convex function, and finally, we will apply it to a linear regression model.	en
heal.advisorName	Σαμπάνης, Σωτήριος	el
heal.committeeMemberName	Βόντα, Φιλία	el
heal.committeeMemberName	Καρώνη, Χρυσηίς	el
heal.academicPublisher	Εθνικό Μετσόβιο Πολυτεχνείο. Σχολή Εφαρμοσμένων Μαθηματικών και Φυσικών Επιστημών. Τομέας Μαθηματικών	el
heal.academicPublisherID	ntua
heal.numberOfPages	49 σ.	el
heal.fullTextAvailability	false