Μέθοδοι βελτιστοποίησης και εφαρμογές στη μηχανική μάθηση

Μπουκίου, Δανάη; Boukiou, Danai

dc.contributor.author	Μπουκίου, Δανάη	el
dc.contributor.author	Boukiou, Danai	en
dc.date.accessioned	2021-02-18T07:34:17Z
dc.date.available	2021-02-18T07:34:17Z
dc.identifier.uri	https://dspace.lib.ntua.gr/xmlui/handle/123456789/52896
dc.identifier.uri	http://dx.doi.org/10.26240/heal.ntua.20594
dc.rights	Αναφορά Δημιουργού-Μη Εμπορική Χρήση-Όχι Παράγωγα Έργα 3.0 Ελλάδα	*
dc.rights.uri	http://creativecommons.org/licenses/by-nc-nd/3.0/gr/	*
dc.subject	Μηχανική μάθηση	el
dc.subject	Βελτιστοποίηση	el
dc.subject	Αριθμητικές μέθοδοι	el
dc.subject	Στοχαστική μέθοδος κλίσης	el
dc.subject	Μέθοδοι δεύτερης τάξης	el
dc.subject	Machine learning	en
dc.subject	Optimisation	en
dc.subject	Numerical methods	en
dc.subject	Stochastic gradient descent	en
dc.subject	Second-order methods	en
dc.title	Μέθοδοι βελτιστοποίησης και εφαρμογές στη μηχανική μάθηση	el
dc.title	Optimisation methods and applications in machine learning	en
dc.contributor.department	Τομέας Μαθηματικών	el
heal.type	bachelorThesis
heal.classification	Βελτιστοποίηση	el
heal.classification	Μηχανική Μάθηση	el
heal.classification	Optimisation	en
heal.classification	Machine Learning	en
heal.language	el
heal.access	free
heal.recordProvider	ntua	el
heal.publicationDate	2021-02-04
heal.abstract	Η παρούσα εργασία βασίζεται στο αναγνωρισμένο από την Εταιρεία Βιομηχανικών και Εφαρμοσμένων Μαθηματικών (Society for Industrial and Applied Mathematics - SIAM) έργο των L. Bottou, F. E. Curtis και J. Nocedal, «Optimization Methods in Large-Scale Machine Learning» (SIAM Review, 2018). Ξεκινάμε θέτωντας τα μαθηματικά θεμέλια που χρειάζονται για την κατανόηση του τρόπου λειτουργίας των αλγορίθμων. Στη συνέχεια, δίνονται οι κυριότερες μεθόδοι αριθμητικής βελτιστοποίησης χωρίς περιορισμούς και συγκεκριμένα οι μέθοδοι κλίσης, συζυγούς κλίσης, μέγιστης καθόδου, Newton-Raphson και quasi-Newton. Συνεχίζουμε με την εισαγωγή ορισμών και κανόνων από τη στατιστική και τη θεωρία πιθανοτήτων, απαραίτητων για τη μηχανική μάθηση. Επίσης, γίνεται μια συνοπτική παρουσίαση των μαθηματικών εργαλείων που μοντελοποιούν ένα πρόβλημα μηχανικής μάθησης. Δίνεται ένα παράδειγμα από τη μηχανική μάθηση μεγάλης κλίμακας, η ταξινόμηση κειμένου. Με βάση αυτό το πρόβλημα, δείχνουμε πώς μια εφαρμογή της μηχανικής μάθησης λύνεται με έναν αλγόριθμο βελτιστοποίησης και τα είδη μεθόδων που προκύπτουν. Στο τέταρτο κεφάλαιο αναλύεται μια σημαντική μέθοδος βελτιστοποίησης στη μηχανική μάθηση μεγάλης κλίμακας, η στοχαστική μέθοδος κλίσης. Γίνεται παρουσίαση του αλγορίθμου, στη μορφή που εμφανίζεται στην εργασία των Bottou, Curtis & Nocedal (2018). ́Επειτα, μελετώνται οι προϋποθέσεις ως προς την αντικειμενική συνάρτηση, τη στοχαστική κατεύθυνση και το βήμα, με τη μορφή υποθέσεων και λημμάτων, που θα πρέπει να πληρούνται ώστε η μέθοδος να συγκλίνει στη βέλτιστη λύση. Επακόλουθο αυτών των συνθηκών είναι τα θεωρήματα σύγκλισης της μεθόδου στοχαστικής κλίσης, με δύο περιπτώσεις στην επιλογή βήματος, για κυρτές και μη κυρτές συναρτήσεις. Τέλος, στο πέμπτο κεφάλαιο, δίνονται κάποιες τεχνικές που μπορούν να βελτιώσουν την απόδοση την ταχύτητα της στοχαστικής μεθόδου κλίσης, οι οποίες κάνουν χρήση πληροφοριών δεύτερης τάξης.	el
heal.abstract	This thesis is based on the paper recognized by Society for Industrial and Applied Mathematics (SIAM) by L. Bottou, F. E. Curtis and J. Nocedal, ((Optimization Methods in Large-Scale Machine Learning)) (SIAM Review, 2018). We begin by setting the mathematical foundations needed for better under- standing of how the algorithms presented in this paper run. Furthermore, we give the main numerical methods used in unconstrained optimization, namely the gradient, conjugate gradient and steepest descent methods, as well as Newton-Raphson and quasi-Newton methods. We continue with definitions and rules given by statistics and probability theory that are necessary in machine learning. In ad- dition, we give a brief presentation of the tools used in mathematical models of large-scale machine learning problems. As an example of such problem, we present text classification. Based on this, we show how a machine learning application is solved by an optimization algorithm and the types of numerical methods that stem from this process. In the fourth chapter we analyze stochastic gradient descent method (SG), an important optimization method in the field of large-scale machine learning. We present the algorithm, in the form given in the original paper by Bottou, Curtis & Nocedal (2018). Subsequently, we study the conditions over objective funtions, stochastic directions and stepsizes, in the form of assumptions and lemmas, under which convergence to the optimal solution is guaranteed. As a consequence, we arrive to convergence theorems of the SG method running for convex and non- convex objective functions, with two different cases over stepsize selection. Lastly, the fifth chapter discusses different techniques that use second-order information, which can improve the efficiency and convergence rate of SG method.	en
heal.advisorName	Χρυσαφίνος, Κωνσταντίνος	el
heal.committeeMemberName	Γεωργούλης, Εμμανουήλ	el
heal.committeeMemberName	Λουλάκης, Μιχαήλ	el
heal.committeeMemberName	Χρυσαφίνος, Κωνσταντίνος	el
heal.academicPublisher	Εθνικό Μετσόβιο Πολυτεχνείο. Σχολή Εφαρμοσμένων Μαθηματικών και Φυσικών Επιστημών. Τομέας Μαθηματικών	el
heal.academicPublisherID	ntua
heal.numberOfPages	70 σ.	el
heal.fullTextAvailability	false