Αριθμητική διερεύνηση μεθόδων Quasi-Newton για προβλήματα ελαχίστου χωρίς περιορισμούς

Abstract

O σκοπός της παρούσας διπλωματικής εργασίας ήταν η αριθμητική διερεύνηση και σύγκριση τριών διαφορετικών quasi-newton μεθόδων για προβλήματα ελαχίστου χωρίς περιορισμούς. Συγκεκριμένα, γίνεται σύγκριση των δύο κλασσικών quasi-newton μεθόδων BFGS και DFP με μια νέα προτεινόμενη μέθοδο. Αρχικά, δίνεται έμφαση στην ανάλυση της σκέψης που μας οδηγεί στην εύρεση και χρήση quasi-newton μεθόδων, λόγω της δυσκολίας υπολογισμού της εσσιανής μήτρας της μεθόδου newton. Στην συνέχεια, παρατίθενται οι πλέον αποδοτικοί τρόποι για την εύρεση του μήκους βήματος καθώς και ο αλγόριθμος της νέας μεθόδου. Τονίζεται πως το χαρακτηριστικό της νέας μεθόδου που την διαφοροποιεί από τις κλασσικές είναι oτι εν αντιθέσει με τις κλασσικές μεθόδους που κάνουν χρήση μόνο πληροφοριών της προηγούμενης επανάληψης για την ανανέωση των μητρών τους, η νέα μέθοδος χρησιμοποιεί πληροφορία προηγούμενων επαναλήψεων, ανάλογων των μεταβλητών της υπό ελαχιστοποίηση συνάρτησης. Στα πλαίσια της εργασίας υλοποιήθηκαν στο περιβάλλον του MATLAB έξι διαφορετικά προγράμματα των μεθόδων, στα οποία χρησιμοποιήθηκαν συναρτήσεις, οι οποίες αντλήθηκαν από την βιβλιογραφία προκειμένου να αποφανθούμε για την αποτελεσματικότητα της νέας προτεινόμενης μεθόδου συγκριτικά με τις κλασσικές. Τα αποτελέσματα των πειραμάτων καταγράφηκαν σε πίνακες και μέσω αυτών πραγματοποιήθηκε η σύγκριση μεταξύ των μεθόδων. Εν τέλει, διαπιστώνεται από τα αριθμητικά αποτελέσματα ότι η νέα μέθοδος είναι αξιόπιστη, αποδοτική, εύρωστη και κρίνεται κατάλληλη για την επίλυση προβλημάτων ελαχίστου χωρίς περιορισμούς.

The scope of this thesis was the numerical investigation and comparison of three different quasi-newton methods for unconstrained minimization problems. In particular, there was made a comparison between the two classical quasi newton methods BFGS, DFP and the new proposed one. Initially, great emphasis was placed on the analysis of the thought that leads us in inventing and using quasi newton methods, due to the difficulty of computing the hessian matrix of newton method. After that, there is a reference in the most efficient algorithms for finding the appropriate step length and also the new method is presented. It is pointed out that the feature that differentiates our new method from the classical ones is that this method in contrast with others, which use data from the previous iteration only to update their formulas, uses data from a wide range of previous iterations equal to the number of variables of the function to be minimized. For the purpose of this thesis, six programs were implemented on matlab environment, in which we used functions derived from bibliography so that we can assess the efficiency of the new method compared to the other ones. The numerical results of the experiments were recorded in tables and thereby we compared the methods. To conclude, it is verified from the numerical experiments that the new method is reliable, efficient, robust and is deemed appropriate for the solution of unconstrained minimization problems.