Επαναληπτικός τετραγωνικός προγραμματισμός

Abstract

Ο στόχος της εργασίας αυτής είναι η μελέτη επίλυσης μη γραμμικών προβλημάτων βελτιστοποίησης με περιορισμούς με τη μέθοδο του επαναληπτικού τετραγωνικού προγραμματισμού (SQP) η οποία έχει αποδειχθεί ιδιαίτερα αποτελεσματική στην πράξη. Όπως με τις περισσότερες μεθόδους βελτιστοποίησης, η μέθοδος SQP δεν είναι ένας απλός αλγόριθμος αλλά μία θεμελιώδης μέθοδος από την οποία έχουν αναπτυχθεί πολυάριθμοι ειδικοί αλγόριθμοι. Η βασική ιδέα της μεθόδου SQP είναι να μοντελοποιήσει το μη γραμμικό πρόβλημα βελτιστοποίησης σε μια δεδομένη προσεγγιστική λύση μέσω ενός υποπροβλήματος τετραγωνικού προγραμματισμού και εν’ συνεχεία να χρησιμοποιήσει τη λύση αυτού του υποπροβλήματος για να κατασκευάσει μια καλύτερη προσέγγιση. Η διαδικασία αυτή επαναλαμβάνεται για τη δημιουργία μιας ακολουθίας προσεγγιστικών λύσεων που θα συγκλίνει σε μια λύση του μη γραμμικού προβλήματος. Το κλειδί για την κατανόηση της λειτουργίας και της θεωρίας της μεθόδου SQP είναι το γεγονός ότι με μια κατάλληλη επιλογή του τετραγωνικού υποπροβλήματος η μέθοδος μπορεί να θεωρηθεί ως επέκταση της μεθόδου Newton στις συνθήκες karush-Kuhn-Tucker για το μη γραμμικό πρόβλημα με περιορισμούς. Στο κεφάλαιο ένα μελετώνται δύο θεμελιώδεις στρατηγικές βελτιστοποίησης προβλημάτων χωρίς περιορισμούς για τη μετακίνηση από τη μια επανάληψη στην επόμενη, οι μέθοδοι αναζήτησης γραμμής και οι μέθοδοι περιοχής εμπιστοσύνης. Στη μέθοδο αναζήτησης γραμμής ο αλγόριθμος επιλέγει μια κατεύθυνση έρευνας σε κάθε επανάληψη και εν’ συνεχεία αποφασίζει πόσο μακριά θα μετακινηθεί κατά μήκος αυτής της κατεύθυνσης από την τρέχουσα επανάληψη σε ένα νέο σημείο με χαμηλότερη τιμή της συνάρτησης. Παρουσιάζονται διάφορες συνθήκες τερματισμού για αυτές τις μεθόδους οι οποίες εξασφαλίζουν ότι ο αλγόριθμος σημειώνει ικανοποιητική πρόοδο και περιγράφεται ένας αλγόριθμος αναζήτησης γραμμής. Αποδεικνύεται ότι η γενική σύγκλιση αυτών των μεθόδων ικανοποιείται όταν τόσο το μήκος βήματος όσο και η κατεύθυνση έρευνας επιλεχθούν κατάλληλα. Οι μέθοδοι περιοχής εμπιστοσύνης απ’ την άλλη μεριά χρησιμοποιούν ένα τετραγωνικό μοντέλο της συνάρτησης κόστους και ορίζουν μια περιοχή γύρω από τη τρέχουσα επανάληψη μέσα στην οποία η συμπεριφορά του μοντέλου είναι παρόμοια με αυτή της συνάρτησης κόστους. Δεδομένου ότι το μέγεθος της περιοχής εμπιστοσύνης είναι κρίσιμο για την αποτελεσματικότητα κάθε βήματος, δίνουμε έναν αλγόριθμο ο οποίος περιγράφει τη διαδικασία επιλογής της περιοχής αυτής. Στo υπόλοιπο μέρος αυτού του κεφαλαίου περιγράφουμε μεθόδους εύρεσης προσεγγιστικών λύσεων του τετραγωνικού μοντέλου οι οποίες δίνουν ικανοποιητική μείωση της συνάρτησης κόστους, καθώς επίσης και μια επαναληπτική στρατηγική για την εύρεση μιας καλύτερης προσέγγισης στη λύση του υποπροβλήματος περιοχής εμπιστοσύνης. Στο κεφάλαιο δύο παρουσιάζουμε τις απαραίτητες θεωρητικές έννοιες αναφορικά με τις συνθήκες βελτίστου προκειμένου να πλήρως κατανοητή η μέθοδος SQP. Συγκεκριμένα εξηγείται ο τρόπος με τον οποίο εισάγονται οι αποκαλούμενοι πολλαπλασιαστές Lagrange και παρουσιάζονται οι συνθήκες βελτίστου πρώτης και δεύτερης τάξης. Στο κεφάλαιο τρία συζητάμε τις μεθόδους Quasi-Newton για προβλήματα βελτιστοποίησης χωρίς περιορισμούς. Στις μεθόδους αυτές η μήτρα Hessian της συνάρτησης κόστους, η αποτίμηση της οποίας είναι δύσκολη σε πρακτικά προβλήματα, προσεγγίζεται με μια συμμετρικά και θετικά ορισμένη μήτρα. Εξετάζουμε τρεις τύπους ενημέρωσης, την ανανέωση BFGS, την SR1 και την DFP και περιγράφουμε τις θεωρητικές τους ιδιότητες και την πρακτική εφαρμογή τους. Στο κεφάλαιο τέσσερα μελετάμε τη μέθοδο SQP για μη γραμμικά προβλήματα βελτιστοποίησης. Αρχικά παρουσιάζουμε τον αλγόριθμο SQP στην πιο απλή του μορφή και περιγράφουμε μεθοδολογίες υπολογισμού του βήματος για την περίπτωση προβλημάτων με ισωτικούς και προβλημάτων με ανισωτικούς περιορισμούς. Οι δυσκολίες που σχετίζονται με τη μήτρα Hessian της Λανγκρανζιανής συνάρτησης μπορούν να ξεπεραστούν με την εφαρμογή των τύπων ανανέωσης BFGS και SR1 στα προβλήματα βελτιστοποίησης χωρίς περιορισμούς. Ακολουθεί μια συνοπτική επισκόπηση των συναρτήσεων αξίας (merit functions) που χρησιμοποιούνται στις μεθόδους SQP ως μια διαδικασία για να αποφασίσουμε εάν ένα δοκιμαστικό βήμα πρέπει να γίνει αποδεκτό. Συγκεκριμένα παρουσιάζονται η συνάρτηση ποινής και η συνάρτηση ποινής του Fletcher καθώς επίσης και διαφορετικοί κανόνες ανανέωσης της παραμέτρου ποινής ώστε τα υπολογισμένα βήματα να αποτελούν κατευθύνσεις καθόδου για τη συνάρτηση αξίας. Το κεφάλαιο συνεχίζει με την περιγραφή ενός αλγορίθμου SQP με αναζήτηση γραμμής και μιας στρατηγικής διαχείρησης ασύμβατων γραμμικοποιήσεων που οδηγούν σε μη επιλύσιμο υποπρόβλημα. Σύμφωνα με όλα τα ανωτέρω παρουσιάζουμε δύο πρακτικούς αλγορίθμους SQP, για την περίπτωση προσέγγισης της πλήρους μήτρας Hessian αλλά και την περίπτωση προσέγγισης της απλοποιημένης μήτρας Hessian. Περιγράφουμε επίσης τις συνθήκες που διασφαλίζουν τοπική και υπεργραμμική σύγκλιση των μεθόδων SQP οι οποίες χρησιμοποιούν την ακριβή μήτρα Hessian του προβλήματος αλλά και μια προσέγγιση Quasi-Newton αυτής. Η συζήτηση περιορίζεται σε ένα πρόβλημα ισωτικών περιορισμών αλλά τα αποτελέσματα που προκύπτουν μπορούν να εφαρμοστούν και σε αλγορίθμους προβλημάτων ανισωτικών περιορισμών. Απ’ την άλλη μεριά στις μεθόδους SQP με τη μέθοδο της περιοχής εμπιστοσύνη, το τετραγωνικό υποπρόβλημα μπορεί να μην έχει πάντα λύση λόγω του επιπρόσθετου περιορισμού της περιοχής εμπιστοσύνης. Η ασυμβατότητα αυτή μεταξύ των περιορισμών επιλύεται στη περίπτωση ενός προβλήματος ισωτικών περιορισμών χρησιμοποιώντας μια διαδικασία επαναδιατύπωσης του υποπρόβληματος. Τέλος, περιγράφεται το ανεπιθύμητο φαινόμενο του να μην επιτρέπεται να ληφθούν πλήρη βήματα κοντά στη λύση, γνωστό ως το φαινόμενο του Μαράτου, καθώς επίσης και δύο στρατηγικές για να ξεπεραστούν οι δυσκολίες που συνδέονται με αυτό. Για κάθε μια από τις στρατηγικές αυτές δίνεται και ένα τοπικό αποτέλεσμα σύγκλισης.

The aim of this thesis is to study the solution of constrained nonlinear optimization problems using Sequential Quadratic Programming (SQP) method which has proved highly effective in practice. As with most optimization methods, SQP is not a single algorithm but rather a conceptual method from which numerous specific algorithms have evolved. The basic idea of SQP method is to model the nonlinear optimization problem at a given approximate solution by a quadratic programming subproblem and then to use the solution of this subproblem to construct a better approximation. This process is repeated to create a sequence of approximate solutions that will converge to a solution of the nonlinear problem. The key to understanding the performance and theory of SQP method is the fact that with an appropriate choice of quadratic subproblem the method can be viewed as the extension of Newton method to the Karush-Kuhn-Tucker conditions for the nonlinear constrained problem. In chapter one two fundamental strategies of unconstrained optimization for moving from the current iterate to a new iterate, the line search and the trust-region methods are studied. In the line search method the algorithm chooses a search direction at each iteration and then decides how far to move along that direction from the current iterate to a new point with a lower function value. Various termination conditions for these methods ensuring that the algorithm makes reasonable progress are presented and a line search algorithm is described. It is proved that global convergence of these methods is satisfied when both the step length and the search direction are chosen appropriately. Trust-region methods on the other hand use a quadratic model of the objective function and define a region around the current iterate within which the behavior of the model is similar to that of the objective function. Since the size of the trust region is critical to the effectiveness of each step, we give an algorithm describing the process of choosing this region. In the remaining part of this chapter we describe methods for finding approximate solutions of the quadratic model giving sufficient reduction of the objective function, as well as an iterative strategy for finding a better approximation to the solution of the trust region subproblem. In chapter two we present the necessary theoretical concepts in regard to optimality conditions in order to fully understand the SQP method. In particular the way in which the so-called Lagrange multipliers are introduced is explained and the first and second order optimality conditions are presented. In chapter three we discuss the Quasi-Newton methods for unconstrained optimization problems. In these methods the Hessian matrix of the objective function, the evaluation of which is difficult in practical problems, is approximated by a symmetric positive definite matrix. We investigate three types of updating formulae, the BFGS, the SR1 and the DFP update and describe its theoretical properties and practical implementation. In chapter four we study the SQP method for nonlinear optimization. Initially we state the SQP algorithm in its simplest form and describe some step computation methods for both, equality and inequality constrained problems. The difficulties associated with the Hessian matrix of the Langrangian function can be overcome by employing the BFGS and the SR1 update formulae for unconstrained optimization problems. Follows a brief overview of the merit functions used in SQP methods, as an approach to decide whether a trial step should be accepted. Specifically and Fletcher’s penalty function are presented as well as different update rules for the penalty parameter so that the computed steps to be descent directions for the merit function. The chapter proceeds with the description of a Line Search SQP algorithm and a strategy for handling inconsistent linearization that gives rise to an infeasible subproblem. Following all the above we present two practical SQP algorithms for both, the case of full Hessian matrix approximation and the case of reduced Hessian matrix approximations. We also describe conditions that guarantee local and superlinear convergence of SQP methods that use both, the exact Hessian matrix of the problem and a Quasi-Newton variant of it. The discussion is limited to an equality constrained problem but the results presented can be applied to algorithms for inequality constrained problems. In trust-region SQP methods on the other hand, the quadratic subproblem may not always have a solution because of the additional trust-region constraint. This conflict between the constraints is resolved in case of an equality constrained problem using an approach that reformulates the subproblem. Finally, the undesirable phenomenon of not allowing full steps near the solution to be taken, known as the Maratos effect as well as two strategies to overcome the difficulties associated with it are described. For each of these strategies a local convergence result is given.