On the Systematic Application of Machine Learning Tools for the Acceleration of Global Optimization Algorithms with Sparse Cutting Planes - The Case of Nonconvex Quadratic Problems

Δεληγιάννη, Βασιλική; Deligianni, Vasiliki

dc.contributor.author	Δεληγιάννη, Βασιλική	el
dc.contributor.author	Deligianni, Vasiliki	en
dc.date.accessioned	2024-09-02T07:54:23Z
dc.date.available	2024-09-02T07:54:23Z
dc.identifier.uri	https://dspace.lib.ntua.gr/xmlui/handle/123456789/60069
dc.identifier.uri	http://dx.doi.org/10.26240/heal.ntua.27765
dc.rights	Αναφορά Δημιουργού 3.0 Ελλάδα	*
dc.rights	Αναφορά Δημιουργού-Μη Εμπορική Χρήση 3.0 Ελλάδα	*
dc.rights.uri	http://creativecommons.org/licenses/by-nc/3.0/gr/	*
dc.subject	Global Optimization	en
dc.subject	Μαθηματική Βελτιστοποίηση	el
dc.subject	Μη κυρτός προγραμματισμός	el
dc.subject	Μηχανική Μάθηση	el
dc.subject	Συσταδοποίηση	el
dc.subject	Επίπεδα κοπής	el
dc.subject	Nonconvex Quadratic Programming	en
dc.subject	Cutting Planes	en
dc.subject	Machine Learning	en
dc.subject	Clustering	en
dc.title	On the Systematic Application of Machine Learning Tools for the Acceleration of Global Optimization Algorithms with Sparse Cutting Planes - The Case of Nonconvex Quadratic Problems	el
dc.contributor.department	Industrial Process Systems Engineering Unit	el
heal.type	bachelorThesis
heal.classification	Mathematical Optimization	el
heal.language	en
heal.access	free
heal.recordProvider	ntua	el
heal.publicationDate	2024-02
heal.abstract	Η ντετερμινιστική επίλυση ενός μεγάλου μη κυρτού προβλήματος βελτιστοποίησης με συνεπή τρόπο είναι μια διαρκής πρόκληση στον τομέα της παγκόσμιας βελτιστοποίησης. Οι τεχνικές αποσύνθεσης και εξωτερικής προσέγγισης βρίσκονται στο επίκεντρο της έρευνας αιχμής, με στόχο την χρησιμοποίηση αποτελεσματικών και ελαφρών σχημάτων χαλάρωσης, για να αντικαταστήσουν τις δυνατές, αλλά απαιτητικές σε μνήμη ημικαθορισμένες χαλαρώσεις (SDP). Ωστόσο, τα μη κυρτά προβλήματα με μερικές μόνο εκατοντάδες μεταβλητές αποτελούν ήδη μια πρόκληση για τους τρέχοντες εμπορικούς λύτες. Ο γνησίως θετικός ή μηδενικός κώνος (PSD), που δημιουργείται για τον διαχωρισμό της υπάρχουσας λύσης, μπορεί να προσεγγιστεί με έναν ημιάπειρο αριθμό επιπέδων κοπής. Μια προσέγγιση χαμηλών διαστάσεων αντιμετωπίζει την υπολογιστική επιβάρυνση των πυκνών γραμμικών επιπέδων πολλαπλών μεταβλητών, αλλά οδηγεί σε μεγάλους πληθυσμούς διαθέσιμων επιπέδων κοπής προς επιλογή. Οι προηγμένες τεχνολογίες δεδομένων είναι ένα ισχυρό και αναμφισβήτητα απαραίτητο εργαλείο προκειμένου να ξεπεραστεί η μακροχρόνια παγίδα της κλιμάκωσης, αλλά παραμένουν σχετικά ανεξερεύνητες. Η επιλογή του πιο στενού συνόλου επιπέδων σε κάθε επανάληψη, για τον επαναπροσδιορισμό της γραμμικής χαλάρωσης είναι καθοριστικής σημασίας για την απόδοση του λύτη. Αξιοποιώντας εργαλεία μηχανικής μάθησης για την εξερεύνηση υποκείμενων τοπολογικών δομών, αυτή η εργασία βασίζεται σε καινοτομίες των Baltean et al. και προτείνει νέες μεθόδους επιλογής επιπέδων. Τα υπολογιστικά πειράματα επικεντρώνονται σε μια βιβλιοθήκη τετραγωνικών προγραμμάτων (QPs) με τετράγωνους περιορισμούς, λόγω της απλότητας και της εκφραστικότητάς τους, διαθέτοντας ποικίλα μοτίβα διαστάσεων και πυκνότητας. Η βελτιωμένη απόδοση αποδεικνύεται σε όλες τις περιπτώσεις με την ενσωμάτωση ποιοτικών, χωρικών πτυχών εκτός από τα ποσοτικά χαρακτηριστικά, στη διαδικασία διαλογής, σε ουσιαστικές παραλλαγές. Οι υπάρχουσες τεχνικές συσταδοποίησης εξετάζονται αυστηρά ως προς την αποτελεσματικότητά τους στην ανακατασκευή του χώρου, καθώς και ως προς τις δυνατότητές τους για την ανάπτυξη ενός μοντέλου εκτός σύνδεσης. Ο προσανατολισμός των επιπέδων κοπής υπολογίζεται με την μεταφορά των πληθυσμών δεδομένων στον πλήρη χώρο και την ομαδοποίηση των αντίστοιχων κανονικών διανυσμάτων τους, χωρίς αξιοσημείωτη βελτίωση. Η συγκριτική ανάλυση και η επιλογή των επιπέδων κοπής επεκτείνεται σε επαναλήψεις με τη χρήση χρονικών ροών δεδομένων και την αντιμετώπιση της συγγραμμικότητας. Τα υπολογιστικά αποτελέσματα δείχνουν σημαντική επιτάχυνση για τα μικρότερα προβλήματα, επιβεβαιώνοντας τη διαίσθηση των αλληλοεπικαλυπτόμενων πληροφοριών. Συνολικά, αυτή η εργασία δείχνει πολλά υποσχόμενα αποτελέσματα, επεκτείνοντας ουσιαστικά τις προηγούμενες ερευνητικές δραστηριότητες και προτρέποντας την περαιτέρω ανάπτυξη μοντέλων μηχανικής μάθησης που εξετάζουν τα τοπολογικά χαρακτηριστικά των επιπέδων κοπής χαμηλών διαστάσεων από διαφορετικούς υποχώρους, στον ολοδιάστατο χώρο.	el
heal.abstract	Deterministically solving a large nonconvex optimization problem in a robust manner remains an ongoing challenge in the field of global optimization. Decomposition and Outer-Approximation techniques form the core of state-of-the-art research, with a focus on employing efficient and lightweight relaxation schemes to replace strong, yet memory-intensive, semidefinite programming (SDP) relaxations. However, nonconvex instances with just a few hundred variables present a challenge for current commercial solvers. The positive semidefinite (PSD) cone, generated to separate the incumbent solution, can be approximated by a semi-infinite number of cutting planes. A low-dimensional approach addresses the computational overhead of dense multi-variable linear cuts, but results in large populations of available cutting planes to select from. Advanced, data-intensive technologies emerge as powerful and arguably essential tools to overcome the longstanding pitfall of scaling up, yet they remain relatively unexplored. The selection of the tightest set of cuts in each iteration to update the linear relaxation is pivotal to the solver's performance. Leveraging machine learning tools to explore underlying topological structures, this work builds on innovations by Baltean et al. and proposes novel cut selection methods. Computational experiments focus on a library of box-constrained Quadratic Programs (QPs) due to their simplicity and expressiveness, featuring varying sparsity and dimensionality patterns. Improved performance is demonstrated across all instances by incorporating qualitative spatial aspects, in addition to quantitative feasibility features, into the screening process, in meaningful variations. Off-the-shelf clustering techniques are rigorously examined for their effectiveness in reconstructing space and their potential for developing an offline model. The orientation of the cutting planes is accounted for by transforming the data populations to the full space and clustering their corresponding normal vectors, with no notable improvement. Comparative analysis and selection of cuts are extended across iterations by utilizing temporal data streams and addressing collinearity. Computational results demonstrate significant acceleration for the smallest instances tested, confirming the intuition of overlapping information. Overall, this work shows promising results, substantially expanding on previous research activities and prompting further development of machine learning models to examine the topological features of low-dimensional cutting planes from different subspaces in the full-dimensional space.	en
heal.advisorName	Κοκόσης, Αντώνης	el
heal.committeeMemberName	Σαρίμβεης, Χαράλαμπος	el
heal.committeeMemberName	Δέτση, Αναστασία	el
heal.committeeMemberName	Κοκόσης, Αντώνης	el
heal.academicPublisher	Εθνικό Μετσόβιο Πολυτεχνείο. Σχολή Χημικών Μηχανικών	el
heal.academicPublisherID	ntua
heal.numberOfPages	141 σ.	el
heal.fullTextAvailability	false