Reachability Analysis Optimal Control

Κωστόπουλος, Κωνσταντίνος; Kostopoulos, Konstantinos

dc.contributor.author	Κωστόπουλος, Κωνσταντίνος	el
dc.contributor.author	Kostopoulos, Konstantinos	en
dc.date.accessioned	2024-05-29T08:39:57Z
dc.date.available	2024-05-29T08:39:57Z
dc.identifier.uri	https://dspace.lib.ntua.gr/xmlui/handle/123456789/59561
dc.identifier.uri	http://dx.doi.org/10.26240/heal.ntua.27257
dc.rights	Αναφορά Δημιουργού-Μη Εμπορική Χρήση-Όχι Παράγωγα Έργα 3.0 Ελλάδα	*
dc.rights.uri	http://creativecommons.org/licenses/by-nc-nd/3.0/gr/	*
dc.subject	Βέλτιστος Έλεγχος	el
dc.subject	Ενισχυτική Μάθηση	el
dc.subject	Ανάλυση Προσπελασιμότητας	el
dc.subject	Reachability Analysis	en
dc.subject	Q-Learning	en
dc.subject	Reinforcement Learning	en
dc.subject	Reachability Decomposition	en
dc.subject	Actor-Critic	en
dc.title	Reachability Analysis Optimal Control	en
heal.type	bachelorThesis
heal.classification	Έλεγχος	el
heal.language	el
heal.access	free
heal.recordProvider	ntua	el
heal.publicationDate	2023-08-12
heal.abstract	Αυτή η διπλωµατική διερευνά το Βέλτιστο ΄Ελεγχο (Optimal Control) µέσω Ανάλυσης Προσπελασιµότητας (Reachability Analysis). Αποσαφηνίζει κατάρχάς τα ϐασικά στοιχεία του ϐέλτιστου ελέγχου και την αξία που προσδίδει στον έλεγχο συστηµάτων. Συνεχίζει µε ϑεωρία και εφαρµογές στα Προσπελάσιµα Συνόλα (Reachable Sets), καθώς και στη χρήση του δυναµικού προγραµµατισµού στην Reach-Avoid ανάλυση, µια µέθοδο επίλυσης προβληµάτων ϐέλτιστου ελέγχου µε στόχο την επίτευξη ενός στόχου µε παράκαµψη εµποδίων. Συζητείται επίσης η έννοια της Αποσύνθεσης Προσπελασιµότητας (Reachability Decomposition), η οποία απλοποιεί τα προβλήµατα προσπελασιµότητας υψηλών διαστάσεων. Η µελέτη εφαρµόζει αυτές τις ϑεωρίες σε ένα σύστηµα quadrotor 6 διαστάσεων, συγκρίνοντας τα αποτελέσµατα της παραδοσιακής ανάλυσης προσπελασιµότητας µε την αποσύνθεση προσπελασιµότητας, αναδεικνύοντας την αποτελεσµατικότητα της τελευταίας. Στη συνέχεια, διερευνά πώς η Ενισχυτική Μάθηση (RL), µια τεχνική µηχανικής µάθησης λήψης αποφάσεων, µπορεί να ενσωµατωθεί στην Ανάλυση Προσπελασιµότητας. Παρουσιάζεται η προσοµοίωση ενός συστήµατος 6∆ σεληνιακής προσεδάφισης, µε τη χρήση RL Reachability Analysis και RL Reachability Decomposition. Τα ευρήµατα αναδεικνύουν τα πλεονεκτήµατα και τα µειονεκτήµατα κάθε µεθόδου. Στο κύριο µέρος αυτής της διατριβής, χρησιµοποιούµε την ανάλυση προσπελασιµότητας για να επινοήσουµε ένα zero-sum game µε model-free, actor-critic Q-learning προσέγγιση για τον υπολογισµό προσπελάσιµων συνόλων σε γραµµικά ή γραµµικοποιήσιµα συστήµατα, ακόµη και παρουσία διαταραχών. Αρχικά παρουσιάζουµε το δίκτυο κριτικών (critic network) που χρησιµοποιείται στην προσέγγισή µας, το οποίο αποτελείται από έναν κριτικό και δύο ηθοποιούς : έναν για τον ελεγκτή και έναν για τη διαταραχή. Στη συνέχεια, εισάγουµε µια επαυξηµένη κατάσταση που ξαναγράφει τη συνάρτηση πλεονεκτήµατος που εξαρτάται από τη δράση των προϐληµάτων προσπελασιµότητας σε συµπαγή µορφή. Στη συνέχεια, σχεδιάζουµε έναν αλγόριθµο που προσεγγίζει τη ϐέλτιστη πολιτική, υπολογίζει το προσβάσιµο σύνολο και είναι ϐελτιστοποιηµένος ως προς τη χρονική πολυπλοκότητα. Τέλος, δείχνουµε την αποτελεσµατικότητα του πλαισίου µας µέσω παραδειγµάτων προσοµοίωσης.	el
heal.abstract	This Master’s thesis investigates optimal control via Reachability Analysis. It first clarifies the basics of optimal control and the value it brings to system control. The focus then shifts to the theory and applications of reachable sets, and the use of dynamic programming in Reach-Avoid Analysis, a method to solve optimal control problems with the aim of reaching a target while circumventing obstacles. The concept of Reachability Decomposition, which simplifies high-dimensional reachability problems, is also discussed. The study applies these theories to a 6D quadrotor system, comparing the results of traditional reachability analysis with reachability decomposition, highlighting the effectiveness of the latter. It then explores how Reinforcement Learning (RL), a decision-making machine learning technique, can be incorporated into reachability analysis. A 6D lunar lander system simulation is presented, using RL Reachability Analysis and RL Reachability Decomposition. The findings provide insights into the pros and cons of each method in complex control environments. In the main part of this thesis, we use reachability analysis to devise a zero-sum game with a model-free, actor-critic Q-learning approach for computing reachable sets in linear or linearizable systems, even in the presence of disturbances. We first introduce the critic network that is utilized in our approach, which consists of a critic and two actors: one for the controller and one for the disturbance. Next, we introduce an augmented state that rewrites the action-dependent advantage function of reachability problems in a compact form. We then design an algorithm that approximates the optimal policy, calculates the reachable set and is optimized in terms of time complexity. We finally show the efficacy of our framework through simulation examples	en
heal.advisorName	Ψυλλάκης, Χαράλαμπος	el
heal.advisorName	Βαμβουδάκης, Κυριάκος	el
heal.committeeMemberName	Τζαφέστας, Κωνσταντίνος	el
heal.academicPublisher	Εθνικό Μετσόβιο Πολυτεχνείο. Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών. Τομέας Σημάτων, Ελέγχου και Ρομποτικής	el
heal.academicPublisherID	ntua
heal.numberOfPages	92 σ.	el
heal.fullTextAvailability	false