Κατανεμημένη ενισχυτική μάθηση για τη βέλτιστη διαχείριση κατανεμημένων μπαταριών σε smart grids

Παπαδοστεφανάκη, Μαριάννα; Papadostefanaki, Marianna

dc.contributor.author	Παπαδοστεφανάκη, Μαριάννα	el
dc.contributor.author	Papadostefanaki, Marianna	en
dc.date.accessioned	2024-06-05T07:48:47Z
dc.date.available	2024-06-05T07:48:47Z
dc.identifier.uri	https://dspace.lib.ntua.gr/xmlui/handle/123456789/59640
dc.identifier.uri	http://dx.doi.org/10.26240/heal.ntua.27336
dc.rights	Αναφορά Δημιουργού-Μη Εμπορική Χρήση-Όχι Παράγωγα Έργα 3.0 Ελλάδα	*
dc.rights	Αναφορά Δημιουργού-Μη Εμπορική Χρήση-Όχι Παράγωγα Έργα 3.0 Ελλάδα	*
dc.rights	Αναφορά Δημιουργού-Μη Εμπορική Χρήση-Όχι Παράγωγα Έργα 3.0 Ελλάδα	*
dc.rights.uri	http://creativecommons.org/licenses/by-nc-nd/3.0/gr/	*
dc.subject	Έξυπνα δίκτυα ενέργειας	el
dc.subject	Συστήματα αποθήκευσης ενέργειας με μπαταρίες	el
dc.subject	Κατανεμημένος έλεγχος μπαταριών	el
dc.subject	Κυρτή βελτιστοποίηση	el
dc.subject	Ενισχυτική μάθηση πολλαπλών πρακτόρων	el
dc.subject	Smart grids	en
dc.subject	Battery energy storage systems	en
dc.subject	Distributed batteries control	en
dc.subject	Convex optimization	en
dc.subject	Multi-agent reinforcement learning	en
dc.title	Κατανεμημένη ενισχυτική μάθηση για τη βέλτιστη διαχείριση κατανεμημένων μπαταριών σε smart grids	el
heal.type	bachelorThesis
heal.classification	Διαχείριση ενέργειας	el
heal.classification	Μηχανική μάθηση	el
heal.language	el
heal.access	free
heal.recordProvider	ntua	el
heal.publicationDate	2024-03-05
heal.abstract	Τα τελευταία χρόνια η ενσωμάτωση ανανεώσιμων πηγών ενέργειας στα έξυπνα δίκτυα ενέργειας παρουσιάζει αξιοσημείωτη αύξηση. Ωστόσο, η ζήτηση σε ενέργεια πρέπει να είναι πάντα σε ισορροπία με την προσφορά. Για να επιτευχθεί αυτό, εξαιτίας της αβεβαιότητας που διέπει την παραγωγή ενέργειας από τις ανανεώσιμες πηγές, προκύπτει η ανάγκη αυξημένης ποσότητας αποθεμάτων. Ωστόσο, τα αποθέματα αυτά είναι δαπανηρά και οδηγούν σε αυξημένα λειτουργικά και επενδυτικά κόστη για το έξυπνο δίκτυο. Μια στρατηγική για τη μείωση της ποσότητας των απαιτούμενων αποθεμάτων, είναι η χρήση συστημάτων αποθήκευσης ενέργειας, όπως μπαταρίες, που μπορούν να απορροφήσουν την αβεβαιότητα των ανανεώσιμων πηγών ενέργειας. Οι μπαταρίες μπορούν για παράδειγμα, να καταναλώνουν ενέργεια όταν υπάρχει υπερ-παραγωγή από τις ανανεώσιμες πηγές και να απελευθερώνουν αυτήν την ενέργεια όταν η ζήτηση είναι υψηλότερη από την παραγωγή. Προκειμένου να αξιοποιήσουμε στο έπακρο τις δυνατότητες των μπαταριών είναι απαραίτητο να ελέγχουμε τη λειτουργία τους κατά το βέλτιστο τρόπο. Ο έλεγχος πολλαπλών μπαταριών, λαμβάνοντας υπόψιν τους περιορισμούς καθεμίας εξ αυτών, μπορεί να μοντελοποιηθεί ως ένα πρόβλημα βελτιστοποίησης πολλαπλών σταδίων. Αυτό το είδος προβλημάτων επιλύεται τυπικά μέσω του Model Predictive Control. Στην παρούσα διπλωματική εργασία μελετάμε τον βέλτιστο σε πραγματικό χρόνο έλεγχο πολλαπλών μπαταριών στα έξυπνα δίκτυα, χρησιμοποιώντας ενισχυτική μάθηση πολλαπλών πρακτόρων. Η ενισχυτική μάθηση αποτελεί ένα πεδίο της μηχανικής μάθησης που επιχειρεί να βελτιστοποιήσει την συμπεριφορά ενός πράκτορα ή ελεγκτή που αλληλεπιδρά με το περιβάλλον του με στόχο να μεγιστοποιήσει τη συνολική ανταμοιβή του. Όταν ένας κεντρικός πράκτορας λαμβάνει κεντρικές αποφάσεις για όλους τους άλλους πράκτορες, ανακύπτουν ζητήματα πολυπλοκότητας και δυνατότητας εφαρμογής. Επομένως, σε αυτό το έργο, αναπτύσσουμε δύο συστήματα κατανεμημένου ελέγχου μπαταριών, εφαρμόζοντας τον αλγόριθμο MADDPG. Μοντελοποιούμε το πρόβλημα ως Μαρκοβιανή Διαδικασία Απόφασης και αναθέτουμε σε κάθε μπαταρία έναν διαφορετικό πράκτορα για τη λήψη των αποφάσεων. Στο πρώτο σύστημα συνδυάζουμε τον MADDPG με μια παραδοσιακή τεχνική βελτιστοποίησης, τη Lagrangian Decomposition, που διασπά το αρχικό πρόβλημα σε υποπροβλήματα. Η συνεργασία και ο συντονισμός μεταξύ των διαφορετικών πρακτόρων επιτυγχάνεται μέσω του κοινού πολλαπλασιαστή Lagrange. Στο δεύτερο σύστημα, εφαρμόζουμε τον αλγόριθμο MADDPG στο συνολικό πρόβλημα, χωρίς να χρησιμοποιήσουμε τη Lagrangian Decomposition. Τα δύο συστήματα συγκρίνονται μεταξύ τους αλλά και με τη μέθοδο Model Predictive Control, ως προς την επίδοση και την υπολογιστική τους πολυπλοκότητα.	el
heal.abstract	In recent years, smart grids have been characterized by an increasing penetration of uncertain renewable energy sources. However, in smart grids, the energy demand should always be in balance with the supply. To achieve this, due to the uncertainty of renewable energy generation, the need for an increasing amount of reserves emerges. However, the reserves are costly and lead to increased operational and investment costs for the smart grid. One potential strategy to reduce the amount of required reserves is to deploy energy storage systems, such as batteries, which can absorb the uncertainty of renewable energy sources. The batteries can e.g., charge to consume energy when there is overgeneration of energy by the renewable energy sources and discharge to provide extra energy when the demand is higher than the supply. In order to exploit the full potential of the batteries, it is necessary to optimally control them. Controlling multiple batteries while taking into account the lookahead constraints of each one of them can be modeled as a multi-step optimization problem. This type of problem is commonly solved using Model Predictive Control. In this diploma thesis, we study the optimal real-time control of multiple batteries in smart grids using multi-agent reinforcement learning. Reinforcement learning is an area of machine learning that tries to optimize the behavior of an agent or controller that interacts with its environment so as to maximize some notion of cumulative reward. Complexity and applicability issues arise when a single agent takes central decisions for all batteries in the smart grid. To this end, here we develop two distributed battery control schemes using the MADDPG algorithm. We formulate the problem as a Markov Decision Process and we assign a different decision agent per battery. In the first system, we integrate the MADDPG with a traditional convex optimization technique, Lagrangian Decomposition, that decomposes the original problem into subproblems. Cooperation and coordination among the different agents are achieved via the the common Lagrange multiplier. In the second system, we implement the MADDPG algorithm into the original problem without using Lagrangian Decomposition. The two systems are compared with each other as well as with the Model Predictive Control in terms of performance and computational complexity.	en
heal.advisorName	Παπαβασιλείου, Συµεών	el
heal.committeeMemberName	Ρουσσάκη, Ιωάννα	el
heal.committeeMemberName	Καρυώτης, Βασίλειος	el
heal.academicPublisher	Εθνικό Μετσόβιο Πολυτεχνείο. Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών. Τομέας Επικοινωνιών, Ηλεκτρονικής και Συστημάτων Πληροφορικής	el
heal.academicPublisherID	ntua
heal.numberOfPages	94 σ.	el
heal.fullTextAvailability	false