Decision-Making in Stochastic Environments Using Diffusion Models

Zarifis, Stylianos; Ζαρίφης, Στυλιανός

dc.contributor.author	Zarifis, Stylianos	en
dc.contributor.author	Ζαρίφης, Στυλιανός	el
dc.date.accessioned	2025-11-26T07:46:33Z
dc.date.available	2025-11-26T07:46:33Z
dc.identifier.uri	https://dspace.lib.ntua.gr/xmlui/handle/123456789/62937
dc.identifier.uri	http://dx.doi.org/10.26240/heal.ntua.30633
dc.rights	Αναφορά Δημιουργού-Μη Εμπορική Χρήση-Όχι Παράγωγα Έργα 3.0 Ελλάδα	*
dc.rights.uri	http://creativecommons.org/licenses/by-nc-nd/3.0/gr/	*
dc.subject	Diffusion Models	en
dc.subject	Time Series Forecasting	en
dc.subject	Model Predictive Control	en
dc.subject	Uncertainty Quantification	en
dc.subject	Scenario Trees	en
dc.subject	Machine Learning	en
dc.subject	Deep Learning	en
dc.subject	Reinforcement Learning	en
dc.subject	Energy Markets	en
dc.subject	Μοντέλα Διάχυσης	el
dc.subject	Πρόβλεψη Χρονοσειρών	el
dc.subject	Προβλεπτικός Έλεγχος	el
dc.subject	Ποσοτικοποίηση Αβεβαιότητας	el
dc.subject	Δέντρα Σεναρίων	el
dc.subject	Μηχανική Μάθηση	el
dc.subject	Βαθιά Μάθηση	el
dc.subject	Ενισχυτική Μάθηση	el
dc.subject	Αγορές Ενέργειας	el
dc.title	Decision-Making in Stochastic Environments Using Diffusion Models	en
dc.title	Λήψη Αποφάσεων σε Στοχαστικά Περιβάλλοντα με Χρήση Μοντέλων Διάχυσης	el
dc.contributor.department	Division of Signals, Control and Robotics	el
heal.type	bachelorThesis
heal.classification	Machine Learning	en
heal.classification	Μηχανική Μάθηση	el
heal.language	el
heal.language	en
heal.access	free
heal.recordProvider	ntua	el
heal.publicationDate	2025-06-18
heal.abstract	Sequential decision‐making under uncertainty is a difficult task in many real‐world applications, and standard optimization methods often fail to capture complex stochastic dynamics, leading to suboptimal control. This thesis investigates the integration of diffusion‐based probabilistic forecasting in Model Predictive Control (MPC) to enhance decision-making in partially observable, stochastic systems. In this Thesis, we develop Diffusion‐Informed Model Predictive Control (D–I MPC), a unified framework that integrates powerful diffusion‐based probabilistic forecasting into MPC. Our approach generates an ensemble of future trajectories for the evolution of the system, using a diffusion model and then applies several MPC variants: deterministic MPC, stochastic MPC, multi-stage scenario tree-based MPC, and heuristic-augmented MPC. We demonstrate the effectiveness of D–I MPC on an energy‐arbitrage task with a battery energy storage system in the New York day‐ahead electricity market, where it consistently outperforms MPC implementations driven by classical forecasters and model‐free reinforcement‐learning baselines, and additionally it performs closely to idealized implementations that use perfect forecasts in their optimization processes.	en
heal.abstract	Η διαδοχική λήψη αποφάσεων υπό αβεβαιότητα αποτελεί απαιτητική πρόκληση σε πολλές εφαρμογές, και οι κλασικές μέθοδοι βελτιστοποίησης συχνά δεν μπορούν να διαχειριστούν την πολυπλοκότητα της δυναμικής στοχαστικών συστημάτων, οδηγώντας σε υποβέλτιστο έλεγχο. Στην παρούσα Διπλωματική Εργασία μελετάται η ενσωμάτωση πιθανοτικών προβλέψεων με βάση τα μοντέλα διάχυσης στον Προβλεπτικό Έλεγχο για τη βελτίωση της λήψης αποφάσεων σε μερικώς παρατηρήσιμα, στοχαστικά συστήματα. Συγκεκριμένα, αναπτύσσουμε το πλαίσιο Diffusion-Informed Model Predictive Control (D-I MPC), το οποίο ενσωματώνει τις ισχυρές πιθανοτικές προβλέψεις των μοντέλων διάχυσης στον Προβλεπτικό Έλεγχο. Η προσέγγισή μας παράγει ένα σύνολο προσομοιώσεων της εξέλιξης του συστήματος προς έλεγχο, μέσω ενός μοντέλου διάχυσης και στη συνέχεια εφαρμόζει διάφορες παραλλαγές Προβλεπτικού Ελέγχου: ντετερμινιστικός έλεχγος, στοχαστικός έλεγχος, έλεγχος με δέντρα σεναρίων σε πολλαπλά στάδια και έλεγχος εμπλουτισμένος με ευρετικές. Δείχνουμε την αποτελεσματικότητα του D-I MPC σε ένα σενάριο ενεργειακής εξισορροπητικής κερδοσκοπίας με χρήση ενός συστήματος αποθήκευσης ενέργειας στην αγορά ηλεκτρικής ενέργειας της Νέας Υόρκης. Το D-I MPC υπερέχει συστηματικά των υλοποιήσεων Προβλεπτικού Ελέγχου που στηρίζονται σε κλασικά προβλεπτικά μοντέλα και έναντι μεθόδων ενισχυτικής μάθησης χωρίς μοντέλο, και επιπλέον προσεγγίζει την απόδοση ιδεατών υλοποιήσεων που υποθέτουν τέλειες προβλέψεις στη διαδικασία βελτιστοποίησης.	el
heal.advisorName	Maragos, Petros	en
heal.committeeMemberName	Maragos, Petros
heal.committeeMemberName	Kordonis, Ioannis
heal.committeeMemberName	Potamianos, Gerasimos
heal.academicPublisher	Εθνικό Μετσόβιο Πολυτεχνείο. Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών. Τομέας Σημάτων, Ελέγχου και Ρομποτικής. Εργαστήριο Ρομποτικής και Αυτοματισμού	el
heal.academicPublisherID	ntua
heal.numberOfPages	209
heal.fullTextAvailability	false