Μηχανισμοί Βαθιάς Ενισχυτικής Μάθησης για Αποτελεσματική Δυναμική Κατανομή Πόρων σε Εγγενείς Εφαρμογές  Νέφους

Μπαρής, Γεώργιος; Mparis, Georgios

dc.contributor.author	Μπαρής, Γεώργιος	el
dc.contributor.author	Mparis, Georgios	en
dc.date.accessioned	2025-12-03T07:13:07Z
dc.date.available	2025-12-03T07:13:07Z
dc.identifier.uri	https://dspace.lib.ntua.gr/xmlui/handle/123456789/62961
dc.identifier.uri	http://dx.doi.org/10.26240/heal.ntua.30657
dc.rights	Default License
dc.subject	Κατανομή Πόρων	el
dc.subject	Yπολογιστικό Nέφος	el
dc.subject	Πρόβλεψη Φόρτου Εργασίας	el
dc.subject	Βαθιά Ενισχυτική Μάθηση	el
dc.subject	Deep Reinforcement Learning	en
dc.subject	Resource Allocation	en
dc.subject	Cloud Computing	en
dc.subject	Edge Computing	en
dc.subject	Workload Forecasting	en
dc.title	Μηχανισμοί Βαθιάς Ενισχυτικής Μάθησης για Αποτελεσματική Δυναμική Κατανομή Πόρων σε Εγγενείς Εφαρμογές Νέφους	el
dc.title	Deep Reinforcement Learning Mechanisms for Efficient Dynamic Resource Management in Cloud-Native Applications	en
dc.contributor.department	HIGH SPEED COMMUNICATION NETWORKS LABORATORY	el
heal.type	bachelorThesis
heal.classification	Cloud Computing	en
heal.language	en
heal.access	free
heal.recordProvider	ntua	el
heal.publicationDate	2025-06-27
heal.abstract	Effectively managing computational resources in modern cloud-native infrastructures is a challenging task due to their elastic scalability and the heterogeneous nature of their workloads. This thesis introduces a two-phase framework for intelligent resource allocation in hierarchical edge-cloud systems, integrating deep reinforcement learning (DRL) with predictive modeling using deep learning techniques. In the first phase, neural sequence models—specifically Long Short-Term Memory (LSTM) and Transformer architectures—are trained on the Alibaba Cloud Trace dataset to forecast workload telemetry, such as CPU utilization, in containerized batch workloads. Experimental comparisons across standard regression metrics (RMSE, MAE, and R2) consistently show that the Transformer model outperforms LSTM in both accuracy and temporal consistency. With a forecasting accuracy of R2 = 0.850 and minimal variance across test scenarios, the Transformer demonstrates strong capabilities in capturing complex temporal patterns, making it highly suitable for proactive autoscaling strategies. The second phase formulates the resource allocation task as a Markov Decision Process (MDP) and utilizes a Deep Q-Network (DQN) agent to learn optimal job placement policies. A custom simulation environment— developed using Gymnasium and Ray RLlib—models real-world infrastructure with near-edge, far-edge, and cloud clusters, each characterized by unique latency, cost, and energy profiles. The environment incorporates dynamic job arrivals, priority-aware scheduling, and latency-sensitive reward shaping. To ensure scalabil- ity and reflect distributed system conditions, the framework is extended into a multi-agent system where independent gateways operate concurrently over shared infrastructure. Comprehensive evaluation of the system under both real and Transformer-generated synthetic workloads demonstrates high allocation success rates, efficient edge resource utilization, low average job cost, and strong energy performance. Notably, Transformer-generated workloads yield enhanced policy stability (20–25% im- provement) and more realistic workload characteristics compared to other synthetic generation methods. Performance indicators such as reward-to-cost ratio and reward-per-kWh validate the economic and opera- tional advantages of the DRL-based approach under synthetic testing. Overall, the proposed framework showcases the potential of integrating advanced Transformer-based workload forecasting with DRL for real-time, adaptive resource management in cloud-native environments. The results support the development of intelligent autoscaling mechanisms capable of satisfying latency, cost, and energy requirements in emerging edge-cloud applications through accurate prediction and stable policy execution.	en
heal.abstract	Οι υποδομές που λειτουργούν σε περιβάλλοντα υπολογιστικού νέφους, που χαρακτηρίζονται από τον ετερογενή φόρτο εργασίας τους, θέτουν σημαντικές προκλήσεις στην αποτελεσματική διαχείριση των υπολογιστικών πόρων σε διαφορετικά περιβάλλοντα εκτέλεσης. Σε αυτή τη διπλωματική, προτείνουμε ένα πλαίσιο δύο σταδίων που συνδυάζει την πρόβλεψη φόρτου εργασίας με χρήση βαθιάς μάθησης με την βαθιά ενισχυτική μάθηση (DRL) για την έξυπνη κατανομή πόρων σε ιεραρχικά συστήματα edge-cloud. Στην πρώτη φάση, χρησιμοποιούνται μοντέλα νευρωνικών δικτύων —συγκεκριμένα αρχιτεκτονικές Μακράς Βραχύχρονης Μνήμη (LSTM) και Transformer—τα οποία εκπαιδεύονται στο σύνολο δεδομένων Alibaba Cloud Trace για την πρόβλεψη μελλοντικού φόρτου εργασιών. Πειραματικές συγκρίσεις βάσει μετρικών παλινδρόμησης (RMSE, MAE, και R2) δείχνουν ότι το μοντέλο Transformer υπερτερεί σταθερά του LSTM ως προς την ακρίβεια και τη χρονική συνέπεια. Με ακρίβεια πρόβλεψης R2 = 0.850 και ελάχιστη διακύμανση μεταξύ διαφορε- τικών συνθηκών δοκιμής, το Transformer αναδεικνύεται ως ισχυρό εργαλείο. Το δεύτερο στάδιο διατυπώνει το πρόβλημα κατανομής πόρων ως διαδικασία απόφασης Markov (MDP) και εφαρμόζει Deep Q-Network (DQN) για να μάθει βελτιστοποιημένες πολιτικές κατανομής πόρων. Το προσαρμοσμένο περιβάλλον προσομοίωσης, που έχει δημιουργηθεί χρησιμοποιώντας το Gymnasium και το Ray RLlib, αποτυπώνει την πολυπλοκότητα της πραγματικής υποδομής με συνδυασμό near edge, far edge και cloud υποδομών, το καθένα με ξεχωριστά χαρακτηριστικά καθυστέρησης, κόστους και ενέργειας. Το περιβάλλον λαμβάνει υπόψη την προτεραιότητα με βάση την ανοχή στην καθυστέρηση που έχει η κάθε εφαρμογή, τον προγραμματισμό με επίγνωση των προ- τεραιοτήτων και τα δυναμικά μοτίβα άφιξης εργασίας. Για να διασφαλιστεί η επεκτασιμότητα και ο ρεαλισμός, το μοντέλο επεκτείνεται περαιτέρω σε ένα περιβάλλον πολλαπλών πρακτόρων, όπου ανεξάρτητες πύλες δικτύου αλληλεπιδρούν μέσω κοινής υποδομής. Η αξιολόγηση του συστήματος, τόσο με πραγματικά όσο και με συν- θετικά δεδομένα παραγόμενα από Transformer, καταδεικνύει υψηλά ποσοστά επιτυχούς κατανομής, αυξημένη χρήση των πόρων στα επίπεδα edge, χαμηλό μέσο κόστος ανά εργασία και σημαντική ενεργειακή αποδοτικότητα. Τα συνθετικά φορτία του Transformer παρουσιάζουν ικανοποιητική ποιότητα, με βελτίωση της σταθερότητας της πολιτικής κατά 20–25% και πιο ρεαλιστικά χαρακτηριστικά φόρτου σε σχέση με άλλες μεθόδους παραγωγής. Δείκτες όπως ο λόγος ανταμοιβής προς κόστος και η ανταμοιβή ανά κιλοβατώρα επιβεβαιώνουν την ευφυή και οικονομικά αποδοτική λειτουργία της προσέγγισης DRL. Συνολικά, το προτεινόμενο σύστημα παρουσιάζει τη δυνατότητα συνδυασμού προγνωστικών μοντέλων και DRL για διαχείριση πόρων σε πραγματικό χρόνο σε υπολογιστές εγγενούς νέφους. Τα αποτελέσματα αυτής της εργασίας υποστηρίζουν την ανάπτυξη έξυπνων μηχανισμών που μπορούν να ικανοποιήσουν τις απαιτήσεις κα- θυστέρησης, κόστους και ενέργειας των εφαρμογών.	el
heal.advisorName	Εμμανουήλ, Βαρβαρίγος
heal.committeeMemberName	Βαρβαρίγου, Θεοδώρα	el
heal.committeeMemberName	Αβραμόπουλος, Ηρακλής	el
heal.academicPublisher	Εθνικό Μετσόβιο Πολυτεχνείο. Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών. Τομέας Επικοινωνιών, Ηλεκτρονικής και Συστημάτων Πληροφορικής. Εργαστήριο Δικτύων Υπολογιστών	el
heal.academicPublisherID	ntua
heal.numberOfPages	116
heal.fullTextAvailability	false