Efficient Resource Allocation for Data Centers with Dynamic Optical Network Infrastructure

Kontodimas, Konstantinos; Κοντοδήμας, Κωνσταντίνος

dc.contributor.author	Kontodimas, Konstantinos
dc.contributor.author	Κοντοδήμας, Κωνσταντίνος
dc.date.accessioned	2024-05-28T10:00:27Z
dc.identifier.uri	https://dspace.lib.ntua.gr/xmlui/handle/123456789/59527
dc.identifier.uri	http://dx.doi.org/10.26240/heal.ntua.27223
dc.rights	Default License
dc.subject	Data center networks	en
dc.subject	Cloud computing	en
dc.subject	Edge computing	en
dc.subject	Distributed storage systems	en
dc.subject	Optimization methods	en
dc.subject	Δίκτυα κέντρων δεδομένων	el
dc.subject	Υπολογιστικό νέφος	el
dc.subject	Υπολογιστική παρυφής	el
dc.subject	Κατανεμημένα συστήματα αποθήκευσης	el
dc.subject	Μέθοδοι βελτιστοποίησης	el
dc.title	Efficient Resource Allocation for Data Centers with Dynamic Optical Network Infrastructure	en
dc.contributor.department	Τομέας Επικοινωνιών, Ηλεκτρονικής και Συστημάτων Πληροφορικής	el
heal.type	doctoralThesis
heal.secondaryTitle	Αποδοτική Ανάθεση Πόρων σε Κέντρα Δεδομένων με Δυναμικές Οπτικές Δικτυακές Υποδομές	el
heal.classification	Computer engineering	en
heal.classification	Network engineering	el
heal.classification	Information technology	el
heal.dateAvailable	2025-05-27T21:00:00Z
heal.language	en
heal.access	embargo
heal.recordProvider	ntua	el
heal.publicationDate	2023-11-29
heal.abstract	We investigate resource orchestration in a data center interconnection network, which relies on hybrid electro-optical top-of-rack switches to interconnect servers over multi-wavelength optical rings. The bandwidth of the rings is shared, and an efficient utilization of the infrastructure calls for coordination in the time, space, and wavelength domains. To this end, we present offline and incremental dynamic resource assignment algorithms. The algorithms are suitable for implementation in a software defined network control plane, achieving efficient, collision-free, and on demand capacity use. Our simulation results indicate that the proposed algorithms can achieve high utilization and low latency in a variety of traffic scenarios that include hot spots and/or rapidly changing traffic. Furthermore, we evaluate the effect of the control plane delay and traffic estimation policies, using the OMNET++ packet-level simulator with realistic MapReduce traffic. Next, we propose a DCN fabric that relies on a "Lean" optical switch design with limited but scalable configurability. This design offers high reconfiguration speeds, real-time scheduling, efficient network control, and a low number of switching elements. To achieve these objectives, we relax the non-blocking network requirement and opt for partially configurable switching modules, limiting the control capability of the scheduler and reducing control overhead. We compare our proposed network with the RotorNet architecture, which operates with fully distributed control, and the Mordia architecture, which operates with centralized control. Each architecture achieves varying levels of functionality and offers distinct advantages. The proposed solution lies in the middle of the other two approaches and combines the benefits of both of them. Additionally, we analyze the crosspoint complexities of the proposed and the aforementioned reference architectures, and evaluate their throughput and latency performance through simulations. Finally, we enhance RotorNet using breakout to control latency, partial configurability with centralized control, and an adaptive scheduling policy that learns and optimizes resource allocation dynamically. Finally, we examine the problem of the secure distributed storage in heterogeneous cloud-edge environments. Distributed storage systems spanning across different cloud data centers have substantially improved availability and flexibility for data storage and retrieval operations. However, stringent latency requirements of emerging applications necessitate optimized selection of storage resources that exhibit smaller delay. Introducing edge resources into distributed storage systems enables data placement closer to its source, but simultaneously increases the complexity of decision-making and orchestration processes for optimal data placement. In this work, we develop mechanisms for storing data across an infrastructure that includes both edge and cloud resources. Our approach focuses on optimizing data integrity, longevity, security, and cost, while leveraging erasure coding when performing the resource allocation. We first present a comprehensive mixed integer linear programming formulation of the storage resource orchestration problem. As the search space for the optimal solution can be vast and the execution time prohibitively large for real size problems, we also propose an innovative multi-agent heuristic approach that uses the rollout, a reinforcement based policy, to balance performance and execution time efficiently. Through various simulation experiments, we evaluate the developed mechanisms and trade-offs involved in our approach. By incorporating data from a multi-cloud provider, we further enhance the validity of the simulations and the conclusions drawn.	en
heal.abstract	Μελετούμε την ενορχήστρωσης πόρων σε διασυνδετικό δίκτυο κέντρου δεδομένων (ΔΚΔ) που βασίζεται σε υβριδικούς ηλεκτροοπτικούς top-of-rack μεταγωγείς για τη σύνδεση των εξυπηρετητών μέσω οπτικών δακτυλίων πολλαπλών μηκών κύματος. Το εύρος ζώνης των δακτυλίων είναι κοινόχρηστο, και η αποδοτική χρήση της υποδομής απαιτεί συντονισμό στα πεδία του χρόνου, του χώρου και του μήκους κύματος. Για τον σκοπό αυτό, παρουσιάζονται offline και incremental δυναμικοί αλγόριθμοι ανάθεσης πόρων. Οι αλγόριθμοι αυτοί είναι κατάλληλοι να υλοποιηθούν σε επίπεδο ελέγχου που χρησιμοποιεί software defined network (SDN), επιτυγχάνοντας αποδοτική, χωρίς συγκρούσεις και κατ' απαίτηση χρήση της χωρητικότητας. Τα αποτελέσματα της προσομοίωσής δείχνουν ότι οι προτεινόμενοι αλγόριθμοι μπορούν να επιτύχουν υψηλή χρησιμοποίηση και χαμηλή καθυστέρηση σε διάφορα σενάρια κίνησης που περιλαμβάνουν hot spots και/ή γρήγορα μεταβαλλόμενη κίνηση. Επιπλέον, για την αξιολόγηση της επίδρασης της καθυστέρησης στο επίπεδο ελέγχου και μεθόδων εκτίμησης της κίνησης, γίνεται χρήση ρεαλιστικής κίνησης MapReduce με τον προσομοιώτη επιπέδου πακέτων OMNET++. Στη συνέχεια, προτείνουμε μια αρχιτεκτονική ΔΚΔ που βασίζεται στον σχεδιασμό ενός οπτικού μεταγωγέα «Lean» με περιορισμένη, αλλά κλιμακούμενη ρυθμισιμότητα (configurability). Αυτός ο σχεδιασμός προσφέρει υψηλές ταχύτητες επαναρρύθμισης, χρονοπρογραμματισμό πραγματικού χρόνου, αποδοτικό έλεγχο του δικτύου και χαμηλό αριθμό στοιχείων μεταγωγής. Για να επιτευχθούν αυτοί οι στόχοι, γίνεται χαλάρωση του non-blocking περιορισμού του δικτύου και επιλέγονται στοιχεία μεταγωγής μερικής ρυθμισιμότητας, περιορίζοντας τη δυνατότητα έλεγχου του χρονοπρογραμματιστή και μειώνοντας την επιβάρυνση της διαδικασίας ελέγχου. Γίνεται σύγκριση του προτεινόμενου δικτύου με την αρχιτεκτονική RotorNet, η οποία λειτουργεί με πλήρως κατανεμημένο έλεγχο, και με την αρχιτεκτονική Mordia, που λειτουργεί κεντρικοποιημένο έλεγχο. Κάθε αρχιτεκτονική πετυχαίνει διαφορετικά επίπεδα λειτουργικότητας (functionality) και προσφέρει διαφορετικά πλεονεκτήματα. Η προτεινόμενη λύση βρίσκεται ανάμεσα στις δύο άλλες δύο προσεγγίσεις και συνδυάζει τα οφέλη και των δύο. Επιπλέον, αναλύονται οι crosspoint πολυπλοκότητες της προτεινόμενης αρχιτεκτονικής και των αρχιτεκτονικών αναφοράς και αξιολογούνται ως προς τη ρυθμαπόδοση και την καθυστέρηση μέσω προσομοιώσεων. Τέλος, εφαρμόζονται βελτιώσεις στο ΔΚΔ RotorNet χρησιμοποιώντας τη μέθοδο breakout για τον έλεγχο της καθυστέρησης του επιπέδου ελέγχου, την εφαρμογή μερικής ρυθμισιμότητας με τη βοήθεια κεντρικοποιημένου ελέγχου, και μιας προσαρμοστικής πολιτικής χρονοπρογραμματισμού που βελτιστοποιεί δυναμικά τις αναθέσεις με βάση τα χαρακτηριστικά της κίνησης. Τέλος, εξετάζουμε το πρόβλημα της ασφαλούς κατανεμημένης αποθήκευσης σε ετερογενή cloud-edge περιβάλλοντα. Τα συστήματα κατανεμημένης αποθήκευσης που εκτείνονται σε διαφορετικά κέντρα δεδομένων του cloud έχουν βελτιώσει σημαντικά τη διαθεσιμότητα και την ευελιξία για λειτουργίες αποθήκευσης και ανάκτησης δεδομένων. Ωστόσο, οι αυστηρές απαιτήσεις χρόνου απόκρισης των νέων εφαρμογών απαιτούν τη βέλτιστη επιλογή αποθηκευτικών πόρων που παρουσιάζουν μικρότερη καθυστέρηση. Η εισαγωγή πόρων edge σε συστήματα κατανεμημένης αποθήκευσης επιτρέπει την τοποθέτηση δεδομένων κοντά στην πηγή τους, αλλά ταυτόχρονα αυξάνει την πολυπλοκότητα στις διαδικασίες λήψης αποφάσεων και ενορχήστρωσης για τη βέλτιστη τοποθέτηση δεδομένων. Αναπτύσσονται μηχανισμοί για την αποθήκευση δεδομένων σε μια υποδομή που περιλαμβάνει τόσο edge, όσο και cloud πόρους. Η προσέγγισή επικεντρώνεται στον βέλτιστο συνδυασμό της ακεραιότητας των δεδομένων, της μακροβιότητάς τους, της ασφάλειας και του κόστους, ενώ χρησιμοποιείται η τεχνική του erasure coding κατά την ανάθεση των πόρων. Αρχικά παρουσιάζεται μια ολοκληρωμένη διατύπωση μεικτού ακέραιου γραμμικού προγραμματισμού για το πρόβλημα της ενορχήστρωσης των πόρων αποθήκευσης. Δεδομένου ότι ο χώρος αναζήτησης για τη βέλτιστη λύση μπορεί να είναι τεράστιος και ο χρόνος εκτέλεσης απαγορευτικά μεγάλος για πραγματικά μεγάλα προβλήματα, προτείνεται επίσης μια multi-agent rollout ευρετική προσέγγιση, για να ισορροπήσει αποδοτικά μεταξύ απόδοσης και χρόνου εκτέλεσης. Μέσω διαφόρων πειραμάτων προσομοίωσης, αξιολογούνται οι μηχανισμοί και οι συμβιβασμοί της προσέγγισής που γίνεται. Ενσωματώνοντας πραγματικά δεδομένα που δόθηκαν από πάροχο multi-cloud, ενισχύοντας περαιτέρω την έγκυροτητα των προσομοιώσεων και των συμπερασμάτων που προκύπτουν.	el
heal.sponsor	μέσω χορήγησης υποτροφίας ΙΚΥ	el
heal.sponsor	μέσω συμμετοχής σε πρόγραμμα Horizon 2020	el
heal.advisorName	Varvarigos, Emmanouel
heal.committeeMemberName	Varvarigos, Emmanouel
heal.committeeMemberName	Avramopoulos, Hercules
heal.committeeMemberName	Papavassiliou, Symeon
heal.committeeMemberName	Varvarigou, Theodora
heal.committeeMemberName	Christodoulopoulos, Konstantinos
heal.committeeMemberName	Kokkinos, Panagiotis
heal.committeeMemberName	Yiannopoulos, Konstantinos
heal.academicPublisher	Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών	el
heal.academicPublisherID	ntua
heal.numberOfPages	180
heal.fullTextAvailability	false
heal.fullTextAvailability	false
heal.fullTextAvailability	false