Edge-to-Cloud Synergy for Architecture-Driven
 High-Performance Orchestration for AI Inference

Σταθοπούλου, Φωτεινή; Stathopoulou, Foteini

dc.contributor.author	Σταθοπούλου, Φωτεινή	el
dc.contributor.author	Stathopoulou, Foteini	en
dc.date.accessioned	2025-12-08T11:03:20Z
dc.date.available	2025-12-08T11:03:20Z
dc.identifier.uri	https://dspace.lib.ntua.gr/xmlui/handle/123456789/63018
dc.identifier.uri	http://dx.doi.org/10.26240/heal.ntua.30714
dc.rights	Default License
dc.subject	Cloud	en
dc.subject	Edge	en
dc.subject	Inference	en
dc.subject	Scheduling	en
dc.subject	Architecture-aware	en
dc.subject	Performance-aware	en
dc.subject	Orchestration	en
dc.subject	Επίγνωση Αρχιτεκτονικής	el
dc.subject	Δρομολόγηση	el
dc.subject	Πρόβλεψη	el
dc.subject	Νέφος	el
dc.subject	Επίγνωση Επιδόσεων	el
dc.title	Edge-to-Cloud Synergy for Architecture-Driven High-Performance Orchestration for AI Inference	en
dc.contributor.department	MicroLab	el
heal.type	bachelorThesis
heal.classification	Edge-to-cloud orchestration	en
heal.language	el
heal.language	en
heal.access	free
heal.recordProvider	ntua	el
heal.publicationDate	2025-07-03
heal.abstract	The rapid evolution of Artificial Intelligence (AI) and Machine Learning (ML) has significantly heightened computational demands, particularly for inference serving workloads. While traditional cloud-based deployments offer scalability, they face challenges such as network congestion, high energy consumption, and privacy concerns. In contrast, edge computing provides low-latency and sustainable alternatives but is constrained by limited computational resources. In this thesis, we introduce SynergAI, a novel framework designed for performance- and architecture-aware inference serving across heterogeneous edge-to-cloud infrastructures. Built upon a comprehensive performance characterization of modern inference engines, SynergAI integrates a combination of offline and online decision-making policies to deliver intelligent, lightweight, and architecture-aware scheduling. By dynamically allocating workloads across diverse hardware architectures, it effectively minimizes Quality of Service (QoS) violations. We implement SynergAI within a Kubernetes-based ecosystem and evaluate its efficiency. Our results demonstrate that architecture-driven inference serving enables optimized and architecture-aware deployments on emerging hardware platforms, achieving an average reduction of 2.4× in QoS violations compared to a State-of-the-Art (SotA) solution.	en
heal.abstract	Περίληψη Η ταχεία εξέλιξη της Τεχνητής Νοημοσύνης (AI) και της Μηχανικής Μάθησης (ML) έχει αυξήσει σημαντικά τις υπολογιστικές απαιτήσεις, ιδιαίτερα για φόρτους εργασίας εξυπηρέτησης προβλέψεων. Ενώ οι παραδοσιακές υλοποιήσεις στο νέφος προσφέρουν κλιμάκωση, αντιμετωπίζουν προκλήσεις όπως η συμφόρηση δικτύου, η υψηλή κατανάλωση ενέργειας και οι προβληματισμοί σχετικά με την ιδιωτικότητα. Αντιθέτως, το edge computing παρέχει βιώσιμες εναλλακτικές λύσεις χαμηλής κα- θυστέρησης, αλλά δεσμεύεται από τους περιορισμένους υπολογιστικούς πόρους. Σε αυτή τη διπλωματική, παρουσιάζουμε το SynergAI, ένα καινοτόμο πλαίσιο σχε- διασμένο για εξυπηρέτηση προβλέψεων με επίγνωση επιδόσεων και αρχιτεκτονικής σε ετερογενείς υποδομές edge-to-cloud. Βασισμένο σε έναν ολοκληρωμένο χαρακ- τηρισμό επιδόσεων σύγχρονων μηχανών πρόβλεψης, το SynergAI ενσωματώνει έναν συνδυασμό πολιτικών λήψης αποφάσεων εκτός σύνδεσης και σε πραγματικό χρόνο για την παροχή έξυπνης, ελαφριάς και αρχιτεκτονικά ενήμερης δρομολόγησης. Με τη δυναμική κατανομή φόρτων εργασίας σε διάφορες αρχιτεκτονικές υλικού, ελαχιστοποιεί αποτελεσματικά τις παραβιάσεις Ποιότητας Υπηρεσίας (QoS). Υλο- ποιούμε το SynergAI σε ένα οικοσύστημα βασισμένο στο Kubernetes και αξιολο- γούμε την αποδοτικότητά του. Τα αποτελέσματά μας δείχνουν ότι η αρχιτεκτονικά καθοδηγούμενη εξυπηρέτηση προβλέψεων επιτρέπει βελτιστοποιημένες και αρ- χιτεκτονικά ενήμερες υλοποιήσεις σε αναδυόμενες πλατφόρμες υλικού, επιτυγχάνον- τας μια μέση μείωση 2.4× στις παραβιάσεις Ποιότητας Υπηρεσίας σε σύγκριση με μια λύση State-of-the-Art (SotA)	el
heal.advisorName	Σούντρης, Δημήτριος
heal.committeeMemberName	Σούντρης, Δημήτριος
heal.committeeMemberName	Ξύδης, Σωτήρης
heal.committeeMemberName	Ρουσσάκη, Ιωάννα
heal.academicPublisher	Εθνικό Μετσόβιο Πολυτεχνείο. Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών.	el
heal.academicPublisherID	ntua
heal.numberOfPages	85
heal.fullTextAvailability	false
heal.fullTextAvailability	false