Performance modeling for co-scheduling in HPC systems

Τσουκλείδης-Καρυδάκης, Αθανάσιος; Tsoukleidis-Karydakis, Athanasios

dc.contributor.author	Τσουκλείδης-Καρυδάκης, Αθανάσιος	el
dc.contributor.author	Tsoukleidis-Karydakis, Athanasios	en
dc.date.accessioned	2025-09-19T11:12:50Z
dc.date.available	2025-09-19T11:12:50Z
dc.identifier.uri	https://dspace.lib.ntua.gr/xmlui/handle/123456789/62476
dc.identifier.uri	http://dx.doi.org/10.26240/heal.ntua.30172
dc.rights	Default License
dc.subject	Co-scheduling	en
dc.subject	High performance computing	en
dc.subject	Performance analysis	en
dc.subject	Machine learning	en
dc.subject	mpi	en
dc.subject	Συνδρομολόγηση	el
dc.subject	Ανάλυση επίδοσης	el
dc.subject	Μηχανική μάθηση	el
dc.subject	Υπερυπολογιστικά συστήματα	el
dc.subject	Παράλληλα συστήματα	el
dc.title	Performance modeling for co-scheduling in HPC systems	en
dc.title	Μοντελοποίηση επίδοσης για την συνδρομολόγηση σε υπερυπολογιστικά συστήματα	el
heal.type	bachelorThesis
heal.classification	Επιστήμη των Υπολογιστών	el
heal.classification	Υπερυπολογιστές	el
heal.classification	Δρομολόγηση	el
heal.classification	Μηχανική Μάθηση	el
heal.language	el
heal.language	en
heal.access	free
heal.recordProvider	ntua	el
heal.publicationDate	2025-02-21
heal.abstract	Η συνδρομολόγηση (co-scheduling) εργασιών σε Υπολογιστικά Συστήματα Υψηλής Επίδοσης (High Performance Computing - HPC) προσφέρει σημαντικές δυνατότητες για τη βελτίωση της συνολικής ρυθμαπόδοσης (throughput) και της ενεργειακής αποδοτικότητας του συστήματος. Ωστόσο, η διεκδίκηση κοινών πόρων στους κόμβους μπορεί να οδηγήσει σε υποβάθμιση της απόδοσης, επιβραδύνοντας τις εργασίες και αναιρώντας αυτά τα οφέλη. Για την αντιμετώπιση αυτής της πρόκλησης, είναι απαραίτητη η ανάπτυξη προηγμένων αλγορίθμων συνδρομολόγησης, οι οποίοι απαιτούν μια εις βάθος κατανόηση των εφαρμογών που εκτελούνται, ώστε να λαμβάνονται τεκμηριωμένες αποφάσεις δρομολόγησης. Στην παρούσα διπλωματική εργασία, ταξινομούμε και παρουσιάζουμε μοντέλα απόδοσης που μπορούν να αξιοποιηθούν για τη βελτίωση των στρατηγικών συνδρομολόγησης. Οι προτεινόμενες μέθοδοι επικεντρώνονται είτε στην κατηγοριοποίηση των εφαρμογών μέσω συγκεκριμένων ετικετών (tags) είτε στην πρόβλεψη της επιτάχυνσης (speedup) ή της επιβράδυνσής (slowdown) τους όταν συν-εκτελούνται με άλλα φορτία εργασίας. Για την επίτευξη αυτού του στόχου, διερευνούμε τόσο εμπειρικές προσεγγίσεις όσο και τεχνικές Μηχανικής Μάθησης, αναλύοντας τα πλεονεκτήματα και τους περιορισμούς τους. Επιπλέον, συζητούμε τις κύριες συμβιβαστικές αποφάσεις που προκύπτουν κατά την επιλογή και ανάπτυξη του καταλληλότερου μοντέλου για πρόβλεψη συν-εκτέλεσης σε περιβάλλοντα HPC. Στη συνέχεια, παρουσιάζουμε προκαταρκτικά αποτελέσματα που αποδεικνύουν την αποτελεσματικότητα κάθε μοντέλου μέσω αντιπροσωπευτικών παραδειγμάτων από διαφορετικές κατηγορίες μοντέλων. Τέλος, αξιολογούμε τη δυνατότητα της συνδρομολόγησης να βελτιώσει τον συνολικό χρόνο εκτέλεσης (makespan) ενός χρονοπρογράμματος εργασιών, καθώς και τους συμβιβασμούς που απαιτούνται για την εξισορρόπηση της απόδοσης του συστήματος και της ικανοποίησης των χρηστών σε περιβάλλοντα HPC.	el
heal.abstract	Co-Scheduling jobs in High Performance Computing (HPC) systems offers significant potential to improve system throughput and energy efficiency. However, resource contention in shared node resources can introduce performance degradation, leading to job slowdowns and counteracting these benefits. To address this challenge, sophisticated co-scheduling algorithms must be developed, requiring a good understanding of the submitted applications to make informed scheduling decisions. In this thesis, we classify and present a number of performance models that can be leveraged to support advanced co-scheduling strategies. The methods focus on either assigning specific ‘tags’ to applications or predicting their potential speedup or slowdown when co-executed with other workloads. To achieve this, we explore both empirical approaches alongside Machine Learning based techniques, assessing their respective benefits and limitations. Furthermore, we discuss key trade-offs that arise when selecting and building the most suitable model for co-location prediction in HPC environments. We then provide preliminary results demonstrating the effectiveness of each model through representative examples across multiple model categories. Finally, we provide an initial evaluation of co-scheduling’s potential to enhance the makespan of a given schedule, as well as the trade-offs involved in balancing system performance and user satisfaction in HPC systems.	en
heal.advisorName	Γκούμας, Γεώργιος	el
heal.committeeMemberName	Γκούμας, Γεώργιος	el
heal.committeeMemberName	Κοζύρης, Νεκτάριος	el
heal.committeeMemberName	Πνευματικάτος, Διονύσιος	el
heal.academicPublisher	Εθνικό Μετσόβιο Πολυτεχνείο. Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών. Τομέας Τεχνολογίας Πληροφορικής και Υπολογιστών	el
heal.academicPublisherID	ntua
heal.numberOfPages	116 σ.	el
heal.fullTextAvailability	false