Predictive inference serving for multi-tenant GPU
clusters

Γκατζιούρας, Δημήτριος; Gkatziouras, Dimitrios

dc.contributor.author	Γκατζιούρας, Δημήτριος	el
dc.contributor.author	Gkatziouras, Dimitrios	en
dc.date.accessioned	2023-05-05T09:26:28Z
dc.date.available	2023-05-05T09:26:28Z
dc.identifier.uri	https://dspace.lib.ntua.gr/xmlui/handle/123456789/57635
dc.identifier.uri	http://dx.doi.org/10.26240/heal.ntua.25332
dc.rights	Default License
dc.subject	Υπολογιστές νέφους	el
dc.subject	Κάρτα γραφικών	el
dc.subject	Διαχείριση πόρων	el
dc.subject	Δρομολόγηση	el
dc.subject	Παρεμβολή	el
dc.title	Predictive inference serving for multi-tenant GPU clusters	en
heal.type	bachelorThesis
heal.classification	Cloud Computing	en
heal.language	el
heal.language	en
heal.access	free
heal.recordProvider	ntua	el
heal.publicationDate	2023-03-21
heal.abstract	Καθώς η μηχανική μάθηση (ML) συνεχίζει να φέρνει επανάσταση στον τρόπο με τον οποίο οι οργανισμοί επεξεργάζονται και αναλύουν δεδομένα, η ανάγκη για εξ- ειδικευμένους υπολογιστικούς πόρους γίνεται όλο και πιο σημαντική. Οι μονάδες επεξεργασίας γραφικών (GPU) έχουν αναδειχθεί ως μια δημοφιλής λύση για την επιτάχυνση των φορτίων εργασίας ML, προσφέροντας σημαντικά πλεονεκτήματα απόδοσης σε σχέση με τα παραδοσιακά συστήματα που βασίζονται σε CPU. Το νέφος έχει γίνει μια δημοφιλής επιλογή ανάπτυξης για τα φορτία εργασίας ML, προσφέροντας διάφορα πλεονεκτήματα, όπως η επεκτασιμότητα, η ευελιξία και η οικονομική αποδοτικότητα. Το Kubernetes, μια πλατφόρμα ενορχήστρωσης containers ανοικτού κώδικα, έχει γίνει μια δημοφιλής λύση για τη διαχείριση των φορτίων εργασίας που απαιτούν επιτάχυνση σε GPU. Ο συνδυασμός των GPU και του Kubernetes επιτρέπει στους οργανισμούς να κλιμακώνουν τα φορτία εργασίας ML κατά παραγγελία και να κατανέμουν αποτελεσματικά τους πόρους ώστε να αν- ταποκρίνονται στις απαιτήσεις των φορτίων εργασίας. Ωστόσο, η ανάπτυξη και η διαχείριση των φορτίων εργασίας που βασίζονται σε GPU στο Kubernetes μπορεί να αποτελέσει πρόκληση λόγω της εξειδικευμένης φύσης αυτών των πόρων. Οι ορ- γανισμοί πρέπει να διαχειρίζονται και να κατανέμουν προσεκτικά τους πόρους GPU για να διασφαλίζουν βέλτιστη απόδοση και αποτελεσματική χρήση των πόρων. Αυτό μπορεί να περιλαμβάνει την εφαρμογή πολιτικών και διαδικασιών για την ιεράρχηση της πρόσβασης στους πόρους με βάση τις απαιτήσεις του φόρτου ερ- γασίας, όπως ο τύπος του φόρτου εργασίας, η χρήση των πόρων και οι απαιτήσεις απόδοσης. Επιπλέον, η διασφάλιση της συμβατότητας και της διαλειτουργικότητας μεταξύ διαφορετικών στοιχείων υλικού και λογισμικού είναι κρίσιμη κατά την ανάπ- τυξη φορτίων εργασίας που βασίζονται σε GPU στο Kubernetes. Το Kubernetes υποστηρίζει διάφορους τύπους GPU, ο καθένας με τις δικές του προδιαγραφές και απαιτήσεις, και η ενσωμάτωση στοιχείων λογισμικού και υλικού τρίτων μπορεί να αποτελέσει πρόκληση. Σε αυτή τη διατριβή, σχεδιάζουμε ένα σύστημα χρονοπρογραμματισμού GPU με επίγνωση πόρων και παρεμβολών με στόχο τον αποτελεσματικό χρονοπρο- γραμματισμό και/ή την παράλληλη τοποθέτηση εισερχόμενων εφαρμογών σε διά- φορα ετερογενή τμήματα των GPU κέντρων δεδομένων. Ενσωματώνουμε τη λύση στο Kubernetes, ένα από τα πιο ευρέως χρησιμοποιούμενα πλαίσια ενορχήστρω- σης νέφους. Δείχνουμε ότι ο χρονοπρογραμματιστής μας μπορεί να καλύψει πιο 5αποτελεσματικά τους περιορισμούς ποιότητας υπηρεσιών (QoS) των χρηστών, με υψηλότερη αξιοποίηση των πόρων σε σύγκριση με τους σύγχρονους χρονοπρο- γραμματιστές, για μια ποικιλία φόρτων εργασίας ML στο νέφος, διατηρώντας παράλληλα χαμηλά τις καθυστερήσεις και την κατανάλωση ενέργειας.	el
heal.advisorName	Σούντρης, Δημήτριος	el
heal.committeeMemberName	Τσανάκας, Παναγιώτης	el
heal.committeeMemberName	Σούντρης, Δημήτριος	el
heal.committeeMemberName	Ξύδης, Σωτήρης	el
heal.academicPublisher	Εθνικό Μετσόβιο Πολυτεχνείο. Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών	el
heal.academicPublisherID	ntua
heal.numberOfPages	116 σ.	el
heal.fullTextAvailability	false