Efficient workload co-location on a Kubernetes cluster

Κανελλόπουλος, Γεώργιος; Kanellopoulos, Georgios

dc.contributor.author	Κανελλόπουλος, Γεώργιος	el
dc.contributor.author	Kanellopoulos, Georgios	en
dc.date.accessioned	2021-04-15T08:21:20Z
dc.date.available	2021-04-15T08:21:20Z
dc.identifier.uri	https://dspace.lib.ntua.gr/xmlui/handle/123456789/53348
dc.identifier.uri	http://dx.doi.org/10.26240/heal.ntua.21046
dc.rights	Αναφορά Δημιουργού-Μη Εμπορική Χρήση-Όχι Παράγωγα Έργα 3.0 Ελλάδα	*
dc.rights.uri	http://creativecommons.org/licenses/by-nc-nd/3.0/gr/	*
dc.subject	Υπολογιστική νέφους	el
dc.subject	Διαχείριση πόρων	el
dc.subject	Κυβερνήτης	el
dc.subject	Κέντρο δεδομένων	el
dc.subject	Χρησιμοποίηση	el
dc.subject	Cloud computing	en
dc.subject	Resource management	en
dc.subject	Kubernetes	en
dc.subject	Datacenter	en
dc.subject	Containers	en
dc.title	Efficient workload co-location on a Kubernetes cluster	en
dc.title	Αποτελεσματική συνδρομολόγηση εφαρμογών σε συστοιχίες που ελέγχονται από τον Κυβερνήτη	el
heal.type	bachelorThesis
heal.classification	Cloud computing	en
heal.classification	Μηχανική υπολογιστών	el
heal.classification	Επιστήμη υπολογιστών	el
heal.language	el
heal.language	en
heal.access	free
heal.recordProvider	ntua	el
heal.publicationDate	2021-01-14
heal.abstract	Τα συστήματα υπολογιστικού νέφους γίνονται όλο και πιο δημοφιλή για την φιλοξενία ποικίλων εφαρμογών, όπως διαδραστικές δικτυακές εφαρμογές, μηχανική μάθηση και υπολογιστική υψηλών επιδόσεων. Πολλοί οργανισμοί επιλέγουν να τρέχουν τις εφαρμογές τους στο νέφους, καθώς είναι πιο ευέλικτο, οικονομικό και ασφαλές. Υπάρχει πληθώρα παρόχων υπηρεσίων νέφους, από δημόσια νέφη όπως το Google Compute Engine, το Microsoft Azure και τα Amazon Web Services μέχρι ιδιωτικά κέντρα δεδομένων που ενορχηστρώνονται από συστήματα όπως το Mesos και ο Κυβερνήτης. Οι πάροχοι υπηρεσίων νέφους επωφελούνται από την ταυτόχρονη χρήση των πόρων τους από πολλαπλούς ενοίκους και την δημιουργία οικονομιών κλίμακος κατά την δημιουργία μεγάλων κέντρων δεδομένων. Αν και οι πάροχοι υπηρεσιών νέφους πρέπει προβούν σε πολύ μεγάλες επενδύσεις για να κατασκευάσουν, να εξοπλίσουν και να λειτουργήσουν ένα κέντρο δεδομένων, οι διαθέσιμοι πόροι τους παρουσιάζουν χαμηλή χρησιμοποίηση. Ευαίσθητες εφαρμογές θέτουν αυστηρούς στόχους ως προς τον χρόνο απόκρισής τους και ο φόβος παραβίασης των συμφωνεθέντων στόχων οδηγεί τους διαχειριστές των κέντρων δεδομένων στην υπεράριθμη ανάθεση πόρων στις εφαρμογές αυτές, ειδικά όταν δρομολογούνται και μη ευαίσθητες εφαρμογές στα ίδια μηχανήματα. Στα τέλη της δεκαετία του 2000, η μέση χρήση των μηχανημάτων σε ιδιωτικά κέντρα δεδομένων κυμαινόταν μεταξύ 6% και 12%, με τα καλύτερα εξ αυτών να φτάνουν το 30%. Πιο πρόσφατα δεδομένα δείχνουν ότι οι χρησιμοποίηση των μηχανημάτων σε κέντρα δεδομένων της Google έχουν φτάσει το 60%. Πολλοί ερευνητές έχουν προτείνει ιδέες για την αύξηση χρησιμοποίησης των πόρων σε περιβάλλοντα νέφους. Κοινός τόπος των προτάσεων αυτών είναι η αντικατάσταση των στατικών δεσμεύσεων πόρων με δυναμική προσαρμογή ανάλογα με τις ανάγκες των εφαρμογών. Η διπλωματική αυτή εργασία προτείνει ένα σύστημα διαχείρισης πόρων για συστάδες μηχανημάτων που ελέγχονται από τον Κυβερνήτη. Οι χρήστες των μηχανημάτων καθορίζουν στόχους επίδοσης, αντί να δεσμεύουν πόρους. Το προτεινόμενο σύστημα αναλαμβάνει να βρει τους ελάχιστους πόρους που απαιτεί μια ευαίσθητη εφαρμογή προκειμένου να ικανοποιήσει τους στόχους που έχουν τεθεί. Οι υπόλοιποι πόροι ανατίθενται σε μία μη ευαίσθητη εφαρμογή. Η προτεινόμενη υλοποίηση αξιοποιεί δεδομένα από το σύστημα παρακολούθησης Προμηθέας και δεν απαιτεί πρόσβαση σε μετρητές υλικού. Συγκρινόμενο με μια συντηρητική σταθερή δέσμευση πόρων, το προτεινόμενο σύστημα αυξάνει την χρησιμοποίηση των μηχανημάτων κατά 1,6 φορές ενώ οι παραβιάσεις των πόρων αυξάνονται από 4% σε 11%.	el
heal.abstract	Cloud computing has become increasingly popular with a diverse set of applications spanning the areas of web service applications, machine learning and high-performance computing. Many organizations choose to deploy their applications in the cloud, as it offers flexibility, high availability and cost efficiency. A wide variety of cloud providers is available, from public clouds like Google Compute Engine, Microsoft Azure and Amazon Web Services to private clouds orchestrated by frameworks like Openstack, Apache Mesos and Kubernetes. Cloud providers benefit from multi-tenancy, since their resources are shared by multiple users; moreover building large-scale datacenters across the globe could create economies of scale. Although cloud providers invest very large amounts of money in building and operating datacenters, their resources are significantly underutilized. Latency-critical applications operate under strict latency constraints and the fear of violation leads cloud administrators to be conservative when scheduling batch jobs on the same servers. In the late 2000s, it was estimated that the average server utilization ranged between 6% and 12%, with the high-end reaching 30%. More recent data from 2019 show that server utilization in Google datacenter servers has reached 60%, thanks to increased resource utilization by batch jobs. A plethora of researchers from industry and academia have proposed ideas, so as to increase the resource utilization in cloud datacenters. Their efforts are mostly concentrated in moving from a reservation-centric to a performance-centric resource allocation approach, because reservations tend to be severely overestimated. This thesis proposes a resource manager for container-based clusters managed by Kubernetes. The cluster users define performance targets in terms of latency instead of reserving resources. The resource manager is responsible to find the least amount of vCPUs the latency-critical workload requires to avoid latency target violations; the remaining vCPUs are allocated to a batch job. The resource manager leverages measurements from Prometheus monitoring system and does not require access to hardware counters. Compared to a conservative static resource allocation, the proposed resource manager increases the server utilization by 1,6x, while increasing the latency target violations from 4% to 11%.	en
heal.advisorName	Goumas, Georgios	en
heal.committeeMemberName	Goumas, Georgios	en
heal.committeeMemberName	Koziris, Nectarios	en
heal.committeeMemberName	Pnevmatikatos, Dionisios	en
heal.academicPublisher	Εθνικό Μετσόβιο Πολυτεχνείο. Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών. Τομέας Τεχνολογίας Πληροφορικής και Υπολογιστών. Εργαστήριο Υπολογιστικών Συστημάτων	el
heal.academicPublisherID	ntua
heal.numberOfPages	84 σ.	el
heal.fullTextAvailability	false