Μηχανισμοί ελαστικής κατανομής πόρων σε περιβάλλοντα
υπολογιστικών νεφών με χρήση τεχνικών ενισχυτικής
μάθησης

Κονταρίνης, Αλέξανδρος; Kontarinis, Alexandros

dc.contributor.author	Κονταρίνης, Αλέξανδρος	el
dc.contributor.author	Kontarinis, Alexandros	en
dc.date.accessioned	2015-06-15T10:55:14Z
dc.date.available	2015-06-15T10:55:14Z
dc.date.issued	2015-06-15
dc.identifier.uri	https://dspace.lib.ntua.gr/xmlui/handle/123456789/40839
dc.identifier.uri	http://dx.doi.org/10.26240/heal.ntua.9611
dc.rights	Default License
dc.subject	Διαχείριση πόρων υπολογιστικών νεφών	el
dc.subject	Cloud resource management	en
dc.subject	Ενισχυτική μάθηση	el
dc.subject	Reinforcement learning	en
dc.subject	Ελαστική κατανομή υπολογιστικών πόρων	el
dc.subject	Elastic computational resource allocation	en
dc.subject	MATLAB προσομοίωση	el
dc.subject	MATLAB simulation	en
dc.subject	Προσαρμοστική μάθηση πραγματικού χρόνου	el
dc.subject	Adaptive real-time learning	en
dc.subject	Συστοιχίες NoSQL βάσεων δεδομένων	el
dc.subject	NoSQL database clusters	en
dc.subject	Q-Learning	en
dc.subject	Thompson sampling	en
dc.subject	UCB algorithm	el
dc.subject	Multi-armed bandits	el
dc.title	Μηχανισμοί ελαστικής κατανομής πόρων σε περιβάλλοντα υπολογιστικών νεφών με χρήση τεχνικών ενισχυτικής μάθησης	el
dc.title	Elastic resource allocation mechanisms for the Cloud based on Reinforcement Learning	en
heal.type	bachelorThesis
heal.classification	Cloud computing	en
heal.classification	Control theory	el
heal.classification	Statistical learning	el
heal.classification	Machine learning	el
heal.language	en
heal.access	free
heal.recordProvider	ntua	el
heal.publicationDate	2015-05-08
heal.abstract	Το Cloud Computing, χάρις στην κεντρική του ιδέα περί κοινής χρήσης φυσικών πόρων από πολλαπλούς χρήστες, καθιστά δυνατή την κατά βούληση, ομαλά κλιμακούμενη, αυξομείωση των χρησιμοποιούμενων υπολογιστικών πόρων. Αυτή η ιδιότητα είναι η λεγόμενη “Ελαστικότητα”, η οποία δίνει την δυνατότητα, στους χρήστες ενός νέφους (cloud) να έχουν πρόσβαση σε φαινομενικά άπειρους διαμοιραζόμενους πόρους, ενώ στους παρόχους ενός νέφους να βελτιστοποιούν την χρησιμοποίηση των κέντρων δεδομένων (datacenters) τους και να μεγιστοποιούν τα κέρδη τους. Ο ακριβής έλεγχος των υπολογιστικών πόρων ανοίγει τον δρόμο για την εφαρμογή δυναμικών πολιτικών δέσμευσής τους, οι οποίες θα ανταποκρίνονται επακριβώς και ανά πάσα χρονική στιγμή, στον φόρτο εργασίας και στις ανάγκες των εκάστοτε εφαρμογών και υπηρεσιών που εκτελούνται στο νέφος. Δυστυχώς, στα περιβάλλοντα υπολογιστικών νεφών, τα φορτία είναι ως επί το πλείστον δυναμικά και ετερογενούς φύσεως, όπως άλλωστε και οι ίδιοι οι πόροι. Ως εκ τούτου, προκύπτουν ποικίλλα πολύπλοκα προβλήματα διαχείρισης των υπολογιστικών πόρων, συχνά σχετιζόμενα με την κατανομή και την χρονοδρομολόγησή τους. Εξαιτίας της υψηλής πολυπλοκότητας και των αυστηρών απαιτήσεων αυτών των προβλημάτων, οι παραδοσιακοί αλγόριθμοι επίλυσής τους δεν επαρκούν, και η ερευνητική κοινότητα εξετάζει καινοτόμες προσεγγίσεις από διαφορετικά επιστημονικά πεδία. Στην παρούσα εργασία μελετούμε αλγορίθμους στους οποίους, ένας ευφυής πράκτορας αποφασίζει για την λήψη ενεργειών βασιζόμενoς σε πολλαπλά κριτήρια, και ο οποίος παρατηρώντας τις επιβραβεύσεις που λαμβάνει ως απόκριση του περιβάλλοντος στις ενέργειές του, μαθαίνει να επιλέγει τις ενέργειες εκείνες που βελτιστοποιούν την απόδοσή του. Αλγόριθμοι αυτού του τύπου ενδείκνυνται εν γένει για προβλήματα ακολουθιακής λήψης αποφάσεων, σε πραγματικό χρόνο, υπό καθεστώς αβεβεβαιότητας. Συγκεκριμένα, εξετάζουμε μία σειρά από αλγορίθμους, μεθόδους, και τεχνικές, Ενισχυτικής Μάθησης (Reinforcement Learning) και μηχανημάτων τυχερών παιγνίων (Multi-Armed Bandits), για την επίτευξη αποδοτικής προσαρμοστικής δέσμευσης των υπολογιστικών πόρων ενός νέφους. Αντλώντας έμπνευση από ένα αντίστοιχο πλαίσιο διαχείρισης πόρων (TIRAMOLA), ειδικευμένο στην προσαρμογή του μεγέθους NoSQL συστοιχιών που τρέχουν πάνω από IaaS, εκτελούμε προσομοιώσεις σε περιβάλλον MATLAB, ώστε να μελετήσουμε την διαδικασία λήψης αποφάσεων, να εξερευνήσουμε την επίδραση διαφορετικών μοντέλων, και να πειραματιστούμε με τις τιμές διαφόρων παραμέτρων. Υποστηρίζουμε ότι οι προσομοιώσεις είναι ένα αναντικατάστατο εργαλείο κατά την σχεδίαση πραγματικών συστημάτων διαχείρισης πόρων υπολογιστικών νεφών, και ότι τα αποτελέσματά τους καταδεικνύουν σημαντικές πτυχές του προβλήματος που αξίζουν περαιτέρω μελέτης.	el
heal.abstract	Cloud Computing, thanks to its core idea of multiple users sharing the same physical resources, has made possible to scale computing resources up and down, at will, and with minimal friction. This property, known as resource “Elasticity”, enables cloud clients to effortlessly access a seemingly infinite shared pool of such resources, while cloud providers can precisely optimize resource utilization in their data-centers, as well as maximize their profits. This improved resource control paves the way for dynamic provisioning policies, in an effort to precisely meet the actual workload and requirements of the running applications and services, at any given point in time. Unfortunately, in a cloud environment, workloads are usually of a dynamic and heterogeneous nature. As a result, a variety of complex resource management problems has emerged, often related to resource allocation and scheduling. There is on-going research aimed at tackling those problems, using state-of-the-art methods originating from diverse scientific fields, especially since traditional algorithms do not cope well with the higher complexity and stronger requirements of those problems. In this thesis, we study algorithms in which, an intelligent agent decides which actions to take based on multiple criteria, and by observing the rewards it receives as an environmental response to those actions, learns – at runtime - to improve its decision-making in a way that optimizes its performance. Online learning algorithms of that type are a seemingly good fit for real-time decision-making problems under uncertainty. In specific, we examine a range of Reinforcement Learning and Multi-Armed Bandit algorithms, methods, and techniques, for achieving efficient adaptive cloud resource provisioning. We draw inspiration from an existing resource management framework (TIRAMOLA), specialized in the resizing of NoSQL clusters that run over IaaS, and run simulations in MATLAB in order to, delve deeper into the various aspects of the decision-making procedure, explore the effect of different modeling approaches, and experiment with the algorithms' learning parameters' values. We argue that simulation tools are imperative for designing a cloud- based resource management system, and that simulation results highlight important issues, worthy of further study when designing a similar real-world system.	en
heal.advisorName	Κοζύρης, Νεκτάριος	el
heal.committeeMemberName	Κοζύρης, Νεκτάριος	el
heal.committeeMemberName	Κοντογιάννης, Κωνσταντίνος	el
heal.committeeMemberName	Καντερέ, Βασιλική (Βηρένα)	el
heal.academicPublisher	Εθνικό Μετσόβιο Πολυτεχνείο. Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών. Τομέας Τεχνολογίας Πληροφορικής και Υπολογιστών. Εργαστήριο Υπολογιστικών Συστημάτων	el
heal.academicPublisherID	ntua
heal.numberOfPages	136 σ.
heal.fullTextAvailability	true