Σχεδιασμός και υλοποίηση πλατφόρμας ελαστικής διαχείρισης εργαλείων επεξεργασίας μεγάλων δεδομένων σε υπολογιστικά νέφη

Χαλβαντζής, Νικόλαος; Chalvantzis, Nikolaos

dc.contributor.author	Χαλβαντζής, Νικόλαος	el
dc.contributor.author	Chalvantzis, Nikolaos	en
dc.date.accessioned	2016-02-26T13:08:57Z
dc.date.available	2016-02-26T13:08:57Z
dc.date.issued	2016-02-26
dc.identifier.uri	https://dspace.lib.ntua.gr/xmlui/handle/123456789/42067
dc.identifier.uri	http://dx.doi.org/10.26240/heal.ntua.8418
dc.rights	Default License
dc.subject	Υπολογιστικά νέφη	el
dc.subject	Hadoop	en
dc.subject	Ελαστικότητα	el
dc.subject	Μεγάλα δεδομένα	el
dc.subject	MapReduce	en
dc.subject	YARN	en
dc.subject	Computing clouds	en
dc.subject	Cloud provisioning	en
dc.subject	TIRAMOLA	en
dc.subject	Profiling	en
dc.title	Σχεδιασμός και υλοποίηση πλατφόρμας ελαστικής διαχείρισης εργαλείων επεξεργασίας μεγάλων δεδομένων σε υπολογιστικά νέφη	el
dc.title	Design and implementation of an elastic platform for big data analysis tools on a cloud	en
heal.type	bachelorThesis
heal.classification	Computer engineering	en
heal.language	en
heal.access	free
heal.recordProvider	ntua	el
heal.publicationDate	2015-07-14
heal.abstract	Οι εφαρμογές Μεγάλων Δεδομένων απαιτούν την ύπαρξη σημαντικών σε όγκο υποδομών προκειμένου να πραγματοποιήσουν αποδοτική επεξεργασία σε ένα εύλογο χρονικό διάστημα. Ωστόσο, η ποσότητα των υπολογιστικών πόρων που απαιτούνται δεν είναι πάντα γνωστή εκ των προτέρων και εξαρτάται τόσο από τον όγκο των δεδομένων που υποβάλλονται σε επεξεργασία όσο και από το είδος της επεξεργασίας αυτής. Τα υπολογιστικά νέφη προσφέρουν την ευελιξία της απόκτησης πόρων κατά παραγγελία, με άμεσο τρόπο καθώς και της χρησιμοποίησης τους για όσο χρόνο αυτό είναι απαραίτητο με το ανάλογο κόστος. Ως εκ τούτου, συχνά οι εφαρμογές επεξεργασίας Μεγάλων Δεδομένων χρησιμοποιούν υποδομές υπολογιστικού νέφους. Σε αυτή την εργασία παρουσιάζουμε το BARBECUE (a joB AwaRe Big-data Elasticity CloUd managEment system) – μια πλατφόρμα ελαστικής διαχείρισης πόρων σε υπολογιστικά νέφη για εφαρμογές Μεγάλων Δεδομένων. Επεκτείνουμε τις υπάρχουσες τεχνολογίες, Apache Hadoop και YARN ώστε να έχουν επίγνωση των εργασιών που τους υποβάλλονται προς εκτέλεση, υλοποιώντας μια μορφή αυτόματης, ελαστικής και άμεσης απόδοσης πόρων βασισμένη στη λειτουργία του TIRAMOLA, ένα εργαλείο ελαστικής διαχείρισης πόρων υπολογιστικών νεφών. Το σύστημα BBQ χρησιμοποιεί μια μέθοδο δημιουργίας προφίλ για κάθε πρόγραμμα επεξεργασίας Μεγάλων Δεδομένων. Χρησιμοποιώντας τα συγκεκριμένα προφίλ, μπορεί να προβλέπει πόσοι πόροι απαιτούνται για την εκτέλεση μιας συγκεκριμένης εργασίας (σε συγκεκριμένο χρόνο), ‘παγώνει’ την εκτέλεση της τελευταίας ώστε να αποκτήσει πρόσβαση σε αυτούς ζητώντας τους από τον εκάστοτε πάροχο της υπηρεσίας του νέφους μέσω του TIRAMOLA, τους μορφοποιεί ώστε να είναι έτοιμοι για χρήση και στη συνέχεια εκτελεί την υποβληθείσα εργασία. Μετά το πέρας αυτής οι επιπλέον πόροι επιστρέφονται στο υπολογιστικό νέφος. Στην παρούσα δουλειά παρουσιάζουμε τις εσωτερικές λειτουργίες των Hadoop και YARN και περιγράφουμε τις τροποποιήσεις στη διαδικασία εκτέλεσης που μας επέτρεψαν την απρόσκοπτη απόκτηση και ενσωμάτωση των επιπλέον υπολογιστικών πόρων. Επιπροσθέτως, τροποποιούμε τον TIRAMOLA ώστε να είναι σε θέση με τη χρήση των προφίλ διάφορων προγραμμάτων ανάλυσης Μεγάλων Δεδομένων να υπολογίζει τους απαιτούμενους πόρους. Τέλος, διενεργούμε μια πειραματική αξιολόγηση του συστήματος και αποδεικνύουμε τη λειτουργικότητά του. Προσφέρουμε το σύστημα ως λογισμικό ανοιχτού κώδικα.	el
heal.abstract	Big Data applications require vast amounts of infrastructural resources in order to perform efficient processing in a timely manner. Nevertheless, the amount of required resources is not known a-priory and depends on both the size of the processed data and the type of the required processing. Cloud computing offers the flexibility of acquiring on-the-fly infrastructural resources and utilize them for as long as they are needed in an elastic and pay-as-you go manner. Therefore, Big Data Applications are typically deployed in a cloud setting. In this thesis we present BARBECUE, a joB AwaRe Big-data Elasticity CloUd managEment system by expanding Apache Hadoop and YARN, to perform job-aware on-the-fly resource allocation utilizing cloud elasticity based on TIRAMOLA, a state of the art elasticity framework. BBQ utilizes profiling to detect the correct amount of resources for a specific job, stalls its execution to acquire them from the cloud using TIRAMOLA, configure them, executes the job and after its completion returns the extra resources to the cloud. In this work we present the internals of job execution and scheduling of Hadoop and YARN and we describe our exact modifications in the job execution workflow to allow seamless acquisition and deployment of extra needed resources. We modify TIRAMOLA to employ profiling in order to detect the correct amount of resources. We perform a thorough experimental evaluation in an actual cloud deployment in which we showcase BBQ’s functionality and we offer the entire BBQ system as open source.	en
heal.advisorName	Κοζύρης, Νεκτάριος	el
heal.committeeMemberName	Κοζύρης, Νεκτάριος	el
heal.committeeMemberName	Γκούμας, Γεώργιος	el
heal.committeeMemberName	Τσουμάκος, Δημήτριος	el
heal.academicPublisher	Εθνικό Μετσόβιο Πολυτεχνείο. Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών. Τομέας Τεχνολογίας Πληροφορικής και Υπολογιστών. Εργαστήριο Υπολογιστικών Συστημάτων	el
heal.academicPublisherID	ntua
heal.numberOfPages	84 σ.
heal.fullTextAvailability	true