Προσεγγιστικοί αλγόριθμοι δρομολόγησης MapReduce
εργασιών

Παπαδιγενόπουλος, Βασίλειος-Ορέστης; Papadigenopoulos, Vasileios-Orestis

dc.contributor.author	Παπαδιγενόπουλος, Βασίλειος-Ορέστης	el
dc.contributor.author	Papadigenopoulos, Vasileios-Orestis	en
dc.date.accessioned	2016-05-17T09:20:44Z
dc.date.available	2016-05-17T09:20:44Z
dc.date.issued	2016-05-17
dc.identifier.uri	https://dspace.lib.ntua.gr/xmlui/handle/123456789/42500
dc.identifier.uri	http://dx.doi.org/10.26240/heal.ntua.11998
dc.rights	Αναφορά Δημιουργού - Μη Εμπορική Χρήση - Παρόμοια Διανομή 3.0 Ελλάδα	*
dc.rights.uri	http://creativecommons.org/licenses/by-nc-sa/3.0/gr/	*
dc.subject	Χρονοδρομολόγηση	el
dc.subject	Οργάνωση πόρων	el
dc.subject	Προσεγγιστικοί αλγόριθμοι	el
dc.subject	Αλγοριθμική ανάλυση	el
dc.subject	Map-Reduce	en
dc.subject	Scheduling	en
dc.subject	Resource allocation	en
dc.subject	Approximation algorithms	en
dc.subject	Algorithmic analysis	en
dc.title	Προσεγγιστικοί αλγόριθμοι δρομολόγησης MapReduce εργασιών	el
dc.title	Approximation algorithms for scheduling MapReduce jobs	en
heal.type	bachelorThesis
heal.classification	Theoretical computer science	en
heal.classification	Operations research	en
heal.classification	Approximation algorithms	en
heal.classification	Algorithms	en
heal.classification	Parallel scheduling (computer scheduling)	en
heal.classificationURI	http://zbw.eu/stw/descriptor/15483-0
heal.classificationURI	http://id.loc.gov/authorities/subjects/sh2009010988
heal.classificationURI	http://id.loc.gov/authorities/subjects/sh85003487
heal.classificationURI	http://id.loc.gov/authorities/subjects/sh2013000314
heal.language	en
heal.access	free
heal.recordProvider	ntua	el
heal.publicationDate	2015-07-09
heal.abstract	Το MapReduce αποτελεί ένα προγραμματιστικό μοντέλο καθώς και μια σχετική υλοποίηση για την παράλληλη επεξεργασία μεγάλων ποσοτήτων δεδομένων σε συστάδες πολυπύρηνων υπολογιστικών συστημάτων. Στο MapReduce, κάθε εργασία περιλαμβάνει δυο σύνολα υποεργασιών, τις map και τις reduce. Ενώ οι υποεργασίες κάθε συνόλου μπορούν να εκτελεστούν παράλληλα, τα δύο αυτά σύνολα οφείλουν να εκτελεστούν ακολουθιακά. Με άλλα λόγια, κάθε reduce υποεργασία μπορεί να ξεκινήσει την εκτέλεσή της μόνο μετά την ολοκλήρωση των αντίστοιχων map υποεργασιών. Ο δρομολογητής MapReduce εργασιών παίζει ένα πολύ ουσιαστικό ρόλο στην απόδοση του όλου συστήματος. Στη διπλωματική αυτή, μελετάμε το πρόβλημα της δρομολόγησης MapReduce εργασιών από τη σκοπιά της θεωρίας δρομολόγησης και των προσεγγιστικών αλγορίθμων. Παρουσιάζουμε μερικά γνωστά αποτελέσματα σχετικά με τη δρομολόγηση εργασιών σε παράλληλες μηχανές καθώς και με τη δρομολόγηση MapReduce εργασιών. Η βασική συνεισφορά της εργασίας αυτής είναι η πειραματική αξιολόγηση ενός πολυωνυμικού χρόνου 54-προσεγγιστικού αλγορίθμου για το πρόβλημα δρομολόγησης MapReduce εργασιών σε ασυσχέτιστες μηχανές με στόχο την ελαχιστοποίηση του βεβαρημένου μέσου χρόνου ολοκλήρωσης. Στη μελέτη αυτή δείχνουμε ότι σε πειραματικές συνθήκες ο ̈εμπειρικός’ λόγος προσέγγισης αποδεικνύεται πολύ καλύτερος από αυτόν που έχει δειχθεί θεωρητικά για διαφορετικές κατανομές χρόνων εκτέλεσης και αριθμούς εργασιών. Επιπλέον, προτείνουμε ένα γρήγορο και ̈άπληστο’ αλγόριθμο για το ίδιο πρόβλημα ο οποίος αποδεικνύεται αρκετά ανταγωνιστικός για συγκεκριμένες εισόδους. Τέλος, περιλαμβάνουμε στα πειράματά μας την μοντελοποίηση της μεταφοράς δεδομένων από map σε reduce υποεργασίες μέσω της εισαγωγής των ’shuffle’ υποεργασιών.	el
heal.abstract	MapReduce is a programming model and an associated implementation for the parallel processing of data sets in large clusters. In MapReduce, each job is associated with two sets of tasks, the map and the reduce. While the tasks of each set can be scheduled in parallel, the two sets must be scheduled sequentially i.e. the reduce after the map tasks. The centralized scheduler of MapReduce plays a critical role in the performance of the system. In this thesis, we study the problem of scheduling MapReduce tasks from the view of scheduling theory and approximation algorithms. We present several known results concerning the problem of scheduling parallel machines as well as the problem of scheduling MapReduce tasks itself. The main contribution of this thesis is the experimental evaluation of a polynomial time 54-approximation algorithm for the non-preemptive scheduling of MapReduce tasks on unrelated machines with the objective of minimizing the total weighted completion time. In this study, we show that the empirical approximation ratio of this algorithm is much better than the theoretically proven guarantee on various processing time distributions and number of jobs. We also propose a fast, greedy heuristic for the same problem that appears to be very competitive on certain inputs. Finally, we include in our experiments the modelling of data transmission between map and reduce tasks, via the introduction of “shuffle” tasks.	en
heal.advisorName	Φωτάκης, Δημήτριος	el
heal.committeeMemberName	Φωτάκης, Δημήτριος	el
heal.committeeMemberName	Μήλης, Ιωάννης	el
heal.committeeMemberName	Γκούμας, Γεώργιος	el
heal.academicPublisher	Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών	el
heal.academicPublisherID	ntua
heal.numberOfPages	82 σ.	el
heal.fullTextAvailability	true