Τεχνικές παραλληλοποίησης διεργασιών σε συστήματα cloud

Νικολακόπουλος, Θεόδωρος; Nikolakopoulos, Theodoros

dc.contributor.author	Νικολακόπουλος, Θεόδωρος	el
dc.contributor.author	Nikolakopoulos, Theodoros	en
dc.date.accessioned	2016-03-24T10:40:37Z
dc.date.available	2016-03-24T10:40:37Z
dc.date.issued	2016-03-24
dc.identifier.uri	https://dspace.lib.ntua.gr/xmlui/handle/123456789/42247
dc.identifier.uri	http://dx.doi.org/10.26240/heal.ntua.11594
dc.rights	Default License
dc.subject	Big data	en
dc.subject	Message queues	en
dc.subject	Cloud computing	en
dc.subject	ZeroMQ	en
dc.subject	Parallel processing	en
dc.subject	Παράλληλη επεξεργασία	en
dc.title	Τεχνικές παραλληλοποίησης διεργασιών σε συστήματα cloud	el
heal.type	bachelorThesis
heal.classification	Τεχνολογία λογισμικού	el
heal.language	el
heal.access	free
heal.recordProvider	ntua	el
heal.publicationDate	2015-11-09
heal.abstract	Η ανάπτυξη της πληροφορικής και η εισβολή της σε κάθε σύγχρονη τεχνολογία έχει ως αποτέλεσμα την παραγωγή τεράστιου όγκου δεδομένων με συνεχώς αυξανόμενους ρυθμούς, αυτό που χαρακτηρίζουμε ως big data. Η ανάγκη για αποθήκευση και ανάλυση των big data οδήγησε στην ανάπτυξη νέων τεχνολογιών, με βασικότερη ίσως από αυτές το cloud computing. Τα συστήματα cloud μάς επιτρέπουν την κατανεμημένη αποθήκευση και επεξεργασία δεδομένων. Η προσέγγιση αυτή πλεονεκτεί λόγω του παραλληλισμού και της εντοπιότητας που μπορεί να προσφέρει, αλλά δημιουργεί ταυτόχρονα νέες προκλήσεις λόγω της κατανεμημένης φύσης της. Ο μεγάλος αριθμός και η ποικιλία των χαρακτηριστικών των διαθέσιμων υπηρεσιών cloud καθιστά την επιλογή της κατάλληλης υπηρεσίας εξαιρετικά δύσκολη για τον χρήστη. Υπάρχει επομένως ανάγκη για δημιουργία αυτοματοποιημένων marketplace για την αναζήτηση και σύγκριση των υπηρεσιών αυτών. Σκοπός της παρούσας διπλωματικής είναι η μελέτη του marketplace για υπηρεσίες cloud 4CaaSt και η εύρεση τρόπων βελτίωσης της αποδοτικότητάς του με τεχνικές παραλληλοποίησης. Η επίλυση του προβλήματος της επιλογής κατάλληλων υπηρεσιών cloud στο 4CaaSt γίνεται σε τέσσερα στάδια, καθένα εκ των οποίων ξεκινά να εκτελείται αφού ολοκληρωθεί το προηγούμενο. Στην εργασία αυτή προτείνονται δύο τεχνικές για την μετάδοση των δεδομένων από κάθε στάδιο στο επόμενο κατά τη στιγμή της παραγωγής τους και πριν την ολοκλήρωση του σταδίου. Οι τεχνικές αυτές στηρίζονται στη χρήση ουρών μηνυμάτων. Η πρώτη προτείνει τη χρήση μίας ουράς, στην οποία θα προωθούνται τα δεδομένα από κάθε στάδιο, και αυτή θα αναλαμβάνει να τα στείλει στο επόμενο. Η δεύτερη προτείνει τη χρήση ξεχωριστής ουράς για κάθε ζεύγος διαδοχικών σταδίων. Αυτές οι τεχνικές θα επιτρέψουν στα τέσσερα στάδια να εκτελούνται σε παράλληλα σε μεγάλο βαθμό. Για να συγκριθούν ως προς την αποδοτικότητά τους οι τεχνικές αυτές, τόσο μεταξύ τους όσο και με την αρχική ιδέα της σειριακής υλοποίησης, αναπτύχθηκε ένα απλοποιημένο μοντέλο του 4CaaSt, με έμφαση στα τέσσερα στάδια της επίλυσης του προβλήματος αναζήτησης. Έγιναν μετρήσεις για διαφορετικά πλήθη ανταλλασσόμενων μηνυμάτων μεταξύ των σταδίων, καθώς και για διαφορετικές διάρκειες κάθε σταδίου. Από τη συγκριτική μελέτη των αποτελεσμάτων διαπιστώθηκε ότι και οι δύο τεχνικές βελτιώνουν την αποδοτικότητα του marketplace, με την τεχνική των ξεχωριστών ουρών να υπερτερεί.	el
heal.abstract	The rapid evolution of information technology and its integration to modern technologies results to the production of immense volumes of data in an exponentially increasing rate and lead to the introduction of the term big data. The new needs for storing and processing big data inspires the development of new techniques and technologies, the most important among them being cloud computing. Cloud computing systems enable distributed data storage and processing. This approach offers the advantages of parallel processing and locality, but also creates new challenges due to its distributed nature. The big number of the available cloud services, together with the wide variety in their characteristics, make the selection of the most appropriate service difficult for the user. Automated marketplaces for cloud services are to be developed for that reason. In this thesis we study the proposed 4CaaSt marketplace for cloud services and we seek ways of improving its performance using parallelization techniques. 4CaaSt resolves the problem of proposing the most appropriate cloud services package in for steps, each of them has to wait for the previous one to end before starting. Using message queues, we propose two techniques for data transferring from each step to the next, as soon as data are created and well before the whole step finishes. The first technique uses a single message queue, to which data are sent once created, and then forwarded to the next step. The second uses separate queues for data transferring between each pair of consecutive steps. In order to compare the efficiency of these techniques with one another, as well as against the initial implementation of serial processing, a simplified model of the 4CaaSt marketplace has been created, emphasizing upon the aforementioned four steps. Measurements have been taken for different numbers of send messages as well as for different workloads on each step. Studying the measurement results we conclude that both these techniques improve the efficiency of the marketplace; the separate queues model is even more efficient than the single queue one.	en
heal.advisorName	Βαρβαρίγου, Θεοδώρα	el
heal.committeeMemberName	Βαρβαρίγος, Εμμανουήλ	el
heal.committeeMemberName	Λούμος, Βασίλειος	el
heal.academicPublisher	Εθνικό Μετσόβιο Πολυτεχνείο. Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών. Τομέας Επικοινωνιών, Ηλεκτρονικής και Συστημάτων Πληροφορικής	el
heal.academicPublisherID	ntua
heal.numberOfPages	92 σ.
heal.fullTextAvailability	true