Χρήση υποδομής ως κώδικας και δυναμική ανάθεση εργασιών σε συστήματα κατανεμημένης επεξεργασίας δεδομένων βασισμένα σε υπολογιστικά νέφη

Τσαλιαγκός, Κυριάκος; Tsaliagkos, Kyriakos

dc.contributor.author	Τσαλιαγκός, Κυριάκος	el
dc.contributor.author	Tsaliagkos, Kyriakos	en
dc.date.accessioned	2022-04-13T08:56:57Z
dc.date.available	2022-04-13T08:56:57Z
dc.identifier.uri	https://dspace.lib.ntua.gr/xmlui/handle/123456789/55092
dc.identifier.uri	http://dx.doi.org/10.26240/heal.ntua.22790
dc.rights	Default License
dc.subject	Cloud Computing	en
dc.title	Χρήση υποδομής ως κώδικας και δυναμική ανάθεση εργασιών σε συστήματα κατανεμημένης επεξεργασίας δεδομένων βασισμένα σε υπολογιστικά νέφη	el
heal.type	bachelorThesis
heal.classification	Data Engineering	en
heal.language	el
heal.access	free
heal.recordProvider	ntua	el
heal.publicationDate	2021-11-23
heal.abstract	Στη δεύτερη δεκαετία του 21ου αιώνα, οι απαιτήσεις για λήψη αποφάσεων οδη- γούμενη από δεδομένα είναι υψηλότερες από ποτέ. Είτε πρόκειται για ερμηνεία των κινήσεων της αγοράς και των προτιμήσεων των καταναλωτών, με σκοπό την ανάπτυξη μιας επιχείρησης και την μεγιστοποίηση των κερδών της, ή για την ανάλυση ιατρικών δεδομένων εν μέσω μιας παγκόσμιας πανδημίας, με σκοπό την καταπολέμηση ενός ιού και την ανάπτυξη μιας κατάλληλης θεραπείας, υπάρχει συλλογή ενός τεράστιου όγκου δεδομένων που προορίζεται για αποθήκευση και επεξεργασία. Σε μία περίοδο που ο χρόνος-προς-την-αγορά διαρκώς μειώνεται, ειδικά στην ευ- ρύτερη αγορά του Λογισμικού, παρατηρείται μία πρωτοφανής αλλαγή στον τρόπο επε- ξεργασίας αυτών των δεδομένων. Το μεγαλύτερο μέρος των προσπαθειών εστιάζει στην παράλληλη επεξεργασία δεδομένων και την ανάπτυξη αλγορίθμων και συστη- μάτων που υποστηρίζουν αυτή την προσέγγιση. Κρίνοντας ότι η δημιουργία και η συντήρηση ιδιωτικών συστάδων υπολογιστών είναι ασύμφορη οικονομικά, οι χρήστες στρέφονται σε περιβάλλοντα υπηρεσιών νέφους και χρησιμοποιούν την υποδομή που έχουν δημιουργήσει εταιρείες-κολοσσοί του χώρου. Ταυτόχρονα, με την αύξηση στην πολυπλοκότητα των συστημάτων και ειδικότε- ρα όταν αυτά είναι απομακρυσμένα και κατανεμημένα, γίνεται εξαιρετικά δύσκολο να επιχειρηματολογήσει κανείς για το τι είναι ανεπτυγμένο, καθώς και σε περίπτωση σφάλματος να μεταβεί σε μία προηγούμενη ορθή κατάσταση. Για αυτό το λόγο, α- ναπτύσσονται εργαλεία διαχείρισης που στηρίζονται στον κώδικα και επιτρέπουν τη εφαρμογή όλων των δοκιμασμένων τεχνικών του στη διαχείριση υποδομής. Σε αυτή τη διπλωματική εργασία, γίνεται μία προσπάθεια συνδυασμού των διαφο- ρετικών αυτών απαιτήσεων, ωστόσο με τρόπο που να συμπληρώνονται μεταξύ τους. Συγκεκριμένα, μετά από μία επαρκή θεωρητική ανάλυση των υπολογιστικών νεφών, της Υποδομής ως Κώδικα και της παράλληλης επεξεργασίας δεδομένων, θα χρησιμο- ποιηθεί το Terraform ώστε να αναπτυχθεί μία συστάδα υπολογιστών για το Spark στο Amazon EC2 νέφος. Επιπλέον, θα αξιολογηθούν οι δυνατότητες που προσφέρει το Spark για δυναμική ανάθεση εργασιών, με σκοπό την ελαχιστοποίηση σπατάλης στους χρησιμοποιούμενους πόρους.	el
heal.advisorName	Κοζύρης, Νεκτάριος	el
heal.committeeMemberName	Πνευματικάτος, Διονύσιος	el
heal.academicPublisher	Εθνικό Μετσόβιο Πολυτεχνείο. Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών. Τομέας Τεχνολογίας Πληροφορικής και Υπολογιστών. Εργαστήριο Υπολογιστικών Συστημάτων	el
heal.academicPublisherID	ntua
heal.numberOfPages	82 σ.	el
heal.fullTextAvailability	false