Αποθήκευση και διαχείριση μεγάλων δεδομένων σε κατανεμημένα συστήματα

Ευστράτιος, Καρυπιάδης; Efstratios, Karypiadis

dc.contributor.author	Ευστράτιος, Καρυπιάδης	el
dc.contributor.author	Efstratios, Karypiadis	en
dc.date.accessioned	2022-06-21T10:12:21Z
dc.date.available	2022-06-21T10:12:21Z
dc.identifier.uri	https://dspace.lib.ntua.gr/xmlui/handle/123456789/55310
dc.identifier.uri	http://dx.doi.org/10.26240/heal.ntua.23008
dc.rights	Αναφορά Δημιουργού-Μη Εμπορική Χρήση-Όχι Παράγωγα Έργα 3.0 Ελλάδα	*
dc.rights.uri	http://creativecommons.org/licenses/by-nc-nd/3.0/gr/	*
dc.subject	Κυβερνήτης	el
dc.subject	Μεγάλα δεδομένα	el
dc.subject	Μη σχεσιακές βάσεις δεδομένων	el
dc.subject	Αυτόματη κλιμάκωση	el
dc.subject	Κατακερματισμός	el
dc.subject	Kubernetes	en
dc.subject	MongoDB	en
dc.subject	Autoscaling	en
dc.subject	Replication	en
dc.subject	Sharding	en
dc.title	Αποθήκευση και διαχείριση μεγάλων δεδομένων σε κατανεμημένα συστήματα	el
heal.type	bachelorThesis
heal.classification	Υπολογιστικά συστήματα	el
heal.language	el
heal.access	free
heal.recordProvider	ntua	el
heal.publicationDate	2022-02-24
heal.abstract	The constant advancement of technology in combination with the digitalization of everyday life has led to the drastic increase of produced data. This data, irrespective of volume and source, is considered to be an asset of value considering the way it can affect decision making, training of advanced artificial intelligent systems and advancement of already acquired knowledge. It is no wonder that technology leaders claim that Big Data is the new oil. As a result, effective systems for storing and managing data of this volume is needed, in order for the humankind to capitalize on this value. The goal of this thesis is to propose dynamic system for storing and managing Big Data, which can automatically scale its resources according to network load, aiming at optimizing resource utilization and decreasing response times for applications in need of high availability. Kubernetes was used for the purposes of this system, where a sharded MongoDB instance is deployed, along with a custom agent, who can trigger up- or down-scaling according to cluster workload.	en
heal.abstract	Με τη συνεχή εξέλιξη της τεχνολογίας και την όλο και περισσότερη ψηφιοποίηση της καθημε-ρινότητας έχει αυξηθεί ο παραγόμενος όγκος δεδομένων. Εκτιμάται ότι τα δεδομένα, οποιασ-δήπτε μορφής και προέλευσης, αποτελούν αγαθό αξίας, δεδομένης της υποστήριξης που μπορούν να προσφέρουν στη λήψη αποφάσεων, στην εκπαίδευση συστημάτων τεχνικής νοημοσύνης και στην εξέλιξη της ήδη υπάρχουσας γνώσης. Δεν είναι τυχαία άλλωστε η φράση: τα δεδομένα είναι το νέο πετρέλαιο. Σε μία εποχή, λοιπόν, όπου η αποδοτική αποθήκευση και διαχείριση Μεγάλων Δεδομένων μπορεί να συμβάλλει στην αποτελεσματική αντιμετώπιση ποικίλων προβλημάτων και προκλήσεων είναι επιτακτική η ανάγκη συστημάτων που μπορούν να ανταποκριθούν σε αυτές τις απαιτήσεις. Σκοπός της διπλωματικής είναι να προτείνει ένα δυναμικό σύστημα αποθήκευσης και διαχείρισης μεγάλου όγκου δεδομένων, το οποίο μεταβάλλει την κλίμακά του, αυτόματα, προκειμένου να προσαρμοστεί στο φόρτο δικτύου προς εξυπηρέτηση εφαρμογών υψηλής διαθεσιμότητας και χαμηλών αποκρίσεων, μέσω της αποδοτικής εκμετάλλευσης των διαθέσιμων πόρων. Για τη δημιουργία του συστήματος χρησιμοποιήθηκε το οικοσύστημα αυτοματοποιημένης διαχείρισης containers Kubernetes, στο οποίο φιλοξενείται βάση μη σχεσιακού σχήματος δεδομένων. Πιο συγκεκριμένα, γίνεται χρήση των λειτουργιών replication και sharding της MongoDB προς αυξομείωση της κλίμακας της βάσης αποθήκευσης. Η μεταβολή της κλίμακας επιτυγχάνεται μέσω πράκτορα-παρατηρητή που αναπτύχθηκε, ο οποίος μεταβάλλει τα αντίγραφα (replicas) της βάσης, όταν ανιχνευθεί υπερβολικός φόρτος στους εξυπηρετητές.	el
heal.advisorName	Βαρβαρίγου, Θεοδώρα	el
heal.committeeMemberName	Βαρβαρίγου, Θεοδώρα	el
heal.committeeMemberName	Παπαβασιλείου, Συμεών	el
heal.committeeMemberName	Βαρβαρίγος, Εμμανουήλ	el
heal.academicPublisher	Εθνικό Μετσόβιο Πολυτεχνείο. Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών. Τομέας Επικοινωνιών, Ηλεκτρονικής και Συστημάτων Πληροφορικής	el
heal.academicPublisherID	ntua
heal.numberOfPages	77 σ.	el
heal.fullTextAvailability	false