Μορφές αποθήκευσης εικονικών δίσκων για την αποδοτική υποστήριξη κλώνων, στιγμιοτύπων και απαλοιφής διπλοτύπων

Ανδρουλιδάκης, Εμμανουήλ; Androulidakis, Emmanouil

dc.contributor.author	Ανδρουλιδάκης, Εμμανουήλ	el
dc.contributor.author	Androulidakis, Emmanouil	en
dc.date.accessioned	2017-02-28T10:24:50Z
dc.date.available	2017-02-28T10:24:50Z
dc.date.issued	2017-02-28
dc.identifier.uri	https://dspace.lib.ntua.gr/xmlui/handle/123456789/44445
dc.identifier.uri	http://dx.doi.org/10.26240/heal.ntua.13942
dc.rights	Default License
dc.subject	Εικονικός δίσκος	el
dc.subject	Στιγμιότυπα	el
dc.subject	Κλώνοι	el
dc.subject	Απαλοιφή διπλοτύπων	el
dc.subject	Εικονικοποίηση αποθήκευσης	el
dc.subject	Εικονική μηχανή	el
dc.subject	Υπολογιστικό νέφος	el
dc.subject	Copy-On-Write	en
dc.subject	Virtual disk	en
dc.subject	Virtual disk format	en
dc.subject	Snapshot	en
dc.subject	Clone	en
dc.subject	Deduplication	en
dc.subject	COW	en
dc.subject	Storage virtualization	en
dc.subject	Virtual machine	en
dc.subject	Cloud	en
dc.subject	QEMU	en
dc.title	Μορφές αποθήκευσης εικονικών δίσκων για την αποδοτική υποστήριξη κλώνων, στιγμιοτύπων και απαλοιφής διπλοτύπων	el
dc.title	Virtual disk formats for the efficient support of clones, snapshots and deduplication	en
heal.type	bachelorThesis
heal.classification	Εικονικές μηχανές	el
heal.classification	Virtual machines	en
heal.classification	Επιστήμη υπολογιστών/πληροφορική	el
heal.classification	Computer science	en
heal.classificationURI	http://data.seab.gr/concepts/8d171a516b24e10ab864eaa4338a219af502936e
heal.classificationURI	http://data.seab.gr/concepts/8d171a516b24e10ab864eaa4338a219af502936e
heal.classificationURI	http://data.seab.gr/concepts/77de68daecd823babbb58edb1c8e14d7106e83bb
heal.classificationURI	http://zbw.eu/stw/descriptor/15609-4
heal.language	el
heal.language	en
heal.access	free
heal.recordProvider	ntua	el
heal.publicationDate	2016-10-31
heal.abstract	Η παρούσα εργασία στόχο έχει να προτείνει μια μορφή εικονικού δίσκου, η οποία θα καταφέρει να συνδυάσει τα πλεονεκτήματα της εξοικονόμησης χώρου από την απαλοιφή διπλοτύπων και την τεχνική COW για υποστήριξη στιγμιοτύπων και κλώνων, με την ακαριαία λήψη των στιγμιοτύπων, τον περιορισμό των εισαγόμενων μεταδεδομένων, την επιτάχυνση του συγχρονισμού απομακρυσμένων αντιγράφων και την υψηλή απόδοση που απαιτείται για εικονικούς δίσκους πρωτογενούς αποθήκευσης. Γι' αυτό αφού διερευνάται ο υποχώρος παραμέτρων της απαλοιφής διπλοτύπων και μελετώνται οι υπάρχουσες μορφές εικονικών δίσκων και οι ελλείψεις τους, προτείνεται ο χωρισμός του εικονικού δίσκου σε τεμάχια. Η αντιστοίχιση από τομείς του εικονικού δίσκου σε τεμάχια, γίνεται μέσω μιας δεντρικής δομής μεταδεδομένων, με εσωτερικούς κόμβους που βοηθούν στην πλοήγηση και κόμβους-φύλλα που δείχνουν στα τεμάχια. Η δενδρική δομή έχει το πλεονέκτημα της ακαριαίας λήψης ενός στιγμιοτύπου, αφού αντιγράφεται μόνο ο κόμβος-ρίζα. Επιπλέον προσφέρει και δυνατότητες για εξοικονόμηση μεταδεδομένων και ταχύτερο συγχρονισμό απομακρυσμένων αντιγράφων, εάν σε μια ακολουθία στιγμιοτύπων οι αλλαγές εντοπίζονται σε ένα κομμάτι του υποδέντρου. Σε σχέση με υπάρχουσες υλοποιήσεις, ο σχεδιασμός μας προσφέρει ενοποίηση των λειτουργιών εξοικονόμησης χώρου και ανεξαρτησία των τεμαχίων, των στιγμιοτύπων και των κλώνων οδηγώντας σε μια πιο ευέλικτη υλοποίηση που δεν εισάγει αρχιτεκτονικούς περιορισμούς και προσφέρει περισσότερες ευκαιρίες για εξοικονόμηση χώρου σε περιβάλλοντα υπολογιστικού νέφους. Υλοποιήσαμε τον παραπάνω σχεδιασμό θεωρώντας τις βασικές οντότητες ως αρχεία και γράψαμε έναν οδηγό μπλοκ συσκευής για τον προσομοιωτή εικονικών μηχανών QEMU. Έπειτα, δοκιμάσαμε διάφορα μικροσκοπικά και μακροσκοπικά φορτία εισόδου-εξόδου, ώστε να διαπιστώσουμε την απόδοση του δίσκου για τους διαφορετικούς συνδυασμούς μεγέθους τεμαχίου και ύψους του δέντρου. Παράλληλα, εξαγάγαμε θεωρητικά την επιβάρυνση σε μεταδεδομένα και διαπιστώσαμε τα οφέλη της δενδρικής δομής στην εξοικονόμηση μεταδεδομένων, με την βοήθεια ενός πραγματικού ίχνους λειτουργιών Ε/Ε.	el
heal.abstract	The problem under investigation is the development of a virtual disk format, that will not only be efficient in terms occupied storage space, by supporting deduplication, sparseness, constrained metadata overhead and the COW technique for snapshots and clones, but will additionally offer instant snapshot/clone creation, efficient remote replication and low access latency required for primary storage. While there are many solutions that support some of the above characteristics, there is none that combines them all efficiently under a unified management, offering the agility, scalability and architectural independence required in a cloud environment. After we analyze the design choices associated with deduplication and we study existent virtual disk formats and their shortcomings, we propose a novel design. We chop the virtual disk into independent chunks of fixed size. This inherently supports sparseness as chunks are allocated on demand. The mapping between virtual disk’s sectors and chunks are carried through a recipe, which is a chunk-indexing array, that in the general case takes the form of a tree, with inner nodes pointing to nodes and leaf nodes pointing to chunks. The tree mapping structure reduces the amount of metadata that need to be copied in a snapshot/clone creation and allows greater sharing of data and metadata, thus offering instant snapshot/clone creation, avoiding metadata explosion and saving network bandwidth in a remote replication process. Deduplication can be employed for both chunks and nodes. The above design is implemented with chunks and nodes as files in the host filesystem, and the related logic for sector translation and snapshot/clone management is implemented as a QEMU backend block driver, integrated in the QEMU block model. We use micro-benhmarks, macro-benchmarks and real I/O traces to explore the parameter subspace and conclude on a tree height and chunk size configuration, that in combination with theoretical deduplication findings can yield a time and space efficient virtual disk.	en
heal.advisorName	Κοζύρης, Νεκτάριος	el
heal.committeeMemberName	Κοζύρης, Νεκτάριος	el
heal.committeeMemberName	Παπασπύρου, Νικόλαος	el
heal.committeeMemberName	Γκούμας, Γεώργιος	el
heal.academicPublisher	Εθνικό Μετσόβιο Πολυτεχνείο. Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών	el
heal.academicPublisherID	ntua
heal.numberOfPages	249 σ.	el
heal.fullTextAvailability	true