Ανάλυση τεχνικών αποθήκευσης και αναζήτησης πολυμεσικών δεδομένων με χρήση NoSQL βάσεων δεδομένων

Κληροδέτης, Πέτρος; Klirodetis, Petros

dc.contributor.author	Κληροδέτης, Πέτρος	el
dc.contributor.author	Klirodetis, Petros	en
dc.date.accessioned	2017-03-20T11:14:52Z
dc.date.available	2017-03-20T11:14:52Z
dc.date.issued	2017-03-20
dc.identifier.uri	https://dspace.lib.ntua.gr/xmlui/handle/123456789/44667
dc.identifier.uri	http://dx.doi.org/10.26240/heal.ntua.13617
dc.rights	Default License
dc.subject	NoSQL	en
dc.subject	MongoDB	en
dc.subject	Cassandra	en
dc.subject	Spark	en
dc.subject	MapReduce	en
dc.title	Ανάλυση τεχνικών αποθήκευσης και αναζήτησης πολυμεσικών δεδομένων με χρήση NoSQL βάσεων δεδομένων	el
heal.type	bachelorThesis
heal.classification	Non-relational databases	en
heal.classification	Κατανεμημένες βάσεις δεδομένων	el
heal.classification	Distributed databases	en
heal.classificationURI	http://id.loc.gov/authorities/subjects/sh2013002186
heal.classificationURI	http://data.seab.gr/concepts/ff91f6a12c5b5d9b3000e730864aa8f2141aa975
heal.classificationURI	http://data.seab.gr/concepts/ff91f6a12c5b5d9b3000e730864aa8f2141aa975
heal.language	el
heal.access	free
heal.recordProvider	ntua	el
heal.publicationDate	2016-10-14
heal.abstract	Η ραγδαία αύξηση του όγκου των δεδομένων τα τελευταία χρόνια έχει οδηγήσει στην ανάπτυξη νέων συστημάτων βάσεων δεδομένων. Οι παραδοσιακές σχεσιακές βάσεις παρά την ευρεία αποδοχή τους και την πληθώρα χαρακτηριστικών που προσφέρουν, παρουσιάζουν αδυναμίες όταν καλούνται να διαχειριστούν ιδιαίτερα μεγάλο όγκο δεδομένων. Προκειμένου να γίνει εφικτή η διαχείρισή και η εξαγωγή χρήσιμων συμπερασμάτων από τα δεδομένα αυτά, τα νέα συστήματα βάσεων δεδομένων διαφοροποιούνται από τα παραδοσιακά, παρουσιάζοντας μεγαλύτερη ευελιξία, προσαρμόζοντας τη δομή των δεδομένων και εγκαταλείποντας κάποια λειτουργικότητα προκειμένου να εξασφαλίσουν τη δυνατότητα οριζόντιας κλιμάκωσης και κατανομής των δεδομένων σε πολλαπλούς κόμβους για παράλληλη αποθήκευση και επεξεργασία. Στην παρούσα εργασία μελετάμε τρόπους αποδοτικής αποθήκευσης και αναζήτησης πολυμεσικών δεδομένων. Το μεγάλο μέγεθος και η πολύπλοκη δομή των πολυμεσικών δεδομένων, μας αποτρέπει να κάνουμε χρήση παραδοσιακών τεχνικών αποθήκευσης όπως είναι οι σχεσιακές βάσεις δεδομένων και έτσι αναζητήσαμε λύσεις στον τομέα των NoSQL βάσεων. Οι λύσεις που εξετάζουμε αφορούν δύο από τις δημοφιλέστερες βάσεις της νέας γενιάς, την MongoDB και την Apache Cassandra. Αρχικά, αναλύουμε την αρχιτεκτονική και τα χαρακτηριστικά των δύο βάσεων και στην συνέχεια μοντελοποιούμε τα δεδομένα μας κατάλληλα για την αποδοτική αποθήκευση σε αυτές. Έπειτα, πραγματοποιούμε πειραματική αξιολόγηση των δυνατοτήτων των δύο συστημάτων καταλήγοντας σε συγκριτικά συμπεράσματα ως προς τις λειτουργίες τους. Τέλος, για την κατανεμημένη επεξεργασία των δεδομένων κάνουμε χρήση του προγραμματιστικού μοντέλου Map Reduce και του κατανεμημένου περιβάλλοντος Apache Spark με στόχο την εξαγωγή χρήσιμης πληροφορίας από τα πολυμεσικά δεδομένα.	el
heal.abstract	The rapid increase in the volume of data in recent years has led to the development of new database systems. Traditional relational databases despite their widespread acceptance and variety of features they offer, are inefficient in cases of management of large data volumes. In order for management and useful information extraction from these data to be enabled, the new database systems differ from traditional, showing more flexibility, adjusting the data structure and sacrificing some functionality to ensure horizontal scaling and sharing of data in multiple nodes for parallel storage and processing. Therefore, the scope of this thesis is the study of efficient storage and searching methods for multimedia data. Large size and complex structure of multimedia data prevent us from using traditional storage techniques such as relational databases and therefore alternative solutions in the NoSQL database field had to be searced. The solutions considered involve two of the most popular databases of the new generation, the MongoDB and Apache Cassandra. Firstly, we analyze the architecture and features of the two databases and then appropriate modeling of data for efficient storage is implemented. Secondly, we perform an experimental evaluation of the two systems and conclude to comparative results as far as their functionalities are concerned. Finally, the distributed data processing is based on the Map Reduce programming model and the distributed environment of Apache Spark for the extraction of useful information from the multimedia data.	en
heal.advisorName	Βαρβαρίγου, Θεοδώρα	el
heal.committeeMemberName	Βαρβαρίγου, Θεοδώρα	el
heal.committeeMemberName	Ασκούνης, Δημήτριος	el
heal.committeeMemberName	Βαρβαρίγος, Εμμανουήλ	el
heal.academicPublisher	Εθνικό Μετσόβιο Πολυτεχνείο. Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών. Τομέας Επικοινωνιών, Ηλεκτρονικής και Συστημάτων Πληροφορικής	el
heal.academicPublisherID	ntua
heal.numberOfPages	98 σ.	el
heal.fullTextAvailability	true