Data Story Telling and Analytics

Ουζουνίδης, Γεώργιος; Ouzounidis, Georgios

dc.contributor.author	Ουζουνίδης, Γεώργιος	el
dc.contributor.author	Ouzounidis, Georgios	en
dc.date.accessioned	2017-12-18T10:59:08Z
dc.date.available	2017-12-18T10:59:08Z
dc.date.issued	2017-12-18
dc.identifier.uri	https://dspace.lib.ntua.gr/xmlui/handle/123456789/46112
dc.identifier.uri	http://dx.doi.org/10.26240/heal.ntua.7688
dc.rights	Αναφορά Δημιουργού-Μη Εμπορική Χρήση-Όχι Παράγωγα Έργα 3.0 Ελλάδα	*
dc.rights.uri	http://creativecommons.org/licenses/by-nc-nd/3.0/gr/	*
dc.subject	Storytelling	en
dc.subject	Visual Analytics	el
dc.subject	Cartography	el
dc.subject	Data Analysis	el
dc.subject	Reporting	el
dc.subject	Storytelling	el
dc.subject	Visual Analytics	en
dc.subject	GIS	en
dc.subject	Reporting	en
dc.subject	Statistics	en
dc.title	Data Story Telling and Analytics	en
dc.title	Εφαρμογή Story Telling και Analytics	el
dc.contributor.department	Geoinformatics	el
heal.type	masterThesis
heal.secondaryTitle	Case Study and interactive approach using R Shiny , Leaflet and D3	en
heal.secondaryTitle	Μια διαδραστική προσέγγιση με χρήση R Shiny, Leaflet και D3	el
heal.classification	Storytelling	el
heal.classification	Visual analytics	el
heal.classification	Cartography	el
heal.classification	Data Analysis	el
heal.classification	statistics	el
heal.classification	Storytelling	en
heal.classification	Visual analytics	en
heal.classification	Geographical information systems	en
heal.classification	Statitics	en
heal.classification	Data Analysis	en
heal.classificationURI	http://id.loc.gov/authorities/childrensSubjects/sj96006204
heal.classificationURI	http://id.loc.gov/authorities/subjects/sh2007004134
heal.classificationURI	http://skos.um.es/unescothes/C01671
heal.language	en
heal.access	free
heal.recordProvider	ntua	el
heal.publicationDate	2017-11-26
heal.abstract	Understanding the basics of math and graphs is becoming increasingly necessary in many aspects of every day life, as the age in which we live today is the age of data. Either spatial or not, data is everywhere. Statistics, programming, complex processes and further more are behind the results and conclusions extracted from several data sources. This complexity varies from one process to another. However, it always has at least a minimum level of difficulty that requires the contribution of an expert. The objective of this study is to simplify the way we look into data and propose an interactive approach in which the user would be able to interact, communicate and understand the results of the data analysis without having a statistical and technical background. In this scope, the study describes from the very beginning to the very end the process of knowledge discovery from data and suggests an interactive presentation of the results based on storytelling concepts with a particular focus on geographic data. In order to achieve this, the study is organized as follows: The first chapter focuses on basic theory concepts of storytelling and especially data storytelling. This chapter also describes the overview of the methodology of extracting knowledge from data and presents a list of web technologies used for visualization of geographic data. Furthermore, it describes data mining techniques with an emphasis on specific classification methodologies and clustering techniques. The second chapter focuses on the first steps of creating an interactive data storytelling web application. These steps include data preparation and data processing. The third chapter illustrates the data analysis step. It describes statistical methods and in general mining techniques applied in order to extract knowledge from data. The current case study analysis uses descriptive statistics, probability functions, classification and clustering methodologies as well as predictive analysis. The data used refer to Marineculture industry and are derived from an Aquaculture Company Group located in Greece. The forth chapter describes the technologies that allow to build an environment with interactive characteristics. This chapter focuses on the implementation of the web application based on data storytelling concepts. The last chapter contains a review of the whole process and presents ideas on future work.	en
heal.abstract	Η τελευταία δεκαετία χαρακτηρίζεται από την εκθετική ανάπτυξη των τεχνολογιών διαδικτύου και την εκτεταμένη χρήση των μέσων κοινωνικής δικτύωσης. Χαρακτηριστικό της τάσης των χρηστών διαδικτύου της σύγχρονης εποχής αποτελεί η αυξανόμενη αλληλεπίδρασή τους με τα πλατφόρμες εισαγωγής και ανταλλαγής πληροφοριών. Αυτό έχει ως αποτέλεσμα την συγκέντρωση μεγάλου όγκου πληροφορίας ακόμα και όταν πρόκειται για μικρότερου εύρους εφαρμογές. Πλατφόρμες όπως οι Google, Facebook, Twitter κ.ά. συγκεντρώνουν καθημερινά τεράστιες ποσότητες πληροφορίας που στο παρελθόν συλλέγονταν σε δεκαετίες. Με την ανάπτυξη των τεχνολογιών που αφορούν στην διαχείριση και αποθήκευση δεδομένων, η συλλογή της πληροφορίας αποτελεί πλέον μια από της σημαντικότερες διεργασίες της κάθε εφαρμογής. Συνεπώς η σύγχρονη εποχή δικαίως χαρακτηρίζεται ως η εποχή της πληροφορίας ή διαφορετικά η εποχή των Big Data. Μεγάλο μέρος των δεδομένων που συλλέγονται είναι αποτέλεσμα εφαρμογών που σχετίζονται και με την γεωγραφική τοποθεσία. Το ποσοστό των χωρικών δεδομένων στο σύνολο των δεδομένων που αποθηκεύονται καθημερινά αυξάνεται σταδιακά. Αυτό συμβαίνει διότι η ανάγκη για τη γνώση της τοποθεσίας γίνεται όλο και περισσότερο ενδιαφέρουσα όσο οι τεχνολογίες που ασχολούνται με την χωρική πληροφορία εξελίσσονται. Οι σύγχρονες πλατφόρμες αποθήκευσης πληροφορίας διαθέτουν ως αναπόσπαστο κομμάτι τους τη χωρική διάσταση των δεδομένων, γεγονός που στο παρελθόν απαιτούσε τη χρήση εξειδικευμένων τεχνολογιών και τη γνώση συστημάτων γεωπληροφορικής. Η εξέλιξη των εργαλείων επεξεργασίας, διαχείρισης, αποθήκευσης, συντήρησης και οπτικοποίησης χωρικών δεδομένων έχει δημιουργήσει νέες προοπτικές ανάλυσης και εξαγωγής συμπερασμάτων από τα δεδομένα. Παράλληλα, ο αυξανόμενος όγκος δεδομένων που παράγεται καθημερινά δημιουργεί την ανάγκη για την εξαγωγή χρήσιμων συμπερασμάτων. Επιπλέον η παρουσίαση των αποτελεσμάτων, κυρίως όταν πρόκειται για αποτελέσματα που προκύπτουν από μια σύνθετη ανάλυση, παίζει ιδιαίτερα σημαντικό ρόλο στο τελικό στόχο της διαδικασίας που είναι η επικοινωνία στα ενδιαφερόμενα μέρη. Σκοπός της παρούσας εργασίας είναι η δημιουργία ενός περιβάλλοντος το οποίο θα παρουσιάζει με σύντομο, απλό και κατανοητό τρόπο προς το χρήστη τα αποτελέσματα μιας εξειδικευμένης ανάλυσης δεδομένων. Στην επίτευξη του στόχου αυτού συμβάλλει η θεωρία της αφηγηματικής παρουσίασης (Storytelling) και η χρήση διαδραστικών εργαλείων. Το τελικό αποτέλεσμα έχει ως στόχο την επικοινωνία των αποτελεσμάτων της ανάλυσης με όσο το δυνατόν πιο απλό και κατανοητό τρόπο στον χρήστη στον οποίο απευθύνεται, μέσω μιας διαδικτυακής εφαρμογής. Επιπλέον, στόχος της εφαρμογής είναι η δημιουργία κατάλληλων εργαλείων που θα δίνουν τη δυνατότητα στο χρήστη να πραγματοποιήσει βασική ανάλυση και παρουσίαση της γεωγραφικής διάστασης των δεδομένων. Αναλυτικά, η εργασία ασχολείται με την διαδικασία εξαγωγής συμπερασμάτων από ένα σύνολο δεδομένων και με την επικοινωνία των αποτελεσμάτων μέσω μιας αφηγηματικής παρουσίασης στο πλαίσιο μιας διαδικτυακής εφαρμογής. Η εργασία χωρίζεται σε δύο μέρη: (α) στο πρώτο μέρος αναφέρονται οι βασικές έννοιες και μεθοδολογίες που σχετίζονται με τη διαδικασία εξαγωγής συμπερασμάτων από βάσεις δεδομένων. Επίσης περιγράφονται κεντρικές έννοιες της εργασίας όπως, analytics, storrytelling, kdd process κ.α. που χρησιμοποιούνται στο στάδιο υλοποίησης της εφαρμογής. (β) Στο δεύτερο μέρος, περιγράφονται επιγραμματικά τα στάδια υλοποίησης μιας διαδικτυακής εφαρμογής που έχει ως στόχο την παρουσίαση των αποτελεσμάτων από την ανάλυση μιας βάσης δεδομένων, χρησιμοποιώντας μια αφηγηματικού τύπου προσέγγιση. Συγκεκριμένα, το πρώτο κεφάλαιο επικεντρώνεται στην αναφορά κεντρικών εννοιών γύρω από τη θεωρία του Storytelling και ιδιαίτερα του Data Storytelling. Στο ίδιο κεφάλαιο περιγράφεται και μια σειρά μεθοδολογιών ανάλυσης δεδομένων και αναλύεται η διαδικασία της εξαγωγής συμπερασμάτων από βάσεις δεδομένων (KDD process). Τέλος παρουσιάζεται μία λίστα με τις διαθέσιμες τεχνολογίες διαδικτύου για την οπτικοποίηση γεωγραφικών πληροφοριών και αναλύονται συνοπτικά οι δυνατότητές τους. Μέρος των μεθοδολογιών που περιγράφονται χρησιμοποιούνται σε επόμενα κεφάλαια, στο πλαίσιο του σχεδιασμού και της δημιουργίας μιας Data Storytelling εφαρμογής. Το δεύτερο κεφάλαιο επικεντρώνεται στην επιλογή, τη διάθεση και την αποθήκευση των δεδομένων που θα χρησιμοποιηθούν στην εφαρμογή. Συγκεκριμένα, οι πληροφορίες που χρησιμοποιούνται στην παρούσα εφαρμογή έχουν συλλεχθεί από την παγκόσμια τράπεζα πληροφοριών (The world Bank) και μεγάλο ευρωπαϊκό όμιλο που δραστηριοποιείται στον κλάδο της ιχθυοκαλλιέργειας. Τα δεδομένα αφορούν σε ποσότητες και αξία πωλήσεων του ομίλου για την περίοδο από 1/1/2013 εώς 22/8/2017. Τα δεδομένα περιέχουν πληροφορία που αφορά στο σημείο πώλησης σε επίπεδο χώρας, το είδος του προϊόντος (Λαυράκι, Τσιπούρα, Φαγκρί και Κρανιός), το βαθμό επεξεργασίας του τελικού προϊόντος (απεντερωμένα, ολόκληρα και φιλέτα), την κατηγορία μεγέθους, τη γενική κατηγορία (κατεψυγμένο και φρέσκο), την ημερομηνία αποστολής, την ποσότητα αποστολής και την αξία. Συνεπώς, στο στάδιο αυτό πραγματοποιείται η συλλογή και αποθήκευση των πληροφοριών από τις παραπάνω πηγές, η πρώτη επεξεργασία, το καθάρισμα των δεδομένων και η αποθήκευση της τελικής τους μορφής σε μια αξιοποιήσιμη δομή προς περαιτέρω ανάλυση. Στη συνέχεια, το τρίτο κεφάλαιο επικεντρώνεται στην ανάλυση των δεδομένων και στην παρουσίαση των κεντρικών συμπερασμάτων της ανάλυσης. Στο πλαίσιο αυτό χρησιμοποιούνται μεθοδολογίες περιγραφικής στατιστικής ( Μέγιστη τιμή πλήθους, Μέσος Όρος, Αθροιστική συχνότητα, Συνάρτηση πυκνότητας, Συνάρτηση πιθανότητας κλπ), μεθοδολογίες ταξινόμησης (Μέθοδος ταξινόμησης ίσων διαστημάτων), τεχνικές ομαδοποίησης δεδομένων και μεθοδολογίες πρόβλεψης (Predictive Analysis). Σκοπός της ανάλυσης είναι η εξαγωγή χρήσιμων συμπερασμάτων, που δεν είναι εκ των προτέρων γνωστά και η συμβολή στην βέλτιστη κατανόηση των πηγαίων δεδομένων. Τέλος, στο κεφάλαιο αυτό περιγράφονται τα αποτελέσματα και τα κεντρικά σημεία της ανάλυσης που θα χρησιμοποιηθούν στην υλοποίηση της Data Storytelling εφαρμογής. Στο τέταρτο κεφάλαιο παρουσιάζεται η διαδικασία της μετατροπής των αποτελεσμάτων της ανάλυσης σε μια διαδραστική εφαρμογή. Το κεφάλαιο αυτό επικεντρώνεται στην δημιουργία ενός περιβάλλοντος που βασίζεται στα κεντρικά στοιχεία της έννοιας του Data Storytelling. Στόχος αποτελεί η παρουσίαση των συμπερασμάτων που έχουν προκύψει από την ανάλυση με ένα αποτελεσματικό και όσο το δυνατόν πιο επικοινωνιακό τρόπο. Για το λόγο αυτό, χρησιμοποιούνται μια σειρά τεχνολογιών που συμβάλλουν στην ανάπτυξη της διάδρασης του χρήστη με την εφαρμογή και στην παρουσίαση των εξαχθέντων συμπερασμάτων με απλό και κατανοητό τρόπο. Αυτό επιτυγχάνεται με τη χρήση κατάλληλων γραφημάτων, με τη συνοδεία κειμένου και με την ανάπτυξη της παρουσίασης των αποτελεσμάτων με ένα γραμμικό τρόπο ώστε να διευκολύνει το χρήστη στην κατανόησή τους. Για τη δημιουργία των γραφημάτων στην παρούσα εφαρμογή χρησιμοποιούνται οι τεχνολογίες Leaflet, GoogleCharts, D3 και Highcharter και στην υλοποίηση του συνόλου των διαδικασιών της εφαρμογής οι τεχνολογίες Postgresql και R shiny. Επιπλέον, η χρήση διαδραστικών γραφημάτων στοχεύει στην εμπλοκή του χρήστη και κυρίως στη δυνατότητα να πραγματοποιήσει δυναμικά μια βασική γεωγραφική και στατιστική ανάλυση στα δεδομένα. Στο πέμπτο και τελευταίο κεφάλαιο της εργασίας αποτυπώνονται συνοπτικά τα συμπεράσματα και οι προοπτικές εξέλιξης και βελτιστοποίησης της προτεινόμενης αλλά και παρόμοιας θεματικής εφαρμογών.	el
heal.advisorName	Theodoridis, Yannis	en
heal.advisorName	Θεοδωρίδης, Ιωάννης	el
heal.committeeMemberName	Θεοδωρίδης, Ιωάννης	el
heal.committeeMemberName	Κάβουρας, Μαρίνος	el
heal.committeeMemberName	Πέλεκης, Νικόλαος	el
heal.committeeMemberName	Theodoridis, Yannis	en
heal.committeeMemberName	Pelekis, Nikolaos	el
heal.committeeMemberName	Kavouras, Marinos	el
heal.academicPublisher	Σχολή Αγρονόμων και Τοπογράφων Μηχανικών	el
heal.academicPublisherID	ntua
heal.numberOfPages	98
heal.fullTextAvailability	true