Ανάλυση συναισθήματος σε μεγάλο όγκο δεδομένων κειμένου με χρήση κατανεμημένων τεχνικών μηχανικής εκμάθησης

Abstract

Αντικείμενο της συγκεκριμένης διπλωματικής εργασίας είναι η ανάλυση συναισθήματος σε μεγάλο όγκο δεδομένων κειμένου με τη χρήση κατανεμημένων τεχνικών μηχανικής εκμάθησης. Για το σκοπό αυτό μελετάται το Hadoop, το οποίο αποτελεί το πλέον διαδεδομένο framework για κατανεμημένη επεξεργασία και το Mahout, το οποίο προσφέρει μια βιβλιοθήκη για αλγόριθμους μηχανικής εκμάθησης πάνω από το Hadoop. Στη συνέχεια μελετούνται οι κατανεμημένοι αλγόριθμοι που προσφέρονται από το Mahout, ο Naive Bayes και ο Random Forests, και επιλέγεται ο καταλληλότερος γι’ αυτήν την εργασία. Κατόπιν, γνωρίζοντας πως η ακρίβεια εξαγωγής του συναισθήματος διαδραματίζει καθοριστικό παράγοντα σε μια εφαρμογή, μελετούνται πολλές διαδεδομένες μέθοδοι βελτίωσης της ακρίβειας. Ακολούθως, γίνεται παρουσίαση της εφαρμογή εξαγωγής συναισθήματος που μελετάται στην εργασία αυτήν, καθώς επίσης και εφαρμογή του επιλεγμένου αλγορίθμου και των διαφορετικών μεθόδων βελτίωσης της ακρίβειας, με σκοπό την επίτευξη της καλύτερης δυνατής ακρίβειας ταξινόμησης και την εξαγωγή συμπερασμάτων. Έπειτα, εξηγείται η απαίτηση των σύγχρονων εφαρμογών για χρήση μεγάλου όγκου δεδομένων και πως αυτή καθιστά υποχρεωτική τη χρήση κατανεμημένων αλγορίθμων. Στη συνέχεια, θέλοντας να επιβεβαιώσουμε τη χρησιμότητα των κατανεμημένων αλγορίθμων ταξινόμησης, γίνεται αξιολόγηση της χρήσης τους όταν υπάρχει μεγάλος όγκος δεδομένων. Τέλος, μελετάται η επίδραση του αριθμού των εκπαιδευτικών εγγράφων (από μερικές εκατοντάδες, μέχρι μερικά εκατομμύρια) στην ακρίβεια της εφαρμογής που μελετήθηκε, με σκοπό την περαιτέρω βελτίωση της ακρίβειας ταξινόμησης.

The scope of this particular thesis is the sentiment analysis within big data, using distributed techniques of machine learning. For this purpose, Hadoop is studied, which is the most widespread framework for distributed processing, as well as Mahout, which offers a library for algorithms of machine learning. The distributed algorithms offered by Mahout – Naive Bayes and Random Forests – are also studied, and the one most suitable for this project is chosen. Afterwards, knowing that the accuracy in sentiment analysis applications is a determining factor, various widespread methods of accuracy improvement are studied. The sentiment analysis application that this thesis studies is then presented, and the chosen algorithm and various methods of accuracy improvement are applied, in order to achieve the best possible accuracy in classification and to reach conclusions. I go on to explain the demands of contemporary applications for big data use and how this renders the use of distributed algorithms necessary. Wishing to confirm the usefulness of distributed algorithms for classification, their use when there is big data is evaluated. Finally, the effect that the number of training documents (from hundreds to millions) has on the accuracy of the studied application is analyzed, so that accuracy in classification is further improved.