dc.contributor.author | Λούκας, Νικόλαος![]() |
el |
dc.contributor.author | Loukas, Nikolaos![]() |
en |
dc.date.accessioned | 2022-01-31T09:25:30Z | |
dc.date.available | 2022-01-31T09:25:30Z | |
dc.identifier.uri | https://dspace.lib.ntua.gr/xmlui/handle/123456789/54484 | |
dc.identifier.uri | http://dx.doi.org/10.26240/heal.ntua.22182 | |
dc.rights | Αναφορά Δημιουργού-Μη Εμπορική Χρήση-Όχι Παράγωγα Έργα 3.0 Ελλάδα | * |
dc.rights.uri | http://creativecommons.org/licenses/by-nc-nd/3.0/gr/ | * |
dc.subject | Μηχανική Μάθηση | el |
dc.subject | Βαθειά Μάθηση | el |
dc.subject | Νευρωνικά Δίκτυα | el |
dc.subject | Εγκεφαλικές Αναπαραστάσεις | el |
dc.subject | Επεξεργασία Φυσικής Γλώσσας | el |
dc.subject | fMRI | en |
dc.subject | Machine Learning | en |
dc.subject | Deep Learning | en |
dc.subject | Neural Networks | en |
dc.subject | Brain Representations | en |
dc.title | Extending self-supervised natural language models through human brain | en |
dc.contributor.department | Τομέας Σημάτων, Ελέγχου και Ρομποτικής | el |
heal.type | bachelorThesis | |
heal.classification | Machine Learning | en |
heal.classification | Natural Language Processing | en |
heal.language | el | |
heal.language | en | |
heal.access | free | |
heal.recordProvider | ntua | el |
heal.publicationDate | 2021-07-26 | |
heal.abstract | Σε αυτή τη διπλωµατική εργασία, ασχολούµαστε µε ϑέµατα στους τοµείς της Γνωστικής Επιστήµης και της Επεξεργασίας Φυσικής Γλώσσας. Ερευνούµε τις αναπαραστάσεις ϕυσικής γλώσσας στον ανθρώπινο εγκέφαλο και τις συγκρίνουµε µε παραδοσιακές αναπαραστάσεις γλώσσας της µηχανικής µάθησης. Σε αυτή την εργασία, αναπτύξαµε µία µέθοδο για την εξαγωγή εγκεφαλικών αναπαραστάσεων από σύνολα δεδοµένων Λειτουργικής Απεικόνισης Μαγνητικού Συντονισµού (fMRI) χρησιµοποιώντας τεχνικές µηχανικής µάθησης, µε ϐάση τις οδηγίες της ϐιβλιογραφίας. Επιπλέον, αξιολογούµε τη δουλειά µας σε πολλαπλές πειραµατικές διαδικασίες και παρέχουµε χρήσιµους συγκριτικούς πίνακες. Πρόσφατες µελέτες διερεύνησαν πώς τα γλωσσικά µοντέλα ϑα µπορούσαν να µάθουν από τον ανθρώπινο εγκέφαλο, ϐρίσκοντας τρόπους αξιοποίησης εγκεφαλικών δεδοµένων στην επεξεργασία ϕυσικής γλώσσας. Τα ευρήµατά τους υποδηλώνουν ότι, η τροποποίηση µοντέλων ϕυσικής γλώσσας ώστε να µπορούν να προβλέψουν καλύτερα δεδοµένα εγκεφάλου ή η χρήση fMRI, που προέρχονται από προτάσεις, ως εισόδους σε ένα µοντέλο για την αύξηση της απόδοσης σε πειραµατικές διαδικασίες, είναι µερικοί εύφοροι δρόµοι για να οδηγηθούµε σε περισσότερα µοντέλα ϕυσικής γλώσσας που αντιλαµβάνονται τον εγκέφαλο. Σε αυτήν την εργασία, χρησιµοποιούµε πρώτα ένα γνωστό σύνολο δεδοµένων fMRI για να αντιστοιχίσουµε παραδοσιακές αναπαραστάσεις λέξεων σε γνωστικές αναπαραστάσεις. Παρουσιάζουµε ένα µοντέλο εγκεφαλικής ενεργοποίησης, µε παλινδρόµηση κορυφογραµµών απευθείας από αναπαρασάσεις Glove, αντί για ένα ενδιάµεσο σηµασιολογικό µοντέλο χαρακτηριστικών που προτείνεται στη ϐιβλιογραϕία, το οποίο χρησιµοποιεί ένα σύνολο λέξεων µε τις ανάλογες µετρήσεις fMRI για να ϐρει µια αντιστοίχιση µεταξύ σηµασιολογίας λέξεων και τοπικών εγκεφαλικών ενεργοποιήσεων. Στη συνέχεια, συγκρίνουµε αυτό το µοντέλο κωδικοποίησης, σε διάφορες παραλλαγές, µε παραδοσιακές αναπαραστάσεις λέξεων σε ένα πρόβληµα σηµασιολογικής οµοιότητας και συµπεραίνουµε ότι η απόδοσή του δεν επηρεάζεται συνολικά από το είδος του χώρου των αρχικών αναπαραστάσεων. Επιπλέον, διερευνούµε πώς οι γνωστικές αναπαραστάσεις ϑα µπορούσαν να επηρεάσουν τις αναπαραστάσεις ενός γλωσσικού µοντέλου. Πρόσφατες µελέτες έχουν δείξει περιπτώσεις όπου οι εγκεφαλικές αναπαραστάσεις έχουν χρησιµοποιηθεί για την ενίσχυση ή τη ϐελτίωση µοντέλων ϕυσικής γλώσσας. Στόχος µας είναι να ϐρούµε ποιες τροποποιήσεις είναι η καλύτερη επιλογή, ώστε να συνδιαστούν κατάλληλα τα γλωσσικά µοντέλα µε τα δεδοµένα του εγκεφάλου. Ενσωµατώνουµε τις γνωστικές αναπαραστάσεις στα γλωσσικά µοντέλα προσθέτοντάς τις ως ερωτήµατα στο επίπεδο προσοχής, προκειµένου να αποτυπώσουµε την εγκεφαλική πληροφορία αυτών των αναπαραστάσεων στη διαδικασία εκπαίδευσης τους. Η προσέγγισή µας εφαρµόζεται πρώτα σε ένα µικρότερο µοντέλο LSTM και έπειτα στη σύνθετη αρχιτεκτονική του µοντέλου BERT. Αφού διαπιστώσουµε ότι ϐελτιώνεται η ικανότητα των µοντέλων LSTM να προβλέπουν δεδοµένα εγκεφάλου, δοκιµάζουµε την απόδοση των µοντέλων µας σε κλασσικά πειράµατα επεξεργασίας ϕυσικής γλώσσας. Συνολικά, τα αποτελέσµατά µας δείχνουν ότι ακόµη και η περίπλοκη αρχιτεκτονική του BERT επηρεάζεται αρνητικά από τις ϑορυβώδεις εγκεφαλικές αναπαϱαστάσεις. Η δοµή του πειράµατος µας, αν και είναι πολλά υποσχόµενη, δεν µποϱεί να εκµεταλλευτεί πλήρως την αξία των γνωστικών αναπαραστάσεων. Για όλα τα γλωσσικά µοντέλα που χρησιµοποιήσαµε, παρατηρούµε ότι η απόδοση του ϐασικού µοντέλου διατηρείται για τα tasks όπου το µοντέλο ήδη επιτυγχάνει καλά αποτελέσµατα, ακόµη και µε τις γνωστικές αναπαραστάσεις στο επίπεδο προσοχής. Επιπλέον, όταν δοκιµάσαµε να προσθέσουµε τις γνωστικές αναπαραστάσεις σε διαϕορετικά επίπεδα του µοντέλου BERT, δείξαµε ότι τα µεσαία επίπεδα κατανέµουν καλύτερα τα ϑορυβώδη δεδοµένα του εγκεφάλου σε σύγκριση µε τα αρχικά και τα τελικά επίπεδα. Τέλος, καταλήγουµε στο συµπέρασµα ότι η δοµή του πειράµατός µας, αν και είναι πολλά υποσχόµενη, δεν µπορεί να εκµεταλλευτεί πλήρως τις δυνατότητες των γνωστικών αναπαραστάσεων. Ως µελλοντική επέκταση, ϑα προτείναµε µια αναζήτηση για τα συστατικά που χρειάζονται οι εγκεφαλικές αναπαραστάσεις ώστε να παρέχουν ανταγωνιστικά αποτελέσµατα στο πλαίσιο των σύγχρονων τεχνικών επεξεργασίας ϕυσικής γλώσσας. | el |
heal.abstract | In this diploma thesis, we are concerned with tasks in the domains of Cognitive Science and Natural Language Processing (NLP). We investigate natural language representations in human brain and comparing them with traditional machine learning representations. In this work, we developed a pipeline for extracting neural representations from fMRI datasets by using machine learning techniques, following literature’s guideline. Moreover, we evaluate our work on downstream tasks and provide useful comparative tables. Recent studies investigated how language models could learn from human brain, by finding ways of utilizing brain data in Natural Language Processing. Their findings suggest that, altering NLP models to better align with brain recordings or using fMRIs derived from sentences as features to increase performance at NLP tasks, are some fruitful ways to move towards more brain relevant NLP models. In this work, we first utilize a well known fMRI dataset to map traditional word embeddings to cognitive representations. We present a neural activation model, with ridge regression directly from glove embeddings instead of an intermediate semantic feature model proposed in the literature, that uses a set words with available fMRI measurements in order to find a mapping between word semantics and localized neural activations. Then, we compare this encoding model, in several variations, with traditional word embeddings on a similarity task and conclude that its performance is not affected overall from the semantic or glove space. Furthermore, we investigate how cognitive embeddings could affect a language model’s representations. Recent studies have shown cases where neural representations have been used to enhance or improve natural language models. Our goal is to find which modifications are a better fit to combine the potential of language models and brain data. We incorporate cognitive embeddings into language models by adding them as queries in the attention layer, in order to induce the cognitive bias of these embeddings into their training process. Our approach is first applied on a smaller LSTM model and then on the complex architecture of BERT. After finding that the ability of the LSTM models to predict brain recordings improves, we test all our models’ performance at NLP tasks. Overall, our results indicate that, even the complex BERT architecture is negatively affected by the noisy neural representations. For all language models that we used, we observe that the performance of the base model is maintained for the tasks where it already achieves good results, even with the cognitive embeddings in the attention layer. In addition, when we tested the cognitive embeddings modification on different layers of the BERT model we demonstrated that the mid layers better distribute the noisy brain information in comparison with the earlier and the former layers. Finally, we conclude that our experiment setup, although it’s very promising, can not fully exploit the potential of cognitive embeddings. As a future step, we would suggest a search for the ingredients that the neural representations need in order to provide competitive results in the frame of modern natural language processing techniques. | en |
heal.advisorName | Potamianos, Alexandros | |
heal.committeeMemberName | Stafylopatis, Andreas-Georgios | |
heal.committeeMemberName | Kollias, Stefanos | |
heal.academicPublisher | Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών | el |
heal.academicPublisherID | ntua | |
heal.numberOfPages | 96 | |
heal.fullTextAvailability | false |
Οι παρακάτω άδειες σχετίζονται με αυτό το τεκμήριο: