Extending self-supervised natural language models through human brain

Λούκας, Νικόλαος; Loukas, Nikolaos

dc.contributor.author	Λούκας, Νικόλαος	el
dc.contributor.author	Loukas, Nikolaos	en
dc.date.accessioned	2022-01-31T09:25:30Z
dc.date.available	2022-01-31T09:25:30Z
dc.identifier.uri	https://dspace.lib.ntua.gr/xmlui/handle/123456789/54484
dc.identifier.uri	http://dx.doi.org/10.26240/heal.ntua.22182
dc.rights	Αναφορά Δημιουργού-Μη Εμπορική Χρήση-Όχι Παράγωγα Έργα 3.0 Ελλάδα	*
dc.rights.uri	http://creativecommons.org/licenses/by-nc-nd/3.0/gr/	*
dc.subject	Μηχανική Μάθηση	el
dc.subject	Βαθειά Μάθηση	el
dc.subject	Νευρωνικά Δίκτυα	el
dc.subject	Εγκεφαλικές Αναπαραστάσεις	el
dc.subject	Επεξεργασία Φυσικής Γλώσσας	el
dc.subject	fMRI	en
dc.subject	Machine Learning	en
dc.subject	Deep Learning	en
dc.subject	Neural Networks	en
dc.subject	Brain Representations	en
dc.title	Extending self-supervised natural language models through human brain	en
dc.contributor.department	Τομέας Σημάτων, Ελέγχου και Ρομποτικής	el
heal.type	bachelorThesis
heal.classification	Machine Learning	en
heal.classification	Natural Language Processing	en
heal.language	el
heal.language	en
heal.access	free
heal.recordProvider	ntua	el
heal.publicationDate	2021-07-26
heal.abstract	Σε αυτή τη διπλωµατική εργασία, ασχολούµαστε µε ϑέµατα στους τοµείς της Γνωστικής Επιστήµης και της Επεξεργασίας Φυσικής Γλώσσας. Ερευνούµε τις αναπαραστάσεις ϕυσικής γλώσσας στον ανθρώπινο εγκέφαλο και τις συγκρίνουµε µε παραδοσιακές αναπαραστάσεις γλώσσας της µηχανικής µάθησης. Σε αυτή την εργασία, αναπτύξαµε µία µέθοδο για την εξαγωγή εγκεφαλικών αναπαραστάσεων από σύνολα δεδοµένων Λειτουργικής Απεικόνισης Μαγνητικού Συντονισµού (fMRI) χρησιµοποιώντας τεχνικές µηχανικής µάθησης, µε ϐάση τις οδηγίες της ϐιβλιογραφίας. Επιπλέον, αξιολογούµε τη δουλειά µας σε πολλαπλές πειραµατικές διαδικασίες και παρέχουµε χρήσιµους συγκριτικούς πίνακες. Πρόσφατες µελέτες διερεύνησαν πώς τα γλωσσικά µοντέλα ϑα µπορούσαν να µάθουν από τον ανθρώπινο εγκέφαλο, ϐρίσκοντας τρόπους αξιοποίησης εγκεφαλικών δεδοµένων στην επεξεργασία ϕυσικής γλώσσας. Τα ευρήµατά τους υποδηλώνουν ότι, η τροποποίηση µοντέλων ϕυσικής γλώσσας ώστε να µπορούν να προβλέψουν καλύτερα δεδοµένα εγκεφάλου ή η χρήση fMRI, που προέρχονται από προτάσεις, ως εισόδους σε ένα µοντέλο για την αύξηση της απόδοσης σε πειραµατικές διαδικασίες, είναι µερικοί εύφοροι δρόµοι για να οδηγηθούµε σε περισσότερα µοντέλα ϕυσικής γλώσσας που αντιλαµβάνονται τον εγκέφαλο. Σε αυτήν την εργασία, χρησιµοποιούµε πρώτα ένα γνωστό σύνολο δεδοµένων fMRI για να αντιστοιχίσουµε παραδοσιακές αναπαραστάσεις λέξεων σε γνωστικές αναπαραστάσεις. Παρουσιάζουµε ένα µοντέλο εγκεφαλικής ενεργοποίησης, µε παλινδρόµηση κορυφογραµµών απευθείας από αναπαρασάσεις Glove, αντί για ένα ενδιάµεσο σηµασιολογικό µοντέλο χαρακτηριστικών που προτείνεται στη ϐιβλιογραϕία, το οποίο χρησιµοποιεί ένα σύνολο λέξεων µε τις ανάλογες µετρήσεις fMRI για να ϐρει µια αντιστοίχιση µεταξύ σηµασιολογίας λέξεων και τοπικών εγκεφαλικών ενεργοποιήσεων. Στη συνέχεια, συγκρίνουµε αυτό το µοντέλο κωδικοποίησης, σε διάφορες παραλλαγές, µε παραδοσιακές αναπαραστάσεις λέξεων σε ένα πρόβληµα σηµασιολογικής οµοιότητας και συµπεραίνουµε ότι η απόδοσή του δεν επηρεάζεται συνολικά από το είδος του χώρου των αρχικών αναπαραστάσεων. Επιπλέον, διερευνούµε πώς οι γνωστικές αναπαραστάσεις ϑα µπορούσαν να επηρεάσουν τις αναπαραστάσεις ενός γλωσσικού µοντέλου. Πρόσφατες µελέτες έχουν δείξει περιπτώσεις όπου οι εγκεφαλικές αναπαραστάσεις έχουν χρησιµοποιηθεί για την ενίσχυση ή τη ϐελτίωση µοντέλων ϕυσικής γλώσσας. Στόχος µας είναι να ϐρούµε ποιες τροποποιήσεις είναι η καλύτερη επιλογή, ώστε να συνδιαστούν κατάλληλα τα γλωσσικά µοντέλα µε τα δεδοµένα του εγκεφάλου. Ενσωµατώνουµε τις γνωστικές αναπαραστάσεις στα γλωσσικά µοντέλα προσθέτοντάς τις ως ερωτήµατα στο επίπεδο προσοχής, προκειµένου να αποτυπώσουµε την εγκεφαλική πληροφορία αυτών των αναπαραστάσεων στη διαδικασία εκπαίδευσης τους. Η προσέγγισή µας εφαρµόζεται πρώτα σε ένα µικρότερο µοντέλο LSTM και έπειτα στη σύνθετη αρχιτεκτονική του µοντέλου BERT. Αφού διαπιστώσουµε ότι ϐελτιώνεται η ικανότητα των µοντέλων LSTM να προβλέπουν δεδοµένα εγκεφάλου, δοκιµάζουµε την απόδοση των µοντέλων µας σε κλασσικά πειράµατα επεξεργασίας ϕυσικής γλώσσας. Συνολικά, τα αποτελέσµατά µας δείχνουν ότι ακόµη και η περίπλοκη αρχιτεκτονική του BERT επηρεάζεται αρνητικά από τις ϑορυβώδεις εγκεφαλικές αναπαϱαστάσεις. Η δοµή του πειράµατος µας, αν και είναι πολλά υποσχόµενη, δεν µποϱεί να εκµεταλλευτεί πλήρως την αξία των γνωστικών αναπαραστάσεων. Για όλα τα γλωσσικά µοντέλα που χρησιµοποιήσαµε, παρατηρούµε ότι η απόδοση του ϐασικού µοντέλου διατηρείται για τα tasks όπου το µοντέλο ήδη επιτυγχάνει καλά αποτελέσµατα, ακόµη και µε τις γνωστικές αναπαραστάσεις στο επίπεδο προσοχής. Επιπλέον, όταν δοκιµάσαµε να προσθέσουµε τις γνωστικές αναπαραστάσεις σε διαϕορετικά επίπεδα του µοντέλου BERT, δείξαµε ότι τα µεσαία επίπεδα κατανέµουν καλύτερα τα ϑορυβώδη δεδοµένα του εγκεφάλου σε σύγκριση µε τα αρχικά και τα τελικά επίπεδα. Τέλος, καταλήγουµε στο συµπέρασµα ότι η δοµή του πειράµατός µας, αν και είναι πολλά υποσχόµενη, δεν µπορεί να εκµεταλλευτεί πλήρως τις δυνατότητες των γνωστικών αναπαραστάσεων. Ως µελλοντική επέκταση, ϑα προτείναµε µια αναζήτηση για τα συστατικά που χρειάζονται οι εγκεφαλικές αναπαραστάσεις ώστε να παρέχουν ανταγωνιστικά αποτελέσµατα στο πλαίσιο των σύγχρονων τεχνικών επεξεργασίας ϕυσικής γλώσσας.	el
heal.abstract	In this diploma thesis, we are concerned with tasks in the domains of Cognitive Science and Natural Language Processing (NLP). We investigate natural language representations in human brain and comparing them with traditional machine learning representations. In this work, we developed a pipeline for extracting neural representations from fMRI datasets by using machine learning techniques, following literature’s guideline. Moreover, we evaluate our work on downstream tasks and provide useful comparative tables. Recent studies investigated how language models could learn from human brain, by finding ways of utilizing brain data in Natural Language Processing. Their findings suggest that, altering NLP models to better align with brain recordings or using fMRIs derived from sentences as features to increase performance at NLP tasks, are some fruitful ways to move towards more brain relevant NLP models. In this work, we first utilize a well known fMRI dataset to map traditional word embeddings to cognitive representations. We present a neural activation model, with ridge regression directly from glove embeddings instead of an intermediate semantic feature model proposed in the literature, that uses a set words with available fMRI measurements in order to find a mapping between word semantics and localized neural activations. Then, we compare this encoding model, in several variations, with traditional word embeddings on a similarity task and conclude that its performance is not affected overall from the semantic or glove space. Furthermore, we investigate how cognitive embeddings could affect a language model’s representations. Recent studies have shown cases where neural representations have been used to enhance or improve natural language models. Our goal is to find which modifications are a better fit to combine the potential of language models and brain data. We incorporate cognitive embeddings into language models by adding them as queries in the attention layer, in order to induce the cognitive bias of these embeddings into their training process. Our approach is first applied on a smaller LSTM model and then on the complex architecture of BERT. After finding that the ability of the LSTM models to predict brain recordings improves, we test all our models’ performance at NLP tasks. Overall, our results indicate that, even the complex BERT architecture is negatively affected by the noisy neural representations. For all language models that we used, we observe that the performance of the base model is maintained for the tasks where it already achieves good results, even with the cognitive embeddings in the attention layer. In addition, when we tested the cognitive embeddings modification on different layers of the BERT model we demonstrated that the mid layers better distribute the noisy brain information in comparison with the earlier and the former layers. Finally, we conclude that our experiment setup, although it’s very promising, can not fully exploit the potential of cognitive embeddings. As a future step, we would suggest a search for the ingredients that the neural representations need in order to provide competitive results in the frame of modern natural language processing techniques.	en
heal.advisorName	Potamianos, Alexandros
heal.committeeMemberName	Stafylopatis, Andreas-Georgios
heal.committeeMemberName	Kollias, Stefanos
heal.academicPublisher	Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών	el
heal.academicPublisherID	ntua
heal.numberOfPages	96
heal.fullTextAvailability	false