Large language models, adapters and perplexity scores for multigenerator, multidomain, and multilingual black-box machine-generated text detection

Ανδρεάδης, Δημήτριος; Andreadis, Dimitrios

dc.contributor.author	Ανδρεάδης, Δημήτριος	el
dc.contributor.author	Andreadis, Dimitrios	en
dc.date.accessioned	2024-12-23T08:19:47Z
dc.date.available	2024-12-23T08:19:47Z
dc.identifier.uri	https://dspace.lib.ntua.gr/xmlui/handle/123456789/60596
dc.identifier.uri	http://dx.doi.org/10.26240/heal.ntua.28292
dc.rights	Αναφορά Δημιουργού-Μη Εμπορική Χρήση-Όχι Παράγωγα Έργα 3.0 Ελλάδα	*
dc.rights.uri	http://creativecommons.org/licenses/by-nc-nd/3.0/gr/	*
dc.subject	Ανίχνευση Κειμένου που δημιουργείται από Μηχανή	el
dc.subject	Απόδοση Συγγραφέα	el
dc.subject	Προεκπαιδευμένα Γλωσσικά Μοντέλα	el
dc.subject	Μεγάλα Γλωσσικά Μοντέλα	el
dc.subject	Περιπλοκότητα	el
dc.subject	Author Attribution	en
dc.subject	Pretrained Language Models	en
dc.subject	Large Language Models	en
dc.subject	Fixed-length Perplexity	en
dc.subject	Machine Generated Text Detection	en
dc.title	Large language models, adapters and perplexity scores for multigenerator, multidomain, and multilingual black-box machine-generated text detection	en
heal.type	bachelorThesis
heal.classification	Τεχνητή Νοημοσύνη	el
heal.language	el
heal.language	en
heal.access	free
heal.recordProvider	ntua	el
heal.publicationDate	2024-07-16
heal.abstract	Large language models (LLMs) are becoming mainstream and easily accessible, ushering in an explosion of machine-generated content over various channels, such as news, social media, question-answering forums, educational, and even academic contexts. Recent LLMs, such as ChatGPT and GPT-4, generate remarkably fluent responses to a wide variety of user queries. The articulate nature of such generated texts makes LLMs attractive for replacing human labor in many scenarios. However, this has also resulted in concerns regarding their potential misuse, such as spreading misinformation and causing disruptions in the education system. Since humans perform only slightly better than chance when classifying machine-generated vs. human written text, there is a need to develop automatic systems to identify machine-generated text with the goal of mitigating its potential misuse. This need is addressed by the 8th task of the SemEval Workshop 2024. In this thesis, we aimed to make a substantial step towards exploring this interesting task by addresing subtasks A and B for the 8th SemEval task. As a starting point, we experimented on fine-tuning pre trained language models (PLMs) for machine-generated text detection (MGTD), examining the effect of the hyperparameters on the accuracy. We suggest the use of prompt tuning as an effective adapter technique that further boosts performance. Moreover, we tried to apply our findings to the more difficult subtask of author attribution (AA). For the multilingual track of MGTD, we attempted to detect the source language of the texts and then translated them as well as used language adapters to test if further improvements can be achieved. Apart from model and adapter tuning, we also explored another approach. By making use of multiple PLMs, we calculated fixed-length perplexities. Overall, this thesis attempts to unveil the potential of methods towards the solution of the problems of MGTD and AA, reaching insightful conclusions.	el
heal.abstract	Τα μεγάλα γλωσσικά μοντέλα (Large Language Models - LLMs) γίνονται κυρίαρχα και εύκολα προσβάσιμα, οδηγώντας σε μια έκρηξη περιεχομένου που δημιουργείται από μηχανές σε διάφορα κανάλια επικοινωνίας, όπως ειδήσεις, κοινωνικά μέσα, φόρουμ απαντήσεων ερωτήσεων, εκπαιδευτικά και ακόμη και ακαδημαϊκά πλαίσια. Πρόσφατα LLMs όπως το ChatGPT και το GPT-4, δημιουργούν εξαιρετικά άπταιστες απαντήσεις σε μια μεγάλη ποικιλία ερωτημάτων χρηστών. Η αρθρωτή φύση τέτοιων παραγόμενων κειμένων καθιστά τα LLMs ελκυστικά για την αντικατάσταση της ανθρώπινης εργασίας σε πολλά σενάρια. Ωστόσο, ανησυχίες έχουν προκύψει σχετικά με την πιθανή κατάχρησή τους, όπως η διάδοση παραπληροφόρησης και η πρόκληση διαταραχών στο εκπαιδευτικό σύστημα. Δεδομένου ότι οι άνθρωποι αποδίδουν μόνο ελαφρώς καλύτερα από την τύχη στην ανίχνευση κειμένου που δημιουργείται από μηχανή, υπάρχει ανάγκη ανάπτυξης αυτόματων συστημάτων με στόχο τον μετριασμό της πιθανής κακής χρήσης των κειμένων αυτών. Αυτή την ανάγκη πραγματεύεται το 8 ο ερώτημα του Συνεδρίου Σημαντικής Αξιολόγησης (SemEval Workshop 2024). Σε αυτή τη διατριβή, στοχεύσαμε να κάνουμε ένα ουσιαστικό βήμα προς τη διερεύνηση αυτού του ενδιαφέροντος ερωτήματος, επιχειρώντας να απαντήσουμε στα υποερωτήματα Α και Β του 8 ου ερωτήματος του συνεδρίου. Ως σημείο εκκίνησης, πειραματιστήκαμε με την εκπαίδευση προ-εκπαιδευμένων γλωσσικών μοντέλων (Pretrained Language Models - PLMs) για την ανίχνευση κειμένου παραγόμενου από μηχανές (Machine-Generated Text De tection - MGTD), εξετάζοντας την επίδραση των υπερπαραμέτρων εκπαίδευσης στην μετρική της ακρίβειας. Προ τείνουμε τη χρήση του προσαρμογέα συντονισμού προτροπής ως αποτελεσματική τεχνική εκπαίδευσης προσαρ μογέα που ενισχύει περαιτέρω την επίδοση. Επιπλέον, προσπαθήσαμε να εφαρμόσουμε τα ευρήματά μας στο πιο δύσκολο υποερώτημα της απόδοσης συγγραφέα (Author Atribution - AA). Για την πολύγλωσση περίπτωση του MGTD, προσπαθήσαμε να εντοπίσουμε τη γλώσσα-πηγή και να μεταφράσουμε πολύγλωσσα κείμενα κα θώς και να χρησιμοποιήσουμε προσαρμογείς γλώσσας για να ελέγξουμε εάν μπορούν να επιτευχθούν περαιτέρω βελτιώσεις. Εκτός από την εκπαίδευση μοντέλων και προσαρμογέων, διερευνήσαμε επίσης μια άλλη προσέγγιση. Χρησιμοποιώντας πολλαπλά PLMs υπολογίσαμε την περιπλοκότητα σταθερού μήκους. Συνολικά, αυτή η διατριβή επιχειρεί να αποκαλύψει την προοπτική διαφόρων μεθόδων προς την λύση των προβ λημάτων MGTD και AA, συνάγοντας ενδιαφέροντα συμπεράσματα	el
heal.advisorName	Στάμου, Γεώργιος	el
heal.committeeMemberName	Στάμου, Γεώργιος	el
heal.committeeMemberName	Σταφυλοπάτης, Ανδρέας-Γεώργιος	el
heal.committeeMemberName	Βουλόδημος, Αθανάσιος	el
heal.academicPublisher	Εθνικό Μετσόβιο Πολυτεχνείο. Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών. Τομέας Τεχνολογίας Πληροφορικής και Υπολογιστών	el
heal.academicPublisherID	ntua
heal.numberOfPages	81 σ.	el
heal.fullTextAvailability	false