Μελέτη σφαλμάτων σε μεγάλα γλωσσικά μοντέλα

Γρηγοριάδου, Ναταλία-Μαρία; Grigoriadou, Natalia-Maria

dc.contributor.author	Γρηγοριάδου, Ναταλία-Μαρία	el
dc.contributor.author	Grigoriadou, Natalia-Maria	en
dc.date.accessioned	2025-03-26T08:40:41Z
dc.date.available	2025-03-26T08:40:41Z
dc.identifier.uri	https://dspace.lib.ntua.gr/xmlui/handle/123456789/61457
dc.identifier.uri	http://dx.doi.org/10.26240/heal.ntua.29153
dc.rights	Αναφορά Δημιουργού 3.0 Ελλάδα	*
dc.rights.uri	http://creativecommons.org/licenses/by/3.0/gr/	*
dc.subject	Τεχνητή Νοημοσύνη	el
dc.subject	Μεγάλα γλωσσικά μοντέλα (LLMs)	en
dc.subject	Ανίχνευση hallucination	el
dc.subject	Επεξεργασία Φυσικής Γλώσσας (NLP)	el
dc.subject	Παραγωγή Φυσικής Γλώσσας (NLG)	el
dc.subject	Artificial Intelligence	en
dc.subject	Large Language Models (LLMs)	en
dc.subject	Hallucination detection	en
dc.subject	Natural Language Processing (NLP)	en
dc.subject	Natural Language Generation (NLG)	en
dc.title	Μελέτη σφαλμάτων σε μεγάλα γλωσσικά μοντέλα	el
dc.title	Detection of Hallucinations and Related Observable Overgeneration Mistakes	en
heal.type	bachelorThesis
heal.classification	Τεχνητή Νοημοσύνη	el
heal.classification	Artificial Intelligence	en
heal.language	el
heal.language	en
heal.access	free
heal.recordProvider	ntua	el
heal.publicationDate	2024-10
heal.abstract	Τα τελευταία χρόνια, η εμφάνιση των μεγάλων γλωσσικών μοντέλων (LLMs) έχει φέρει επανάσταση στην Επεξεργασία Φυσικής Γλώσσας (NLP), αλλά έχει επίσης εγείρει κρίσιμες ανησυχίες σχετικά με την αξιοπιστία και την ακρίβεια των αποτελεσμάτων τους. ΄Ενα από τα πιο πιεστικά ζητήματα είναι τα hallucination, όπου τα LLMs παράγουν πληροφορίες που είναι σημασιολογικά ασυνεπείς ή μη σχετικές με την είσοδο. Η αντιμετώπιση αυτής της πρόκλησης είναι υψίστης σημασίας για τη βελτίωση της αξιοπιστίας των LLMs, ιδίως σε εργασίες παραγωγής φυσικής γλώσσας (NLG). Η παρούσα διατριβή διερευνά αποτελεσματικές μεθόδους για την ανίχνευση hallucination, εστιάζοντας σε ρυθμίσεις μαύρου κουτιού όπου οι εσωτερικές λειτουργίες του μοντέλου δεν είναι προσβάσιμες. Η έρευνα συμβάλλει στην ανίχνευση hallucination μέσω της συμμετοχής στο task 6 (SHROOM) του SemEval-2024, το οποία περιλαμβάνει δυαδική ταξινόμηση σε Hallucination και not Hallucination σε task όπως η μηχανική μετάφραση, η παραγωγή ορισμών και η παραγωγή παραφράσεων. Αξιοποιώντας προ-εκπαιδευμένα μοντέλα που έχουν γίνει fine-tuned σε σύνολα δεδομένων ανίχνευσης hallucination και εξαγωγής συμπερασμάτων φυσικής γλώσσας (NLI), η εργασία αυτή επιτυγχάνει σημαντικές βελτιώσεις σε σχέση με τα βασικά συστήματα, με ακρίβεια που φτάνει περίπου το 80%. Οι βασικές συνεισφορές αυτής της διατριβής περιλαμβάνουν την ανάπτυξη ενός ταξινομητή ψηφοφορίας συνόλου που συνδυάζει πολλαπλά μοντέλα για τη βελτίωση της ανίχνευσης hallucination, καθώς και μια σε βάθος ανάλυση των προκλήσεων που θέτουν οι διάφορες εργασίες NLG. Τα ευρήματα παρέχουν πολύτιμες γνώσεις σχετικά με τη φύση των hallucination στα LLMs και προσφέρουν ένα ισχυρό πλαίσιο για μελλοντικές προσπάθειες μετριασμού αυτού του εγγενούς προβλήματος.	el
heal.abstract	In recent years, the emergence of Large Language Models (LLMs) has revolutionized Natural Language Processing (NLP), but has also raised critical concerns regarding the trustworthiness and accuracy of their outputs. One of the most pressing issues is hallucination, where LLMs generate information that is semantically inconsistent or unrelated to the input. Addressing this challenge is paramount to improving the reliability of LLMs, especially in Natural Language Generation (NLG) tasks. This thesis explores efficient methods for hallucination detection, focusing on black-box settings where the model’s internal workings are inaccessible. The research contributes to the detection of hallucinations through participation in the SemEval-2024 Task 6 (SHROOM), which involves binary classification of hallucinations across tasks such as machine translation, definition modeling, and paraphrase generation. By leveraging pre-trained models fine-tuned on hallucination detection and Natural Language Inference (NLI) datasets, this work achieves significant improvements over baseline systems, with accuracies reaching approximately 80%. Key contributions of this thesis include the development of an ensemble voting classifier combining multiple models to enhance hallucination detection, as well as an in-depth analysis of the challenges posed by different NLG tasks. The findings provide valuable insights into the nature of hallucinations in LLMs and offer a robust framework for future efforts to mitigate this inherent issue.	en
heal.advisorName	Στάμου, Γεώργιος	el
heal.committeeMemberName	Βουλόδημος, Αθανάσιος	el
heal.committeeMemberName	Σταφυλοπάτης, Α.-Γ.	el
heal.academicPublisher	Εθνικό Μετσόβιο Πολυτεχνείο. Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών	el
heal.academicPublisherID	ntua
heal.numberOfPages	108 σ.	el
heal.fullTextAvailability	false