Μελέτη διαρροής δεδομένων από προ-εκπαιδευμένα 
γλωσσικά μοντέλα

Γρουζτίδου, Μαρία; Grouztidou, Maria

dc.contributor.author	Γρουζτίδου, Μαρία	el
dc.contributor.author	Grouztidou, Maria	en
dc.date.accessioned	2024-07-17T10:47:31Z
dc.identifier.uri	https://dspace.lib.ntua.gr/xmlui/handle/123456789/59929
dc.identifier.uri	http://dx.doi.org/10.26240/heal.ntua.27625
dc.description	Εθνικό Μετσόβιο Πολυτεχνείο--Μεταπτυχιακή Εργασία. Διεπιστημονικό-Διατμηματικό Πρόγραμμα Μεταπτυχιακών Σπουδών (Δ.Π.Μ.Σ.) "Επιστήμη Δεδομένων και Μηχανική Μάθηση"	el
dc.rights	Αναφορά Δημιουργού-Μη Εμπορική Χρήση-Όχι Παράγωγα Έργα 3.0 Ελλάδα	*
dc.rights.uri	http://creativecommons.org/licenses/by-nc-nd/3.0/gr/	*
dc.subject	Απομνημόνευση	el
dc.subject	Επεξεργασία φυσικής γλώσσας	el
dc.subject	Διαρροή δεδομένων εκπαίδευσης	el
dc.subject	Μεγάλα γλωσσικά μοντέλα	el
dc.subject	GPT	en
dc.subject	Memorization	en
dc.subject	Natural language processing	en
dc.subject	Training data leakage	en
dc.subject	Large language models	en
dc.subject	GPT	en
dc.title	Μελέτη διαρροής δεδομένων από προ-εκπαιδευμένα γλωσσικά μοντέλα	el
dc.title	Study of data leakage from pre-trained language models	en
heal.type	masterThesis
heal.classification	Μηχανική μάθηση	el
heal.classification	Επεξεργασία φυσικής γλώσσας	el
heal.classification	Βαθιά μηχανική μάθηση	el
heal.classification	Προστασία προσωπικών δεδομένων	el
heal.classification	Machine learning	en
heal.classification	Natural language processing	en
heal.classification	Deep learning	en
heal.classification	Personal data protection	en
heal.dateAvailable	2025-07-16T21:00:00Z
heal.language	el
heal.access	embargo
heal.recordProvider	ntua	el
heal.publicationDate	2024-04-02
heal.abstract	Τα τελευταία χρόνια αποτελεί κοινή πρακτική η δημοσίευση μεγάλων γλωσσικών μοντέλων (LLMs) που έχουν εκπαιδευτεί σε δημόσια ή ιδιωτικά σύνολα δεδομένων. Τα γλωσσικά μοντέλα αποτελούν στατιστικά μοντέλα που αποδίδουν μια πιθανότητα σε μια ακολουθία λέξεων και είναι πλέον θεμελιώδη για πολλές εργασίες επεξεργασίας φυσικής γλώσσας. Τα σύγχρονα γλωσσικά μοντέλα χρησιμοποιούν πολύ μεγάλες αρχιτεκτονικές μοντέλων και εκπαιδεύονται σε τεράστια σύνολα δεδομένων. Με τον τρόπο αυτό η απόδοσή τους συνεχώς βελτιώνεται, καθώς αυξάνεται η ικανότητα τους να δημιουργούν άπταιστη φυσική γλώσσα, ενώ υπάρχει η δυνατότητα να εφαρμοστούν σε μια πληθώρα άλλων εργασιών. Από την άλλη πλευρά, τα μοντέλα μηχανικής μάθησης, συμπεριλαμβανομένων των γλωσσικών, είναι γνωστό ότι διαρρέουν πληροφορίες σχετικά με τα δεδομένα εκπαίδευσής τους, ακόμη και τα ιδιωτικά. Αυτή η διαρροή πληροφοριών συνήθως σχετίζεται με την υπερπροσαρμογή, καθώς αυτή συχνά υποδηλώνει ότι ένα μοντέλο έχει απομνημονεύσει παραδείγματα από το σύνολο εκπαίδευσής του. Πράγματι, η υπερπροσαρμογή είναι επαρκής προϋπόθεση για τη διαρροή δεδομένων. Ωστόσο, η συσχέτιση μεταξύ της υπερπροσαρμογής και της απομνημόνευσης οδήγησε εσφαλμένα πολλούς να υποθέσουν ότι τα σύγχρονα γλωσσικά μοντέλα δε θα διαρρέουν πληροφορίες σχετικά με τα δεδομένα εκπαίδευσής τους, δεδομένου ότι παρουσιάζουν ελάχιστη έως καθόλου υπερπροσαρμογή, καθώς εκπαιδεύονται συχνά σε μαζικά μη διπλότυπα σύνολα δεδομένων μόνο για μια εποχή. Πράγματι, πρόσφατη εργασία έχει δείξει ότι οι επιθέσεις εξαγωγής δεδομένων εκπαίδευσης αποτελούν πρακτική απειλή για τα τρέχοντα γλωσσικά μοντέλα. Στο πλαίσιο λοιπόν της παρούσας διπλωματικής εργασίας, πραγματοποιήθηκε εκτενής μελέτη των εργασιών που σχετίζονται με τη διαρροή δεδομένων εκπαίδευσης από LLMs, συμπεριλαμβανομένων και προσωπικών δεδομένων, ώστε να εμβαθύνουμε στην έννοια της ιδιωτικότητας, διερευνώντας και αναλύοντας διεξοδικά τις υπάρχουσες επιθέσεις κατά της ιδιωτικότητας που είναι εφαρμόσιμες στα LLMs. Μετά την ανάλυση, καταλήξαμε στην εφαρμογή της μεθοδολογίας που έχει προταθεί στην εργασία των Carlini κ.ά. τόσο στο μοντέλο GPT2 όσο και στο BioGPT.	el
heal.abstract	In recent years it has become common practice to publish Large Language Models (LLMs) trained on public or private datasets. Language models are statistical models that assign a probability to a sequence of words and have become fundamental to many natural language processing tasks. Modern language models, which are based on neural networks, use very large model architectures and are trained on huge datasets. In this way their performance is constantly improving, as their ability to generate fluent natural language is increasing, while there is the potential to be applied to a multitude of other tasks. On the other hand, machine learning models, including language ones, are known to leak information about their training data, possibly even private data. This information leakage is usually related to overfitting, as this often shows that a model has memorized examples from its training set. Indeed, overfitting is a sufficient condition for data leakage. However, the correlation between overfitting and memorization has led many to incorrectly assume that modern LLMs will not leak information about their training data, since they exhibit little to no overfitting, as they are often trained on massive de-duplicated datasets only for one epoch. Indeed, recent work has shown that training data extraction attacks pose a practical threat to current language models, as an attacker interacting with a pre-trained model can extract individual sequences used to train the model. Therefore, in the framework of this thesis, we conducted an extensive study of the work related to the leakage of training data from LLMs, including personal data, in order to deepen our understanding of the concept of privacy by exploring and thoroughly analyzing the existing privacy attacks applicable to LLMs. After the analysis, we concluded to apply the methodology proposed in the work of Carlini et al. to both the GPT-2 model and BioGPT, which has been pre-trained on texts related to the biomedical domain.	en
heal.advisorName	Βουλόδημος, Αθανάσιος	el
heal.advisorName	Voulodimos, Athanasios	en
heal.committeeMemberName	Βουλόδημος, Αθανάσιος	el
heal.committeeMemberName	Στάμου, Γεώργιος	el
heal.committeeMemberName	Σταφυλοπάτης, Ανδρέας-Γεώργιος	el
heal.committeeMemberName	Voulodimos, Athanasios	en
heal.committeeMemberName	Stamou, Georgios	en
heal.committeeMemberName	Stafylopatis, Andreas-Georgios	en
heal.academicPublisher	Εθνικό Μετσόβιο Πολυτεχνείο. Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών	el
heal.academicPublisherID	ntua
heal.numberOfPages	155 σ.	el
heal.fullTextAvailability	false