dc.contributor.author | Γρουζτίδου, Μαρία![]() |
el |
dc.contributor.author | Grouztidou, Maria![]() |
en |
dc.date.accessioned | 2024-07-17T10:47:31Z | |
dc.identifier.uri | https://dspace.lib.ntua.gr/xmlui/handle/123456789/59929 | |
dc.identifier.uri | http://dx.doi.org/10.26240/heal.ntua.27625 | |
dc.description | Εθνικό Μετσόβιο Πολυτεχνείο--Μεταπτυχιακή Εργασία. Διεπιστημονικό-Διατμηματικό Πρόγραμμα Μεταπτυχιακών Σπουδών (Δ.Π.Μ.Σ.) "Επιστήμη Δεδομένων και Μηχανική Μάθηση" | el |
dc.rights | Αναφορά Δημιουργού-Μη Εμπορική Χρήση-Όχι Παράγωγα Έργα 3.0 Ελλάδα | * |
dc.rights.uri | http://creativecommons.org/licenses/by-nc-nd/3.0/gr/ | * |
dc.subject | Απομνημόνευση | el |
dc.subject | Επεξεργασία φυσικής γλώσσας | el |
dc.subject | Διαρροή δεδομένων εκπαίδευσης | el |
dc.subject | Μεγάλα γλωσσικά μοντέλα | el |
dc.subject | GPT | en |
dc.subject | Memorization | en |
dc.subject | Natural language processing | en |
dc.subject | Training data leakage | en |
dc.subject | Large language models | en |
dc.subject | GPT | en |
dc.title | Μελέτη διαρροής δεδομένων από προ-εκπαιδευμένα γλωσσικά μοντέλα | el |
dc.title | Study of data leakage from pre-trained language models | en |
heal.type | masterThesis | |
heal.classification | Μηχανική μάθηση | el |
heal.classification | Επεξεργασία φυσικής γλώσσας | el |
heal.classification | Βαθιά μηχανική μάθηση | el |
heal.classification | Προστασία προσωπικών δεδομένων | el |
heal.classification | Machine learning | en |
heal.classification | Natural language processing | en |
heal.classification | Deep learning | en |
heal.classification | Personal data protection | en |
heal.dateAvailable | 2025-07-16T21:00:00Z | |
heal.language | el | |
heal.access | embargo | |
heal.recordProvider | ntua | el |
heal.publicationDate | 2024-04-02 | |
heal.abstract | Τα τελευταία χρόνια αποτελεί κοινή πρακτική η δημοσίευση μεγάλων γλωσσικών μοντέλων (LLMs) που έχουν εκπαιδευτεί σε δημόσια ή ιδιωτικά σύνολα δεδομένων. Τα γλωσσικά μοντέλα αποτελούν στατιστικά μοντέλα που αποδίδουν μια πιθανότητα σε μια ακολουθία λέξεων και είναι πλέον θεμελιώδη για πολλές εργασίες επεξεργασίας φυσικής γλώσσας. Τα σύγχρονα γλωσσικά μοντέλα χρησιμοποιούν πολύ μεγάλες αρχιτεκτονικές μοντέλων και εκπαιδεύονται σε τεράστια σύνολα δεδομένων. Με τον τρόπο αυτό η απόδοσή τους συνεχώς βελτιώνεται, καθώς αυξάνεται η ικανότητα τους να δημιουργούν άπταιστη φυσική γλώσσα, ενώ υπάρχει η δυνατότητα να εφαρμοστούν σε μια πληθώρα άλλων εργασιών. Από την άλλη πλευρά, τα μοντέλα μηχανικής μάθησης, συμπεριλαμβανομένων των γλωσσικών, είναι γνωστό ότι διαρρέουν πληροφορίες σχετικά με τα δεδομένα εκπαίδευσής τους, ακόμη και τα ιδιωτικά. Αυτή η διαρροή πληροφοριών συνήθως σχετίζεται με την υπερπροσαρμογή, καθώς αυτή συχνά υποδηλώνει ότι ένα μοντέλο έχει απομνημονεύσει παραδείγματα από το σύνολο εκπαίδευσής του. Πράγματι, η υπερπροσαρμογή είναι επαρκής προϋπόθεση για τη διαρροή δεδομένων. Ωστόσο, η συσχέτιση μεταξύ της υπερπροσαρμογής και της απομνημόνευσης οδήγησε εσφαλμένα πολλούς να υποθέσουν ότι τα σύγχρονα γλωσσικά μοντέλα δε θα διαρρέουν πληροφορίες σχετικά με τα δεδομένα εκπαίδευσής τους, δεδομένου ότι παρουσιάζουν ελάχιστη έως καθόλου υπερπροσαρμογή, καθώς εκπαιδεύονται συχνά σε μαζικά μη διπλότυπα σύνολα δεδομένων μόνο για μια εποχή. Πράγματι, πρόσφατη εργασία έχει δείξει ότι οι επιθέσεις εξαγωγής δεδομένων εκπαίδευσης αποτελούν πρακτική απειλή για τα τρέχοντα γλωσσικά μοντέλα. Στο πλαίσιο λοιπόν της παρούσας διπλωματικής εργασίας, πραγματοποιήθηκε εκτενής μελέτη των εργασιών που σχετίζονται με τη διαρροή δεδομένων εκπαίδευσης από LLMs, συμπεριλαμβανομένων και προσωπικών δεδομένων, ώστε να εμβαθύνουμε στην έννοια της ιδιωτικότητας, διερευνώντας και αναλύοντας διεξοδικά τις υπάρχουσες επιθέσεις κατά της ιδιωτικότητας που είναι εφαρμόσιμες στα LLMs. Μετά την ανάλυση, καταλήξαμε στην εφαρμογή της μεθοδολογίας που έχει προταθεί στην εργασία των Carlini κ.ά. τόσο στο μοντέλο GPT2 όσο και στο BioGPT. | el |
heal.abstract | In recent years it has become common practice to publish Large Language Models (LLMs) trained on public or private datasets. Language models are statistical models that assign a probability to a sequence of words and have become fundamental to many natural language processing tasks. Modern language models, which are based on neural networks, use very large model architectures and are trained on huge datasets. In this way their performance is constantly improving, as their ability to generate fluent natural language is increasing, while there is the potential to be applied to a multitude of other tasks. On the other hand, machine learning models, including language ones, are known to leak information about their training data, possibly even private data. This information leakage is usually related to overfitting, as this often shows that a model has memorized examples from its training set. Indeed, overfitting is a sufficient condition for data leakage. However, the correlation between overfitting and memorization has led many to incorrectly assume that modern LLMs will not leak information about their training data, since they exhibit little to no overfitting, as they are often trained on massive de-duplicated datasets only for one epoch. Indeed, recent work has shown that training data extraction attacks pose a practical threat to current language models, as an attacker interacting with a pre-trained model can extract individual sequences used to train the model. Therefore, in the framework of this thesis, we conducted an extensive study of the work related to the leakage of training data from LLMs, including personal data, in order to deepen our understanding of the concept of privacy by exploring and thoroughly analyzing the existing privacy attacks applicable to LLMs. After the analysis, we concluded to apply the methodology proposed in the work of Carlini et al. to both the GPT-2 model and BioGPT, which has been pre-trained on texts related to the biomedical domain. | en |
heal.advisorName | Βουλόδημος, Αθανάσιος | el |
heal.advisorName | Voulodimos, Athanasios | en |
heal.committeeMemberName | Βουλόδημος, Αθανάσιος | el |
heal.committeeMemberName | Στάμου, Γεώργιος | el |
heal.committeeMemberName | Σταφυλοπάτης, Ανδρέας-Γεώργιος | el |
heal.committeeMemberName | Voulodimos, Athanasios | en |
heal.committeeMemberName | Stamou, Georgios | en |
heal.committeeMemberName | Stafylopatis, Andreas-Georgios | en |
heal.academicPublisher | Εθνικό Μετσόβιο Πολυτεχνείο. Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών | el |
heal.academicPublisherID | ntua | |
heal.numberOfPages | 155 σ. | el |
heal.fullTextAvailability | false |
Οι παρακάτω άδειες σχετίζονται με αυτό το τεκμήριο: