Enhancing structured cyber threat intelligence extraction with local large language models and retrieval-augmented generation

Ψαρρού, Κωνσταντίνα; Psarrou, Konstantina

dc.contributor.author	Ψαρρού, Κωνσταντίνα	el
dc.contributor.author	Psarrou, Konstantina	en
dc.date.accessioned	2025-04-02T08:19:57Z
dc.date.available	2025-04-02T08:19:57Z
dc.identifier.uri	https://dspace.lib.ntua.gr/xmlui/handle/123456789/61568
dc.identifier.uri	http://dx.doi.org/10.26240/heal.ntua.29264
dc.rights	Αναφορά Δημιουργού-Μη Εμπορική Χρήση-Όχι Παράγωγα Έργα 3.0 Ελλάδα	*
dc.rights.uri	http://creativecommons.org/licenses/by-nc-nd/3.0/gr/	*
dc.subject	Large Language Models	en
dc.subject	Generative AI	en
dc.subject	Cybersecurity	en
dc.subject	Cyber Threat Intelligence	en
dc.subject	Μεγάλα Γλωσσικά Μοντέλα	el
dc.subject	Κυβερνοασφάλεια	el
dc.title	Enhancing structured cyber threat intelligence extraction with local large language models and retrieval-augmented generation	en
heal.type	bachelorThesis
heal.classification	Artificial Intelligence	en
heal.language	el
heal.access	free
heal.recordProvider	ntua	el
heal.publicationDate	2024-10-18
heal.abstract	Οι Κυβερνοαπειλές εξελίσσονται συνεχώς. Η εξαγωγή αξιοποιήσιμων δεδομένων από μη δομημένα δεδομένα που αφορούν Πληροφορίες Κυβερνοαπειλών (Cyber Threat Intelligence, CTI) είναι απαραίτητη για τη λήψη τεκμηριωμένων αποφάσεων για την διαφύλαξη των ψηφιακών υποδομών και την άμυνα έναντι εξελιγμένων κυβερνοαπειλών. Οι πρόσφατες εξελίξεις στα Μεγάλα Γλωσσικά Μοντέλα (Large Language Models, LLMs) έχουν προκαλέσει ένα κύμα ερευνών πάνω στη χρήση τους για αυτοματοποίηση της εξαγωγής CTI πληροφορίας. Ωστόσο, τα LLMs είναι επιρρεπή σε ψευδαισθήσεις, οι οποίες μπορεί να οδηγήσουν σε ανακρίβειες ή αναξιόπιστες πληροφορίες, ένας κίνδυνος που δεν είναι αποδεκτός σε κρίσιμα σενάρια Κυβερνοασφάλειας. Για να αντιμετωπιστούν αυτές οι προκλήσεις, η παρούσα διατριβή προτείνει μια νέα προσέγγιση που χρησιμοποιεί μια διάταξη Επαυξημένης με Ανάκτηση Παραγωγής (Retrieval-Augmented Generation, RAG) σε πλήρως τοπικό περιβάλλον, η οποία ενισχύει την εξαγωγή CTI παρέχοντας σχετικές με το περιεχόμενο πληροφορίες στο LLM. Η γνώση εξάγεται δομημένη σε STIX 2.1 bundles, επιτρέποντας την απερίσπαστη συμμόρφωση με τα πρότυπα της Κυβερνοασφάλειας. Το τοπικό περιβάλλον χρησιμοποιείται για την διασφάλιση του απορρήτου των δεδομένων και τη μείωση της εξάρτησης από υπηρεσίες υπολογιστικού νέφους, ένας παράγοντας σημαντικός για τους οργανισμούς που χειρίζονται ευαίσθητα δεδομένα. Επιπλέον, η παρούσα μελέτη αξιολογεί τις επιδόσεις διάφορων κορυφαίων τοπικών LLMs πάνω στη συγκεκριμένη εργασία, ενώ παράλληλα διερευνά τεχνικές για την βελτίωση της ακρίβειας και τον μετριασμό των ψευδαισθήσεων. Τα πειραματικά αποτελέσματα καταδεικνύουν ότι οι τεχνικές αυτές βελτιώνουν σημαντικά την συνάφεια των παραγόμενων αποτελεσμάτων και αναδεικνύουν τις δυνατότητες της εφαρμογής του RAG στα LLMs στην αντιμετώπιση των περιορισμών στην αυτοματοποιημένη εξαγωγή CTI.	el
heal.advisorName	Τσανάκας, Παναγιώτης	el
heal.committeeMemberName	Βουλόδημος, Αθανάσιος	el
heal.committeeMemberName	Σταφυλοπάτης, Ανδρέας-Γεώργιος	el
heal.academicPublisher	Εθνικό Μετσόβιο Πολυτεχνείο. Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών. Τομέας Τεχνολογίας Πληροφορικής και Υπολογιστών	el
heal.academicPublisherID	ntua
heal.fullTextAvailability	false