PAKTON: A Multi-Agent Framework for Question Answering in Long Legal Agreements

Ραπτόπουλος,Πετρος; Raptopoulos, Petros

dc.contributor.author	Ραπτόπουλος,Πετρος	el
dc.contributor.author	Raptopoulos, Petros	en
dc.date.accessioned	2026-01-09T05:58:23Z
dc.date.available	2026-01-09T05:58:23Z
dc.identifier.uri	https://dspace.lib.ntua.gr/xmlui/handle/123456789/63132
dc.identifier.uri	http://dx.doi.org/10.26240/heal.ntua.30827
dc.rights	Αναφορά Δημιουργού 3.0 Ελλάδα	*
dc.rights.uri	http://creativecommons.org/licenses/by/3.0/gr/	*
dc.subject	Contracts	en
dc.subject	Large Language Models (LLMs)	en
dc.subject	Multi-agent systems	en
dc.subject	Legal AI	en
dc.subject	Retrieval-Augmented Generation (RAG)	en
dc.subject	Explainable AI	en
dc.subject	Transparency	en
dc.subject	Συμβόλαια	el
dc.subject	Νομική τεχνητή νοημοσύνη	el
dc.subject	Μεγάλα γλωσσικά μοντέλα	el
dc.subject	Διαφάνεια	el
dc.subject	Ερμηνευσιμότητα	el
dc.title	PAKTON: A Multi-Agent Framework for Question Answering in Long Legal Agreements	en
dc.contributor.department	Artificial Intelligence and Learning Systems Laboratory	el
heal.type	bachelorThesis
heal.classification	Natural Language Processing	en
heal.language	el
heal.language	en
heal.access	free
heal.recordProvider	ntua	el
heal.publicationDate	2025-07-03
heal.abstract	Contract review is a complex and time-intensive task that typically demands specialized legal expertise, rendering it largely inaccessible to non-experts. Moreover, legal interpretation is rarely straightforward—ambiguity is pervasive, and judgments often hinge on subjective assessments. Compounding these challenges, contracts are usually confidential, restricting their use with proprietary models and necessitating reliance on open-source alternatives. To address these challenges, this thesis expands upon PAKTON: a fully open-source, end-to-end, multi-agent framework with plug-and-play capabilities, designed to handle the complexities of contract analysis through collaborative agent workflows and a novel retrieval-augmented generation (RAG) component, enabling automated legal document review that is more accessible and privacy-preserving. The proposed system is composed of three agents: (1) the Archivist, which interacts with the user and manages structured document input; (2) the Researcher, which retrieves relevant internal and external information using hybrid and graph-aware retrieval techniques; and (3) the Interrogator, which engages in multi-step reasoning to iteratively refine the final report. Each agent is tailored to its specific role, and through collaboration, they collectively produce a comprehensive outcome for the end user. PAKTON’s architecture departs from black-box LLM paradigms by explicitly exposing its reasoning process and highlighting the evidence spans—both within the user-provided contract and from external legal knowledge—that inform its conclusions. It leverages advanced retrieval techniques, including hybrid dense–sparse retrieval, graph-aware reranking, and context-sensitive chunking, to surface the most relevant evidence in response to user queries. The Interrogator agent operates through a multi-step refinement loop, systematically identifying reasoning gaps and enhancing the response with each iteration, resulting in a comprehensive report that reflects multiple perspectives. Evaluations across multiple benchmarks, including ContractNLI and LegalBench-RAG, demonstrate that PAKTON consistently outperforms both general-purpose and legal domain–fine-tuned models in quantitative metrics (e.g., accuracy, recall, precision) and qualitative dimensions (e.g., explainability, reasoning, completeness). Human and LLM-based evaluations further confirm PAKTON’s superiority in critical legal AI aspects such as transparency, ambiguity resolution, and evidentiary grounding, factors essential for supporting end-user decision-making. The framework is model-agnostic and suitable for deployment under privacy-preserving conditions, enhancing its practicality for real-world legal applications. With its modular architecture and rigorous benchmarking, PAKTON represents a significant step forward in legal AI, illustrating how multi-agent coordination and strategic retrieval can substantially elevate reasoning in high-stakes domains.	en
heal.abstract	Chapter 1 Περίληψη Η ανασκόπηση συμβολαίων αποτελεί μια σύνθετη και χρονοβόρα διαδικασία, η οποία απαιτεί εξειδικευμένη νομική γνώση και, ως εκ τούτου, είναι σε μεγάλο βαθμό απρόσιτη σε μη ειδικούς. Επιπλέον, η νομική ερμηνεία σπάνια είναι απλή, η ασάφεια είναι συχνά παρούσα και οι αποφάσεις υπόκεινται σε υποκειμενικές ερμηνείες. Επιπροσθέτως, τα συμβόλαια είναι συνήθως εμπιστευτικά, γεγονός που περιορίζει τη χρήση τους με ιδιόκτητα μοντέλα και καθιστά απαραίτητη την προσφυγή σε ανοιχτού κώδικα εναλλακτικές λύσεις. Για να αντιμετωπιστούν αυτές οι προκλήσεις, η παρούσα διπλωματική εργασία επεξηγεί και επεκτείνει το PAKTON[63]: ένα πλήρως ανοιχτού κώδικα, από άκρη σε άκρη, πολυπρακτορικό πλαίσιο με δυνατότητες εύκολης ενσωμάτωσης σε ήδη υπάρχοντα συστήματα. Το προτεινόμενο σύστημα αποτελείται από τρεις πράκτορες: (1) τον Αρχειοφύλακα, ο οποίος αλληλεπιδρά με τον χρήστη και διαχειρίζεται την δομημένη αρχειόθετηση εγγράφων· (2) τον Ερευνητή, ο οποίος ανακτά πληροφορίες μέσω μιας καινοτόμου μονάδας Επαυξημένης Δημιουργίας μέσω Ανάκτησης (ΕΔΑ)· και (3) τον Ανακριτή, ο οποίος εμπλέκεται σε μια αλλεπάλληλη ανάκριση με στόχο τη σταδιακή βελτίωση της τελικής αναφοράς. Κάθε πράκτορας είναι προσαρμοσμένος στον ρόλο του, και μέσα από τη συνεργασία τους, παράγουν ένα ολοκληρωμένο και συνεκτικό αποτέλεσμα για τον τελικό χρήστη. Η αρχιτεκτονική του PAKTON αποκλίνει από τα αδιαφανή μοντέλα, αποκαλύπτοντας ρητά τη συλλογιστική του διαδικασία και επισημαίνοντας τα αποσπάσματα τεκμηρίωσης — τόσο εντός του συμβολαίου του χρήστη όσο και από εξωτερικές νομικές πηγές — που οδήγησαν στις τελικές αποφάσεις. Το σύστημα αξιοποιεί προηγμένες τεχνικές ανάκτησης, όπως υβριδική πυκνή/αραιή ανάκτηση, γραφοευαίσθητη αναταξινόμηση και αποσπασματοποίηση βάσει συμφραζομένων, για την ανάδειξη των πιο σχετικών αποδεικτικών στοιχείων σε σχέση με το ερώτημα του χρήστη. Ο Ανακριτής λειτουργεί μέσω μια συνεχόμενης και επαναληπτικής βελτίωσης, εντοπίζοντας συστηματικά κενά στη λογική και ενισχύοντας την απάντηση σε κάθε επανάληψη, οδηγώντας έτσι σε μια πλήρη και πολυδιάστατη αναφορά. Οι αξιολογήσεις σε πολλαπλά σύνολα δεδομένων, όπως τα ContractNLI και LegalBench-RAG, δείχνουν ότι το PAKTON υπερέχει σταθερά σε σχέση με γενικού σκοπού και εξειδικευμένα (σε νομικό τομέα) μοντέλα, τόσο σε ποσοτικούς δείκτες (π.χ. ακρίβεια, ανάκληση, ακρίβεια πρόβλεψης) όσο και σε ποιοτικές διαστάσεις (π.χ. επεξηγησιμότητα, συλλογιστική, πληρότητα). Οι αξιολογήσεις από ανθρώπους και από ΜΓΜ επιβεβαιώνουν την ανωτερότητα του PAKTON σε κρίσιμες πτυχές της νομικής τεχνητής νοημοσύνης, όπως η διαφάνεια, η διαχείριση αμφισημιών και η τεκμηρίωση, στοιχεία απαραίτητα για την υποστήριξη της λήψης αποφάσεων από τον τελικό χρήστη. Με τη καινοτόμα αρχιτεκτονική και τα αποτελέσματα της αξιολόγησης, το PAKTON αποτελεί σημαντική πρόοδο στον τομέα της νομικής τεχνητής νοημοσύνης, αποδεικνύοντας πως ο συντονισμός πολλών πρακτόρων και η στοχευμένη ανάκτηση μπορούν να ενισχύσουν ουσιαστικά τη συλλογιστική σε υψηλού ρίσκου πεδία.1 Λέξεις-κλειδιά — Συμβόλαια, νομική τεχνητή νοημοσύνη, Μεγά	el
heal.advisorName	Stamou, Giorgos
heal.committeeMemberName	Στάμου, Γιώργος
heal.committeeMemberName	Βουλόδημος, Αθανάσιος
heal.committeeMemberName	Σταφυλοπάτης, Ανδρέας-Γεώργιος
heal.academicPublisher	Εθνικό Μετσόβιο Πολυτεχνείο. Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών. Τομέας Τεχνολογίας Πληροφορικής και Υπολογιστών. Εργαστήριο Συστημάτων Τεχνητής Νοημοσύνης και Μάθησης	el
heal.academicPublisherID	ntua
heal.numberOfPages	106
heal.fullTextAvailability	false