Exploring transformer-based reasoning through efficient tuning and advanced prompting strategies

Παναγιωτόπουλος, Ιωάννης; Panagiotopoulos, Ioannis

dc.contributor.author	Παναγιωτόπουλος, Ιωάννης	el
dc.contributor.author	Panagiotopoulos, Ioannis	en
dc.date.accessioned	2025-03-26T10:56:32Z
dc.date.available	2025-03-26T10:56:32Z
dc.identifier.uri	https://dspace.lib.ntua.gr/xmlui/handle/123456789/61465
dc.identifier.uri	http://dx.doi.org/10.26240/heal.ntua.29161
dc.rights	Default License
dc.subject	Lateral thinking	en
dc.subject	Vertical thinking	en
dc.subject	Large language models	en
dc.subject	fine-tuning	en
dc.subject	Low-rank adaptation	en
dc.subject	Quantized low-rank adaptation	en
dc.subject	Word embeddings	en
dc.subject	Few-shot learning	en
dc.subject	Zero-shot learning	en
dc.subject	Context reconstruction	en
dc.subject	Semantic reconstruction	en
dc.subject	Semantic similarity	en
dc.subject	In-context learning	en
dc.subject	Reasoning abilities	en
dc.subject	RISCORE	en
dc.title	Exploring transformer-based reasoning through efficient tuning and advanced prompting strategies	en
heal.type	bachelorThesis
heal.secondaryTitle	Διερεύνηση της ικανότητας συλλογιστικής των μετασχηματιστών μέσω στοχευμένης εκπαίδευσης και προηγμένων στρατηγικών προτροπής	el
heal.classification	Reasoning abilities	en
heal.classification	Prompting techiques	en
heal.classification	Natural language processing	en
heal.classification	Large language models	en
heal.classification	Lateral thinking	en
heal.classification	Vertical thinking	en
heal.language	el
heal.language	en
heal.access	free
heal.recordProvider	ntua	el
heal.publicationDate	2024-10-24
heal.abstract	This thesis investigates methods to improve the reasoning capabilities of large language models (LLMs) by leveraging lateral thinking, focusing on two distinct proposals that address different approaches to enhancing model performance: the first through fine-tuning and training, and the second through advanced prompting techniques without additional training. The first proposal is tied to the SemEval-2024 Task 9 competition: "BRAINTEASER: A Novel Task Defying Common Sense", where the focus is on fine-tuning transformer-based models using the BRAINTEASER dataset. This approach involves training models to solve lateral thinking challenges, such as sentence and word puzzles. By employing lightweight tuning on smaller encoder models and LLMs, the aim was to surpass baseline performance. A key element of this proposal was transforming multiple-choice problems into binary classification tasks, allowing the models to explore diverse reasoning paths. The analysis highlighted the influence of model size and hyperparameters, along with an investigation into the reasoning cues that lead to model failures. The goal was to enhance model accuracy and reasoning skills, while providing insights into how LLMs handle lateral thinking problems through targeted fine-tuning. In contrast, the second proposal takes a different approach by avoiding model training altogether and instead focusing on enhancing performance through a novel prompting technique called RISCORE (RIddle Solving with COntext REcontruciton). This method, inspired by the structure of the BRAINTEASER dataset, augments few-shot learning by providing contextually reconstructed examples of riddles, designed to improve the model's in-context problem-solving abilities. RISCORE operates by preserving the original reasoning process while altering the context to offer a clearer reasoning trajectory for the model to follow. By comparing RISCORE to other popular prompting methods, the results showed its effectiveness in improving both lateral and vertical thinking tasks without the need for additional training. This approach highlights the potential of strategic prompting in enhancing LLM performance, particularly in complex reasoning tasks that challenge common sense. These two proposals showcase distinct methodologies—one focused on model training and fine-tuning, and the other on innovative prompting techniques—both contributing valuable insights into how LLMs can be improved for lateral thinking challenges.	en
heal.abstract	Η παρούσα διπλωματική διατριβή διερευνά μεθόδους για τη βελτίωση των ικανοτήτων συλλογισμού των μεγάλων γλωσσικών μοντέλων (ΜΓΜ) μέσω της αξιοποίησης μη σειριακών συλλογιστικών πορειών, που απαιτούν την αμφισβήτηση της παραδοσιακής, συνεπαγωγικής λογικής. Η ανάλυση εστιάζει σε δύο διαφορετικές προσεγγίσεις για την ενίσχυση της απόδοσης των ΜΓΜ: η πρώτη μέσω εκπαίδευσης και η δεύτερη μέσω προηγμένων τεχνικών προτροπής, χωρίς την ανάγκη πρόσθετης εκπαίδευσης. Η πρώτη προσέγγιση σχετίζεται με τον διαγωνισμό SemEval-2024 Task 9: «BRAINTEASER: A Novel Task Defying Common Sense», και εστιάζει στην επιπλέον εκπαίδευση μοντέλων βασισμένων σε μετασχηματιστές, χρησιμοποιώντας το σύνολο δεδομένων BRAINTEASER. Αυτή η προσέγγιση αφορά την εκπαίδευση των μοντέλων στην επίλυση προκλήσεων που απαιτούν μη σειριακή συλλογιστική, όπως γρίφοι λέξεων και προτάσεων, όπου η λύση δεν βασίζεται στην κοινή λογική συνεπαγωγή. Μέσω στοχευμένης εκπαίδευσης σε μικρότερα μοντέλα κωδικοποιητών και ΜΓΜ, επιδιώκεται η υπέρβαση των τυπικών επιδόσεων. Ένα βασικό στοιχείο αυτής της προσέγγισης είναι η μετατροπή των προβλημάτων πολλαπλών επιλογών σε δυαδικά προβλήματα ταξινόμησης, προβλήματα Σωστού-Λάθους, επιτρέποντας στα μοντέλα να διερευνήσουν πολλαπλά μονοπάτια συλλογισμού. Η ανάλυση εστιάζει στην επιρροή του μεγέθους του μοντέλου και των υπερπαραμέτρων, ενώ εξετάζονται οι λόγοι αποτυχίας των μοντέλων. Στόχος είναι η βελτίωση της ακρίβειας και των ικανοτήτων τους σε μη τυπικές συλλογιστικές πορείες μέσω στοχευμένης εκπαίδευσης. Η δεύτερη προσέγγιση αποφεύγει την εκπαίδευση και επικεντρώνεται στη βελτίωση της απόδοσης μέσω μιας καινοτόμου τεχνικής προτροπής, που την ονομάζουμε RISCORE (RIddle Solving with COntext REcontruciton). Αυτή η μέθοδος, εμπνευσμένη από το σύνολο δεδομένων BRAINTEASER, βελτιώνει την απόδοση με χρήση λίγων παραδειγμάτων ως προτροπές, παρέχοντας αναδομημένα παραδείγματα γρίφων που αλλάζουν το περιεχόμενο, με σκοπό να ενισχύσουν τις ικανότητες του μοντέλου στην επίλυση σύνθετων προβλημάτων. Το RISCORE διατηρεί την αρχική λογική του προβλήματος αλλά στους αναδιαμορφωμένους γρίφους προσφέρει το ίδιο λογικό πρόβλημα αναδιατυπωμένο σε νέο πλαίσιο - περιεχόμενο. Σε σύγκριση με άλλες μεθόδους προτροπής, το RISCORE αποδείχθηκε αποτελεσματικό στη βελτίωση των μη σειριακών συλλογιστικών πορειών, αλλά και των πιο παραδοσιακών προβλημάτων λογικής, χωρίς την ανάγκη πρόσθετης εκπαίδευσης. Αυτή η προσέγγιση αναδεικνύει τις δυνατότητες των στρατηγικών προτροπής στη βελτίωση της απόδοσης των ΜΓΜ σε σύνθετες εργασίες που αμφισβητούν τη συμβατική κοινή λογική. Συνολικά, οι δύο προσεγγίσεις παρουσιάζουν διαφορετικές μεθοδολογίες – η πρώτη επικεντρώνεται στην εκπαίδευση και τη βελτιστοποίηση των μοντέλων, ενώ η δεύτερη στις καινοτόμες τεχνικές προτροπής – και συμβάλλουν σημαντικά στην κατανόηση του τρόπου με τον οποίο τα ΜΓΜ μπορούν να βελτιωθούν στην αντιμετώπιση προκλήσεων που απαιτούν μη σειριακές συλλογιστικές πορείες, αμφισβητώντας τις παραδοσιακές λογικές συνεπαγωγές.	el
heal.advisorName	Στάμου, Γεώργιος	el
heal.advisorName	Stamou, Georgios	en
heal.committeeMemberName	Στάμου, Γεώργιος	el
heal.committeeMemberName	Βουλόδημος, Αθανάσιος	el
heal.committeeMemberName	Σταφυλοπάτης, Ανδρέας-Γεώργιος	el
heal.academicPublisher	Εθνικό Μετσόβιο Πολυτεχνείο. Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών.Εργαστήριο Συστημάτων Τεχνητής Νοημοσύνης και Μάθησης	el
heal.academicPublisherID	ntua
heal.numberOfPages	138 σ.	el
heal.fullTextAvailability	false