Creating an LLM-based AI-agent: A high-level methodology towards enhancing LLMs with APIs

Tzachristas, Ioannis; Τζαχρήστας, Ιωάννης

dc.contributor.author	Tzachristas, Ioannis	en
dc.contributor.author	Τζαχρήστας, Ιωάννης	en
dc.date.accessioned	2025-01-07T10:56:36Z
dc.date.available	2025-01-07T10:56:36Z
dc.identifier.uri	https://dspace.lib.ntua.gr/xmlui/handle/123456789/60621
dc.identifier.uri	http://dx.doi.org/10.26240/heal.ntua.28317
dc.rights	Αναφορά Δημιουργού-Μη Εμπορική Χρήση-Όχι Παράγωγα Έργα 3.0 Ελλάδα	*
dc.rights.uri	http://creativecommons.org/licenses/by-nc-nd/3.0/gr/	*
dc.subject	Large Language Models (LLMs)	en
dc.subject	Application Programming Interfaces (APIs)	en
dc.subject	Artificial Intelligence (AI)	en
dc.subject	Natural Language Processing (NLP)	en
dc.subject	AI-agent Architecture	en
dc.subject	Μεγάλα Γλωσσικά Μοντέλα	el
dc.subject	Διεπαφές Προγραμματισμού Εφαρμογών	el
dc.subject	Τεχνητή Νοημοσύνη	el
dc.subject	Επεξεργασία Φυσικής Γλώσσας	el
dc.subject	Αρχιτεκτονική πράκτορα Τεχνητής Νοημοσύνης	el
dc.title	Creating an LLM-based AI-agent: A high-level methodology towards enhancing LLMs with APIs	en
dc.title	Κατασκευή ενός AI-agent βάσει LLM: Μια μεθοδολογία υψηλού επιπέδου για τη βελτίωση των LLMs με APIs	el
heal.type	bachelorThesis
heal.classification	Computer Science	en
heal.language	en
heal.access	free
heal.recordProvider	ntua	el
heal.publicationDate	2024-06-10
heal.abstract	Large Language Models (LLMs) have revolutionized various aspects of engineering and science. Their utility is often bottlenecked by the lack of interaction with the external digital environment. In order to overcome this limitation and achieve integration of LLMs and Artificial Intelligence (AI) into real-world applications, customized AI-agents are being constructed every day. Based on the technological trends and the existing techniques, we extract a high-level approach for constructing these AI-agents, focusing on their underlying architecture. This thesis serves as a comprehensive guide that elucidates a multi-faceted approach for empowering LLMs with the capability to leverage Application Programming Interfaces (APIs). We present a 7-step methodology that begins with the selection of suitable LLMs and the task decomposition that is necessary for complex problem-solving. This methodology includes techniques for generating training data for API interactions and heuristics for selecting the appropriate API among a plethora of options. These steps eventually lead to the generation of API calls that are both syntactically and semantically aligned with the LLM's understanding of a given task. Moreover, we review existing frameworks and tools that facilitate these processes and highlight the gaps in current attempts. In this direction, we propose an on-device architecture that aims to exploit the functionality of carry-on devices by using small models from the Hugging Face community. We examine the effectiveness of the aforementioned approaches on real-world applications of various domains, including the generation of a piano sheet. Through an extensive analysis of the literature and available technologies, this thesis aims to set a compass for researchers and practitioners to harness the full potential of LLMs augmented with external tool capabilities, thus paving the way for more autonomous, robust and context-aware AI-agents.	en
heal.abstract	Τα Μεγάλα Γλωσσικά Μοντέλα (LLMs) έχουν επιφέρει ριζικές αλλαγές σε ποικίλους επιστημονικούς και τεχνολογικούς τομείς. Η χρησιμότητά τους συχνά περιορίζεται από την έλλειψη αλληλεπίδρασης με το εξωτερικό ψηφιακό περιβάλλον. Για να ξεπεραστεί αυτός ο περιορισμός και να ενταχθούν τα LLMs και η Τεχνητή Νοημοσύνη (AI) σε πραγματικές εφαρμογές, κατασκευάζονται καθημερινά εξειδικευμένοι πράκτορες Τεχνητής Νοημοσύνης (AI-agents). Στην παρούσα Διπλωματική Εργασία διατυπώνεται μια υψηλού επιπέδου αρχιτεκτονική αυτών των AI-agents και αναλύεται εκτενώς η διαδικασία εξόπλισης των LLMs με τη δυνατότητα αλληλεπίδρασης με Διεπαφές Προγραμματισμού Εφαρμογών (APIs). Βασιζόμενοι σε προηγούμενες έρευνες, παρουσιάζουμε μια μεθοδολογία 7 βημάτων που ξεκινά με την επιλογή κατάλληλων LLMs και την "αποσύνθεση" των εργασιών που είναι απαραίτητη για την επίλυση σύνθετων προβλημάτων. Αυτή η μεθοδολογία περιλαμβάνει τεχνικές για τη δημιουργία δεδομένων εκπαίδευσης (training data) για συγκεκριμένα APIs και ευρετικές για την επιλογή του κατάλληλου API από ένα πλήθος επιλογών. Αυτά τα βήματα τελικά οδηγούν στη δημιουργία κλήσεων των προγραμματιστικών διεπαφών (API calls) που είναι τόσο συντακτικά όσο και σημασιολογικά ευθυγραμμισμένες με την κατανόηση του LLM για μια δεδομένη εργασία. Επιπλέον, αναθεωρούμε υπάρχουσες πλατφόρμες και εργαλεία που διευκολύνουν αυτές τις διαδικασίες και τονίζουμε τα κενά στις τρέχουσες προσπάθειες. Σε αυτή την κατεύθυνση, προτείνουμε μια αρχιτεκτονική ενσωμάτωσης των LLMs σε φορητές συσκευές που στοχεύει στην αξιοποίηση της λειτουργικότητας των φορητών συσκευών χρησιμοποιώντας μικρά μοντέλα από την κοινότητα Hugging Face. Εξετάζουμε την αποτελεσματικότητα των εν λόγω προσεγγίσεων σε πραγματικές εφαρμογές διαφόρων τομέων, συμπεριλαμβανομένης της διαδικασίας δημιουργίας μιας μουσικής παρτιτούρας για πιάνο. Μέσω μιας εκτεταμένης ανάλυσης της βιβλιογραφίας και των διαθέσιμων τεχνολογιών, αυτή η διατριβή στοχεύει να αποτελέσει μπούσουλα για τους ερευνητές και τους μηχανικούς που φιλοδοξούν να διασυνδέσουν τα LLMs με εξωτερικά εργαλεία και εφαρμογές, διαμορφώνοντας έτσι τις κατάλληλες συνθήκες για πιο αυτόνομους, αξιόπιστους και εξειδικευμένους AI-agents.	el
heal.sponsor	This Master's Thesis was conducted in Huawei Munich Research Center (Riesstrasse 25, 80992 Munich, Germany) under the supervision of Dr. Aifen Sui and Prof. Nikolaos Papaspyrou.	en
heal.sponsor	Η παρούσα Διπλωματική Εργασία εκπονήθηκε στο Ερευνητικό Κέντρο της Huawei στο Μόναχο (Riesstrasse 25, 80992 Munich, Germany) υπό την επίβλεψη της Dr. Aifen Sui και του Καθηγητή Νικόλαου Παπασπύρου.	el
heal.advisorName	Papaspyrou, Nikolaos	en
heal.committeeMemberName	Fotakis, Dimitris	en
heal.committeeMemberName	Sagonas, Konstantinos	en
heal.academicPublisher	Εθνικό Μετσόβιο Πολυτεχνείο. Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών. Τομέας Τεχνολογίας Πληροφορικής και Υπολογιστών	el
heal.academicPublisherID	ntua
heal.numberOfPages	104 σ.	el
heal.fullTextAvailability	false