Πρόβλεψη χρονοσειρών με χρήση περιγραφικών συμμεταβλητών και τεχνικών επεξεργασίας φυσικής γλώσσας

Στεργιόπουλος, Αναστάσιος; Stergiopoulos, Anastassios

dc.contributor.author	Στεργιόπουλος, Αναστάσιος	el
dc.contributor.author	Stergiopoulos, Anastassios	en
dc.date.accessioned	2025-01-08T09:41:15Z
dc.date.available	2025-01-08T09:41:15Z
dc.identifier.uri	https://dspace.lib.ntua.gr/xmlui/handle/123456789/60632
dc.identifier.uri	http://dx.doi.org/10.26240/heal.ntua.28328
dc.rights	Default License
dc.subject	Πρόβλεψη Χρονοσειρών	el
dc.subject	Επεξεργασία Φυσικής Γλώσσας	el
dc.subject	Multimodal Learning	en
dc.subject	Foundation Models	en
dc.subject	Βαθιά Νευρωνικά Δίκτυα	el
dc.title	Πρόβλεψη χρονοσειρών με χρήση περιγραφικών συμμεταβλητών και τεχνικών επεξεργασίας φυσικής γλώσσας	el
heal.type	bachelorThesis
heal.classification	Πρόβλεψη Χρονοσειρών	el
heal.language	el
heal.access	free
heal.recordProvider	ntua	el
heal.publicationDate	2024-07-16
heal.abstract	Η τρίτη βιομηχανική επανάσταση σηματοδότησε τη μετάβαση της ανθρωπότητας στην εποχή της πληροφορίας που χαρακτηρίζεται από την αφθονία των δεδομένων. Τα τελευταία χρόνια, η πρόοδος των υπολογιστικών συστημάτων οδηγεί στην ευδοκίμηση της τεχνητής νοημοσύνης και μία νέα εποχή η οποία χαρακτηρίζεται ως τέταρτη βιομηχανική επανάσταση. Στον τομέα της πρόβλεψης χρονοσειρών, η μηχανική μάθηση κέρδισε έδαφος έναντι των παραδοσιακών κλασικών στατιστικών μεθόδων. Στους διαγωνισμούς πρόβλεψης Μ4 και Μ5, ηγούνται μοντέλα που χρησιμοποιούν τεχνικές μηχανικής μάθησης. Στον πρώτο, πρόκειται για συνδυασμούς μοντέλων μηχανικής μάθησης με κλασικές στατιστικές μεθόδους, ενώ στο δεύτερο, οι προσεγγίσεις με κορυφαίες επιδόσεις αποτελούνταν αποκλειστικά από τεχνικές μηχανικής μάθησης, ξεχωρίζοντας κάποια μοντέλα βασισμένα στα δέντρα αποφάσεων. Στη συνέχεια, ο διαγωνισμός πρόβλεψης M6 που ολοκληρώθηκε το 2023, ανέδειξε επίσης την αποτελεσματικότητα των γενικευμένων νευρωνικών δικτύων στην πρόβλεψη χρονοσειρών. Ένα από τα βέλτιστα μοντέλα του διαγωνισμού, εκπαιδεύτηκε σε περισσότερες από τις ζητούμενες χρονοσειρές, χρησιμοποιώντας κάποιες επιπλέον με παρόμοιες συμπεριφορές, που συνεισέφεραν στη βελτίωση της πρόβλεψης. Παρατηρώντας την τάση αυτή, και δεδομένου του αυξανόμενου όγκου με τον οποίο εκπαιδεύονται τα μοντέλα πρόβλεψης, δημιουργείται μία ανάγκη μετάβασης σε γενικευμένα θεμελιώδη μοντέλα (foundation models), τα οποία προεκπαιδεύονται με μεγάλο όγκο δεδομένων και στη συνέχεια μπορούν να μετεκπαιδευτούν με σκοπό τη γρήγορη εξειδίκευσή τους σε κάποιο ειδικό τομέα. Στην παρούσα διπλωματική εργασία εξετάζεται η συνεισφορά των συμμεταβλητών όπως οι λεκτικές περιγραφές και τα ποιοτικά χαρακτηριστικά των χρονοσειρών, στην αποτελεσματικότητα ενός γενικευμένου μοντέλου πρόβλεψης. Αναπτύσσεται μία πειραματική διαδικασία η οποία περιλαμβάνει την ερμηνεία των λεκτικών περιγραφών που συνοδεύουν ένα μεγάλο όγκο χρονοσειρών με τεχνικές επεξεργασίας φυσικής γλώσσας. Συγκεκριμένα, υλοποιούνται μοντέλα παραγωγής διανυσμάτων προτάσεων με χρήση προεκπαιδευμένων θεμελιωδών γλωσσικών μοντέλων όπως τα μοντέλα BERT και GPT-2, καθώς και προγενέστερων μοντέλων ερμηνείας της φυσικής γλώσσας όπως τα Word2Vec και Doc2Vec. Στη συνέχεια, τα διανύσματα αυτά χρησιμοποιούνται για την ταξινόμηση των χρονοσειρών με τους αλγόριθμους k-NN και Random Forest. Επιπλέον εξετάζονται τεχνικές συσταδοποίησης όπως οι αλγόριθμοι k-Means, Agglomerative Hierarchical και DBSCAN, για την αντιστοίχιση κάθε χρονοσειράς σε με μία συστάδα, με βάση την περιγραφή της. Για την πρόβλεψη, σχεδιάζονται κάποια βαθιά νευρωνικά δίκτυα παράλληλης εισόδου. Τα αποτελέσματα δείχνουν πως παράγονται αντιπροσωπευτικά διανύσματα και συστάδες προτάσεων για τις περιγραφές. Επιπλέον, χρησιμοποιώντας πολυεπίπεδα νευρωνικά δίκτυα παράλληλης εισόδου των χρονοσειρών και των περιγραφών, το γενικευμένο μοντέλο παράγει πιο ακριβείς προβλέψεις από το μοντέλο αναφοράς.	el
heal.abstract	The third industrial revolution marked humanity's transition to the information age, characterized by the abundance of data. In recent years, advances in computing systems led to the flourishing of artificial intelligence and the emergence of a new era, the fourth industrial revolution. In the field of time series forecasting, machine learning has gained ground over traditional classical statistical methods. In the M4 and M5 forecasting competitions, models that utilize machine learning techniques have led the way. In the first competition, these models involved combinations of machine learning and classical statistical methods, whereas in the second, the top-performing approaches consisted solely of machine learning techniques, with some decision tree-based models standing out. Subsequently, the M6 forecasting competition, which concluded in 2023, also highlighted the effectiveness of generalized neural networks in time series forecasting. One of the optimal models from the competition was trained on more than the required time series, using some additional ones with similar behaviors, which contributed to improving the forecasts. Observing this trend and given the increasing volume with which forecasting models are being trained, there arises a need to transition to generalized foundation models, which are pre-trained with a large amount of data and can then be fine-tuned to quickly adapt to a specific domain. This thesis examines the contribution of covariates such as verbal descriptions and qualitative characteristics of time series to the performance of a generalized forecasting model. An experimental process is developed, which includes interpreting the verbal descriptions accompanying a large volume of time series using natural language processing techniques. Models are implemented to generate sentence vectors using pre-trained foundational language models such as BERT and GPT-2, as well as earlier models like Word2Vec and Doc2Vec. These vectors are then used for classifying time series with algorithms like k-NN and Random Forest. Additionally, clustering techniques such as the k-Means, Agglomerative Hierarchical, and DBSCAN algorithms using the sentence vectors produced, are explored to group time series into clusters. For time series forecasting, some parallel input deep neural networks are designed to evaluate the impact of covariates. The results indicate that representative vectors and clusters of sentences for the descriptions are produced. Moreover, by using multi-level parallel input neural networks for both the time series and the descriptions, the generalized model generates more accurate forecasts than the baseline model, as evidenced by a reduction in error.	en
heal.advisorName	Ασημακόπουλος, Βασίλειος	el
heal.committeeMemberName	Ασκούνης, Δημήτριος	el
heal.committeeMemberName	Δούκας, Χρυσόστομος	el
heal.committeeMemberName	Ασημακόπουλος, Βασίλειος	el
heal.academicPublisher	Εθνικό Μετσόβιο Πολυτεχνείο. Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών. Τομέας Ηλεκτρικών Βιομηχανικών Διατάξεων και Συστημάτων Αποφάσεων	el
heal.academicPublisherID	ntua
heal.numberOfPages	121 σ.	el
heal.fullTextAvailability	false