Εφαρμογή τεχνικών μεταφοράς μάθησης για τη βελτίωση της προβλεπτικής ακρίβειας νευρωνικών δικτύων

Σταθά, Ευσταθία; Κριτσωτάκης, Ελευθέριος; Statha, Efstathia; Kritsotakis, Eleftherios

dc.contributor.author	Σταθά, Ευσταθία	el
dc.contributor.author	Κριτσωτάκης, Ελευθέριος	el
dc.contributor.author	Statha, Efstathia	en
dc.contributor.author	Kritsotakis, Eleftherios	en
dc.date.accessioned	2021-09-07T07:55:30Z
dc.date.available	2021-09-07T07:55:30Z
dc.identifier.uri	https://dspace.lib.ntua.gr/xmlui/handle/123456789/53805
dc.identifier.uri	http://dx.doi.org/10.26240/heal.ntua.21503
dc.rights	Αναφορά Δημιουργού-Όχι Παράγωγα Έργα 3.0 Ελλάδα	*
dc.rights.uri	http://creativecommons.org/licenses/by-nd/3.0/gr/	*
dc.subject	Πρόβλεψη χρονοσειρών	el
dc.subject	Νευρωνικά δίκτυα	el
dc.subject	Μηχανική μάθηση	el
dc.subject	Μεταφορά μάθησης	el
dc.subject	Πολυστρωματικά δίκτυα Perceptron	el
dc.subject	Neural networks	en
dc.subject	Multilayer perceptron	en
dc.subject	Machine learning	en
dc.subject	Transfer learning	en
dc.subject	Time series forecasting	en
dc.title	Εφαρμογή τεχνικών μεταφοράς μάθησης για τη βελτίωση της προβλεπτικής ακρίβειας νευρωνικών δικτύων	el
dc.title	Application of machine learning techniques for improvement of neural networks' forecasting accuracy	en
heal.type	bachelorThesis
heal.classification	Επιστήμη Υπολογιστών	el
heal.classification	Computer Science	en
heal.language	el
heal.language	en
heal.access	free
heal.recordProvider	ntua	el
heal.publicationDate	2021-07-16
heal.abstract	In our times, forecasting constitutes, more than ever, an indispensable part of humans. Small-scale decisions and large corporate operations alike require the production of quality forecasts, leading to the continuous development of forecasting science. Following the trend of science, the forecasting domain realized one of its major steps by incorporating the use of machine learning. The latter offers a variety of new approaches giving, among others, the possibility of global use of data utilizing cross-series knowledge. In the scope of utilizing cross-series knowledge, a technique to be researched is transfer learning between different datasets. The present work focuses on the use of such methods by training a supermodel on a dataset with a variety of time series aiming to produce quality forecasts for the M4 dataset. Our goal was to examine whether the idea of transfer learning could perform adequately on the task of forecasting and, in addition, which retraining methods are deemed more appropriate. On top of that, we investigated whether transfer learning is suitable for non global use of the target dataset by retraining the supermodel firstly, on a split subgroup of the target dataset and secondly, on its time series locally. Based on our experiments, some conclusions were deduced relevant to the value of transfer learning and its possible uses. The latter was proven to be rather helpful, as it decreased the forecasting error while its requirements in time and computing resources didn't render it inapplicable. As a matter of fact, the two methods that yielded the best results were those bearing the least computational cost. Lastly, all our results signify that a global use of the data in our disposal is the best possible choice with regards to retraining when using transfer learning techniques.	en
heal.abstract	Στην εποχή μας, οι προβλέψεις συνιστούν, πιο πολύ από ποτέ, ένα αναπόσπαστο κομμάτι της καθημερινότητας του ανθρώπου. Αποφάσεις μικρής κλίμακας, αλλά και μεγάλες επιχειρηματικές δράσεις, απαιτούν την παραγωγή ποιοτικών προβλέψεων, με αποτέλεσμα η επιστήμη των προβλέψεων να γνωρίζει διαρκή ανάπτυξη. Προσφάτως, συντελέστηκε ένα από τα βασικότερα βήματα στην πορεία εξέλιξης του κλάδου, καθώς ενσωματώθηκε σε αυτόν η χρήση τεχνικών μηχανικής μάθησης. Η ίδια παρέχει μια πληθώρα νέων προσεγγίσεων, δίνοντας τη δυνατότητα για καθολική χρήση των δεδομένων, αξιοποιώντας τη γνώση μεταξύ χρονοσειρών. Στα πλαίσια της αξιοποίησης γνώσης μεταξύ χρονοσειρών, μια τεχνική που χρήζει έρευνας είναι η χρήση της μεταφοράς μάθησης μεταξύ διαφορετικών συνόλων δεδομένων. Η παρούσα εργασία, εστίασε στη χρήση τέτοιων μεθόδων με την εκπαίδευση ενός υπερμοντέλου επί ενός συνόλου δεδομένων με ποικιλία χρονοσειρών, με σκοπό την παραγωγή ποιοτικών προβλέψεων για τις ετήσιες χρονοσειρές του συνόλου δεδομένων του Μ4. Σκοπός μας ήταν να ερευνήσουμε αν η ιδέα της μεταφοράς μάθησης θα μπορούσε να λειτουργήσει καλά στον τομέα των προβλέψεων και, επιπρόσθετα, ποιες μέθοδοι επανεκπαίδευσης κρίνονται περισσότερο κατάλληλες. Επιπλέον, ερευνήσαμε το αν η συγκεκριμένη μέθοδος προσφέρεται και για μη καθολική χρήση των δεδομένων του περιβάλλοντος στόχου, δοκιμάζοντας να επανεκπαιδεύσουμε το υπερμοντέλο αρχικά χωρίζοντας το σύνολο δεδομένων σε υποομάδες κι, έπειτα, χρησιμοποιώντας τις χρονοσειρές του με τοπικό τρόπο. Με βάση τα πειράματα μας, εξήχθησαν ορισμένα συμπεράσματα ως προς την αξία της μεταφοράς μάθησης και τις δυνατότητες χρήσης της. Η ίδια αποδείχτηκε αρκετά χρήσιμη, καθώς οδήγησε σε μείωση του σφάλματος των προβλέψεων, ενώ οι απαιτήσεις της σε χρόνο και υπολογιστικούς πόρους δεν την κατέστησαν ανεπίτρεπτη. Μάλιστα, οι δύο μέθοδοι που απέδωσαν τα μέγιστα οφέλη, ήταν και αυτές με το μικρότερο κόστος. Τέλος, όλα τα αποτελέσματα που λάβαμε αποδεικνύουν πως η καθολική χρήση των δεδομένων που έχουμε στη διάθεσή μας, συνιστά την καλύτερη δυνατή επιλογή προς σκοπούς επανεκπαίδευσης, κατά τη χρήση τεχνικών μεταφοράς μάθησης.	el
heal.advisorName	Ασημακόπουλος, Βασίλειος	el
heal.advisorName	Σπηλιώτης, Ευάγγελος	el
heal.advisorName	Σεμένογλου, Αρτέμιος Ανάργυρος	el
heal.advisorName	Semenorglou, Artemios Anargyros	en
heal.advisorName	Spiliotis, ‪Evangelos	en
heal.advisorName	Asimakopoulos, Vasileios	en
heal.committeeMemberName	Ψαρράς, Ιωάννης	el
heal.committeeMemberName	Ασκούνης, Δημητρίος	el
heal.committeeMemberName	Askounis, Dimitrios	en
heal.committeeMemberName	Psarras, Ioannis	en
heal.academicPublisher	Εθνικό Μετσόβιο Πολυτεχνείο. Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών. Τομέας Ηλεκτρικών Βιομηχανικών Διατάξεων και Συστημάτων Αποφάσεων	el
heal.academicPublisherID	ntua
heal.numberOfPages	92 σ.	el
heal.fullTextAvailability	false