Solar Production Forecasting using Data Analysis and Machine Learning

Χουστουλάκης, Ιωάννης; Choustoulakis, Ioannis

dc.contributor.author	Χουστουλάκης, Ιωάννης	el
dc.contributor.author	Choustoulakis, Ioannis	en
dc.date.accessioned	2022-09-15T06:41:06Z
dc.date.available	2022-09-15T06:41:06Z
dc.identifier.uri	https://dspace.lib.ntua.gr/xmlui/handle/123456789/55660
dc.identifier.uri	http://dx.doi.org/10.26240/heal.ntua.23358
dc.description	Εθνικό Μετσόβιο Πολυτεχνείο--Μεταπτυχιακή Εργασία. Διεπιστημονικό-Διατμηματικό Πρόγραμμα Μεταπτυχιακών Σπουδών (Δ.Π.Μ.Σ.) “Τεχνο-Οικονομικά Συστήματα (ΜΒΑ)”	el
dc.rights	Default License
dc.subject	Ανανεώσιμες Πηγές Ενέργειας	el
dc.subject	Παραγωγή Φωτοβολταϊκών	el
dc.subject	Εντοπισμός αστοχιών	el
dc.subject	Βραχυπρόθεσμες προβλέψεις
dc.subject	Μηχανική Μάθηση
dc.subject	Ανάλυση δεδομένων
dc.subject	Renewable Energy Sources
dc.subject	Photovoltaic Production
dc.subject	Fault detection
dc.subject	Short-term Forecasting
dc.subject	Machine Learning
dc.subject	Data Analysis
dc.title	Solar Production Forecasting using Data Analysis and Machine Learning	en
dc.title	Πρόβλεψη παραγωγής ενέργειας σε φωτοβολταϊκά χρησιμοποιώντας Ανάλυση Δεδομένων και Μηχανική Μάθηση	el
dc.contributor.department	Division of Industrial Electric Devices and Decision Systems	el
heal.type	masterThesis
heal.classification	Μηχανική Μάθηση	el
heal.classification	Machine Learning	en
heal.classification	Solar Power	en
heal.classification	Production forecasting	en
heal.language	en
heal.access	free
heal.recordProvider	ntua	el
heal.publicationDate	2022-06-07
heal.abstract	This thesis examines the data analysis techniques with which energy production forecasting and fault detection can be performed on a photovoltaic unit. Methods used in recent research are examined and a proposed methodology for production forecasting is presented. Using sensors, historical and meteorological data, combined with computational methods and machine learning methods, analysis can be performed to predict the productivity of solar cells in various time ranges. These predictions are important in order to be able to respond to the variation of solar energy in order for it to be usable on the electrical grid to a larger degree. Bibliographical research was done on the methods used for forecasting and recent publications experimenting on this technology are presented. Statistical Methods are examined, which includes ARMA, Regression, Exponential Smoothing Method and the Physical Method. Machine Learning and Deep Learning Methods are also examined, which includes Neural Networks, Decision Trees, Support Vector Machines and hybrid methods. Similarly, by collecting measurements from various sensors and analyzing these measurements on a computer, fault detection can be performed on Photovoltaic units in order to prevent further damage, perform the necessary maintenance and ensure the maximum productivity of the installation. Bibliographical research was done on the available fault detection methods and the publications experimenting on that field. The methods examined included the visual method, electrical characteristics methods, imaging techniques, artificial intelligence, device-based methods, predictive maintenance through real-time sensors and hybrid methods. In the proposed methodology for production forecasting, software was developed in Python, which can make production forecasts using meteorological and historical production data from an anonymized case study. The data was pre-processed, correcting erroneous values and filling in missing values. The data was formatted and adjusted in order to be inputted to the machine learning algorithms. The methods of Decision Tree, Support Vector Machines, Linear Regression and hybrid combination of them were used. The scikit-learn software was utilized. The VotingRegressor method was used for the ensemble methods and the GridSearchCV method was used for the optimization of the parameters in each model. Extended tests were performed to determine the optimal selection of input features as well as the optimal hyperparameters for each model. The models were tested with two different train set sizes to compare their accuracy. During the first test the train data were composed of all available data except the final week and during the second test they were composed of 50% of the data.	en
heal.abstract	Η εργασία αυτή εξετάζει τις τεχνικές ανάλυσης δεδομένων με τις οποίες μπορεί να γίνει πρόβλεψη της παραγόμενης ενέργειας και εντοπισμός αστοχιών σε μια φωτοβολταϊκή μονάδα. Εξετάζονται οι μέθοδοι που χρησιμοποιήθηκαν σε πρόσφατες έρευνες και παρουσιάζεται μια προτεινόμενη μεθοδολογία για την πρόβλεψη της παραγωγή. Με τη χρήση αισθητήρων, ιστορικών και μετεωρολογικών δεδομένων, σε συνδυασμό με υπολογιστικές μεθόδους και μεθόδους μηχανικής μάθησης, μπορούν να γίνουν αναλύσεις που κάνουν προβλέψεις για την παραγωγή των φωτοβολταϊκών μονάδων σε διαφορετικούς χρονικούς ορίζοντες. Οι προβλέψεις αυτές είναι σημαντικές για τη διαχείριση της στοχαστικότητας της ηλιακής ενέργειας ώστε να μπορεί αυτή να αξιοποιηθεί σε μεγαλύτερο βαθμό στο ηλεκτρικό δίκτυο. Πραγματοποιήθηκε βιβλιογραφική έρευνα στις μεθόδους που χρησιμοποιούνται και παρουσιάζονται οι πρόσφατες δημοσιεύσεις που πειραματίζονται πάνω στην τεχνολογία αυτή. Εξετάζονται οι στατιστικές μέθοδοι του ARMA, της Παλινδρόμησης, της Εκθετικής Εξομάλυνσης και της Φυσικής Μεθόδου. Εξετάζονται επίσης οι μέθοδοι Μηχανικής Μάθησης και της Βαθιάς Μάθησης (Deep Learning), συμπεριλαμβανομένων των Νευρωνικών Δικτυών, των Δέντρων Αποφάσεων, των Μηχανών Διανυσμάτων Υποστήριξης και υβριδικών μεθόδων. Αντίστοιχα, με μετρήσεις από διάφορους αισθητήρες και την ανάλυση των μετρήσεων αυτών στον υπολογιστή, μπορεί να γίνει εντοπισμός αστοχιών στα φωτοβολταϊκά στοιχεία ώστε να αποφευχθούν περαιτέρω ζημίες, να γίνουν οι απαραίτητες διορθώσεις και να εξασφαλιστεί η μέγιστη παραγωγικότητα της εγκατάστασης. Διεξήχθη αντίστοιχη έρευνα στις μεθόδους με τις όποιες γίνεται ο εντοπισμός αστοχιών και αναφέρονται δημοσιεύσεις που πειραματίζονται στο αντικείμενο αυτό. Εξετάζονται οι οπτικές μέθοδοι, οι μέθοδοι ηλεκτρικών χαρακτηριστικών, οι μέθοδοι απεικόνισης, οι μέθοδοι τεχνητής νοημοσύνης, οι μέθοδοι που στηρίζονται στη διάγνωση από εξειδικευμένες συσκευές, η προγνωστική συντήρηση με χρήση αισθητήρων σε πραγματικό χρόνο, καθώς και υβριδικές μέθοδοι. Στην προτεινόμενη μεθοδολογία πρόβλεψης παραγωγής, αναπτύχθηκε λογισμικό στην γλώσσα Python το οποίο πραγματοποιεί προβλέψεις για την παραγωγή αξιοποιώντας μετεωρολογικά δεδομένα και ιστορικά δεδομένα παραγωγής από ένα ανώνυμο Case Study. Πραγματοποιήθηκε προ-επεξεργασία στα δεδομένα, διορθώνοντας τις εσφαλμένες τιμές και γεμίζοντας τις κενές τιμές. Έγινε προσαρμογή ώστε τα δεδομένα να μπορούν να εισαχθούν στους αλγορίθμους μηχανικής μάθησης. Χρησιμοποιήθηκαν οι μέθοδοι του Δένδρου Αποφάσεων, των Μηχανών Διανυσμάτων Υποστήριξης, της Γραμμικής Παλινδρόμησης και υβριδικός συνδυασμός αυτών. Αξιοποιήθηκε το λογισμικό scikit-learn. Χρησιμοποιήθηκε η μέθοδος VotingRegressor για τον συνδυασμό μεθόδων και η μέθοδος GridSearchCV για τη βελτιστοποίηση των παραμέτρων κάθε μοντέλου. Πραγματοποιήθηκαν εκτεταμένες δοκιμές στις οποίες προσδιορίστηκε η βέλτιστη επιλογή μεταβλητών εισόδου και η βέλτιστη επιλογή υπερπαραμέτρων σε κάθε μοντέλο. Τα μοντέλα δοκιμάστηκαν με δυο διαφορετικά μεγέθη δεδομένων εκπαίδευσης και συγκρίθηκε η ακρίβειά τους. Στην πρώτη δοκιμή τα δεδομένα εκπαίδευσης ήταν το σύνολο των δεδομένων εκτός από την τελευταία εβδομάδα και στη δεύτερη δοκιμή αποτελούσαν το 50% των δεδομένων.	el
heal.advisorName	Doukas, Haris
heal.committeeMemberName	Doukas, Haris
heal.committeeMemberName	Psarras, John
heal.committeeMemberName	Askounis, Dimitris
heal.academicPublisher	Εθνικό Μετσόβιο Πολυτεχνείο. Σχολή Πολιτικών Μηχανικών	el
heal.academicPublisherID	ntua
heal.numberOfPages	128
heal.fullTextAvailability	false