HEAL DSpace

Αυτοματοποίηση της διαδικασίας μοντελοποίησης βροχής-απορροής με χρήση Τεχνητών Νευρωνικών Δικτύων (ANNs) μακροπρόθεσμης - βραχυπρόθεσμης μνήμης (LSTM)

Αποθετήριο DSpace/Manakin

Εμφάνιση απλής εγγραφής

dc.contributor.author Λάνδρος, Ηλίας el
dc.contributor.author Landros, Ilias en
dc.date.accessioned 2023-01-16T10:01:25Z
dc.date.available 2023-01-16T10:01:25Z
dc.identifier.uri https://dspace.lib.ntua.gr/xmlui/handle/123456789/56708
dc.identifier.uri http://dx.doi.org/10.26240/heal.ntua.24406
dc.description Εθνικό Μετσόβιο Πολυτεχνείο--Μεταπτυχιακή Εργασία. Διεπιστημονικό-Διατμηματικό Πρόγραμμα Μεταπτυχιακών Σπουδών (Δ.Π.Μ.Σ.) “Επιστήμη και Τεχνολογία Υδατικών Πόρων” el
dc.rights Αναφορά Δημιουργού-Μη Εμπορική Χρήση-Όχι Παράγωγα Έργα 3.0 Ελλάδα *
dc.rights Αναφορά Δημιουργού-Μη Εμπορική Χρήση-Όχι Παράγωγα Έργα 3.0 Ελλάδα *
dc.rights.uri http://creativecommons.org/licenses/by-nc-nd/3.0/gr/ *
dc.subject Βροχή - απορροή el
dc.subject Μηχανική μάθηση el
dc.subject Υδρολογία el
dc.subject Matlab en
dc.subject Rainfall - runoff en
dc.subject Machine learning en
dc.subject Hydrology en
dc.subject Forecasting tools en
dc.subject Matlab en
dc.subject Εργαλεία πρόβλεψης el
dc.title Αυτοματοποίηση της διαδικασίας μοντελοποίησης βροχής-απορροής με χρήση Τεχνητών Νευρωνικών Δικτύων (ANNs) μακροπρόθεσμης - βραχυπρόθεσμης μνήμης (LSTM) el
dc.title Automating the process of rainfall – runoff modelling using Long – Short Term Memory (LSTM) Artificial Neural Networks (ANNs) models en
heal.type masterThesis
heal.classification Μηχανική μάθηση και υδρολογία el
heal.classification Machine learning and hydrology en
heal.language en
heal.access campus
heal.recordProvider ntua el
heal.publicationDate 2022-11-01
heal.abstract Οι διαδικασίες βροχής – απορροής είναι ένα από τα σημαντικότερα κομμάτια του υδρολογικού κύκλου και η ακριβής μοντελοποίηση αυτών είναι ζωτικής σημασίας για την διαχείριση των υδατικών πόρων αλλά και των ακραίων φαινομένων, όπως οι πλημμύρες. Ο σχεδιασμός, η βαθμονόμηση και η διατήρηση ενός ακριβούς και υπολογιστικά αποδοτικού μοντέλου βροχής – απορροής μπορεί να είναι μια διαδικασία που μας κάνει να ανησυχούμε για το αν θα είναι επαρκώς αποδοτική καθώς υπάρχουν πολλά προβλήματα γύρω από την σύνθεση τέτοιων προβλημάτων. Μερικά από τα προβλήματα που σχετίζονται με αυτές τις διαδικασίες είναι η φύση, η ποιότητα και η επάρκεια των δεδομένων, η πολυπλοκότητα στη διαδικασία μοντελοποίησης των διεργασιών, η ανάγκη για γνώσεις προγραμματισμού, καθώς και η ανάγκη διερεύνησης επιμέρους σύνθετων παραμέτρων που επηρεάζουν την απόδοση των μοντέλων όπως για παράδειγμα οι παράμετροι αρχιτεκτονικής και εκπαίδευσης που διαφοροποιούνται στα LSTM μοντέλα. Έτσι ο εκάστοτε ερευνητής, πριν προχωρήσει στην κατασκευή ενός τέτοιου μοντέλου, πρέπει να λάβει υπόψιν του τα παραπάνω για την δημιουργία ενός γρήγορου μοντέλου, ειδικά όταν ο στόχος είναι η πρόβλεψη πλημμυρικής στάθμης/απορροής. Η παρούσα εργασία διερευνά την δημιουργία μιας γενικής αυτοματοποιημένης διαδικασίας σύνθεσης και βαθμονόμησης μοντέλων βροχής απορροής, χρησιμοποιώντας τεχνικές μηχανικής μάθησης (όπως Τεχνητά Νευρωνικά Δίκτυα) καθώς και εντοπισμού και διόρθωσης κατάλληλων συνόλων δεδομένων από διάφορες πηγές. Τα εν λόγω σύνολα δεδομένων μπορούν να περιέχουν μετεωρολογικά (βροχόπτωση, μέση θερμοκρασία, μέση ταχύτητα ανέμου) και υδρολογικά (στάθμη, απορροή) δεδομένα, επιτρέποντας έτσι την ενσωμάτωση χαρακτηριστικών που συνεισφέρουν στις διεργασίες και τις βασικές παραμέτρους απορροής μιας υδρολογικής λεκάνης, ή τμήματος αυτής. Για το σκοπό αυτό δημιουργήθηκε μια αυτοματοποιημένη διαδικασία όπου οι χρήστες θα μπορούν να αντλούν και να αξιοποιούν online σύνολα δεδομένων, είτε δεδομένα που βρίσκονται ήδη στην διάθεσή τους για διάφορες χρονικές κλίμακες. Αναφορικά με την αξιοποίηση online δεδομένων δημιουργήθηκε μια αυτοματοποιημένη διαδικασία άντλησης δεδομένων από το διαδίκτυο και πιο συγκεκριμένα από το meteo.gr για τους σταθμούς ενδιαφέροντος. Αφού επιλεγούν οι σταθμοί και οι περίοδοι ενδιαφέροντος τα δεδομένα αποθηκεύονται ως σύνολα δεδομένων σε ημερήσια κλίμακα, αφού προηγηθεί μια αυτόματη διαδικασία επεξεργασία τους. Στα πλαίσια της παρούσας διπλωματικής εργασίας τα δεδομένα αυτά περιέχουν τις εξής τρεις μεταβλητές: α) βροχόπτωση (mm), όπου η απουσία γεγονότων βροχής συμπληρώνονται με μηδενικές τιμές β) μέση Θερμοκρασία (oC) και γ) μέση ταχύτητα ανέμου (km/hr), όπου για τις δύο τελευταίες μεταβλητές πραγματοποιείτε γραμμική παρεμβολή για την συμπλήρωση κενών τιμών που λείπουν. Στην συνέχεια ο χρήστης μπορεί να επιλέξει είτε να εισάγει υδρολογικά δεδομένα από την υπηρεσία openhi.net, για τις μεταβλητές στάθμης (m) ή παροχής (m3/s) είτε να εισάγει υδρολογικά δεδομένα από άλλες διατομές που έχει ήδη στην διάθεση του. Στην πρώτη περίπτωση δε αξίζει να σημειωθεί ότι για την εισαγωγή δεδομένων στάθμης η διαδικασία μετατρέπει και επιστρέφει αυτόματα τα δεδομένα σε μέγιστες ημερήσιες στάθμες, ενώ στην περίπτωση εισαγωγής δεδομένων παροχής γίνεται η αναγωγή των δεδομένων σε ημερήσιο όγκο νερού. Για τις ανάγκες ορθής αναφοράς στην κατάρτιση του μοντέλου ο αλγόριθμος που αναπτύχθηκε προχωρά στον συγχρονισμό των υδρολογικών χρονοσειρών με βάσει τα μετεωρολογικά δεδομένα που έχουν επιλεγεί στο προηγούμενο βήμα. Στην συνέχεια πραγματοποιείται αυτόματα η εκπαίδευση Τεχνητών Νευρωνικών Δικτύων μακροπρόθεσμης – βραχυπρόθεσμης μνήμης (LSTM) για διάφορες παραμέτρους και υπολογίζεται ο μέσος δείκτης απόδοσης των μοντέλων. Σε αυτή τη μελέτη, χρησιμοποιήσαμε ένα τυπικό νευρωνικό δίκτυο βασισμένο στα πλαίσια LSTM. Το δίκτυο LSTM περιέχει 5 επίπεδα. Το πρώτο επίπεδο είναι το Sequence Input Layer, το δεύτερο επίπεδο είναι το LSTM Layer, το τρίτο επίπεδο είναι το Fully Connected Layer, το τέταρτο επίπεδο είναι το ReluLayer και το τελευταίο επίπεδο είναι το Regression Output Layer. Με βάση τη διεθνή βιβλιογραφία αλλά και δοκιμές που έγιναν στα πλαίσια της διπλωματικής, εντοπίζεται ένα σύνολο παραμέτρων που παίζουν καθοριστικό ρόλο στην τελική επίδοση του μοντέλου. Για να αποφευχθεί η αρνητική επίδραση ενός η περισσοτέρων τέτοιων παραμέτρων, ο αλγόριθμος ακολουθεί μια διαδικασία αυτόματης διαφοροποίησης τους εντός συγκεκριμένου εύρους τιμών, δημιουργώντας έτσι ένα υποσύνολο πιθανών LSTM μοντέλων για τα ίδια δεδομένα εισόδου και εξόδου. Οι σταθεροί παράμετροι των LSTM μοντέλων είναι οι εξής: Number of hidden units, Gradient decay factor, Squared gradient decay factor και Mini batch size. Οι δε μεταβαλλόμενοι παράμετροι των LSTM μοντέλων είναι οι εξής: Maximum epochs, Gradient Threshold και Initial learn rate. Με βάση τα προαναφερθέντα επίπεδα και παραμέτρους, το τελικό αποτέλεσμα της διαδικασίας είναι ένα σύνολο 24 πιθανών LSTM μοντέλων. Το σύνολο των πιθανών μοντέλων ταξινομείται με βάση την απόδοση τους, ενώ η τελική επιλογή του καταλληλότερου μοντέλου γίνεται από τον χρήστη. Η διαδικασία αυτή έχει σχεδιαστεί ώστε να είναι εφαρμόσιμη σε οποιαδήποτε λεκάνη απορροής, και για διαφορετικές χρονικές κλίμακες. Στην συγκεκριμένη εργασία η προτεινόμενη διαδικασία εφαρμόστηκε σε μία περιοχή μελέτης, αυτή της ευρύτερης περιοχής του ποταμού Σπερχειού. Οι μετεωρολογικοί σταθμοί από τους οποίους αντλήσαμε τα ημερήσια μετεωρολογικά δεδομένα είναι της Λαμίας, της Μακρακώμης και ο σταθμός Μαυρολιθάρι. Οι υδρολογικοί σταθμοί από τους οποίους χρησιμοποιήσαμε την ημερήσια στάθμη (m) είναι αυτοί της Ανθήλης και της Αλαμάνας. Ο σταθμός της Ανθήλης είναι τοποθετημένος στον παράδρομο Αθηνών – Θεσσαλονίκης βορειοδυτικά από το χωριό της Ανθήλης, ανάντη του σταθμού γίνεται η συμβολή του Σπερχειού ποταμού με το Γοργοπόταμο και στην συνέχεια κατάντη του χωριού Κόμμα, υπάρχει μεριστής που διαχωρίζει τη ροή σε δύο κοίτες (Σπερχειού & Ξερολάκκας), του αγωγού/υπερχειλιστή που ευθύγραμμα οδηγεί τα πλημμυρικά νερά του Σπερχειού από το συντομότερο δρόμο στην θάλασσα και τη φυσική κοίτη της Αλαμάνας. Η δεύτερη κοίτη αντιστοιχεί στο ποταμό Ξερολάκκα όπου τα νερά του οδηγούνται προς το σταθμό της Αλαμάνας. Ανάντη του σταθμού της Αλαμάνας που βρίσκεται επίσης κοντά στον παράδρομο Αθήνας – Θεσσαλονίκης γίνεται η συμβολή των ποταμών Ασωπού και Ξερολάκκα δημιουργώντας έτσι μια ενιαία κοίτη που μη ευθύγραμμα οδηγεί τα πλημμυρικά νερά του Ασωπού στην θάλασσα. Αξίζει να σημειωθεί ότι τα ημερήσια LSTM μοντέλα που δημιουργήθηκαν είναι διπλού output ενώ εκπαιδεύτηκαν με ένα συνδυασμό δεδομένων εισόδου, δηλαδή εκτός από τα μετεωρολογικά δεδομένα χρησιμοποιήθηκαν και οι μέγιστες ημερήσιες στάθμες από τους δυο υδρολογικούς σταθμούς κάθε προηγούμενης ημέρας σε κάθε βήμα. Σε αυτήν την περίπτωση η περίοδος εκπαίδευσης (Training period) διαρκεί από 1/10/2014 έως 30/09/2019, ενώ η περίοδος επικύρωσης (Testing period) διαρκεί από1/10/2019 έως 30/09/2020. Αφού επιλεγεί το καταλληλότερο μοντέλο, ακολουθούν τρεις πιθανές εφαρμογές. Στην πρώτη εφαρμογή, γίνεται η χρήση του LSTM μοντέλου ως μιας γρήγορης εναλλακτικής έτσι ώστε να δοθεί μια αίσθηση στον εκάστοτε χρήστη τι προηγήθηκε στο αντίστοιχο σταθμό. Πιο συγκεκριμένα ο σκοπός της εφαρμογής είναι η χρήση του LSTM μοντέλου για την εκτίμηση/συμπλήρωση δεδομένων ενός σταθμού σε περιόδους δυσλειτουργίας ή ακόμα και διακοπής του σταθμού. Πιο συγκεκριμένα ο σταθμός της Αλαμάνας έπαψε να λειτουργεί πριν της 1/10/2020. Η περίοδος της εκτίμησης (Estimation period) διαρκεί από της 1/10/2020 έως 31/12/2021. Η τιμής της μέγιστης ημερήσιας στάθμης για τον σταθμό της Αλαμάνας στης 30/09/2020 είναι 0.39m ενώ για την Ανθήλη 0.52m. Σε κάθε βήμα το LSTM μοντέλο αυτοτροφοδοτούταν με την προβλεπόμενη (Estimated) τιμή για τον σταθμό της Αλαμάνας για να εκτιμήσει τις τιμές που λείπουν για τον ίδιο σταθμό. Από την άλλη μεριά για τον σταθμό της Ανθήλης το LSTM μοντέλο λάμβανε τις μέγιστες παρατηρούμενες τιμές ημερήσιας στάθμης. Στην δεύτερη εφαρμογή, εξετάζεται η ικανότητα των LSTM μοντέλων για την πρόβλεψη (Forecasting) πλημμυρικών γεγονότων. Πιο συγκεκριμένα, επιλέχθηκε η εφαρμογή τους για την προσομοίωση πρόγνωσης (Forecasting) από 9/12/2021 έως 16/12/21, όπου περιλαμβάνει ένα πλημμυρικό γεγονός που συνέβη στη Λαμία στις 11-12/12/2021. Η πρώτη υπόθεση για την πρόβλεψη αυτού του χρονικού πλαισίου είναι ότι η στάθμη του νερού στο σταθμό της Αλαμάνας είναι 0m με βάση την εκτίμηση του μοντέλου και 0,84m για το σταθμό της Ανθήλης με βάση τα παρατηρούμενα δεδομένα. Η δεύτερη υπόθεση είναι ότι τα μετεωρολογικά δεδομένα από τους τρεις σταθμούς που χρησιμοποιήθηκαν ταυτίζονται με τις αντίστοιχες προβλέψεις που έγιναν εκείνη την περίοδο. Επομένως, θεωρήσαμε ότι αυτό το σύνολο δεδομένων ήταν το προβλεπόμενο (Forecasted) σύνολο δεδομένων από την Εθνική Μετεωρολογική Υπηρεσία. Για την δημιουργία μιας ρεαλιστικότερης εφαρμογής πρόβλεψης, κατασκευάστηκαν επιπλέον και μια σειρά σεναρίων που λαμβάνουν υπόψη πιθανές αποκλίσεις (υπό ή υπέρ-εκτίμησης) στα μετεωρολογικά δεδομένα εισόδου. Στην τρίτη και τελευταία εφαρμογή, γίνεται η εκπαίδευση μοντέλων μονού output ωριαίας κλίμακας, μόνο για τον σταθμό της Ανθήλης, για την πρόβλεψη πλημμυρικών γεγονότων. Για αυτήν την εφαρμογή επιλέχθηκε να γίνει πρόβλεψη (Forecast) για τη χρονική περίοδο κατά την οποία συνέβη ένα πλημμυρικό γεγονός, δηλαδή από τις 10/12/2020 00:00 π.μ. έως 10/12/2020 06:00 π.μ.. Αξίζει να σημειωθεί ότι στην προκειμένη περίπτωση χρησιμοποιήθηκαν και τα δεδομένα εισόδου των προηγούμενων 12 ωρών από τις 9/12/2020 12:00 μ.μ. έως 9/12/2020 23:00 μ.μ.. Συνοψίζοντας τα αποτελέσματα της πρώτη εφαρμογής ήταν αρκετά ενδιαφέροντα καθώς το LSTM μοντέλο κατάφερε να εκτιμήσει τις ελλιπείς τιμές για τον σταθμό της Αλαμάνας σε ικανοποιητικό βαθμό, καθώς επίσης έγινε η σύγκριση των αποτελεσμάτων μεταξύ εκτιμημένων και παρατηρούμενων για τον σταθμό της Ανθήλης. Για τον σταθμό της Ανθήλης ο δείκτης NSE ισούται με 0.7057 και ο δείκτης RMSE ισούται με 0.1444m. Αναφορικά τις εφαρμογές για την πρόβλεψη απόκρισης σε επιλεγμένες διατομές, προκύπτει ότι το επιλεγμένο LSTM μοντέλο μπορεί να αποτελέσει μια καλή και γρήγορη εναλλακτική για την πρόβλεψη του επερχόμενου πλημμυρικού γεγονότος τόσο σε ημερήσια όσο και σε ωριαία κλίμακα. Αξίζει να σημειωθεί ότι η εν λόγω απόδοση του μοντέλου επηρεάστηκε και από την χρήση εκτιμημένων (και όχι παρατηρημένων) τιμών για τον σταθμό της Αλαμάνας σε αντίστοιχη χρονική περίοδο. Για την εφαρμογή σε ωριαία κλίμακα και για μία χρονική περίοδο διαδοχικών προβλέψεων 6 ωρών, τα αποτελέσματα παρουσιάζουν βελτιωμένη απόδοση σε σχέση με την ημερήσια κλίμακα. Πιο συγκεκριμένα, για την ημερήσια κλίμακα και για τον σταθμό της Αλαμάνας οι δείκτες NSE και RMSE ισούνται με 0.3370 και 0.2928m αντίστοιχα, ενώ για τον σταθμό της Ανθήλης οι δείκτες NSE και RMSE ισούνται με 0.1148 και 0.4491m αντίστοιχα. Από την άλλη για την ωριαία κλίμακα και για τον σταθμό της Ανθήλης οι δείκτες φαίνονται πιο βελτιωμένοι με τις τιμές NSE και RMSE να ισούνται με 0.7196 και 0.0558m αντίστοιχα. Η παρούσα μελέτη εστιάζει στην διερεύνηση και αξιοποίηση των προηγμένων δυνατοτήτων των Τεχνητών Νευρωνικών Δικτύων Μακροπρόθεσμης - Βραχυπρόθεσμης μνήμης (LSTM) για τις ανάγκες μοντελοποίησης της σχέσης βροχής-απορροής σε οποιαδήποτε λεκάνη απορροής αλλά και στην ανάπτυξη του απαιτούμενου λογισμικού χρησιμοποιώντας το Matlab. Η προτεινόμενη αυτοματοποιημένη διαδικασία διευκολύνει την απόκτηση και αξιοποίηση online ανοικτών δεδομένων, ενώ επιτρέπει και το συνδυασμό τους με άλλα δεδομένα που τυχόν είναι διαθέσιμα από τον τελικό χρήστη για τη βαθμονόμηση LSTM μοντέλων. Οι αυτόματες διαδικασίες διόρθωσης και συγχρονισμού των επιμέρους δεδομένων επιταχύνουν το αναγκαίο βήμα για την εξασφάλιση της συνοχής και ορθότερης αναφοράς των δεδομένων. Αξίζει να σημειωθεί πώς η εν λόγω επεξεργασία δεν υποκαθιστά πλήρως, ούτε αποτρέπει τον έλεγχο ή/και την διόρθωση χρονοσειρών από τον τελικό χρήστη. Η διαδικασία διερεύνησης εναλλακτικών παραμέτρων κατά την εκπαίδευση και η δημιουργία πολλαπλών μοντέλων με βάση τα ίδια επιλεγμένα δεδομένα επιτρέπει να εντοπιστούν οι βέλτιστοι συνδυασμοί παραμέτρων των LSTM, χωρίς βαθιές γνώσεις προγραμματισμού. Η ταξινόμηση των 24 εναλλακτικών μοντέλων βάσει των δεικτών απόδοσης δίνει μία πρώτη, συγκεντρωτική εικόνα για τις καλύτερες εναλλακτικές. Αξίζει και πάλι να σημειωθεί πως σκοπός της προτεινόμενης διαδικασίας δεν αποτελεί η υποκατάσταση της εμπειρίας του τελικού χρήστη, αλλά η διευκόλυνση και η υποστήριξη του στην δημιουργία και την τελική επιλογή του καταλληλότερου μοντέλου, χωρίς να απαιτούνται γνώσεις προγραμματισμού. Για την αξιολόγηση της προτεινόμενης διαδικασίας δημιουργίας LSTM μοντέλων βροχής-απορροής πραγματοποιήθηκαν 3 εφαρμογές με περιοχή μελέτης τη ευρύτερη λεκάνη του Σπερχειού. Συνολικά, η προτεινόμενη μελέτη αποσκοπεί στην επίλυση και την διερεύνηση των τριών προαναφερθέντων εφαρμογών. Ο σκοπός για την πρώτη εφαρμογή, γίνεται η χρήση του LSTM μοντέλου ως μιας γρήγορης εναλλακτικής έτσι ώστε να δοθεί μια αίσθηση στον εκάστοτε χρήστη τι προηγήθηκε στο αντίστοιχο σταθμό. Πιο συγκεκριμένα να δώσει μια εικόνα (π.χ. για την διακύμανση της στάθμης με βάση τα μετεωρολογικά δεδομένα που προέκυψαν) για την περίπτωση όπου κάποιος σταθμός ήταν προβληματικός ή βγήκε εκτός λειτουργίας για κάποιο χρονικό διάστημα ενδιαφέροντος λόγο κάποιου ακραίου καιρικού φαινομένου. Ο σκοπός για την δεύτερη και τρίτη εφαρμογή γίνεται η υπόθεση ότι τοπικοί φορείς ή υπηρεσίες, λαμβάνοντας υπόψη τις προβλέψεις ακραίων καιρικών φαινομένων, χρειάζονται μια γρήγορη πρόβλεψη (Forecast) για την πιθανή επερχόμενη πλημμύρα στο σταθμό της Ανθήλης ή της Αλαμάνας. Αξιοποιώντας την αυτοματοποιημένη διαδικασία, εισάγουν τα διαθέσιμα δεδομένα (online ή δικά τους), και επιλέγουν το καταλληλότερο από τα προτεινόμενα 24 LSTM μοντέλα. Κάνοντας χρήση του επιλεγμένου μοντέλου ο χρήστης πρέπει να διαθέτει ως δεδομένα εισόδου τις μετεωρολογικές προβλέψεις και τις στάθμες της προηγούμενης ημέρας, και λαμβάνει την πρόβλεψη για την μέγιστη στάθμη για την επόμενη μέρα ή ώρα κάθε φορά. Μόλις γίνουν διαθέσιμα νεότερα δεδομένα (στάθμης ή μετεωρολογικές προβλέψεις του επόμενου βήματος) μπορούν να εισαχθούν εκ νέου για την πραγματοποίηση νέας πρόβλεψης. el
heal.abstract Rainfall – runoff processes are one of the most important parts of the hydrological cycle, and their accurate modeling is vital for the management of water resources and extreme events, such as floods. Designing, calibrating and maintaining an accurate and computationally efficient rainfall – runoff model can be a process that makes us worry about whether it will be sufficiently efficient as there are many problems around the composition of such problems. Some of the problems associated with these processes are the nature, quality and adequacy of data, the complexity of modeling processes, the need for programming knowledge, as well as the need to investigate individual complex parameters that affect the performance of models, such as the architecture and training parameters differentiated in LSTM models. Thus, each researcher, before proceeding to the construction of such a model, must take into account the above for the creation of a fast model, especially when the goal is to predict a flood level / runoff. This study explores the creation of a general automated process of synthesis and calibration of rainfall – runoff models, using machine learning techniques (such as Artificial Neural Networks) as well as identifying and correcting appropriate data sets from various sources. These data sets may contain meteorological (rainfall, average temperature, average wind speed) and hydrological (level, runoff) data, thus allowing the integration of characteristics that contribute to the processes and basic parameters of runoff of a hydrological basin, or part of it. For this purpose, an automated process has been created where users will be able to draw and utilize online datasets, or data that is already at their disposal for various time scales. Regarding the use of online data, an automated process of data extraction was created from the web and more specifically from the meteo.gr for the stations of interest. Once the stations and periods of interest have been selected, the data is stored as data sets on a daily scale, after an automatic process. In the context of this diploma thesis, these data contain the following three variables: a) rainfall (mm), where the absence of rainfall events is supplemented with zero values b) average temperature (oC) and c) average wind speed (km/hr), where for the last two variables a linear interpolation is taking place to fill in missing empty values. Then the user can choose either to enter hydrological data from the openhi.net service, for the water level (m) or flow (m3/s) variables or to enter hydrological data from other cross-sections that the user already has at his/her disposal. In the first case, it is worth noting that in case of choosing water level data, the process automatically converts and returns the data to maximum daily water levels, while in the case of choosing flow data, the data is reduced to a daily water volume. For the needs of proper reference in the compilation of the model, the algorithm developed proceeds to the synchronization of the hydrological time series based on the meteorological data selected in the previous step. Then, the training of Artificial Neural Networks of long-term – short-term memory (LSTM) for various parameters is automatically carried out and the average performance indexes of the models are calculated. In this study, we used a typical neural network based on LSTM frameworks. The LSTM network contains 5 layers. The first layer is the Sequence Input Layer, the second layer is LSTM Layer, the third layer is Fully Connected Layer, the fourth layer is ReluLayer, and the last layer is Regression Output Layer. Based on the international literature and tests carried out in the context of the thesis, a set of parameters is identified that play a decisive role in the final performance of the model. To avoid the negative influence of one or more such parameters, the algorithm follows a process of their automatic differentiation within a certain range of values, thus creating a subset of possible LSTM models for the same input and output data. The fixed parameters of the LSTM models are as follows: number of hidden units, gradient decay factor, squared gradient decay factor and mini batch size. The changing parameters of the LSTM models are the following: maximum epochs, gradient threshold and initial learn rate. Based on the above-mentioned layers and parameters, the final result of the process is a set of 24 possible LSTM models. The set of possible models is classified based on their performance, while the final choice of the most suitable model is made by the user. This process is designed to be applicable in any watershed, and for different time scales. In this particular study, the proposed procedure was applied to a study area, that of the wider area of the Spercheios river basin. The meteorological stations from which we drew the daily meteorological data are those of Lamia, Makrakomi and Mavrolithari stations. The hydrological stations from which we used the daily water level (m) are those of Anthili and Alamana. The station of Anthili is located on the side road Athens - Thessaloniki northwest of the village of Anthili, upstream of the station becomes the junction of the Spercheios river with Gorgopotamos and then downstream of the village of Komma, there is a divisor that separates the flow into two beds (Spercheios & Xerolakkas), the pipeline/spillway that straight leads the flood waters of Spercheios from the shortest road to the sea and the natural bed of Alamana. The second bed corresponds to the river Xerolakka where its waters are led to the station of Alamana. Upstream of the station of Alamana, which is also located near the side road Athens - Thessaloniki, becomes the confluence of the rivers Asopos and Xerolakka, thus creating a single riverbed that does not directly lead the flood waters of Asopos to the sea. It is worth noting that the daily LSTM models created are of double output while they were trained with a combination of input data. More specifically, in combination with the meteorological data, the maximum daily levels from the two hydrological stations of each previous day were also used at each step. In this case, the training period lasts from 1/10/2014 to 30/09/2019, while the testing period lasts from 1/10/2019 to 30/09/2020. Once the most suitable model has been selected, three possible applications follow. In the first application, the LSTM model is used as a quick alternative tool in order to give a sense to each user what preceded the respective station. More specifically, the purpose of the application is to use the LSTM model to estimate/complete data of a station during periods of malfunction or even interruption of the station. More specifically, the station of Alamana ceased to operate before 1/10/2020. The Estimation period lasts from 1/10/2020 to 31/12/2021. The value of the maximum daily water level for the station of Alamana on 30/09/2020 is 0.39m while for Anthili 0.52m. At each step the LSTM model supplied itself with the estimated values for the Alamana station to estimate the missing values for the same station. On the other hand, for the Anthili station, the LSTM model received the maximum observed daily water level values. In the second application, the ability of LSTM models to Forecast flood events is examined. More specifically, their application was chosen for the forecasting simulation from 9/12/2021 to 16/12/21, which includes a flood event that occurred in Lamia on 11-12/12/2021. The first assumption for predicting this time frame is that the water level at the Alamana station is 0m based on the model estimation from the first application and 0.84m for the Anthili station based on the observed data. The second assumption is that the meteorological data from the three stations used are identical to the corresponding forecasts made at that time. Therefore, we considered this dataset to be the Forecasted dataset from the National Weather Service. To create a more realistic forecasting application, a series of scenarios have also been constructed that take into account possible deviations (under or over-estimate) in the meteorological input data. In the third and last application, the training of single-output hourly scale models is carried out, only for the Anthili station, to predict flood events. For this application it was chosen to make a forecast for the time period during which a flood event occurred, i.e. from 10/12/2020 00:00 am to 10/12/2020 06:00 am. It is worth noting that in this case, the input data of the previous 12 hours from 9/12/2020 12:00 p.m. to 9/12/2020 23:00 p.m. were also used. Summarizing the results of the first application were quite interesting as the LSTM model managed to estimate the incomplete values for the Alamana station to a satisfactory degree, as well as the comparison of the results between the estimated and observed for the Anthili station. For The Anthili station the NSE index is equal to 0.7057 and the RMSE index is equal to 0.1444m. Regarding the applications for predicting a response to selected cross-sections, it follows that the selected LSTM model can be a good and fast alternative for predicting the upcoming flood event both on a daily and hourly scale. It is worth noting that this performance of the model was also influenced by the use of estimated (and not observed) values for the Alamana station in a corresponding period of time. For the implementation on an hourly scale and for a period of time of successive 6-hour forecasts, the results show an improved performance over the daily scale. More specifically, for the daily scale and for the Alamana station, the NSE and RMSE indexes are equal to 0.3370 and 0.2928m respectively, while for the Anthili station the NSE and RMSE indices are equal to 0.1148 and 0.4491m respectively. On the other hand, for the hourly scale and for the Anthili station, the indexes seem more improved with the NSE and RMSE values equaling 0.7196 and 0.0558m respectively. The present study focuses on the investigation and utilization of the advanced capabilities of The Long – Short Term Memory (LSTM) Artificial Neural Networks for the needs of modeling the rainfall-runoff relationship in any watershed but also on the development of the required software using Matlab. The proposed generic automated process facilitates the acquisition and utilization of online open data, while allowing their combination with other data that may be available from the user for the calibration of LSTM models. Automatic procedures for correcting and synchronizing individual data accelerate the necessary step to ensure the consistency and more correct reporting of data. It is worth noting how this processing does not fully replace, nor does it prevent the user from checking and/or correcting timeseries datasets. The process of exploring alternative parameters during training and the creation of multiple models based on the same selected data allows to identify the optimal combinations of LSTM parameters, without deep programming knowledge. The classification of the 24 alternative models based on performance indicators gives a first, aggregated view of the best alternatives. It is worth noting again that the purpose of the proposed procedure is not to replace the experience of the user, but to facilitate and support him/her in the creation and final selection of the most appropriate model, without requiring programming knowledge. For the evaluation of the proposed process of creating LSTM rainfall-runoff models, 3 applications were carried out with the study area of the wider Spercheios river basin. Overall, the proposed study aims to solve and investigate the three aforementioned applications. The purpose for the first application is to use the LSTM model as a quick alternative tool so as to give a sense to each user what preceded the respective station. More specifically to give an insight (e.g. for the fluctuation of the level based on the meteorological data that emerged) for the case where a station was problematic or went out of service for some time of interest due to some extreme weather phenomenon. The purpose for the second and third application becomes the assumption that local authorities or services, taking into account the predictions of extreme weather events, need a rapid forecast for the possible upcoming flooding at the station of Anthili or Alamana. Utilizing the automated process, they enter the available data (online or their own), and choose the most suitable of the proposed 24 LSTM models. Using the selected model, the users must have as input data the meteorological forecasts and peak water levels of the previous day, and receives the forecast for the peak water level for the next day or hour each time. As soon as newer data (water level or weather forecasts of the next step) become available, they can be re-entered to make a new forecast. en
heal.advisorName Μακρόπουλος, Χρήστος el
heal.committeeMemberName Μαμάσης, Νικόλαος el
heal.committeeMemberName Μακρόπουλος, Χρήστος el
heal.committeeMemberName Μαλαμής, Συμεών-Αλέξανδρος el
heal.academicPublisher Εθνικό Μετσόβιο Πολυτεχνείο. Σχολή Πολιτικών Μηχανικών el
heal.academicPublisherID ntua
heal.fullTextAvailability false


Αρχεία σε αυτό το τεκμήριο

Οι παρακάτω άδειες σχετίζονται με αυτό το τεκμήριο:

Αυτό το τεκμήριο εμφανίζεται στην ακόλουθη συλλογή(ές)

Εμφάνιση απλής εγγραφής

Αναφορά Δημιουργού-Μη Εμπορική Χρήση-Όχι Παράγωγα Έργα 3.0 Ελλάδα Εκτός από όπου ορίζεται κάτι διαφορετικό, αυτή η άδεια περιγράφεται ως Αναφορά Δημιουργού-Μη Εμπορική Χρήση-Όχι Παράγωγα Έργα 3.0 Ελλάδα