Επίλυση διαφορικών εξισώσεων με μεθόδους μηχανικής μάθησης

Φωτόπουλος, Γεώργιος; Fotopoulos, Georgios

dc.contributor.author	Φωτόπουλος, Γεώργιος	el
dc.contributor.author	Fotopoulos, Georgios	en
dc.date.accessioned	2022-09-13T11:10:21Z
dc.date.available	2022-09-13T11:10:21Z
dc.identifier.uri	https://dspace.lib.ntua.gr/xmlui/handle/123456789/55657
dc.identifier.uri	http://dx.doi.org/10.26240/heal.ntua.23355
dc.rights	Αναφορά Δημιουργού-Μη Εμπορική Χρήση-Όχι Παράγωγα Έργα 3.0 Ελλάδα	*
dc.rights	Αναφορά Δημιουργού - Μη Εμπορική Χρήση - Παρόμοια Διανομή 3.0 Ελλάδα	*
dc.rights	Αναφορά Δημιουργού-Μη Εμπορική Χρήση 3.0 Ελλάδα	*
dc.rights.uri	http://creativecommons.org/licenses/by-nc/3.0/gr/	*
dc.subject	Μερικές διαφορικές εξισώσεις	el
dc.subject	Επιλύτες διαφορικών εξισώσεων	el
dc.subject	Διεργασίες Gauss	el
dc.subject	Τεχνητά νευρωνικά δίκτυα	el
dc.subject	Μεταβατικό πρόβλημα	el
dc.subject	Πρόβλημα μόνιμης κατάστασης	el
dc.subject	Partial differential equations	en
dc.subject	Ode solvers	en
dc.subject	Gaussian processes	en
dc.subject	Artificial neural networks	en
dc.subject	Transient problem	en
dc.subject	Steady-state problem	en
dc.title	Επίλυση διαφορικών εξισώσεων με μεθόδους μηχανικής μάθησης	el
heal.type	bachelorThesis
heal.classification	Υπολογιστική μηχανική	el
heal.classification	Μηχανική μάθηση	el
heal.classification	Αριθμητική ανάλυση	el
heal.language	el
heal.access	free
heal.recordProvider	ntua	el
heal.publicationDate	2022-02-21
heal.abstract	Στην παρούσα διπλωματική εργασία μελετήθηκε ο συνδυασμός μεθόδων μηχανικής μάθησης και συγκεκριμένα διεργασιών Gauss (Gaussian processes) και τεχνητών νευρωνικών δικτύων (artificial neural networks), με κλασσικές μεθόδους αριθμητικής ανάλυσης και επίλυσης διαφορικών εξισώσεων με στόχο την εκμάθηση της σχέσης που συνδέει γνωστά μεγέθη, που αποτελούν λύσεις διαφορικών εξισώσεων, με τις χρονικές παραγώγους των εξαρτημένων μεταβλητών. Έτσι, αν και είναι άγνωστη στο χρήστη η διατύπωση μίας διαφορικής εξίσωσης, αποδεικνύεται ότι εφαρμόζοντας τη συγκεκριμένη προσέγγιση (data-driven approach), διαδικασίες όπως η εύρεση μονίμων καταστάσεων και πολλαπλότητας λύσεων καθώς και η ολοκλήρωση σε μεγάλους χρόνους για εύρεση μεταβατικών καταστάσεων είναι εφικτές. Συγκεκριμένα εξετάστηκαν δύο συστήματα. Στο πρώτο, μία απλή διαφορική εξίσωση, εφαρμόστηκαν διεργασίες Gauss προκειμένου να βρεθεί ποιες από τις υπό εξέταση μεταβλητές επηρεάζουν τη χρονική παράγωγο της εξαρτημένης μεταβλητής. Έπειτα, με εκπαίδευση μοντέλου τεχνητού νευρωνικού δικτύου για 7.000 σημεία, προέκυψε μοντέλο το οποίο δοκιμάστηκε με χρήση επιλύτη διαφορικών εξισώσεων (ode solver), επιβάλλοντας διαφορετικές αρχικές και συνοριακές συνθήκες από αυτές που χρησιμοποιήθηκαν για παραγωγή δεδομένων. Το εκπαιδευμένο μοντέλο βρέθηκε να παρουσιάζει αποκλίσεις μικρότερες από 5 % ως προς τις πραγματικές λύσεις ενώ, το μέσο τετραγωνικό σφάλμα ήταν σε κάθε περίπτωση της τάξης του 10^-7 οδηγώντας στο συμπέρασμα ότι το εκπαιδευμένο μοντέλο δεν επηρεάζεται από το είδος των συνοριακών και αρχικών συνθηκών. Στο δεύτερο παράδειγμα, μελετήθηκε ένα σύστημα δύο εξισώσεων με δύο εξαρτημένες μεταβλητές και μία παράμετρο, επαναλήφθηκε η διαδικασία εκπαίδευσης χρησιμοποιώντας 160.000 και 87.000 σημεία αντίστοιχα για την παραγωγή δύο μοντέλων. Το πρώτο χρησιμοποιήθηκε για την εύρεση της μεταβατικής κατάστασης του συστήματος μέσω ode solver, δοκιμαζόμενο σε επτά διαφορετικές αρχικές συνθήκες επιτυγχάνοντας ακρίβεια έως και πάνω από 98 % για χρόνο 40 φορές μεγαλύτερο από το μέγιστο για τον οποίο παρήχθησαν δεδομένα εκπαίδευσης. Το δεύτερο μοντέλο εκπαιδεύτηκε με τα δεδομένα εκείνα τα οποία αντιστοιχούσαν σε τιμές παραμέτρου τέτοιες, ώστε οι τιμές της μόνιμης κατάστασης του συστήματος να βρίσκονται σε ένα μόνο κλάδο ευσταθών λύσεων. Πραγματοποιήθηκαν έπειτα δοκιμές εφαρμόζοντας μέθοδο Newton-GMRES, για εύρεση της μόνιμης κατάστασης σε τιμή της παραμέτρου όπου το σύστημα αναμενόταν να εμφανίζει τρεις μόνιμες καταστάσεις, δύο ευσταθείς και μία ασταθή. Τα αποτελέσματα που προέκυψαν αποδεικνύουν ότι το μοντέλο, αν και με μεγάλη σχετικά απόκλιση για κάποιες τιμές (έως και 54 %), ήταν ικανό να προβλέψει την ύπαρξη τριών μονίμων καταστάσεων.	el
heal.abstract	In the present diploma thesis, the combination of machine learning techniques, namely Gaussian processes and artificial neural networks, with classic numerical analysis and differential equation solving methods, has been studied, with the goal of mapping the relationship between known quantities and the time derivatives of dependent variables of differential equations. This way, despite the fact that the formulation of a differential equation is unknown, following the data-driven approach presented in this work, one can calculate solutions for both transient and steady-state problems, including ones with solution multiplicity. Two examples are presented. The first is a relatively simple, partial differential equation. Gaussian processes were applied in order to discover the variables that affect the time derivative. Using 7.000 points, a neural network was trained and tested using ordinary differential equation solvers, for different initial and boundary conditions than the ones used to produce training data. The trained model was found to produce solutions, deviating from the true ones by less than 5 %. The mean squared error in every simulation was of the 10^-7 order, proving that the trained model is not affected by the kind of boundary and initial conditions used. In the second example, a system of two partial differential equations describing the operation of a tubular reactor was studied. The system comprised of two independent variables and one parameter. Two neural network models were trained using 160.000 and 87.000 points respectively. The first model was utilized for the calculation of transient solutions, for seven different initial conditions, achieving up to 98 % accuracy in times 40 times greater than the maximum used to produce training data. The second model was trained using data corresponding to a single stable solutions’ branch. It was then tested, using Newton-GMRES numerical method, for parameter value such, as to ensure the existence of three different steady states. It was proven that the trained model was in position of calculating all possible solutions, despite errors of up to 54 %.	en
heal.advisorName	Καβουσανάκης, Μιχαήλ	el
heal.committeeMemberName	Παυλάτου, Ευαγγελία	el
heal.committeeMemberName	Σαρίμβεης, Χαράλαμπος	el
heal.academicPublisher	Εθνικό Μετσόβιο Πολυτεχνείο. Σχολή Χημικών Μηχανικών. Τομέας Ανάλυσης, Σχεδιασμού και Ανάπτυξης Διεργασιών και Συστημάτων (ΙΙ)	el
heal.academicPublisherID	ntua
heal.numberOfPages	56 σ.	el
heal.fullTextAvailability	false