Διερεύνηση μη γραμμικών φαινομένων με χρήση μθόδων μηχανικής μάθησης

Ηλιάκης, Ευστάθιος; Iliakis, Efstathios

dc.contributor.author	Ηλιάκης, Ευστάθιος
dc.contributor.author	Iliakis, Efstathios
dc.date.accessioned	2023-12-08T08:49:51Z
dc.date.available	2023-12-08T08:49:51Z
dc.identifier.uri	https://dspace.lib.ntua.gr/xmlui/handle/123456789/58392
dc.identifier.uri	http://dx.doi.org/10.26240/heal.ntua.26088
dc.rights	Αναφορά Δημιουργού-Όχι Παράγωγα Έργα 3.0 Ελλάδα	*
dc.rights.uri	http://creativecommons.org/licenses/by-nd/3.0/gr/	*
dc.subject	Μερικές διαφορικές εξισώσεις	el
dc.subject	Πρόβλημα Bratu	el
dc.subject	Τεχνητά νευρωνικά δίκτυα	el
dc.subject	Διεργασίες Gauss	el
dc.subject	Παραμετρική ανάλυση	el
dc.subject	Partial differential equations	en
dc.subject	Bratu problem	en
dc.subject	Artificial neural networks	el
dc.subject	Gaussian processes	en
dc.subject	Parametric analysis	en
dc.title	Διερεύνηση μη γραμμικών φαινομένων με χρήση μθόδων μηχανικής μάθησης	el
dc.title	Study of Nonlinear Phenomena Using Machine Learning Methods	en
heal.type	bachelorThesis
heal.classification	Μαθηματικά	el
heal.classification	Μηχανική Μάθηση	el
heal.classification	Υπολογιστική Μηχανική	el
heal.classification	Χημική Μηχανική	el
heal.classification	Mathematics	en
heal.classification	Machine Learning	en
heal.classification	Computational Engineering	en
heal.classification	Chemical Engineering	en
heal.language	el
heal.access	free
heal.recordProvider	ntua	el
heal.publicationDate	2023-07-06
heal.abstract	Στη παρούσα διπλωματική εργασία παρουσιάζεται ο συνδυασμός μεθόδων μηχανικής μάθησης και συγκεκριμένα των διεργασιών Gauss (Gaussian processes) και των ρηχών τεχνητών νευρωνικών δικτύων (shallow artificial neural networks), με κλασικές μεθόδους αριθμητικής ανάλυσης (πεπερασμένες διαφορές και πεπερασμένα στοιχεία) με στόχο την εκμάθηση του δεξιού μέλους μιας μερικής διαφορικής εξίσωσης, δηλαδή τον υπολογισμό της χρονικής παραγώγου. Στόχος της εργασίας είναι να αποδείξει ότι διαδικασίες, όπως η εύρεση μονίμων καταστάσεων και πολλαπλότητας λύσεων καθώς και η μελέτη της δυναμικής εξέλιξης σε διάφορους χρόνους, είναι εφικτές ακόμα κι αν είναι άγνωστη στο χρήστη η διατύπωση της διαφορικής εξίσωσης, αρκεί να χρησιμοποιηθεί η συγκεκριμένη προσέγγιση (data-driven approach). Συγκεκριμένα εξετάστηκε η ίδια διαφορική εξίσωση, το πρόβλημα Bratu σε μία και δύο διαστάσεις, διότι παρουσιάζει ενδιαφέρουσα / μη γραμμική συμπεριφορά ως προς μια παράμετρο που περιέχεται στον ορισμό της. Συγκεκριμένα, ο χώρος λύσεων της εξίσωσης Bratu χαρακτηρίζεται από πολλαπλότητα με διάστημα τιμών παραμέτρων όπου μπορούν να συνυπάρχουν ευσταθείς και ασταθείς λύσεις, και ένα διάστημα τιμών παραμέτρων όπου δεν υπολογίζεται λύση. Εφαρμόστηκαν διεργασίες Gauss προκειμένου να βρεθούν ποιες από τις υπό εξέταση μεταβλητές επηρεάζουν τη χρονική παράγωγο της εξαρτημένης μεταβλητής τόσο στο μονοδιάστατο όσο και στο δισδιάστατο πρόβλημα. Οι διεργασίες κατάφεραν να εντοπίσουν με επιτυχία τις σημαντικές παραμέτρους με βάση τους συντελεστές που υπολογίζει η Automatic Relevance Determination (ARD) ανάλυση. Έπειτα, για το μονοδιάστατο πρόβλημα, εκπαιδεύτηκε μοντέλο τύπου προς τα εμπρός τροφοδοσίας νευρωνικού δικτύου (Feed Forward Neural Network) με βάση δεδομένων 6.000 περίπου λύσεις. Για την επαλήθευση της ορθής εκπαίδευσης του νευρωνικού δικτύου, διερευνήθηκε η δυναμική συμπεριφορά επιβάλλοντας διαφορετικές αρχικές συνθήκες από αυτές που χρησιμοποιήθηκαν για παραγωγή δεδομένων. Το εκπαιδευμένο μοντέλο βρέθηκε να παρουσιάζει αποκλίσεις μικρότερες από 1 % ως προς τις λύσεις που προκύπτουν με τη μέθοδο των πεπερασμένων διαφορών. Επίσης, εξετάστηκε η εύρεση μόνιμης κατάστασης στις 3 περιοχές σημασίας (ευσταθή και ασταθή λύση, καθώς και κοντά στην κρίσιμη τιμή της παραμέτρου) με τη μέθοδο Newton - GMRES, που επίσης η απόκλιση από τη λύση είναι μικρότερη του 1%. Τέλος, πραγματοποιήθηκε και παραμετρική ανάλυση συνδυάζοντας τις μεθόδους με εκείνη του Keller (Pseudo – Arc length Continuation), η οποία χρησιμοποιήθηκε για τον εντοπισμό της κρίσιμης παραμέτρου λcritical .Σε σχέση με τη μέθοδο των πεπερασμένων στοιχείων (FEM), η διαφορά είναι της τάξης του 0.01%, τονίζοντας την επιτυχία του μοντέλου. Για το 2D πρόβλημα εκπαιδεύτηκε νευρωνικό δίκτυο ίδιου τύπου με εκείνο του 1D αλλά με περίπου 18000 λύσεις για εκπαίδευση. Δοκιμάστηκε στις ίδιες πρακτικές με την απόδοση του να είναι κοντά στο 98% στο μεγαλύτερο εύρος τιμών της παραμέτρου, αποδεικνύοντας την αξία των νευρωνικών δικτύων στην επίλυση και μελέτη των διαφορικών εξισώσεων.	el
heal.abstract	This thesis presents the co-implementation of machine learning methods, specifically Gaussian processes, and shallow artificial neural networks, with classical methods of numerical analysis (finite differences and finite elements) with the aim of learning the right-hand side of a partial differential equation, i.e., calculating the time derivative. This work purposes to prove that procedures such as finding steady states and multiplicity of solutions as well as studying the dynamic evolution in various times are possible, even if the formulation of the differential equation is unknown to the user, as long as the specific data-driven approach is applied. Specifically, we examined the Bratu partial differential equation in one and two dimensions, because it presents interesting/non-linear behavior. In particular, one can find a parametric region with solution multiplicity (co-existence of dynamically stable and unstable solutions), and a region where no solution can be calculated. Gaussian processes were applied in order to find which of the variables under consideration influence the time derivative in both the 1D and 2D problem. The processes are able to successfully identify the important variables based on the coefficients calculated by the Automatic Relevance Determination (ARD) analysis. Then, for the one-dimensional problem, a Feed Forward Neural Network model was trained on a database of about 6,000 solutions. We tested the validity of our trained network by computing its dynamic behavior imposing different initial conditions than those used for data generation. The trained model was found to show deviations of less than 1 % with respect to the solutions obtained by the finite difference method. Also, it was used for calculating the steady state in three examples (a stable and an unstable solution, as well as one near the critical value of the parameter λ) with the Newton - GMRES method. Once again, the deviations from the FEM-based solution are less than 1%. Finally, a parametric analysis was carried out combining the methods with that of Keller (Pseudo – Arc length Continuation), which was used to identify the critical parameter λcritical . The value was compared to the FEM-based critical value and the difference is of the order of 0.01%, highlighting the success of the model. For the 2D problem, a neural network of the same type as the 1D one but with about 18000 solutions was trained. It was tested in the same practices with its performance close to 98%, over the largest range of parameter λ values, proving the significance of neural networks in solving and studying differential equations.	en
heal.advisorName	Καβουσανάκης, Μιχαήλ	el
heal.advisorName	Kavousanakis, Michail	en
heal.committeeMemberName	Στεφανίδης, Γεώργιος	el
heal.committeeMemberName	Τζαμτζής, Νικόλαος	el
heal.committeeMemberName	Stefanidis, Georgios	en
heal.committeeMemberName	Tzamtzis, Nikolaos	en
heal.academicPublisher	Εθνικό Μετσόβιο Πολυτεχνείο. Σχολή Χημικών Μηχανικών. Τομέας Ανάλυσης, Σχεδιασμού και Ανάπτυξης Διεργασιών και Συστημάτων (ΙΙ)	el
heal.academicPublisherID	ntua
heal.numberOfPages	114 σ.	el
heal.fullTextAvailability	false