Solving High Dimensional PDEs using Deep Learning

Τσιούρβας, Αστέριος; Tsiourvas, Asterios

dc.contributor.author	Τσιούρβας, Αστέριος	el
dc.contributor.author	Tsiourvas, Asterios	en
dc.date.accessioned	2021-01-15T07:31:57Z
dc.date.available	2021-01-15T07:31:57Z
dc.identifier.uri	https://dspace.lib.ntua.gr/xmlui/handle/123456789/52792
dc.identifier.uri	http://dx.doi.org/10.26240/heal.ntua.20490
dc.description	Εθνικό Μετσόβιο Πολυτεχνείο--Μεταπτυχιακή Εργασία. Διεπιστημονικό-Διατμηματικό Πρόγραμμα Μεταπτυχιακών Σπουδών (Δ.Π.Μ.Σ.) “Επιστήμη Δεδομένων και Μηχανική Μάθηση”	el
dc.rights	Default License
dc.subject	Μερικές Διαφορικές Εξισώσεις	el
dc.subject	Τεχνητά Νευρωνικά Δίκτυα	el
dc.subject	Αριθμητική Ανάλυση	el
dc.subject	Υψηλές Διαστάσεις	el
dc.subject	Βαθειά Μάθηση	el
dc.subject	Partial Differential Equations	en
dc.subject	Artificial Neural Networks	el
dc.subject	Numerical Analysis	el
dc.subject	High Dimensions	el
dc.subject	Deep Learning	el
dc.title	Solving High Dimensional PDEs using Deep Learning	en
dc.contributor.department	Επιστήμη Δεδομένων και Μηχανική Μάθηση	el
heal.type	masterThesis
heal.classification	Τεχνητή Νοημοσύνη	el
heal.classification	Μηχανική Μάθηση	el
heal.classification	Αριθμητική Ανάλυση	el
heal.classification	Επιστήμη Υπολογιστών	el
heal.classification	Artificial Intelligence	en
heal.classification	Machine Learning	en
heal.classification	Numerical Analysis	en
heal.classification	Computer Science	en
heal.language	en
heal.access	free
heal.recordProvider	ntua	el
heal.publicationDate	2020-07-21
heal.abstract	Η επίλυση υψηλής διάστασης Μερικών Διαφορικών Εξισώσεων (ΜΔΕ) αποτελεί ένα εξαιρετικά απαιτητικό υπολογιστικό πρόβλημα για πολλές δεκαετίες. Αυτό οφείλεται στη σημαντικότητα των ΜΔΕ καθώς μπορούν να μοντελοποιήσουν κρίσιμα προβλήματα σχετικά με ήχο, θερμότητα, διάχυση, ηλεκτροστατική, ηλεκτροδυναμική, ρευστοδυναμική, βαρύτητα, κβαντική μηχανική αλλά ακόμα και σε άλλους τομείς, όπως τα χρηματοοικονομικά. Η συνεπής και υπολογιστικά βατή αριθμητική επίλυση αυτών είναι ιδιαίτερα σημαντική. Το πρόβλημα αυτό γίνεται ακόμα πιο δύσκολο υπολογιστικά όταν πρέπει να λυθεί σε υψηλές (χωρικές) διαστάσεις. Οι παραδοσιακές μέθοδοι επίλυσης ΜΔΕ, όπως η μέθοδος πεπερασμένων διαφορών, χρησιμοποιούν ένα πλέγμα σημείων. Ωστόσο, τα σημεία του πλέγματος αυξάνουν εκθετικά ως προς τη διάσταση του χώρου. Επομένως, για υψηλό αριθμό διαστάσεων οι συμβατικές μέθοδοι επίλυσης αποτυγχάνουν υπολογιστικά και εμφανίζεται η πρόκληση του curse of dimensionality. Τα τελευταία χρόνια, εξαιτίας της ραγδαίας ανάπτυξης του τομέα των Τεχνητών Νευρωνικών Δικτύων, νέες μέθοδοι που δε χρησιμοποιούν πλέγμα έχουν προταθεί για την αποδοτική αριθμητική επίλυση ΜΔΕ. Σε αυτή την εργασία, ξεκινάμε πραγματοποιώντας εισαγωγή στη θεωρία πίσω από τις ΜΔΕ και τα Τεχνητά Νευρωνικά Δίκτυα. Έπειτα, μελετάμε ένα από τα βέλτιστα υπάρχοντα μοντέλα τεχνητών νευρωνικών δικτύων για την επίλυση υψηλής διάστασης free ή non-essential συνοριακών συνθηκών στοχαστικών διαφορικών εξισώσεων, το οποίο ονομάζεται Deep Galerkin Method (DGM). Στη συνέχεια, εξετάζουμε δύο από τα βέλτιστα υπάρχοντα μοντέλα τεχνητών νευρωνικών δικτύων για την επίλυση υψηλής διάστασης ελλειπτικών ΜΔΕ, τα οποία ονομάζονται Deep Ritz Method (DRM) και Deep Nitsche Method (DΝM). Όλες οι προαναφερθέντες μέθοδοι δε χρησιμοποιούν κάποιο πλέγμα, ενώ εισάγουν για το εκάστοτε πρόβλημα μία μοναδική συνάρτηση σφάλματος η οποία προέρχεται από τη θεωρία των ΜΔΕ. Με τον τρόπο αυτό, το πρόβλημα της αριθμητικής επίλυσης μίας ΜΔΕ μετατρέπεται σε ένα πρόβλημα βελτιστοποίησης. Εξετάζοντας όλες τις μεθόδους παρατηρήσαμε πως η DGM δε λύνει αποδοτικά το πρόβλημα αρχικής τιμής με συνοριακές συνθήκες για την εξίσωση θερμότητας. Επιπλέον, εντοπίσαμε πως οι μέθοδοι DRM και DNM διαθέτουν δύο αδυναμίες που χαμηλώνουν την ακρίβειά τους. Επομένως, δημιουργήσαμε μία μέθοδο για την επίλυση του προβλήματος αρχικής τιμής με συνοριακές συνθήκες για την εξίσωση θερμότητας βασιζόμενοι στο συναρτησιακό του Nitsche, ενώ επιπλέον βελτιώσαμε τις υπάρχουσες μεθόδους για την επίλυση υψηλής διάστασης ελλειπτικών ΜΔΕ. Όλα τα παραπάνω υλοποιήθηκαν και ελέγχθηκαν απέναντι σε ΜΔΕ που δε μπορούν να λυθούν εφαρμόζοντας συμβατικές μεθόδους επίλυσης, όπως τη μέθοδο χωρισμού μεταβλητών. Τέλος, παρουσιάζουμε ένα νέο αλγόριθμο για το πρόβλημα αρχικής τιμής με συνοριακές συνθήκες για την εξίσωση θερμότητας που βασίζεται στην απόσταση Wasserstein. Πιστεύουμε πως ο αλγόριθμος μπορεί να δώσει ακόμα καλύτερα αποτελέσματα σε υψηλότερες διαστάσεις.	el
heal.abstract	Solving high dimensional Partial Differential Equations (PDEs) has been a computational challenge for many years. As PDEs can be used to describe a wide variety of complex phenomena such as sound, heat, diffusion, electrostatics, electrodynamics, fluid dynamics, gravitation, quantum mechanics or even financial problems their accurate and computationally tractable numerical solution is a necessity. This becomes especially challenging when the problem has to be solved in high (spatial) dimensions. The majority of traditional solution methods, such as the finite difference methods, utilize a mesh-grid of points. The number of grid points increases exponentially as the number of dimensions increases. Therefore, for a high number of dimensions the solution methods become computationally intractable as the well-known problem of the curse of dimensionality arises. In recent years, due to the radical evolution of the Artificial Neural Networks domain, new mesh-free methods have been proposed in order to solve efficiently PDEs. In this work, we begin by introducing the theory behind Partial Differential Equations and Artificial Neural Networks. Then we study the state-of-the-art neural network architecture that solves high dimensional free or non-essential boundary stochastic PDEs, called the Deep Galerkin Method (DGM). Next, we examine the state-of-the-art neural network architectures that solves high dimensional elliptic PDEs, the Deep Ritz Method (DRM) and the Deep Nitsche Method (DNM). All of the aforementioned methods use a mesh-free approach and utilize a unique loss functional derived from PDEs’ theory in order to transform the problem of solving a PDE into an optimization problem. By examining both methods, we discovered that the DGM architecture cannot solve efficiently the initial-boundary problem of the diffusion equation and that the DRM and DNM methods possess two weaknesses that reduce their efficiency. Therefore, we introduce a new effective method based on the Nitsche’s loss function for the initial-boundary problem of the diffusion equation and we ameliorate the existing high dimensional elliptic PDEs’ neural network solvers. We implement and benchmark our approaches against PDEs which cannot be solved by using conventional methods, such as the separation of variables method. Finally, we introduce a new algorithm for the initial-boundary problem of the diffusion equation in high-dimensions based on the Wasserstein distance that we believe it may help us solve this type of problem efficiently, in even higher dimensions.	en
heal.advisorName	Γεωργούλης, Εμμανουήλ	el
heal.committeeMemberName	Γεωργούλης, Εμμανουήλ	el
heal.committeeMemberName	Λουλάκης, Μιχαήλ	el
heal.committeeMemberName	Στάμου, Γεώργιος	el
heal.academicPublisher	Εθνικό Μετσόβιο Πολυτεχνείο. Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών	el
heal.academicPublisherID	ntua
heal.numberOfPages	75 σ.	el
heal.fullTextAvailability	false