Application of Deep Neural Networks in Engineering

Κατσίμπαλης, Εμμανουήλ; Katsimpalis, Emmanouil

dc.contributor.author	Κατσίμπαλης, Εμμανουήλ	el
dc.contributor.author	Katsimpalis, Emmanouil	en
dc.date.accessioned	2020-01-17T09:19:26Z
dc.date.available	2020-01-17T09:19:26Z
dc.identifier.uri	https://dspace.lib.ntua.gr/xmlui/handle/123456789/49660
dc.identifier.uri	http://dx.doi.org/10.26240/heal.ntua.17358
dc.description	Εθνικό Μετσόβιο Πολυτεχνείο--Μεταπτυχιακή Εργασία. Διεπιστημονικό-Διατμηματικό Πρόγραμμα Μεταπτυχιακών Σπουδών (Δ.Π.Μ.Σ.) “Δομοστατικός Σχεδιασμός και Ανάλυση των Κατασκευών”	el
dc.rights	Default License
dc.subject	Βαθιά Μάθηση	el
dc.subject	Νευρωνικά Δίκτυα	el
dc.subject	Μηχανική Μάθηση	el
dc.subject	Ταξινόμηση	el
dc.subject	Παλινδρόμηση	el
dc.subject	Deep Learning	en
dc.subject	Neural Network	en
dc.subject	Supervised Learning	en
dc.subject	Classification	en
dc.subject	Regression	en
dc.title	Application of Deep Neural Networks in Engineering	en
dc.title	Εφαρμογές Νευρωνικών Δικτύων στη Μηχανική	el
heal.type	masterThesis
heal.classification	Deep Learning	en
heal.classification	Βαθιά Μάθηση	el
heal.language	en
heal.access	free
heal.recordProvider	ntua	el
heal.publicationDate	2019-07-03
heal.abstract	In this post-graduate thesis, the aim was to explore the capabilities of deep learning and find applications in engineering problems. Deep learning is an exciting spin on the concept of machine learning and has been applied with great success in many fields including computer vision, speech recognition, natural language processing, audio recognition, social network filtering, etc. Most modern deep learning models are based on artificial neural networks. In this work, the most popular neural networks are presented, which include feedforward neural networks, convolutional neural networks (CNN) and recurrent neural networks (RNN). These approaches were applied in supervised learning tasks, such as classification and regression, using the “Python” library “Keras” to build, train and test various models. In the first chapter, the fundamental concepts of machine learning are presented , including loss functions, gradient based optimization and backpropagation. At the end of the chapter, we move from machine learning to deep learning with the introduction of the quintessential neural network, the feedforward neural network. Chapter 2 introduces convolutional neural networks, a class of deep neural networks that has produced impressive results on classification tasks such as image recognition. Afterwards, in chapter 3 recurrent neural networks are presented, which improve on feedforward neural networks by adding feedback and are one of the more popular approaches to regression tasks. Chapter 4 discusses ways to evaluate the performance of the models and minimize the generalization error, which is the error of the model on previously unseen data. Lastly, in chapter 5 the data preparation process is shown and in chapter 6 models are build and trained, using “Python” libraries like “Keras” , to tackle various classification and regression tasks.	en
heal.abstract	Αντικείμενο της παρούσας μεταπτυχιακής εργασίας αποτελεί η διερεύνηση των δυνατοτήτων της βαθιάς μάθησης στη μηχανική. Η βαθιά μάθηση αποτελεί μια συναρπαστική παραλλαγή της μηχανικής μάθησης και έχει εφαρμοστεί με μεγάλη επιτυχία σε πολλά πεδία της επιστήμης όπως είναι η τεχνητή όραση, η αναγνώριση ομιλίας, η επεξεργασία ξένων γλωσσών, η μουσική αναγνώριση, η εφαρμογή διάφορων φίλτρων σε κοινωνικά δίκτυα κλπ. Τα περισσότερα μοντέρνα μοντέλα βαθιάς μάθησης βασίζονται στα τεχνητά νευρωνικά δίκτυα. Στην παρούσα εργασία παρουσιάζονται τα πιο δημοφιλή νευρωνικά δίκτυα, τα οποία περιλαμβάνουν τα εμπρόσθια τροφοδοτούμενα νευρωνικά δίκτυα( feedforward neural networks) , συνελικτικά νευρωνικά δίκτυα (convolutional neural networks) και τα επαναλαμβανόμενα νευρωνικά δίκτυα (recurrent neural networks). Αυτού του είδους οι προσεγγίσεις εφαρμόστηκαν σε συνήθη προβλήματα μηχανικής μάθησης, όπως ταξινόμησης και παλινδρόμησης, χρησιμοποιώντας βιβλιοθήκες «Python» όπως την «Keras» για να κατασκευάσουμε, εκπαιδεύσουμε και ελέγξουμε διάφορα μοντέλα. Στο πρώτο κεφάλαιο, παρουσιάζονται οι βασικές αρχές της μηχανικής μάθησης, συμπεριλαμβανομένων των συναρτήσεων απώλειας, της βελτιστοποίησης βασισμένης στην ελαχιστοποίηση κλίσης και της οπισθοδιάδοσης. Στο τέλος του κεφαλαίου γίνεται μετάβαση από την μηχανική μάθηση στην βαθιά μάθηση με την εισαγωγή του ποιο αντιπροσωπευτικού νευρωνικού δικτύου, του εμπρόσθια τροφοδοτούμενου νευρωνικού δικτύου. Στο 2ο κεφάλαιο παρουσιάζονται τα συνελικτικά νευρωνικά δίκτυα, μία κατηγορία νευρωνικών δικτύων με εντυπωσιακά αποτελέσματα σε εργασίες ταξινόμησης όπως είναι η αναγνώριση εικόνων. Στη συνέχεια συζητήθηκαν τα επαναλαμβανόμενα νευρωνικά δίκτυα στο 3ο κεφάλαιο, τα οποία βελτιώνουν τα εμπρόσθια τροφοδοτούμενα νευρωνικά δίκτυα με την προσθήκη επανατροφοδότησης και είναι από τις ποιο δημοφιλείς προσεγγίσεις σε προβλήματα παλινδρόμησης. Στη συνέχεια στο κεφάλαιο 4 παρουσιάζονται τρόποι για την αξιολόγηση των επιδόσεων των μοντέλων και την ελαχιστοποίηση του λάθους γενίκευσης, το οποίο είναι η απώλεια του μοντέλου σε άγνωστα προηγουμένως δεδομένα. Τέλος, στο κεφάλαιο 5 παρουσιάζεται η διαδικασία προετοιμασίας δεδομένων και στο 6ο κεφάλαιο κατασκευάζονται μοντέλα και εκπαιδεύονται με χρήση βιβλιοθηκών «Python» , κυρίως της βιβλιοθήκης «Keras», για την αντιμετώπιση διαφόρων προβλημάτων ταξινόμησης και παλινδρόμησης.	el
heal.advisorName	Κουμούσης, Βλάσης	el
heal.committeeMemberName	Κουμούσης, Βλάσης	el
heal.committeeMemberName	Λαγαρός, Νικόλαος	el
heal.committeeMemberName	Παπαδόπουλος, Βησσαρίων	el
heal.academicPublisher	Εθνικό Μετσόβιο Πολυτεχνείο. Σχολή Πολιτικών Μηχανικών	el
heal.academicPublisherID	ntua
heal.numberOfPages	93 σ.	el
heal.fullTextAvailability	true