FPGA acceleration of generative adversarial networks for image reconstruction

Αναγνωστόπουλος, Κωνσταντίνος

dc.contributor.author	Αναγνωστόπουλος, Κωνσταντίνος	el
dc.date.accessioned	2020-11-30T06:32:45Z
dc.date.available	2020-11-30T06:32:45Z
dc.identifier.uri	https://dspace.lib.ntua.gr/xmlui/handle/123456789/52085
dc.identifier.uri	http://dx.doi.org/10.26240/heal.ntua.19783
dc.rights	Αναφορά Δημιουργού-Μη Εμπορική Χρήση-Όχι Παράγωγα Έργα 3.0 Ελλάδα	*
dc.rights.uri	http://creativecommons.org/licenses/by-nc-nd/3.0/gr/	*
dc.subject	GANs	en
dc.subject	FPGAs	en
dc.subject	Machine learning	en
dc.subject	Image reconstruction	en
dc.subject	Neural networks	en
dc.subject	Μηχανική μάθηση	el
dc.subject	Ανακατασκευή εικόνας	el
dc.subject	Νευρωνικά δίκτυα	el
dc.title	FPGA acceleration of generative adversarial networks for image reconstruction	el
dc.contributor.department	Εργαστήριο Μικροϋπολογιστών & Ψηφιακών Συστημάτων	el
heal.type	bachelorThesis
heal.classification	Computer engineering	el
heal.classification	Machine learning engineering	el
heal.language	el
heal.access	free
heal.recordProvider	ntua	el
heal.publicationDate	2020-09-23
heal.abstract	Τα τελευταία χρόνια, οι εφαρμογές της μηχανικής μάθησης έρχονται ολοένα και περισσότερο στο προσκήνιο. Απο τις διάφορες τεχνικές που εφαρμόζονται, προκειμένου οι υπολογιστές να δύνανται να μαθαίνουν από εμπειρίες, τα νευρωνικά δίκτυα αποτελούν μία από τις σημαντικότερες. Εμπνευσμένα από τους βιολογικούς εγκεφάλους έμβιων όντων, τα νευρωνικά δίκτυα διαθέτουν μεγάλο βαθμό πολυπλοκότητας και, ακόμα και για μοντέρνους επεξεργαστές, η εκπαίδευση τους καθώς και ο υπολογισμός των εξόδων τους αποτελούν σημαντική πρόκληση. Για την επιτάχυνση αυτών των διαδικασιών χρησιμοποιείται ειδικό hardware (GPUs, TPUs, NPUs, FPGAs) που επιτρέπει την παραλληλοποίηση συγκεκριμένων υπολογισμών με στόχο την ταχύτερη περάτωση τους. Στο πρώτο μέρος της παρούσας εργασίας χρησιμοποιείται μία νέα αρχιτεκτονική νευρωνικών δικτύων, η οποία προτάθηκε από τον Ian Goodfellow και τους συνεργάτες του το 2015 και η οποία καλείται Generative Adversarial Networks για την ανακατασκευή ημιτελών εικόνων από το MNIST dataset. Τα Generative Adversarial Networks είναι δύο νευρωνικά δίκτυα τα οποία «παίζουν» μεταξύ τους ένα παιχνίδι όπου η βελτίωση του ενός στο ρόλο που έχει αναλάβει στο συγκεκριμένο παιχνίδι συνδράμει και στη βελτίωση του άλλου στο δικό του ρόλο. Με την τεχνική αυτή, γεννητικές διαδικασίες όπως αυτή της ανακατασκευής μίας εικόνας μπορούν να αντιμετωπιστούν ως διακριτικές διαδικασίες όπως αυτή της αναγνώρισης ενός ψηφίου. Πριν την ανάπτυξη του μοντέλου που επιτυγχάνει την ανακατασκευή, γίνεται πειραματισμός με την τεχνική των Generative Adversarial Networks με την ανάπτυξη μοντέλου ικανού να συνθέτει εκ νέου εικόνες σαν αυτές του MNIST dataset, ακολουθώντας τα βήματα που περιγράφονται στην εργασία του Goodfellow. Στο δεύτερο μέρος, επιχειρείται η επιτάχυνση του forward propagation του τελικού μοντέλου που φέρει τη δυνατότητα ανακατασκευής εικόνων με τη χρήση FPGA, του οποίου ο προγραμματισμός γίνεται με High-level Synthesis περιγραφή. Η εκπαιδευτική πλατφόρμα που χρησιμοποιείται φέρει το chip Z-7010 της Xilinx, και καθότι εκπαιδευτική, διαθέτει περιορισμένους υλικούς πόρους για την επίτευξη της επιτάχυνσης. Το γεγονός αυτό αποτέλεσε σημαντικότατη πρόκληση καθώς η χρήση των διαθέσιμων υλικών πόρων του FPGA ήταν απαραίτητο να γίνει με ευλάβεια. Επιπλέον, αφού το τελικό design ολοκληρωθεί, ακολουθείται σύγκριση της ταχύτητας περάτωσης των υπολογισμών με διάφορους επεξεργαστές πέρα από τον ARM cortex-A9 που διατίθεται στην εκπαιδευτική πλατφόρμα. Τέλος, παρουσιάζονται διεξοδικά οι επιπτώσεις της επιλογής διαφορετικού πλήθους bit για την αναπαράσταση των δεκαδικών αριθμών εντός του FPGA στην ακρίβεια των αποτελεσμάτων καθώς και στην χρήση των διαθέσιμων υλικών πόρων που διαθέτει το chip Z-7010.	el
heal.advisorName	Σούντρης, Δημήτριος	el
heal.committeeMemberName	Σούντρης, Δημήτριος	el
heal.committeeMemberName	Τσανάκας, Παναγιώτης	el
heal.committeeMemberName	Πνευματικάτος, Διονύσιος	el
heal.academicPublisher	Εθνικό Μετσόβιο Πολυτεχνείο. Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών. Τομέας Τεχνολογίας Πληροφορικής και Υπολογιστών. Εργαστήριο Μικροϋπολογιστών και Ψηφιακών Συστημάτων VLSI	el
heal.academicPublisherID	ntua
heal.numberOfPages	102 σ.	el
heal.fullTextAvailability	false