ΣΧΕΔΙΑΣΜΟΣ ΚΑΙ ΕΠΑΛΗΘΕΥΣΗ ΣΥΝΕΛΙΚΤΙΚΩΝ ΝΕΥΡΩΝΙΚΩΝ ΔΙΚΤΥΩΝ ΣΕ FPGA ΜΕ ΤΗΝ ΕΞΕΡΕΥΝΗΣΗ ΚΑΙ ΤΟΝ ΣΥΝΔΥΑΣΜΟ ΠΡΟΣΕΓΓΙΣΤΙΚΩΝ ΜΕΘΟΔΩΝ

ΧΑΤΖΗΤΣΟΜΠΑΝΗΣ, ΓΕΩΡΓΙΟΣ

dc.contributor.author	ΧΑΤΖΗΤΣΟΜΠΑΝΗΣ, ΓΕΩΡΓΙΟΣ
dc.date.accessioned	2021-06-01T09:37:04Z
dc.date.available	2021-06-01T09:37:04Z
dc.identifier.uri	https://dspace.lib.ntua.gr/xmlui/handle/123456789/53534
dc.identifier.uri	http://dx.doi.org/10.26240/heal.ntua.21232
dc.rights	Αναφορά Δημιουργού-Μη Εμπορική Χρήση-Όχι Παράγωγα Έργα 3.0 Ελλάδα	*
dc.rights.uri	http://creativecommons.org/licenses/by-nc-nd/3.0/gr/	*
dc.subject	FPGA	en
dc.subject	Εξοικονόμηση Ενέργειας	el
dc.subject	Επιταχυντές Συνελικτικών Νευρωνικώ Δικτύων	el
dc.subject	Προσεγγιστικοί Υπολογισμοί	el
dc.subject	Προσεγγιστικές Μονάδες Πολλαπλασιασμού	el
dc.subject	Εξερεύνηση τύπων δεδομένων	el
dc.subject	Prototype Design	en
dc.subject	Hybrid Approximate Multipliers	en
dc.subject	Design Space Exploration	en
dc.subject	Energy Efficiency	el
dc.title	ΣΧΕΔΙΑΣΜΟΣ ΚΑΙ ΕΠΑΛΗΘΕΥΣΗ ΣΥΝΕΛΙΚΤΙΚΩΝ ΝΕΥΡΩΝΙΚΩΝ ΔΙΚΤΥΩΝ ΣΕ FPGA ΜΕ ΤΗΝ ΕΞΕΡΕΥΝΗΣΗ ΚΑΙ ΤΟΝ ΣΥΝΔΥΑΣΜΟ ΠΡΟΣΕΓΓΙΣΤΙΚΩΝ ΜΕΘΟΔΩΝ	el
dc.contributor.department	Εργαστήριο Μικροεπεξεργαστών και Ψηφιακών Συστημάτων	el
heal.type	bachelorThesis
heal.secondaryTitle	DESIGN AND EVALUATION OF CNNs ON FPGA BY EXPLORING AND COMBINING APPROXIMATION TECHNIQUES	en
heal.classification	Νευρωνικά Δίκτυα	el
heal.classification	Machine Learning	en
heal.classification	Approximate Computing	en
heal.classification	Hardware Design	en
heal.language	el
heal.language	en
heal.access	free
heal.recordProvider	ntua	el
heal.publicationDate	2020-07-17
heal.abstract	Η παγκόσμια απαίτηση για γρηγορότερες εφαρμογές με χαμηλότερη κατανάλωση ισχύος έχει φέρει στην επιφάνεια αρκετούς επιταγχυντές Συνελικτικών Νευρωνικών Δικτύων (CNNs) σε εξειδικευμένες μονάδες επεργασίας όπως είναι όπως είναι οι κάρτες γραφικών (GPUs), τα FPGAs (Field Programmable Gate Arrays) και οι TPUs (Tensor Processing Units). Η κύρια πρόκληση είναι να αναπτύξουμε γενικούς κινητήρες επτιτάχυνσης οι οποίοι βελτιώνουν την απόδοση οποιουδήποτε δωσμένου συνελικτικού δικτύου. Στην παρούσα διπλωματική η διαδικασία της συνέλιξης η οποία είναι η πιο απαιτητική σε πόρους σε κάθε συνελικτικό δίκτυο σχεδιάστηκε με γλώσσα περιγραφής υλικού (VHDL) κάνοντας μια σε βάθος ανάλυση και εξε- ρεύνηση της αρχιτεκτονικής για να βρούμε τις καλύτερες δυνατές λύσεις. Πιο συγκεκριμένα, σχεδιάσαμε έναν κλασσικό κινητήρα συνέλιξης που εκτελεί την κλασσική μαθηματική διαδι- κασία της συνέλιξης και έναν κινητήρα συνέλιξης ο οποίος βασίζεται στην προσέγγιση του αλγορίθμου Winograd και συγκρίναμε τις βελτιώσεις σε πόρους και απόδοση μεταξύ τους. Ως επόμενο βήμα, αναπτύξαμε προσεγγιστικούς πολλαπλασιαστές με υβριδική κωδικοποίη- ση στα μερικά γινόμενα για διάφορα μεγέθη δεδομένων, μια τεχνική Block Floating Point (BFP) και διάφορες τεχνικές απλής αποκοπής των χαμηλότερων σημασίας bit ενός αριθμού. Συνδυασμοί αυτών των προσεγγιστικών τεχνικών εξερευνήθηκαν και στις δύο προσεγγίσεις κινητήρων και εξετάστηκαν τα διάφορα πλεονεκηματα τους σε σχέση με τον ρυθμό λειτουργίας, την κατανάλωση, την ακρίβεια κατηγοριοποίησης και τα μέγιστα δυνατά πλεονεκτήματα της κάθε αρχιτεκτονικής. Η επαλήθευση πραγματοποιήθηκε με την χρήση τριών διαφορεκτικών συνελικτικών δικτύων : CIFAR-10, MNIST και ένα δίκτυο για την αναγνώριση πλοίων από εικόνες δορυφόρων Ship Detection. Η επαλήθευση της ακρίβειας έγινε με την βοήθεια ενός μοντέλου λογισμικού σε C/C++ το οποίο εκτελούσε τις πράξεις σε επίπεδο bit. Τα τελικά αποτελέσματα μας δείχνουν οτι η ακρίβεια κατιγοριοποίησης μειώνεται κατά μόνο 0.1%-0.4% ανεξαιρέτου του μεγέθους της εικόνας εισόδου και του αριθμού των κλάσεων. Χρησιμοπιόντας την προσέγγιση BFP , καταφέραμε να τετραπλασιάσουμε την απόδοση των συνελικτικών δι- κτύων με floating point δεδομένα και να την διπλασιάσουμε σε αυτά με fixed-point δεδομένα στο Zynq-7020. Η προτεινόμενη μίξη κινητήρων μειώνει τις απαιτήσεις σε πόρους από 7% εώς 41% και βελτιώνει την απόδοση κάθε δωσμένου δικτύου χωρίς να χρειάζεται επανεκπαίδευση ή αλλαγή στη δομή του σε σύγκριση με άλλες μεθόδους συμπίεσης. Τέλος τα αποτελέσματα από τις τελικές αρχιτεκτονικές συγκρίθηκαν με την κάρτα γραφικών Jetson Nano (204 FPS 1 σε σύγκριση με 720 FPS) και επιτεύχθηκε δέκα φορές καλύτερη απόδοση/Watt.	el
heal.advisorName	Σούντρης, Δημήτριος
heal.committeeMemberName	Σούντρης, Δημήτριος
heal.committeeMemberName	Τσανάκας, Παναγιώτης
heal.committeeMemberName	Πνευματικάτος, Διονύσιος
heal.academicPublisher	Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών	el
heal.academicPublisherID	ntua
heal.numberOfPages	142
heal.fullTextAvailability	false