Αρχιτεκτονικές FPGA για βαθιά συνελικτικά νευρωνικά δίκτυα ταξινόμησης δορυφορικών εικόνων

Ρέππας Χρυσοβιτσινός, Δημήτριος; Reppas Chrysovitsinos, Dimitrios

dc.contributor.author	Ρέππας Χρυσοβιτσινός, Δημήτριος	el
dc.contributor.author	Reppas Chrysovitsinos, Dimitrios	en
dc.date.accessioned	2018-11-22T11:50:56Z
dc.date.available	2018-11-22T11:50:56Z
dc.date.issued	2018-11-22
dc.identifier.uri	https://dspace.lib.ntua.gr/xmlui/handle/123456789/48083
dc.identifier.uri	http://dx.doi.org/10.26240/heal.ntua.16295
dc.rights	Αναφορά Δημιουργού-Μη Εμπορική Χρήση 3.0 Ελλάδα	*
dc.rights.uri	http://creativecommons.org/licenses/by-nc/3.0/gr/	*
dc.subject	Συνελικτικά νευρωνικά δίκτυα	el
dc.subject	Ταξινόμηση εικόνων	el
dc.subject	Δορυφορικές εικόνες	el
dc.subject	Μηχανική μάθηση	el
dc.subject	Επιταχυντές υλικού	el
dc.subject	Convolutional neural networks	en
dc.subject	FPGA	el
dc.subject	VHDL	el
dc.subject	Image classification	el
dc.subject	Satellite images	el
dc.title	Αρχιτεκτονικές FPGA για βαθιά συνελικτικά νευρωνικά δίκτυα ταξινόμησης δορυφορικών εικόνων	el
heal.type	bachelorThesis
heal.secondaryTitle	FPGA architectures of deep convolutional neural networks for satellite image classification	el
heal.classification	Field programmable gate arrays	el
heal.classification	Supervised learning (Machine learning)	el
heal.classification	Neural networks (Computer science)	el
heal.classification	Remote-sensing images	el
heal.classification	Αντίληψη και όραση υπολογιστών	el
heal.classificationURI	http://id.loc.gov/authorities/subjects/sh93009062
heal.classificationURI	http://id.loc.gov/authorities/subjects/sh94008290
heal.classificationURI	http://id.loc.gov/authorities/subjects/sh90001937
heal.classificationURI	http://id.loc.gov/authorities/subjects/sh99001248
heal.classificationURI	http://data.seab.gr/concepts/12c1c913dbe758d67c4c509a6768bdbc7905830c
heal.language	el
heal.language	en
heal.access	free
heal.recordProvider	ntua	el
heal.publicationDate	2018-09-17
heal.abstract	Την τελευταία δεκαετία τα Συνελικτικά Νευρωνικά Δίκτυα (ΣΝΔ) αναδείχθηκαν ως μία από τις καλύτερες προσεγγίσεις για την αντιμετώπιση ορισμένων προκλήσεων της Όρασης Υπολογιστών, όπως η ταξινόμηση εικόνων και ο εντοπισμός αντικειμένων σε αυτές. Για την αξιοποίηση των ΣΝΔ σε ένα πλήθος εφαρμογών απαιτούνται υψηλών επιδόσεων και χαμηλής κατανάλωσης ενέργειας υπολογιστικά συστήματα. Στην κατεύθυνση αυτή, η τεχνολογία των FPGA αποτελεί έναν εξαιρετικό υποψήφιο για την υλοποίηση ΣΝΔ σε ενσωματωμένα συστήματα. Αποφασίσαμε να διερευνήσουμε FPGA αρχιτεκτονικές για Συνελικτικά Νευρωνικά Δίκτυα ταξινόμησης δορυφορικών εικόνων, έχοντας κατά νου τις ανάγκες της επιστημονικής κοινότητας της Τηλεπισκόπησης. Η παρούσα διπλωματική εργασία παραδίδει (i) FPGA αρχιτεκτονικές σχεδιασμένες σε VHDL για την υλοποίηση Συνελικτικών Νευρωνικών Δικτύων χρησιμοποιώντας αποκλειστικά την μνήμη της προγραμματιζόμενης λογικής και (ii) το "Modified Cifar-10 Full", ένα βαθύ ΣΝΔ λίγων bit, κατασκευασμένο και εκπαιδευμένο με το Caffe framework σε εικόνες του SAT-6 airborne dataset. Το συγκεκριμένο σύνολο δεδομένων αποτελείται από εικόνες των 28x28 εικονοστοιχείων, χωρικής ακρίβειας του ενός μέτρου, οι οποίες ανήκουν σε 6 κατηγορίες: άγονη γη, δέντρα, λιβάδια, δρόμοι, κτήρια και υδάτινες μάζες. Το Modified Cifar-10 Full ΣΝΔ που καταθέτουμε, επιτυγχάνει να ταξινομήσει σωστά τις εικόνες του SAT-6 airborne dataset με top-1 ακρίβεια 94,89%, χρησιμοποιώντας 8-bit για τα βάρη του δικτύου και 4-bit για τα κανάλια εισόδων και εξόδων εντός του. Η πλήρης εκτέλεση του Modified Cifar-10 Full ΣΝΔ πραγματοποιείται αποκλειστικά στην προγραμματιζόμενη λογική του FPGA, χωρίς την χρήση εξωτερικής μνήμης ή την διαμεσολάβηση μιας CPU. Τοποθετημένη στη συσκευή Xilinx Zynq Z-7020 SoC, η αρχιτεκτονική που σχεδιάσαμε λειτουργεί στα 100 MHz, μπορεί να ταξινομήσει 4650 εικόνες το δευτερόλεπτο και καταναλώνει 1,76 Watt ενέργεια, επιτυγχάνοντας x377 επιτάχυνση στο ρυθμό ταξινόμησης εικόνων σε σχέση με την εκτέλεση του ΣΝΔ αποκλειστικά στον ενσωματωμένο Cortex A9-Arm επεξεργαστή. Σε σύγκριση με HLS υλοποιήσεις επί της ίδιας συσκευής, η σχεδίασή μας επιτυγχάνει x2,4 επιτάχυνση. Τέλος, συγκρινόμενη με το Fathom Neural Compute Stick της Movidius που βασίζεται στο Myriad Visual Processing Unit, η σχεδίασή μας επί του Xilinx Zynq Z-7020 SoC επιτυγχάνει x16 υψηλότερο ρυθμό ταξινόμησης.	el
heal.abstract	Over the past decade Convolutional Neural Networks (CNNs) emerged as the state-of-the-art approach to tackle certain Computer Vision problems such as image classification and object detection. Employing CNNs in a multitude of applications requires high-performance, low-power computing. Field Programmable Gate Array (FPGA) technologies have been identified as exceptional candidates for the implementation of CNNs' inference stage. We explored FPGA architectures for satellite image classification using CNNs, having in mind the needs of the remote sensing community. This thesis delivers a high-throughput, low-power FPGA design of a highly accurate deep Convolutional Neural Network, suitable for embedded systems placed on UAVs-drones/satellites, classifying images at the edge of the computing cloud. More specifically, we deliver i) FPGA architectures designed in VHDL for the inference of deep CNNs, using only the on-chip memory of the Programmable Logic and, ii) a low bit-width customized CNN model (the "Modified Cifar-10 Full"), created and trained with the Caffe framework on the SAT-6 airborne dataset. The SAT-6 airborne dataset consists of 28x28 pixel images of one meter spatial resolution, covering six land cover classes (barren land, trees, grassland, roads, buildings and water bodies). Using 8-bit weights and 4-bit feature maps, Modified Cifar-10 Full achieves $94.89%$ top-1 accuracy on the SAT-6 airborne dataset. The whole processing of Modified Cifar-10 Full is performed on the Programmable Logic of the FPGA chip without a need for an external memory or a CPU to coordinate and monitor the algorithm’s execution. When mapped on the Xilinx Zynq Z-7020 SoC our design operates at 100MHz consuming 1.76 Watt and can classify 4650 images per second. Compared against other implementations, our design on the Xilinx Zynq Z-7020 SoC achieves throughput speedups of x377 against an implementation solely on the embedded Cortex-A9 Arm processor, x2.4 against High-Level Synthesis implementations on the same device and, x16.2 against the Fathom Neural Compute Stick by Movidius featuring the Myriad Visual Processing Unit.	en
heal.advisorName	Σούντρης, Δημήτριος	el
heal.committeeMemberName	Πεσκμεστζή, Κιαμάλ	el
heal.committeeMemberName	Καράντζαλος, Κωσταντίνος	el
heal.academicPublisher	Εθνικό Μετσόβιο Πολυτεχνείο. Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών. Τομέας Τεχνολογίας Πληροφορικής και Υπολογιστών. Εργαστήριο Μικροϋπολογιστών και Ψηφιακών Συστημάτων VLSI	el
heal.academicPublisherID	ntua
heal.numberOfPages	182 σ.
heal.fullTextAvailability	true