Extending RISC-V ISA for Fine-Grained Mixed-Precision in Neural Networks

Μάρας, Αλέξιος; Maras, Alexios

dc.contributor.author	Μάρας, Αλέξιος	el
dc.contributor.author	Maras, Alexios	en
dc.date.accessioned	2024-07-05T06:59:04Z
dc.date.available	2024-07-05T06:59:04Z
dc.identifier.uri	https://dspace.lib.ntua.gr/xmlui/handle/123456789/59804
dc.identifier.uri	http://dx.doi.org/10.26240/heal.ntua.27500
dc.rights	Αναφορά Δημιουργού-Μη Εμπορική Χρήση-Όχι Παράγωγα Έργα 3.0 Ελλάδα	*
dc.rights.uri	http://creativecommons.org/licenses/by-nc-nd/3.0/gr/	*
dc.subject	RISC-V	en
dc.subject	Neural Networks	en
dc.subject	Mixed Precision Quantization	en
dc.subject	Hardware-Software Co-design	en
dc.subject	Hardware Accelerator	en
dc.subject	FPGA	en
dc.subject	Νευρωνικά Δίκτυα	el
dc.subject	Επιταχυντής Υλικού	el
dc.subject	HW/SW σχεδίαση	el
dc.title	Extending RISC-V ISA for Fine-Grained Mixed-Precision in Neural Networks	en
heal.type	bachelorThesis
heal.classification	Computer science and engineering	en
heal.classification	Microprocessors	en
heal.language	el
heal.language	en
heal.access	free
heal.recordProvider	ntua	el
heal.publicationDate	2024-03-26
heal.abstract	The growing interest in deploying machine learning (ML) applications on devices with restricted processing power and energy capacity underscores the necessity for computing solutions that not only excel in power and memory efficiency but also ensure low latency for time-sensitive applications. The RISC-V architecture, with its open-source instruction set and customizable extensions, offers a promising pathway for optimizing these algorithms by enabling more tailored and energy-efficient processing capabilities. Furthermore, recent advancements in quantization and mixed precision techniques offer significant promise for improving the run-time and energy consumption of neural networks (ΝΝ), without significantly compromising their efficiency. In this work, we propose to leverage these advancements to expedite the inference process of Deep Neural Networks (DNNs) on RISC-V processors. To push performance even further, we plan to expand the supported instruction set and incorporate a new functional unit within the processor’s pipeline, specifically designed for executing these new instructions. For rapid prototyping and design exploration, we implement the processor on a Xilinx Virtex-7 FPGA board, enabling us to assess the efficacy of our methodology across diverse Neural Network architectures and datasets. With a modest overhead of 34.89% in the usage of Lookup Tables (LUTs) and 24.28% in Flip-Flops (FFs), our framework manages to accelerate the execution time by 13-23x in classic Multi-layer Perceptron architectures, 18-28x in typical Convolutional Networks, and 6-7x in more complex networks, like MobileNets, with minimal reduction in their accuracy from 1-5%, demonstrating a significant improvement compared to the original processor.	en
heal.abstract	Το αυξανόμενο ενδιαφέρον γύρω από την ανάπτυξη εφαρμογών μηχανικής μάθησης (ML) για συσκευές με περιορισμένη υπολογιστική ισχύ και χωρητικότητα ενέργειας τονίζει την ανάγκη για την εύρεση λύσεων που θα ξεχωρίζουν όχι μόνο όσον αφορά την αποδοτικότητα τους σε ζητήματα ενέργειας και μνήμης αλλά και που θα εξασφαλίζουν χαμηλό χρόνο εκτέλεσης όταν υπάρχουν αυστηροί χρονικοί περιορισμοί. Η αρχιτεκτονική RISC-V, με το ανοιχτό σετ εντολών και τις προσαρμόσιμες επεκτάσεις της, προσφέρει έναν υποσχόμενο δρόμο για την βελτιστοποίηση των αλγορίθμων αυτών, επιτρέποντας πιο εξατομικευμένες και ενεργειακά αποδοτικές λύσεις. Επιπλέον, οι πρόσφατες πρόοδοι σε τεχνικές quantization και σε μεθοδολογίες που αξιοποιούν μεταβλητές μικτής ακρίβειας, μπορούν να συνεισφέρουν στην βελτίωση του χρόνου εκτέλεσης και στην κατανάλωση ενέργειας των νευρωνικών δικτύων (NN), χωρίς να υποβαθμίζεται σημαντικά η ακρίβεια των προβλέψεων τους. Σε αυτή την εργασία, εκμεταλλευόμαστε αυτές τις τεχνικές, έτσι ώστε να επιταχύνουμε την εκτέλεση αλγορίθμων Βαθιών Νευρωνικών Δικτύων (DNN) πάνω σε RISC-V επεξεργαστές. Για να βελτιώσουμε ακόμη περισσότερο τα αποτελέσματα μας, θα επεκτείνουμε το σετ εντολών που υποστηρίζεται από τον επεξεργαστή και θα ενσωματώσουμε μια νέα λειτουργική μονάδα εντός του pipeline του, σχεδιασμένη αποκλειστικά για την εκτέλεση αυτών των νέων εντολών. Για τον γρήγορο σχεδιασμό πρωτοτύπων, θα υλοποιήσουμε τον επεξεργαστή πάνω σε μια πλακέτα FPGA Xilinx Virtex-7, η οποία θα επιτρέψει να αξιολογήσουμε την αποτελεσματικότητα της μεθοδολογίας μας σε διάφορες αρχιτεκτονικές Νευρωνικών Δικτύων, εκπαιδευμένα πάνω σε διαφορετικά σύνολα δεδομένων. Με μία σχετικά χαμηλή αύξηση των απαιτούμενων πόρων για την υλοποίηση του, της τάξης του 34.89% στη χρήση των Lookup Tables (LUTs) και 24.28% στα Flip-Flops (FFs), η μεθοδολογία μας καταφέρνει να επιταχύνει τον χρόνο εκτέλεσης κατά 13-23x σε κλασικές Multi-layer Perceptron αρχιτεκτονικές, 18-28x σε τυπικά Συνελικτικά Δίκτυα και 6-7x σε πιο σύνθετα δίκτυα, σαν τα MobileNets, με ελάχιστη μείωση της ακρίβειας τους από 1-5%, επιδεικνύοντας μια σημαντική βελτίωση σε σχέση με τον αρχικό επεξεργαστής.	el
heal.advisorName	Σούντρης, Δημήτριος	el
heal.committeeMemberName	Σούντρης, Δημήτριος	el
heal.committeeMemberName	Τσανάκας, Παναγιώτης	el
heal.committeeMemberName	Ξύδης, Σωτήριος	el
heal.academicPublisher	Εθνικό Μετσόβιο Πολυτεχνείο. Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών. Τομέας Τεχνολογίας Πληροφορικής και Υπολογιστών. Εργαστήριο Μικροϋπολογιστών και Ψηφιακών Συστημάτων VLSI	el
heal.academicPublisherID	ntua
heal.numberOfPages	101 σ.	el
heal.fullTextAvailability	false