Optimizing FPGA-based
accelerators for LSTM models towards low latency applications

Καναρόπουλος, Ιωάννης-Γεράσιμος; Kanaropoulos, Ioannis-Gerasimos

dc.contributor.author	Καναρόπουλος, Ιωάννης-Γεράσιμος	el
dc.contributor.author	Kanaropoulos, Ioannis-Gerasimos	en
dc.date.accessioned	2023-01-25T08:12:29Z
dc.date.available	2023-01-25T08:12:29Z
dc.identifier.uri	https://dspace.lib.ntua.gr/xmlui/handle/123456789/56890
dc.identifier.uri	http://dx.doi.org/10.26240/heal.ntua.24588
dc.rights	Default License
dc.subject	Μηχανική μάθηση	el
dc.subject	Ανίχνευση ανωμαλιών	el
dc.subject	LSTM	el
dc.subject	FPGA	el
dc.subject	Αύνθεση υψηλού επιπέδου	el
dc.subject	Επιτάχυνση υλικού	el
dc.subject	Machine learning	en
dc.subject	Anomaly detection	el
dc.subject	LSTM	el
dc.subject	FPGA	el
dc.subject	High level synthesis	el
dc.subject	Hardware acceleration	el
dc.title	Optimizing FPGA-based accelerators for LSTM models towards low latency applications	en
dc.contributor.department	Τεχνολογίας Πληροφορικής και Υπολογιστών	el
heal.type	bachelorThesis
heal.classification	Επιστήμη Υπολογιστών	el
heal.language	el
heal.language	en
heal.access	free
heal.recordProvider	ntua	el
heal.publicationDate	2022-10-17
heal.abstract	Η ανίχνευση ανωμαλιών είναι ένα σημαντικό πεδίο ερευνών για μεγάλο χρονικό διάστημα. Η μηχανική μάθηση έχει επιτύχει σημαντική πρόοδο τα τελευταία χρόνια και έχει βρει εφαρμογές σε πολλούς διαφορετικούς τομείς. Ιδιαίτερα τα δίκτυα μακράς βραχείας μνήμης (LSTMs) έχουν να επιδείξουν υποσχόμενα αποτελέσματα όταν ασχολούνται με δεδομένα εξαρτώμενα από το χρόνο, όπως χρονοσειρές. Αν και αυτές οι εξελίξεις παρέχουν όλο και πιο αποτελεσματικά εργαλεία, δεν καλύπτουν επαρκώς την ανάγκη για χαμηλή καθυστέρηση στις προβλέψεις, η οποία γίνεται πιο απαιτητική καθώς η ποσότητα των δεδομένων για επεξεργασία αυξάνεται με την πάροδο του χρόνου, ούτε την απαίτηση για χαμηλή κατανάλωση ενέργειας. Οι επιταχυντές που βασίζονται σε FPGA έχουν τραβήξει την προσοχή λόγω της καλής τους επίδοσης, της υψηλής ενεργειακής απόδοσης και της μεγάλης ευελιξίας τους. Σε αυτή τη διπλωματική, παρουσιάζουμε μια προσέγγιση για έναν επιταχυντή που βασίζεται σε FPGA για μοντέλα ανίχνευσης ανωμαλιών με LSTM. Ο γενικός στόχος είναι να αναπτυχθεί αρχιτεκτονική και κυκλώματα σε FPGA για την υποστήριξη σχετικών εφαρμογών με επίκεντρο τη χαμηλή καθυστέρηση, ενώ ταυτόχρονα να μην κάνει παραχωρήσεις όσον αφορά την ακρίβεια. Ο επιταχυντής FPGA έχει συντεθεί χρησιμοποιώντας σύνθεση υψηλού επιπέδου στην πλατφόρμα Vitis Unified Software και στοχεύει την πλακέτα Xilinx MPSoC ZCU104 και την κάρτα επιτάχυνσης Xilinx Alveo U280. Η αξιολόγηση δείχνει ότι ο επιταχυντής μπορεί να επιτύχει επιτάχυνση περίπου 1.5 έως 2.5, σε σχέση με τον προεπιλεγμένο συμπερασμό του TensorFlow, χωρίς σημαντική πτώση της ακρίβειας.	el
heal.abstract	Anomaly detection has been an important topic of research for a long time. Machine learning has achieved major breakthroughs in recent years and has found applications in many different fields. Long Short-Term Memory networks (LSTMs) in particular have shown promising results when dealing with time dependent data like time series. While these developments provide increasingly efficient tools, they do not sufficiently address the need for low prediction latency, which becomes more demanding as the amount of data for processing increases over time, nor the requirement for low energy consumption. FPGA-based accelerators have attracted attention due to their good performance, high energy efficiency and great flexibility. In this thesis, we present an approach for an FPGA-based accelerator for LSTM anomaly detection models. The overall goal is to develop an application with focus on low latency, while at the same time not making concessions in terms of accuracy. The FPGA-accelerator has been synthesized using high level synthesis on Vitis Unified Software Platform and is targeting the Xilinx MPSoC ZCU104 board and Xilinx Alveo U280 acceleration card. The evaluation shows that the accelerator can achieve a speedup of about 1.5 to 2.5, when compared with the default TensorFlow inference, without any significant accuracy drop.	en
heal.advisorName	Σούντρης, Δημήτριος	el
heal.committeeMemberName	Σούντρης, Δημήτριος	el
heal.committeeMemberName	Τσανάκας, Παναγιώτης	el
heal.committeeMemberName	Ξύδης, Σωτήριος	el
heal.academicPublisher	Εθνικό Μετσόβιο Πολυτεχνείο. Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών. Τομέας Σημάτων, Ελέγχου και Ρομποτικής. Εργαστήριο Όρασης Υπολογιστών, Επικοινωνίας Λόγου και Επεξεργασίας Σημάτων	el
heal.academicPublisherID	ntua
heal.numberOfPages	130 σ.	el
heal.fullTextAvailability	false