Τεχνικές Συμπίεσης Βαθέων Νευρωνικών Δικτύων σε Πολυπύρηνο Επεξεργαστικό Περιβάλλον

Παπαγεωργίου, Παναγιώτης; Papageorgiou, Panagiotis

dc.contributor.author	Παπαγεωργίου, Παναγιώτης
dc.contributor.author	Papageorgiou, Panagiotis
dc.date.accessioned	2020-12-05T20:02:57Z
dc.date.available	2020-12-05T20:02:57Z
dc.identifier.uri	https://dspace.lib.ntua.gr/xmlui/handle/123456789/52284
dc.identifier.uri	http://dx.doi.org/10.26240/heal.ntua.19982
dc.rights	Default License
dc.subject	Deep learning	en
dc.subject	Convolution	en
dc.subject	Quantization	en
dc.subject	k-means	en
dc.subject	Just in Time compilation	en
dc.subject	Βαθιά Μάθηση	el
dc.subject	Συνέλιξη	el
dc.subject	Κβαντοποίηση	el
dc.title	Τεχνικές Συμπίεσης Βαθέων Νευρωνικών Δικτύων σε Πολυπύρηνο Επεξεργαστικό Περιβάλλον	el
dc.title	Deep Neural Network Compression Techniques in Multicore Processing Environments	en
dc.contributor.department	Τομέας Τεχνολογίας Πληροφορικής και Υπολογιστών	el
heal.type	bachelorThesis
heal.classification	Machine Learning	en
heal.classification	High Performance Computing	en
heal.language	el
heal.language	en
heal.access	free
heal.recordProvider	ntua	el
heal.publicationDate	2020-10-22
heal.abstract	Στη σημερινή εποχή έχει προκύψει η ανάγκη τα βαθιά νευρωνικά δίκτυα (DNN) να χρησιμοποιηθούν σε μια πληθώρα ενσωματωμένων συσκευών λόγω της πολύ καλής τους ακρίβειας. Τα DNN κατάφεραν να κυριαρχήσουν με την πολύ καλή τους ακρίβεια σε πολλούς τομείς της μηχανικής μάθησης, μεταξύ άλλων και στον τομέα της όρασης υπολογιστών. Το μειονέκτημά τους είναι πως έχουν μεγάλες ανάγκες από υπολογιστικούς πόρους. Ως αποτέλεσμα οι υπολογιστικές απαιτήσεις των DNN ξεπερνούν κατά πολύ τις δυνατότητες των συσκευών αυτών σε επίπεδο μνήμης, υπολογιστικής ικανότητας και ενεργειακής αυτονομίας. Έτσι ένα κομμάτι της έρευνας επικεντρώθηκε σε τεχνικές ώστε να μπορούν τα DNN να χρησιμοποιηθούν στις παραπάνω συσκευές. Η διπλωματική αυτή επικεντρώνεται στη μελέτη της κβαντοποίησης (quantization) με ομαδοποίηση (clustering) ως μεθόδου συμπίεσης των DNN μοντέλων. Αρχικά μελετάμε πώς και σε ποιο βαθμό η κβαντοποίηση των συνελικτικών στρωμάτων επιτυγχάνει συμπίεση διατηρώντας την ακρίβεια των μοντέλων. Έπειτα εξετάζουμε πώς επηρεάζεται η υπολογιστική απόδοσή τους. Βελτιστοποιούμε την απόδοση βασιζόμενοι τόσο τεχνικές που υπάρχουν ήδη στην έρευνα όσο και τεχνικές που προτείνουμε εμείς. Η προσπάθεια αυτή αρχικά επικεντρώνεται στο να κρύψουμε τις καθυστερήσεις που εισάγουν τα μη κανονικά μοτίβα πρόσβασης στη μνήμη που εισάγει η κβαντοποίηση. Για να το πετύχουμε αυτό εξετάζουμε τεχνικές όπως loop optimizations καθώς και Just In Time compilation. Για να αυξήσουμε περαιτέρω την απόδοση, αναπτύσσουμε μια δική μας βιβλιοθήκη Just In Time compilation. Χρησιμοποιώντας τη βιβλιοθήκη αυτή προτείνουμε επίσης μια μέθοδο για την εξάλειψη των μη κανονικών μοτίβων. Τέλος συγκρίνοντας τις υλοποιήσεις μας με σύγχρονες βελτιστοποιημένες συνελίξεις παρατηρούμε πως πετυχαίνουν παρόμοια ή μερικές φορές καλύτερη απόδοση.	el
heal.abstract	Nowadays the need has emerged to deploy deep neural networks (DNN) on a variety of embedded devices due to their high performance. DNNs have dominated, with their state-of-the-art accuracy, a variety of Machine Learning domains and among others, computer vision tasks. Their drawback is however their computational intensity. As a result their computational demands far surpass the capabilities of edge devices in terms of memory, computational power and energy autonomy. Therefore extensive research is being conducted in developing techniques to make DNNs deployable in such devices. This thesis focuses on studying clustering quantization as a DNN compression technique. We first study the compression achieved with clustering convolution layers while retaining model accuracy. Then we study the effects of clustering on computational performance. We optimize the performance of the DNN models, with methods inspired from existing research as well as with methods we propose. First we focus on improving performance by hiding the latency from irregular memory access patterns that quantization introduces. To achieve that, we investigate loop optimization techniques, as well as Just In Time compilation. To further increase performance, we also develop a Just In Time compilation library. Using the above library we also propose a method to eliminate the irregular access patterns altogether. Finally by comparing our implementations with contemporary optimized convolutions we observe that they achieve similar and sometimes better levels of performance.	en
heal.advisorName	Γκούμας, Γεώργιος
heal.committeeMemberName	Γκούμας, Γεώργιος
heal.committeeMemberName	Κοζύρης, Νεκτάριος
heal.committeeMemberName	Πνευματικάτος, Διονύσιος
heal.academicPublisher	Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών	el
heal.academicPublisherID	ntua
heal.numberOfPages	129
heal.fullTextAvailability	false