Implementation of computational intensive convolutional neural networks on embedded devices with limited resources

Mπαρτσώκας, Αναστάσιος; Mpartsokas, Anastasios

dc.contributor.author	Mπαρτσώκας, Αναστάσιος	el
dc.contributor.author	Mpartsokas, Anastasios	en
dc.date.accessioned	2018-06-29T09:46:01Z
dc.date.available	2018-06-29T09:46:01Z
dc.date.issued	2018-06-29
dc.identifier.uri	https://dspace.lib.ntua.gr/xmlui/handle/123456789/47158
dc.identifier.uri	http://dx.doi.org/10.26240/heal.ntua.15513
dc.rights	Αναφορά Δημιουργού-Μη Εμπορική Χρήση-Όχι Παράγωγα Έργα 3.0 Ελλάδα	*
dc.rights.uri	http://creativecommons.org/licenses/by-nc-nd/3.0/gr/	*
dc.subject	Βαθιά νευρωνικά δίκτυα	el
dc.subject	Μηχανική μάθηση	el
dc.subject	Ενσωματωμένες συσκευές	el
dc.subject	Myriad2	en
dc.subject	Image to column convolution	en
dc.subject	Direct convolution	en
dc.subject	ImageNet's neural networks	en
dc.title	Implementation of computational intensive convolutional neural networks on embedded devices with limited resources	en
dc.title	Υλοποίηση έντονων υπολογιστικά συνελικτικών νευρωνικών δικτύων σε ενσωματωμένες συσκευές με περιορισμένους πόρους	el
heal.type	bachelorThesis
heal.classification	Neural networks	el
heal.classificationURI	http://lod.nal.usda.gov/12606
heal.language	el
heal.language	en
heal.access	free
heal.recordProvider	ntua	el
heal.publicationDate	2018-06-19
heal.abstract	Τα τελευταία χρόνια γίνονται συνεχώς έρευνες γύρω από την ανάπτυξη των Τεχνητών Νευρωνικών ∆ικτύων (ΤΝ∆). Τα ΤΝ∆ είναι εµπνευσµένα από ϐιολογικούς οργανισµούς κι έχουνε ξεπεράσει κατα πολύ σε απόδοση τις πρηγούµενες µορφές τεχνητής νοηµοσύνης. ΄Ενα ΤΝ∆ αποτελείται από απλούς υπολογιστικούς κόµβους διασυνδεδµέµους µεταξύ τους, οι οποίοι είναι εκπαιδευµένοι να αντιδρούνε σε ερεθίσµατα. Τα ΤΝ∆ που παίρνουνε ως είσοδο εικόνες ονοµάζονται Συνελικτικά Νευρωνικά ∆ίκτυα (ΣΝ∆) και χρησιµοποιούνται για την επίλυση προβληµάτων όρασης υπολογιστών, όπως είναι η αναγωνώριση αντικειµένων, η εύρεση ϑέσης των αντικειµένων κ.α. Τα τελευταία χρόνια τα ΤΝ∆ έχουνε εισαχθεί στον κόσµο των ενσωµατωµένων συσκευών, καθώς είναι ιδιαίτερα σηµαντικό τόσο για τους δηµιουργούς λογισµικού όσο και εντυπωσιακό για τους χρήστες να έχουνε τη δυνατότητα να αναγνωρίζουνε αντικείµενα µε τις συσκευές τους π.χ. κινητά τηλέφωνα. Στόχος της παρούσας διπλωµατικής είναι η εξέλιξη ενός συστήµατος εκτέλεσης ΣΝ∆ στο ενσωµατωµένο σύστηµα Myriad2. Η µηχανή υποστηρίζει ϐαθιά δίκτυα µε µεγάλο πλήθος οµότιµων κόµβων, που έχουνε εκπαιδευτεί σε τεράστια σύνολα δεδοµένων. Αυτό σηµαίνει ότι το σύνολο δεδοµένων των δικτύων είναι πολύ µεγάλο για τη µνήµη τη ενσωµατωµένης συσκευής, η οποία όµως έχει το πλεονέκτηµα χαµηλής κατανάλωσης ενέργειας ανα µονάδα υπολογισµού. Η αρχιτεκτονική της Myriad 2 συνίσταται απο 12 VLIW επεξεργαστές, χτισµένους γύρω από µια µικρή και γρήγορη µνήµη και άλλους που έχουνε συντονιστικό ϱόλο. Από τη ϕύση τους τα ΣΝ∆ απαιτούνε διαχείριση τεράστιου όγκου δεδοµένων που σηµαίνει και µεταφορά δεδοµένων µεταξύ των µνηµών. Τα ϐαθιά ΣΝ∆ περιέχουνε συνελικτικές στρώσεις µε αρκετές παραµέτρους, οι οποίες έχουνε ως σκοπό να µειώνουνε τις απαιτήσεις σε µνήµη του δικτύου. Αυτές υλοποιήθηκανε µε αποδοτικό τρόπο, ακόµα και µε τη χρήση συµβολικής γλώσσας, εµβαθύνοντας σε τεχνικές εκµετάλλευσης της αρχιτεκτονικής. Επιπλέον αναπτύχθηκε νέος τρόπος υλοποίησης των συνελικτικών στρώσεων, προκειµένου να µειώσει τον χρόνο εκτέλεσης στρώσεων µε συγκεκριµένες προδιαγραφές, αλλά και τη συνολική κατανάλωση ενέργειας. Τέλος, το γεγονός ότι το σύστηµα είναι πολυεπεξεργαστικό, αυξάνει την πολυπλοκότητα ακόµα περισσότερο. Τα παραπάνω επεκτείνονται σε κάθε ενσωµατωµένο επεξεργαστή, ο οποίος υποστηρίζει εκτέλεση νευρωνικών δικτύων καθώς οι µεθοδολογίες που χρησιµοποιήθηκανε εφαρµόζωνται και έξω από τη Myriad2. Τέλος αναπτύχθηκε µια εφαρµογή πραγµατικού χρόνου, η οποία κάνει ταξινόµηση σύµφωνα µε το ImageNet.	el
heal.abstract	During the recent years, science community is focusing on the field of Artificial Neural Networks (ANN). ANN function by following a similar way with biological computational models and they are more efficient than older classification models. An ANN contains simple computational nodes linked between them, which are trained to activate when they have the appropriate signal. ANNs which accept images as input on their nodes, are named Convolutional Neural Networks (CNNs) and they are known for solving computer vision problems such as image classification, object detection etc. During the last years, it is surprising that ANNs tend to enter more and more into embedded world as it is so important to recognize objects on images, both for the application developers and for the users of devices. A typical example of an embedded device, which uses image classification is mobile phones. The aim of this diploma thesis is to extend a CNN engine to test Deep Neural Networs in Myriad2. The CNN engine is able to deploy Neural Networks which have been trained in large datasets like Imagenet. This means that the memory demands of the application are enormous. Placing all these data inside memories of the device remains a challenge. The main advantage of Myriad2 is the little memory consumption per computation unit. In order to imlement the new version of the CNN Engine importance was given to the Myriad2 architecture. More specifically, this device comprises 12 VLIW processors built around a small yet fast memory block and 2 RISC processors with an arbitrator role. Naturally, CNNs require the transfer of large amount of information. Deep CNNs contain convolutional layers with parameters, which decrease memory demands like group, striding or even 1x1 convolution layers. All these were implemeneted efficiently, even using Assembly Language, taking adantage of Myriad2 Architecture. Furthermore, a different approach using General Matrix To Matrix Multiplication (GEMM) for testing convolutional layers was implemented. Finally, the fact that the system is SIMD increases the complexity even further. The basic ideas and methodologies which have been followed for the CNN implementation in Myriad2 can be used in other embedded devices too. Finally, a real-time application for ImageNet’s Classification has been implemented.	en
heal.advisorName	Σούντρης, Δημήτριος	el
heal.committeeMemberName	Σιώζιος, Κωνσταντίνος	el
heal.committeeMemberName	Πεκμεστζή, Κιαμάλ	el
heal.academicPublisher	Εθνικό Μετσόβιο Πολυτεχνείο. Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών. Τομέας Τεχνολογίας Πληροφορικής και Υπολογιστών. Εργαστήριο Μικροϋπολογιστών και Ψηφιακών Συστημάτων VLSI	el
heal.academicPublisherID	ntua
heal.numberOfPages	99 σ.
heal.fullTextAvailability	true