Design Automation and Synthesis Techniques for Approximate Computing

Zervakis, Georgios; Ζερβάκης, Γεώργιος

dc.contributor.author	Zervakis, Georgios	en
dc.contributor.author	Ζερβάκης, Γεώργιος	el
dc.date.accessioned	2019-04-08T09:50:21Z
dc.date.available	2019-04-08T09:50:21Z
dc.date.issued	2019-04-08
dc.identifier.uri	https://dspace.lib.ntua.gr/xmlui/handle/123456789/48586
dc.identifier.uri	http://dx.doi.org/10.26240/heal.ntua.3075
dc.rights	Default License
dc.subject	Approximate Computing	en
dc.subject	Approximate Synthesis	en
dc.subject	Design Automation	en
dc.subject	Multi-Level Approximation	en
dc.subject	Voltage Over-Scaling	en
dc.subject	Αυτοματοποιημένη Σχεδίαση Κυκλωμάτων	el
dc.subject	Πολυ-επίπεδος Προσεγγισμός	el
dc.subject	Προσεγγιστικός Υπολογισμός	el
dc.subject	Σύνθεση Προσεγγιστικών Κυκλωμάτων	el
dc.subject	Υπερκλιμάκωση της Τάσης	el
dc.title	Design Automation and Synthesis Techniques for Approximate Computing	en
dc.title	Αυτοματοποιημένες Μεθοδολογίες και Τεχνικές Σχεδίασης και Σύνθεσης Προσεγγιστικού Υπολογισμού για Ενεργειακά Αποδοτικούς Επεξεργαστές Υλικού	el
dc.contributor.department	Εργαστηρίο Μικροϋπολογιστών & Ψηφιακών Συστημάτων	el
heal.type	doctoralThesis
heal.classification	Computer arithmetic	en
heal.classification	Computer arithmetic and logic units	en
heal.classification	Computer architecture	en
heal.classification	Approximate Computing	en
heal.classification	Hardware Design Automation	en
heal.classification	Integrated circuits--Very large scale integration	en
heal.classification	Computer-aided design	en
heal.classification	Low voltage integrated circuits	en
heal.classification	High Level Synthesis	en
heal.classificationURI	http://id.loc.gov/authorities/subjects/sh85029480
heal.classificationURI	http://id.loc.gov/authorities/subjects/sh85029481
heal.classificationURI	http://id.loc.gov/authorities/subjects/sh85029479
heal.classificationURI	http://id.loc.gov/authorities/subjects/sh85067125
heal.classificationURI	http://id.loc.gov/authorities/subjects/sh85029476
heal.classificationURI	http://id.loc.gov/authorities/subjects/sh95004622
heal.language	en
heal.access	free
heal.recordProvider	ntua	el
heal.publicationDate	2018-11-23
heal.abstract	Since the failure of Dennard scaling, energy efficiency has become a first-class design concern in computer systems. Its potential benefits go beyond reduced power demands in servers and longer battery life in mobile devices, since improving energy efficiency has become a requirement due to limits of device scaling and the well-known "dark silicon” or ``power wall'' problem. Recently, exploiting the intrinsic error resilience of a large number of application domains, approximate computing has emerged as a design alternative for energy efficient system design, trading accuracy for significant energy gains. In this thesis, we focus on the design of hardware approximate accelerators. Approximate hardware circuits, on the contrary to software approximations, offer also transistors reduction, lower dynamic and leakage power, lower circuit delay and opportunity for down-sizing. Existing hardware approximation techniques mainly apply single-level approximation, limiting thus the potential energy-savings of the approximate computing application. Moreover, the increased requirements for verifying the circuit's functionality, as well as operating within the error bounds, greatly increase the design time cycle of approximate hardware accelerators. In this dissertation, in order to max out the benefits of approximate computing application, we examine, introduce, and enable multi-level approximation in the design of hardware arithmetic circuits as well as hardware accelerators. Multi-level approximation refers to applying an approximation technique in every design layer, i.e., the algorithmic, the logic, and the physical ones. However, multi-level approximate architectures exacerbate the design complexity due to the diversity of inexact techniques and their impact on final circuit implementations. In order to enable straightforward and seamless application of approximate computing and multi-level approximation on hardware circuits, we propose four automated frameworks, i.e., VOSsim, Partial Product Perforation framework, HAM, and METHADONE. VOSsim enables very fast and accurate quantification of the power-error characteristics of approximate circuits under voltage over-scaling. Partial Product Perforation is a generalized technique that can be, out-of-the-box, applied to any multiplier circuit, providing known a priori and bound output error values. HAM exploits Partial Product Perforation and introduces multi-level approximation in the design of approximate multipliers, showing that multi-level approximation, compared to single-level one, delivers more efficient solutions in terms of both power and error. Finally, we present METHADONE an approximate accelerator synthesis framework which enables efficient inexact circuits implementations by leveraging the incorporation of diverse multi-level approximate techniques. METHADONE incorporates all the aforementioned frameworks and given the behavioral description of a hardware accelerator and an error bound, quickly produces its power-optimal multi-level approximate counterpart that satisfies the error bound. METHADONE can be applied to any accelerator circuit and seamlessly extends typical behavioral and/or RTL synthesis tools by operating on the accelerator's scheduled data flow graph. The approximate accelerators produced by METHADONE deliver energy savings that range from 10% (for 1% error bound) to 70% (for 10% error bound). Compared to an exhaustive design space exploration METHADONE produces close to Pareto-optimal multi-level approximate accelerators, while delivering more than 589χ speedup in finding the Pareto-front designs. All the proposed frameworks were extensively experimentally evaluated. We demonstrated their efficiency and optimality through comparisons against exhaustive design space exploration and related state-of-the-art works. Specifically, we showed that all the approximate designs produced by the proposed frameworks, outperform existing state-of-the-art designs in terms of both induced error as well as power reduction.	en
heal.abstract	Οι τεχνολογίες πληροφορικής βρίσκονται πλέον σε μια εποχή που για να διατηρηθεί αλλά και να βελτιωθεί η απόδοση και αποτελεσματικότητα των υπολογιστικών συστημάτων είναι αναγκαίες ριζικές αλλαγές συγκριτικά με τις παραδοσιακές τεχνικές. Ο προσεγγιστικός υπολογισμός αποτελεί ένα χαρακτηριστικό πρότυπο ριζικής μεταβολής που έχει εισέλθει στο σχεδιασμό και τη λειτουργία των σύγχρονων συστημάτων. Βασίζεται στην ιδέα ότι περιορίζουμε την απόδοση των υπολογιστικών συστημάτων εξαναγκάζοντάς τα να επιτελούν υπολογισμούς μεγαλύτερης ακρίβειας απ’ όσο πραγματικά χρειάζεται. Είναι γεγονός ότι ακριβείς απαντήσεις δεν είναι εφικτές/απαραίτητες σε πληθώρα εφαρμογών, όπως για παράδειγμα στους τομείς βαθιάς μάθησης, όρασης υπολογιστών, μηχανικής μάθησης κ.λ.π. Όμως, ο προσεγγιστικός υπολογισμός πρέπει να εφαρμόζεται μέσω μιας αυστηρής και τυπικής μεθοδολογίας. Για το λόγο αυτό είναι αναγκαία υπολογιστικά επίπεδα αφαίρεσης που να επιτρέπουν την μεθοδική μείωση της υπολογιστικής ακρίβειας κερδίζοντας σε άλλες μετρικές όπως επίδοση και ενέργεια. Η διατριβή αυτή επικεντρώνεται στην μελέτη και σχεδίαση προσεγγιστικών επιταχυντών υλικού. Τα προσεγγιστικά κυκλώματα προσφέρουν χαμηλότερη δυναμική αλλά και στατική κατανάλωση ισχύος, μικρότερη κυκλωματική καθυστέρηση, καθώς επίσης και δυνατότητα σμίκρυνσης. Οι υπάρχουσες μεθοδολογίες σχεδίασης προσεγγιστικών κυκλωμάτων εφαρμόζουν κατά κύριο λόγο μονο-επίπεδες προσεγγιστικές τεχνικές, περιορίζοντας έτσι σημαντικά τα πιθανά ενεργειακά οφέλη από την εφαρμογή του προσεγγιστικού υπολογισμού. Επιπροσθέτως, οι υπάρχουσες μεθοδολογίες εφαρμόζουν, ως επί το πλείστον, προσεγγιστικές τεχνικές ειδικευμένες για την εκάστοτε εφαρμογή και με μη αυτοματοποιημένο τρόπο. Η σχεδίαση προσεγγιστικών κυκλωμάτων και οι εφαρμογο-κεντρικές μεθοδολογίες που ακολουθούνται δυσχεραίνουν ακόμα περισσότερο το ήδη εξαιρετικά πολύπλοκο έργο της σχεδίασης ψηφιακών συστημάτων, καθώς ο σχεδιαστής πρέπει να ελέγχει τόσο τη λειτουργία και τη βελτιστοποίηση του κυκλώματος όσο και να τηρεί τα όρια του σφάλματος. Ο στόχος αυτής της διατριβής είναι αφενός να μεγιστοποιήσει τα ενεργειακά οφέλη των προσεγγιστικών κυκλωμάτων και αφετέρου να προτείνει συστηματικές μεθοδολογίες για την εφαρμογή του προσεγγιστικού υπολογισμού, έτσι ώστε να επιτρέψει την αξιοποίηση αλλά και εγκαθίδρυσή του στον τομέα της σχεδίασης ψηφιακών συστημάτων. Για να μεγιστοποιήσουμε την απόδοση των προσεγγιστικών κυκλωμάτων μελετάμε, προτείνουμε, και καταστούμε δυνατή την εφαρμογή πολυ-επίπεδων προσεγγιστικών τεχνικών για την παραγωγή τόσο προσεγγιστικών αριθμητικών κυκλωμάτων όσο και επιταχυντών υλικού. Με τον όρο πολυ-επίπεδες προσεγγιστικές τεχνικές αναφερόμαστε στην εφαρμογή μιας προσεγγιστικής τεχνικής σε κάθε ένα από τα τρία επίπεδα σχεδιασμού, δηλαδή το αλγοριθμικό, το λογικό, και το κυκλωματικό. Για να αντιμετωπίσουμε την αυξημένη σχεδιαστική δυσκολία των προσεγγιστικών κυκλωμάτων, που δυσχεραίνεται ακόμα περισσότερο στον χώρο των πολυ-επίπεδων προσεγγιστικών επιταχυντών υλικού, προτείνουμε γενικευμένες και αυτοματοποιημένες μεθοδολογίες για τη σχεδίαση και σύνθεση αυτών. Τα ανωτέρω επιτυγχάνονται μέσα από τα τέσσερα αυτοματοποιημένα πλαίσια σχεδίασης και σύνθεσης που προτάθηκαν και υλοποιήθηκαν κατά την εκπόνηση της διατριβής: VOSsim, Partial Product Perforation, HAM, και METHADONE. Το VOSsim είναι το πρώτο και μοναδικό εργαλείο προσομοίωσης κυκλωμάτων σε υψηλό επίπεδο (επίπεδο πυλών) που λαμβάνει υπόψη του την τάση λειτουργίας και παρέχει τη δυνατότητα αλλαγής της τιμής της. Το VOSsim, λοιπόν, επιτρέπει να προσδιοριστούν πολύ γρήγορα και με μεγάλη ακρίβεια τα χαρακτηριστικά (κατανάλωση, σφάλμα) των κυκλωμάτων υπερ-κλιμακούμενης τάσης. Το Partial Product Perforation είναι ένα αυτοματοποιημένο πλαίσιο παραγωγής προσεγγιστικών πολλαπλασιαστών που εισάγει την εφαρμογή προσεγγισμών στην παραγωγή των μερικών γινομένων. Μπορεί να εφαρμοστεί σε κάθε κύκλωμα πολλαπλασιαστή ανεξάρτητα από την αρχιτεκτονική του και παρέχει εκ των προτέρων γνώση του παραγόμενου σφάλματος. Στη συνέχεια προτείνεται το πλαίσιο HAM, το οποίο χρησιμοποιεί το Product Perforation και εφαρμόζει για πρώτη φορά πολυ-επίπεδες προσεγγιστικές τεχνικές στη σχεδίαση προσεγγιστικών αριθμητικών κυκλωμάτων. Με το HAM, δείχνουμε επίσης και την πολύ υψηλή ενεργειακή αποδοτικότητα του πολυ-επίπεδου προσεγγισμού συγκριτικά με τον παραδοσιακά εφαρμοζόμενο μονο-επίπεδο. Τέλος,προτείνουμε το πλαίσιο METHADONE, ένα αυτοματοποιημένο πλαίσιο σύνθεσης προσεγγιστικών επιταχυντών υλικού το οποίο καθιστά δυνατή την αποδοτική εφαρμογή πολυ-επίπεδου προσεγγισμού στο σχεδιασμό πολύπλοκων κυκλωμάτων. Το METHADONE το επιτυγχάνει αυτό ενσωματώνοντας όλα τα προαναφερθέντα προτεινόμενα πλαίσια. Δεδομένης της συμπεριφορικής περιγραφής ενός επεξεργαστή υλικού (ή αλλιώς επιταχυντή) και ενός ορίου σφάλματος, το METHADONE παράγει πολύ γρήγορα τον αντίστοιχο ενεργειακά-βέλτιστο πολυ-επίπεδο επεξεργαστή υλικού που ικανοποιεί το όριο αυτό. Το METHADONE λειτουργεί πάνω στον γράφο ροής δεδομένων του επιταχυντή και έτσι α) μπορεί να εφαρμοστεί σε κάθε κύκλωμα/επιταχυντή υλικού και β) είναι ικανό να επεκτείνει και να ενσωματωθεί αδιαφανώς στις τυπικά χρησιμοποιούμενες διαδικασίες σύνθεσης και σχεδίασης ψηφιακών συστημάτων. Τα κυκλώματα που παράγονται από το METHADONE χαρακτηρίζονται από πολύ υψηλά ενεργειακά οφέλη. Συγκριτικά με το ορθό κύκλωμα, χαρακτηρίζονται από 10% χαμηλότερη κατανάλωση ισχύος για μόλις 1% σφάλμα και 70% χαμηλότερη κατανάλωση για 10% σφάλμα. Η πειραματική αξιολόγηση δείχνει ότι το METHADONE παράγει πολύ γρήγορα λύσεις (περισσότερο από 589χ) οι οποίες βρίσκονται πολύ κοντά στις Pareto-βέλτιστες. Όλα τα προτεινόμενα πλαίσια αξιολογήθηκαν διεξοδικά μέσω εκτενούς πειραματικής διαδικασίας και συγκρίθηκαν με τις εκάστοτε βέλτιστες υπάρχουσες μεθοδολογίες και τεχνικές αποδεικνύοντας την αποδοτικότητά τους.	el
heal.advisorName	Pekmestzi, Kiamal	en
heal.advisorName	Κιαμάλ, Πεκμεστζή	el
heal.committeeMemberName	Pekmestzi, Kiamal	en
heal.committeeMemberName	Soudris, Dimitrios	en
heal.committeeMemberName	Huebner, Michael	en
heal.committeeMemberName	Koziris, Nectarios	en
heal.committeeMemberName	Pnevmatikatos, Dionisios	en
heal.committeeMemberName	Gizopoulos, Dimitris	el
heal.committeeMemberName	Shafique, Muhammad	en
heal.academicPublisher	Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών	el
heal.academicPublisherID	ntua
heal.numberOfPages	250
heal.fullTextAvailability	true