Έλεγχος πολυκοπτέρου με χρήση δυναμικής όρασης και νευρομορφικού υπολογιστικού συστήματος.

Ντούρος, Ευάγγελος; Ntouros, Evangelos

dc.contributor.author	Ντούρος, Ευάγγελος	el
dc.contributor.author	Ntouros, Evangelos	en
dc.date.accessioned	2023-01-09T08:10:16Z
dc.date.available	2023-01-09T08:10:16Z
dc.identifier.uri	https://dspace.lib.ntua.gr/xmlui/handle/123456789/56541
dc.identifier.uri	http://dx.doi.org/10.26240/heal.ntua.24239
dc.relation	http://aprovis3d.eu/	el
dc.rights	Αναφορά Δημιουργού-Μη Εμπορική Χρήση-Όχι Παράγωγα Έργα 3.0 Ελλάδα	*
dc.rights.uri	http://creativecommons.org/licenses/by-nc-nd/3.0/gr/	*
dc.subject	Event-based vision	en
dc.subject	IBVS control	en
dc.subject	UAV	en
dc.subject	Neuromorphic computing	en
dc.subject	VLSI design	en
dc.subject	Δυναμική όραση	el
dc.subject	Έλεγχος οπτικής ανατροφοδότησης	el
dc.subject	Μη επανδρωμένα αεροσκάφη	el
dc.subject	Νευρομορφικά υπολογιστικά συστήματα	el
dc.subject	Σχεδιασμός VLSI	el
dc.title	Έλεγχος πολυκοπτέρου με χρήση δυναμικής όρασης και νευρομορφικού υπολογιστικού συστήματος.	el
dc.title	Multicopter control using dynamic vision and neuromorphic computing.	en
heal.type	masterThesis
heal.classification	Ρομποτική	el
heal.classification	Robotics	en
heal.language	en
heal.access	free
heal.recordProvider	ntua	el
heal.publicationDate	2022-10-17
heal.abstract	Σε αυτήν εργασία, αναπτύσεται μια ολοκληρωμένη στρατηγική ελέγχου για μη επανδρωμένα πολυκόπτερα με σκοπό την αποτελεσματική παρακολούθηση στόχων που ορίζονται από συνεχή τμήματα περιγεγραμμένων επιφανειών σε ένα περιβάλλον, όπως πεζοδρόμια. Το ρομπότ που χρησιμοποιήθηκε φέρει ένα δυναμικό αισθητήρα όρασης (DVS), ένα νευρομορφικό υπολογιστικό σύστημα (SpiNN-3) καθώς και ένα συμβατικό (NVIDIA Jetson AGX Xavier). Η DVS παράγει events, τα οποία τροφοδοτούνται ασύγχρονα σε μία υλοποίηση του μετασχηματισμού Hough με τη χρήση των Spiking Neural Networks (SNN) ώστε να εντοπίζει τις γραμμές του περιβάλλοντος. Η έξοδος του εν λόγω νευρωνικού δρομολογείται σε έναν αλγόριθμο παρακολούθησης που τρέχει στο Jetson AGX Xavier και σκοπός του έιναι να εντοπίζει και να παρακολουθεί τη γραμμή που αντιστοιχεί στο πεζοδρόμιο. Στη συνέχεια, αυτή αποτελεί την είσοδο ενός ελεγκτή οπτικής ανατροφοδότητης με βάση την εικόνα (IBVS), ο οποίος οδηγεί αυτόνομα το ρομπότ κατα μήκος του στόχου. Η προτεινόμενη αρχιτεκτονική πετυχαίνει υψηλής ακρίβειας εντοπισμό του στόχου, με πολύ γρήγορη ασύγχρονη ανανέωσή του. Ταυτόχρονα επιτυγχάνεται μείωση της καταναλισκόμενης, απο το σύστημα, ισχύος. Για την επίδειξη της αποτελεσματικότητας του προτεινόμενου συνολικού σχήματος ελέγχου, χρησιμοποιήθηκε ένα πολυκόπτερο οκτώ ελίκων με την DVS και το SpiNN-3, και πραγματοποιήθηκε μία σειρά πειραμάτων.	el
heal.abstract	In this thesis, an end-to-end control strategy for the efficient tracking of contour-based areas, such as pavements, is presented using a multirotor Unmanned Aerial Vehicle (UAV). The robot is equipped with a bio-inspired Dynamic Vision Sensor (DVS), a Neuromorphic (SpiNN-3), and a conventional (NVIDIA Jetson AGX Xavier) Computing platform. Concerning the detection part, a hybrid framework is developed which combines conventional and neuromorphic algorithms and hardware to detect and track contour-based areas. The DVS generates events, which are asynchronously fed into a Neuromorphic Hough Transform algorithm running on the SpiNN-3 board and implemented as a Spiking Neural Network (SNN) to detect lines in the visual scene. The SNN output is fed into a tracking algorithm, running in Jetson AGX Xavier, which tracks the pavement. Next, the asynchronous output of the detection module is fed into an IBVS controller, which allows the multirotor to autonomously navigate along the detected contour. The proposed architecture achieves high precision detection with fast asynchronous update while optimizing the system in terms of power consumption. A set of real-time experiments in various settings employing an octocopter equipped with a downward-looking DVS and a SpiNN-3 board demonstrate the effectiveness of the suggested control scheme.	en
heal.advisorName	Kyriakopoulos, Kostas	en
heal.committeeMemberName	Kyriakopoulos, Kostas	en
heal.committeeMemberName	Papadopoulos, Evangelos	en
heal.committeeMemberName	Tzafestas, Costas	en
heal.academicPublisher	Εθνικό Μετσόβιο Πολυτεχνείο. Σχολή Μηχανολόγων Μηχανικών	el
heal.academicPublisherID	ntua
heal.numberOfPages	53 σ.	el
heal.fullTextAvailability	false