Αναγνώριση Ανθρώπινης Δράσης και Χειρονομιών χρησιμοποιώντας Συνελικτικά και Αναδρομικά Νευρωνικά Δίκτυα

Πίσσας, Θεόδωρος; Pissas, Theodoros

dc.contributor.author	Πίσσας, Θεόδωρος	el
dc.contributor.author	Pissas, Theodoros	en
dc.date.accessioned	2017-10-11T10:02:45Z
dc.date.available	2017-10-11T10:02:45Z
dc.date.issued	2017-10-11
dc.identifier.uri	https://dspace.lib.ntua.gr/xmlui/handle/123456789/45737
dc.identifier.uri	http://dx.doi.org/10.26240/heal.ntua.14732
dc.rights	Αναφορά Δημιουργού-Μη Εμπορική Χρήση-Όχι Παράγωγα Έργα 3.0 Ελλάδα	*
dc.rights.uri	http://creativecommons.org/licenses/by-nc-nd/3.0/gr/	*
dc.subject	Συνελικτικά Νευρωνικά Δίκτυα	el
dc.subject	Τρισδιάστατη Συνέλιξη	el
dc.subject	Δισδιάστατη Συνέλιξη	el
dc.subject	Νευρώνες Μακράς Μνήμης	el
dc.subject	Νευρώνες Βραχείας Μνήμης	el
dc.subject	Αναδρομικά Νευρωνικά Δίκτυα	el
dc.subject	Αναγνώριση Ανθρωπίνων Χειρονομιών	el
dc.subject	Αναγνώριση Ανθρώπινης Δράσης	el
dc.subject	Νευρώνες Μακράς	el
dc.subject	Convolutional Neural Networks	en
dc.subject	2D convolution	en
dc.subject	3D convolution	en
dc.subject	Neurons with Long-Short Term Memory	en
dc.subject	Recurrent Neural Networks	en
dc.subject	Human action recognition	en
dc.subject	Gesture Recognition	en
dc.title	Αναγνώριση Ανθρώπινης Δράσης και Χειρονομιών χρησιμοποιώντας Συνελικτικά και Αναδρομικά Νευρωνικά Δίκτυα	el
heal.type	bachelorThesis
heal.classification	ΕΠΙΣΤΗΜΗ ΥΠΟΛΟΓΙΣΤΩΝ/ΠΛΗΡΟΦΟΡΙΚΗ	el
heal.classificationURI	http://data.seab.gr/concepts/77de68daecd823babbb58edb1c8e14d7106e83bb
heal.language	el
heal.access	free
heal.recordProvider	ntua	el
heal.publicationDate	2017-07-18
heal.abstract	Στην παρούσα διπλωματική επιδιώκεται να επιλυθεί το πρόβλημα της αναγνώρισης δράσεων και χειρονομιών χρησιμοποιώντας μοντέλα Τεχνητών Νευρωνικών Δικτύων. Συγκεκριμένα εξετάζονται δύο κατηγορίες εξειδικευμένων νευρωνικών μοντέλων, τα Συνελικτικά Νευρωνικά Δίκτυα και τα Αναδρομικά Νευρωνικά Δίκτυα.Τα πρώτα έχουν τη δυνατότητα να εντοπίζουν και να εξάγουν τοπικά χωρικά ή χωρικά-χρονικά χαρακτηριστικά από βίντεο,ενώ τα δεύτερα είναι κατάλληλα για τη συνολική χρονική μοντελοποίηση μίας δράσης.Προκειμένου να εξετασθεί η συνεισφορά των δύο κατηγοριών μοντέλων διεξήχθησαν πειράματα για τρία διαφορετικά μοντέλα: Ένα Νευρωνικό Δίκτυο Τρισδιάστατης Συνέλιξης (3D-CNN) το οποίο εξάγει μόνο τοπικά χωροχρονικά χαρακτηριστικά από τμήματα (δηλαδή έναν αριθμό συνεχόμενων καρέ) ενός βίντεο και δύο Αναδρομικά Νευρωνικά Δίκτυα που αποτελούνται από στρώματα νευρώνων Μακράς και Βραχείας Μνήμης (Long and Short Term Memory ή LSTM),εκ των οποίων,το πρώτο (3D-CNN-LSTM) χρησιμοποιεί τα τοπικά χωροχρονικά χαρακτηριστικά που εξάγει ένα Νευρωνικό Δίκτυο Τρισδιάστατης Συνέλιξης από τμήματα ενός βίντεο και το δεύτερο (CNN-LSTM) χρησιμοποιεί τα χωρικά χαρακτηριστικά που εξάγει ένα Νευρωνικό Δίκτυο Δισδιάστατης Συνέλιξης (2D-CNN ή απλά CNN) από κάθε καρέ ενός βίντεο.Τα παραπάνω μοντέλα εκπαιδεύτηκαν και αξιολογήθηκαν επί τριών βάσεων δεδομένων μεσαίας κλίμακας (KTH, SKIG). Στη βάση SKIG, που περιέχει βίντεο με δυναμικές χειρονομίες,εκπαιδεύονται ξεχωριστά μοντέλα για δύο διαφορετικές τροπικότητες το RGB βίντεο και το βίντεο βάθους (Depth). Κατά συνέπεια, εκτιμάται η επίδραση του είδους της οπτικής πληροφορίας στην απόδοση των μοντέλων και αξιολογείται η βελτίωση που προσφέρει η σύμμειξη τους. Επιπλέον, στα πλαίσια των πειραμάτων γίνεται πειραματική αξιολόγηση της επίδρασης κάποιων εμπειρικά επιβεβαιωμένων μεθοδολογιών (Προγραμματισμός ρυθμού μάθησης και Επαύξηση Δεδομένων) και τεχνικών κανονικοποίησης (Dropout και Batch Normalization) που αποσκοπούν στην βελτίωση της ικανότητας γενίκευσης των μοντέλων καθώς και στην επιτάχυνση της διαδικασίας εκπαίδευσης.Τέλος,επιδιώχθηκε να ενσωματωθούν τα εκπαιδευμένα μοντέλα σε ένα σύστημα on-line αναγνώρισης χειρονομιών,το οποίο αναπτύχθηκε εντός του περιβάλλοντος του R.O.S(Robotics Operating System).Το σύστημα αυτό επιτρέπει την ταχύτατη επεξεργασία και αναγνώριση χειρονομιών (της τάξης μεγέθους των εκατοντάδων mseconds ανά χειρονομία) σε σχέση με άλλες κλασσικές μεθόδους αναγνώρισης που βασίζονται στην εξαγωγή κατασκευασμένων χαρακτηριστικών,όπως οι πυκνές τροχιές, που απαιτούν σημαντικά περισσότερο χρόνο για τον υπολογισμό τους.	el
heal.advisorName	Μαραγκός, Πέτρος	el
heal.committeeMemberName	Ποταμιάνος, Γεράσιμος	el
heal.committeeMemberName	Μαραγκός, Πέτρος	el
heal.committeeMemberName	Τζαφέστας, Κωνσταντίνος	el
heal.academicPublisher	Εθνικό Μετσόβιο Πολυτεχνείο. Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών. Τομέας Σημάτων, Ελέγχου και Ρομποτικής. Εργαστήριο Ρομποτικής και Αυτοματισμού	el
heal.academicPublisherID	ntua
heal.numberOfPages	106 σ.	en
heal.fullTextAvailability	true