Κατανοώντας τα νευρωνικά δίκτυα με κάψουλες: προς έναν κλιμακώσιμο αλγόριθμο δρομολόγησης

Μπαρμπέρης, Αλέξανδρος; Barmperis, Alexandros

dc.contributor.author	Μπαρμπέρης, Αλέξανδρος	el
dc.contributor.author	Barmperis, Alexandros	en
dc.date.accessioned	2023-01-18T10:17:50Z
dc.date.available	2023-01-18T10:17:50Z
dc.identifier.uri	https://dspace.lib.ntua.gr/xmlui/handle/123456789/56748
dc.identifier.uri	http://dx.doi.org/10.26240/heal.ntua.24446
dc.rights	Αναφορά Δημιουργού 3.0 Ελλάδα	*
dc.rights	Αναφορά Δημιουργού 3.0 Ελλάδα	*
dc.rights.uri	http://creativecommons.org/licenses/by/3.0/gr/	*
dc.subject	Τεχνητή Νοημοσύνη	el
dc.subject	Νευρωνικά Δίκτυα με Κάψουλες	el
dc.subject	Βαθιά Νευρωνικά Δίκτυα	el
dc.subject	Μηχανική Μάθηση	el
dc.subject	Αλγόριθμος Δρομολόγησης με Προσοχή	el
dc.subject	Machine Learning	en
dc.subject	Deep Neural Networks	en
dc.subject	Capsule Neural Networks	en
dc.subject	Self-Attention Capsules	en
dc.subject	Arti cial Intelligence	en
dc.title	Κατανοώντας τα νευρωνικά δίκτυα με κάψουλες: προς έναν κλιμακώσιμο αλγόριθμο δρομολόγησης	el
dc.title	Understanding capsule neural networks: towards a scalable routing algorithm	en
heal.type	bachelorThesis
heal.classification	Eectrical and Computer Engineering	en
heal.language	el
heal.access	free
heal.recordProvider	ntua	el
heal.publicationDate	2022-10-21
heal.abstract	Τελευταία, στον κλάδο της Τεχνητής Νοημοσύνης, παρατηρείται ραγδαία αύξηση του μεγέθους των Βαθιών Νευρωνικών Δικτύων. Με τα νέα συστήματα να έχουν κολοσσιαίο ενεργειακό κόστος για την ανάπτυξή τους, προκύπτει το ερώτημα του αν η απόδοσή τους επιδέχεται βελτίωση. Μια ελπιδοφόρα λύση είναι τα Νευρωνικά Δίκτυα με Κάψουλες που, αντιμετωπίζοντας ανεπάρκειες στον σχεδιασμό της αρχιτεκτονικής των δικτύων, οδηγούν σε συστήματα Όρασης Υπολογιστών με υψηλή απόδοση. Σε αυτά, οι αποκρίσεις τεχνητών νευρώνων του δικτύου οργανώνονται σε ομάδες, τις κάψουλες. Η κάθε κάψουλα μαθαίνει να αναγνωρίζει ένα συγκεκριμένο αντικείμενο (ή τμήμα του). Μέσω μιας διαδικασίας που θυμίζει ανάστροφα γραφικά, αποδομεί το αντικείμενο σε χαρακτηριστικές ιδιότητες όπως η πόζα, τις οποίες ενθυλακώνει. Επειδή σε ένα Νευρωνικό Δίκτυο με Κάψουλες, περιλαμβάνονται πολλά επίπεδα από αυτές, σχηματίζεται μια ιεραρχική διάταξη όπου κάψουλες χαμηλότερων επιπέδων (αναπαριστούν τμήματα αντικειμένου) δρομολογούνται σε ανώτερες κάψουλες που αναγνωρίζουν μεγαλύτερα αντικείμενα και σχηματίζονται από τη σύνθεση μερών τους. Η ιεραρχική αποδόμηση των αντικειμένων μαζί με την εξαγωγή των παραμέτρων πόζας αυτών επιτρέπει την εύρωστη μοντελοποίηση των αντικειμένων από το δίκτυο οδηγώντας σε αποδοτικότερη αναγνώρισή τους υπό διαφορετικές οπτικές γωνίες. Δυστυχώς, τα Νευρωνικά Δίκτυα με Κάψουλες δεν έχουν λάβει τη δέουσα προσοχή, γεγονός που αποδίδεται στη δυσνοητότητά τους και στην αδυναμία κλιμάκωσής τους σε μεγαλύτερα συστήματα. Η αντιμετώπιση αυτών των προβλημάτων αποτελεί τον στόχο της παρούσας εργασίας. Το πρώτο πρόβλημα, το προσεγγίζουμε διατελώντας μια διεξοδική μελέτη στα βασικά έργα που θεμελιώνουν την εν λόγω τεχνολογία. Η μελέτη περιλαμβάνει, μεταξύ άλλων, πρωτότυπα πειράματα που φανερώνουν την εσωτερική λειτουργία της και γραφικά σχήματα που διευκολύνουν την κατανόηση της. Αναφορικά με το δεύτερο πρόβλημα, δανειζόμενοι ιδέες από τον δημοφιλή Μηχανισμό Προσοχής και από τους χάρτες αυτο-οργάνωσης αντίστοιχα, δημιουργούμε δύο νέα, γρήγορα συστήματα Νευρωνικών Δικτύων με Κάψουλες. Μέσα από τα πειράματα, πιστοποιούμε έμπρακτα όλους τους θεμελιακούς ισχυρισμούς της τεχνολογίας που μελετάμε ενώ παράλληλα αποδεικνύουμε ότι το ένα εκ των γρήγορων παραλλαγών που προτείνουμε εμφανίζει την τρίτη καλύτερη επίδοση σε πρόβλημα ορόσημο (smallNORB) ανοίγοντας τον δρόμο για αποδοτικά, κλιμακώσιμα συστήματα.	el
heal.abstract	Lately, in the field of Artificial Intelligence there is a growing trend for Deeper Neural Networks. Given that these costly Machine Learning systems require extreme amounts of energy resources to be developed, it makes sense to ask whether their efficiency can be improved. Capsule Networks, a modern approach which tackles inefficiencies in core Neural Network's architectural design principles, constitutes a promising solution for building more efficient Computer Vision systems. More specifically, in the proposed systems neural activations are grouped together into capsules. Every capsule is trained to recognize a specific entity (object or object part) and encapsulates it's equivariant properties (e.g. it's pose) which it computes through a procedure that resembles inverse graphics. When feeding a Capsule Network comprised of multiple capsule layers with an image depicting an object, a parse tree is dynamically created as lower level capsules (representing object parts) selectively activate higher level capsules (representing bigger objects) through a routing algorithm. The resulting hierarchical decomposition of the entities along with the extraction of their equivariant properties helps the Network form robust, intrinsic object models thus leading to efficient, viewpoint invariant object recognition. Unfortunately, Capsule Networks have not received much attention due to their abstruse nature as well as their inability to scale into larger systems. Our goal in the thesis at hand is to address those two problems, pushing towards a more sustainable future. The first problem is confronted by our thorough investigation of the fundamental academic articles which define the technology. It also includes extensive, novel experimentation and graphical representations of the results, all aiming to elucidate the new systems. Regarding the second problem, we propose two alternative, fast Capsule Network systems inspired by the popular Attention Mechanism and the algorithm used in Self-Organizing Maps respectively. Through our experiments, we testify the foundational assumptions of Capsule Networks and make significant observations. In addition, we show that one of our proposed systems archives state-of-the-art results on the smallNORB benchmark while greatly reducing computational load and thus, paving the way for efficient, scalable Capsule Networks.	en
heal.advisorName	Κόλλιας, Στέφανος	el
heal.committeeMemberName	Κόλλιας, Στέφανος	el
heal.committeeMemberName	Βουλόδημος, Αθανάσιος	el
heal.committeeMemberName	Στάμου, Γιώργος	el
heal.academicPublisher	Εθνικό Μετσόβιο Πολυτεχνείο. Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών. Τομέας Τεχνολογίας Πληροφορικής και Υπολογιστών	el
heal.academicPublisherID	ntua
heal.numberOfPages	243 σ.	el
heal.fullTextAvailability	false