Using artificial neural networks for zero-shot learning

Chochlakis, Georgios; Χοχλάκης, Γεώργιος

dc.contributor.author	Chochlakis, Georgios	el
dc.contributor.author	Χοχλάκης, Γεώργιος	en
dc.date.accessioned	2020-12-07T07:58:04Z
dc.date.available	2020-12-07T07:58:04Z
dc.identifier.uri	https://dspace.lib.ntua.gr/xmlui/handle/123456789/52318
dc.identifier.uri	http://dx.doi.org/10.26240/heal.ntua.20016
dc.rights	Αναφορά Δημιουργού 3.0 Ελλάδα	*
dc.rights	Αναφορά Δημιουργού 3.0 Ελλάδα	*
dc.rights	Αναφορά Δημιουργού 3.0 Ελλάδα	*
dc.rights.uri	http://creativecommons.org/licenses/by/3.0/gr/	*
dc.subject	Zero-shot learning	en
dc.subject	Few-shot learning	en
dc.subject	Deep learning	en
dc.subject	Generative networks	en
dc.subject	Machine learning	en
dc.subject	Μηχανική μάθηση	el
dc.subject	Βαθειά μάθηση	el
dc.subject	Μηδενική υποστήριξη δεδομένων	el
dc.subject	Παραγωγικά δίκτυα	el
dc.subject	Σύνολα υποστήριξης	el
dc.title	Using artificial neural networks for zero-shot learning	en
heal.type	bachelorThesis
heal.secondaryTitle	Χρήση Τεχνητών Νευρωνικών Δικτύων για Ταξινόμηση Προτύπων Άγνωστων Κατηγοριών με Μηδενική Υποστήριξη Δεδομένων	el
heal.classification	Artificial Intelligence	en
heal.language	el
heal.language	en
heal.access	free
heal.recordProvider	ntua	el
heal.publicationDate	2020-11-18
heal.abstract	In this diploma thesis, we are concerned with tasks in the domain of Artificial Intelligence. We utilize Machine Learning and, in particular, Artificial Neural Networks, to solve the problem of Zero-shot Learning, the task of evaluating our models on classification tasks where the patterns do not belong to any category seen during the model's training, and no supporting examples of these novel categories is provided. Moreover, Few-shot Learning is a similar task worth mentioning. In this setting, a small support set of samples from the test categories is provided in order for an algorithm to be able to adjust its parameters or extract the necessary knowledge. Contemporary approaches to Zero-shot Learning are based on Generative Networks. The basic algorithm being used is as follows: First, a Generative Network is trained using the samples and auxiliary descriptions that are provided for training. After the Generative Network has been trained, we use it to generate synthetic examples of the categories we are to classify during testing, using the respective descriptions. Lastly, based on these samples, we train a simple classifier. In this work, we propose a novel framework for Zero-shot Learning that augments already existing algorithms, based on the aforementioned basic one, by including the classifier used during testing in the training of the Generative Network. We do so by exploiting the classifier's classification loss for the training of the Generative Network. However, such a classifier must not depend on the Generative Network's samples for training and must be flexible w.r.t its label space. Such properties are also essential for Few-shot Learning, therefore we leverage such an algorithm. During training and testing, samples generated by the Generative Network are treated as the support set of the classifier, based on which it classifies real samples. We empirically observe gains in performance compared to simple Zero-shot Learning algorithms. In addition, given that some of these algorithms achieved state-of-the-art performance in Zero-shot Learning benchmarks, we now achieve that in various cases. Also, we show that that the usage of the Few-shot learner only during training or only during testing still improves the accuracy of the Zero-shot learner, while the advantages of using it in either setting seem to be additive to one another.	en
heal.abstract	Σε αυτήν την διπλωματική εργασία, ασχολούμαστε με προβλήματα του τομέα της Τεχνητής Νοημοσύνης. Χρησιμοποιούμε Μηχανική Μάθηση και συγκεκριμένα Τεχνητά Νευρωνικά ∆ίκτυα για να λύσουμε το πρόβλημα της Ταξινόμησης Προτύπων Άγνωστων Κατηγοριών με Μηδενική Υποστήριξη ∆εδομένων. Ο επίσημος όρος που χρησιμοποιείται στη βιβλιογραφία για το πρόβλημα, στα αγγλικά, είναι Zero-shot Learning. Ακόμη, αξίζει να αναφερθούμε στο Few-shot Learning, όπου οι κατηγορίες είναι μεν άγνωστες, μας δίδονται δε λίγα δείγματα αυτών των κατηγοριών, τα οποία ονομάζουμε support set. Οι καλύτερες τεχνικές για Zero-shot Learning βασίζονται στα Παραγωγικά ∆ίκτυα (Generative Networks). Ο βασικός αλγόριθμος που ακολουθούνε είναι: Πρώτον, εκπαιδεύεται ένα Παραγωγικό ∆ίκτυο με βάση βοηθητικές περιγραφές των κατηγοριών και τα στιγμιότυπα τους. Αφού εκπαιδευτεί το Παραγωγικό ∆ίκτυο, τότε το χρησιμοποιούμε για να παράξουμε συνθετικά στιγμιότυπα των κατηγοριών που αντιμετωπίζουμε την ώρα της αποτίμησης, χρησιμοποιώντας τις αντίστοιχες περιγραφές. Τέλος, με αυτά τα δείγματα, εκπαιδεύουμε έναν απλό ταξινομητή. Σε αυτήν την εργασία, προτείνουμε μια νέα μέθοδο για Zero-shot Learning, η οποία επαυξάνει υπάρχοντες αλγορίθμους, βασισμένους στο βασικό αλγόριθμο που παρουσιάσαμε, χρησιμοποιώντας τον ταξινομητή που χρησιμοποιούμε την ώρα της αποτίμησης και την ώρα της εκπαίδευσης του Παραγωγικού ∆ικτύου. Η χρησιμοποίηση του γίνεται συμπεριλαμβάνοντας το σφάλμα ταξινόμησης του στην εκπαίδευση του Παραγωγικού ∆ικτύου. Για να το κάνουμε αυτό, ο ταξινομητής θα πρέπει να μην εξαρτάται αποκλειστικά για την εκπαίδευση του από τα δείγματα του Παραγωγικού ∆ικτύου και να είναι ευέλικτος αναφορικά με τις κατηγορίες που μπορεί να ταξινομήσει. Τέτοιες ιδιότητες πρέπει να έχουν και ταξινομητές που χρησιμοποιούνται σε προβλήματα Few-shot Learning, συνεπώς, χρησιμοποιούμε έναν τέτοιον. Την ώρα της εκπαίδευσης και της αποτίμησης, θεωρούμε τα στιγμιότυπα που παράγουμε με το Παραγωγικό ∆ίκτυο ως το support set του ταξινομητή. Παρατηρούμε πειραματικά βελτίωση στην ακρίβεια ταξινόμησης με βάση τον αλγόριθμο μας σε σύγκριση με τον απλό αλγόριθμο για Zero-shot Learning και πετυχαίνουμε state-of-the-art σε αρκετά προβλήματα. Επιπλέον, δείχνουμε πως η χρήση του ταξινομητή μόνο κατά την εκπαίδευσης ή μόνο την αποτίμησης βελτιώνει την ακρίβεια, ενώ τα προτερήματα της χρήσης του σε κάθε ξεχωριστή περίσταση σχεδόν αθροίζονται.	el
heal.advisorName	Potamianos, Alexandros	en
heal.committeeMemberName	Maragos, Petros	en
heal.committeeMemberName	Tzafestas, Costas	en
heal.academicPublisher	Εθνικό Μετσόβιο Πολυτεχνείο. Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών. Τομέας Σημάτων, Ελέγχου και Ρομποτικής	el
heal.academicPublisherID	ntua
heal.numberOfPages	95 σ.	el
heal.fullTextAvailability	false
heal.fullTextAvailability	false