Instance-level recognition for artworks

Υψηλάντης, Νικόλαος-Αντώνιος; Ypsilantis, Nikolaos-Antonios

dc.contributor.author	Υψηλάντης, Νικόλαος-Αντώνιος	el
dc.contributor.author	Ypsilantis, Nikolaos-Antonios	en
dc.date.accessioned	2022-06-16T10:27:24Z
dc.date.available	2022-06-16T10:27:24Z
dc.identifier.uri	https://dspace.lib.ntua.gr/xmlui/handle/123456789/55289
dc.identifier.uri	http://dx.doi.org/10.26240/heal.ntua.22987
dc.rights	Αναφορά Δημιουργού-Μη Εμπορική Χρήση 3.0 Ελλάδα	*
dc.rights.uri	http://creativecommons.org/licenses/by-nc/3.0/gr/	*
dc.subject	Instance-level recognition	en
dc.subject	Artwork recognition	en
dc.subject	Large-scale recognition dataset	en
dc.subject	Knn classification	en
dc.subject	Convolutional neural networks	en
dc.subject	Αναγνώριση σε επίπεδο οντότητας	el
dc.subject	Αναγνώριση έργων τέχνης	el
dc.subject	Σύνολο δεδομένων αναγνώρισης μεγάλης κλίμακας	el
dc.subject	Ταξινόμηση κοντινότερου γείτονα	el
dc.subject	Συνελικτικά νευρωνικά δίκτυα	el
dc.title	Instance-level recognition for artworks	en
dc.title	Αναγνώριση σε επίπεδο οντότητας για έργα τέχνης	el
heal.type	bachelorThesis
heal.classification	Όραση υπολογιστών	el
heal.language	el
heal.language	en
heal.access	free
heal.recordProvider	ntua	el
heal.publicationDate	2022-02-15
heal.abstract	In this thesis, the creation of a new dataset and benchmark for large-scale instance-level recognition (ILR) in the domain of artworks is addressed. The proposed dataset, called the Met dataset, exhibits a number of different challenges such as large inter-class similarity, long-tail distribution, and many classes. It relies on the open access collection of The Met museum to form a large training set of about 224k classes, where each class corresponds to a museum exhibit with photos taken under studio conditions. The evaluation set is primarily composed of photos taken by museum guests depicting exhibits, which introduces a distribution shift between training and testing. It is additionally composed of a set of images not related to Met exhibits making the task resemble an out-of-distribution detection problem. The proposed benchmark follows the paradigm of other recent datasets for ILR on different domains to encourage research on domain independent approaches. In order to offer a testbed for future comparisons, a number of suitable approaches are evaluated. Self-supervised and supervised contrastive learning are effectively combined to train CNNs that produce the image representation used in combination with a non-parametric classifier, showing a promising direction for ILR. The dataset webpage (also contains reference code) is: http://cmp.felk.cvut.cz/met/.	en
heal.abstract	Αυτή η διπλωματική εργασία παρουσιάζει την δημιουργία ενός νέου συνόλου δεδομένων μεγάλης κλίμακας (large-scale dataset) για το πρόβλημα της αναγνώρισης σε επίπεδο οντότητας (Instance-Level Recognition, ILR), στο πεδίο των έργων τέχνης (artwork domain). Το σύνολο δεδομένων αυτό, που ονομάζεται σύνολο δεδομένων Met, εμφανίζει μια σειρά από προκλήσεις όπως μεγάλη ομοιότητα μεταξύ των κλάσεων του (large inter-class similarity), κατανομή μακριάς ουράς (long-tail distribution) και πολύ μεγάλο αριθμό κλάσεων. Βασιστήκαμε στη συλλογή ανοιχτής πρόσβασης του μουσείου The Met για να σχηματίσουμε ένα μεγάλο σύνολο εκπαίδευσης (training set) περίπου 224.000 κλάσεων, όπου κάθε κλάση αντιστοιχεί σε ένα έκθεμα του μουσείου, με φωτογραφίες που τραβήχτηκαν σε συνθήκες στούντιο. Το σύνολο αξιολόγησης (test set) αποτελείται σε ένα ποσοστό από φωτογραφίες που απεικονίζουν εκθέματα και τραβήχτηκαν από επισκέπτες του μουσείου, εισάγοντας μια μετατόπιση κατανομής (distribution shift) μεταξύ αυτού και του συνόλου εκπαίδευσης. Αποτελείται επιπλέον από ένα σύνολο εικόνων που δεν σχετίζονται με εκθέματα από το μουσείο Met, κάτι που κάνει το πρόβλημα να παίρνει χαρακτήρα ανίχνευσης εκτός κατανομής (out-of-distribution detection). Το προτεινόμενο benchmark ακολουθεί το παράδειγμα άλλων πρόσφατων συνόλων δεδομένων για το ILR σε διαφορετικά πεδία, ώστε να ενθαρρυνθούν προσεγγίσεις εφαρμόσιμες ανεξαρτήτως πεδίου. Προκειμένου να προσφερθεί μια βάση για μελλοντικές συγκρίσεις, αξιολογούμε κατάλληλες μεθόδους σε αυτό. Η αυτοεποπτευόμενη (self-supervised) και η εποπτευόμενη συγκριτική (supervised contrastive) μάθηση συνδυάζονται αποτελεσματικά για την εκπαίδευση CNNs που παράγουν την αναπαράσταση εικόνας (image representation) η οποία χρησιμοποιείται σε συνδυασμό με έναν μη παραμετρικό ταξινομητή (non-parametric classifier), υποδεικνύοντας μια υποσχόμενη κατεύθυνση για το ILR.	el
heal.advisorName	Κόλλιας, Στέφανος	el
heal.committeeMemberName	Σταφυλοπάτης, Ανδρέας-Γεώργιος	el
heal.committeeMemberName	Τόλιας, Γεώργιος	el
heal.academicPublisher	Εθνικό Μετσόβιο Πολυτεχνείο. Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών. Τομέας Τεχνολογίας Πληροφορικής και Υπολογιστών	el
heal.academicPublisherID	ntua
heal.numberOfPages	85 σ.	el
heal.fullTextAvailability	false