Αξιοποίηση του μηχανισμού προσοχής για αποδοτικότερη χρήση χαρακτηριστικών σε αυτο-επιβλεπόμενα μοντέλα μηχανικής μάθησης

Μπαλτζή, Ειρήνη; Baltzi, Eirini

dc.contributor.author	Μπαλτζή, Ειρήνη	el
dc.contributor.author	Baltzi, Eirini	en
dc.date.accessioned	2025-01-08T10:54:23Z
dc.date.available	2025-01-08T10:54:23Z
dc.identifier.uri	https://dspace.lib.ntua.gr/xmlui/handle/123456789/60648
dc.identifier.uri	http://dx.doi.org/10.26240/heal.ntua.28344
dc.rights	Default License
dc.subject	Προσεκτική Χρήση	el
dc.subject	Νευρωνικά Δίκτυα	el
dc.subject	Ταξινόμηση Εικόνας	el
dc.subject	Αυτο-επιβλεπόμενη Μάθηση	el
dc.subject	Μηχανισμός Προσοχής	el
dc.subject	Self-supervised Learning	en
dc.subject	Neural Networks	en
dc.subject	Attention Mechanism	en
dc.subject	Attentive Probing	en
dc.subject	Image Classification	en
dc.title	Αξιοποίηση του μηχανισμού προσοχής για αποδοτικότερη χρήση χαρακτηριστικών σε αυτο-επιβλεπόμενα μοντέλα μηχανικής μάθησης	el
dc.title	Attentive Probing: Leveragin attention for improved feature utilization in self-supervised models	en
heal.type	bachelorThesis
heal.classification	Όραση Υπολογιστών	el
heal.classification	Computer Vision	en
heal.language	el
heal.access	free
heal.recordProvider	ntua	el
heal.publicationDate	2024-07-17
heal.abstract	Η παρούσα διπλωματική εργασία προτείνει μια νέα, μη γραμμική μέθοδο χρήσης χα- ρακτηριστικών, χρησιμοποιώντας τον μηχανισμό προσοχής, ως εναλλακτική της πα- ραδοσιακής γραμμικής χρήσης. Η προτεινόμενη μέθοδος, βασισμένη στη μέθοδο συ- γκέντρωσης SimPool, ονομάζεται προσεκτική χρήση, καθώς εισάγει τον μηχανισμό διασταυρούμενης προσοχής στη διαδικασία, βελτιώνοντας έτσι τη γενική αναπαράσταση των χαρακτηριστικών. Για την αξιολόγηση της μεθόδου, πραγματοποιούνται πειράματα χρήσης χαρακτηριστικών για την ταξινόμηση εικόνων χρησιμοποιώντας τρί- α σύγχρονα, προ-εκπαιδευμένα, αυτο-επιβλεπόμενα μοντέλα: ΜΑΕ, DINO και DINOv2 . Τα πειρμαματικά αποτελέσματα δείχνουν ότι η προτεινόμενη μέθοδος υπερβαίνει σε απόδοση τόσο τις απλές, όσο και άλλες πιο περίπλοκες μεθόδους, προσφέροντας υψηλή ακρίβεια ταξινόμησης και παράλληλα χαμηλό υπολογιστικό κόστος. Ακόμα, η μέθοδος χαρακτηρίζεται από την βελτιωμένη ερμηνευσιμότητα της σε σχέση με άλλες μεθόδους, καθώς παράγει χάρτες προσοχής υψηλής ακρίβειας που οριοθετούν τα όρια των αντικειμένων των εικόνων. Επιτρέπει έτσι την βαθύτερη κατανόηση των αλληλεπιδράσεων και της σημασίας των χαρακτηριστικών, καθιστώντας την ιδιαίτερα χρήσιμη για την αξιολόγηση αυτο-επιβλεπόμενων μοντέλων. Συμπεριλαμβανομένων των υψηλών ακριβειών που προσφέρει και του χαμηλού υπολογιστικό κόστους που απαιτεί, η μέθοδος μπορεί να χρησιμοποιηθεί και σε άλλες κατάντη εργασίες, όπως η σημασιολογική τμηματοποίηση εικόνων και η ανίχνευση αντικειμένων, προσφέροντας μια ευρύτερη εφαρμογή και χρησιμότητα στο πεδίο των εφαρμογών της Όρασης Υπολογιστών.	el
heal.abstract	In this study, we propose a novel, non-linear probing method, utilizing an attention mechanism, as an alternative to traditional linear probing. The proposed method, based on SimPool, is essentially an attentive probing, as it introduces the cross-attention mechanism into the process, thereby improving the global image representation. To evaluate the method, probing experiments are conducted for image classification employing three modern, pre-trained, self-supervised models: MAE, DINO, and DINOv2. The experimental results show that our attentive probing outperforms both traditional linear probing, as well as other attentive pooling methods repurposed as attentive probing, offering high classification accuracy while maintaining low computational cost. Additionally, it is characterized by its improved interpretability compared to other methods, as it produces high-quality attention maps that delineate the boundaries of image objects. This allows for a deeper understanding of the interactions and significance of features, making it particularly useful for the evaluation of self-supervised models. Given its high accuracy and low computational requirements, the method can also be used in other downstream tasks, such as semantic segmentation and object detection, offering broader applicability and utility in the field of Computer Vision.	en
heal.advisorName	Καράντζαλος, Κωνσταντίνος	el
heal.advisorName	Karantzalos, Konstantinos	en
heal.committeeMemberName	Πατεράκη, Μαρία	el
heal.committeeMemberName	Δουλάμης, Αναστάσιος	el
heal.committeeMemberName	Pateraki, Maria	en
heal.committeeMemberName	Doulamis, Anastasios	en
heal.academicPublisher	Εθνικό Μετσόβιο Πολυτεχνείο. Σχολή Αγρονόμων και Τοπογράφων Μηχανικών. Τομέας Τοπογραφίας. Εργαστήριο Τηλεπισκόπησης	el
heal.academicPublisherID	ntua
heal.numberOfPages	75 σ.	el
heal.fullTextAvailability	false