Scene graph retrieval for counterfactual explanations using graph neural networks

Dimitriou, Angeliki; Δημητρίου, Αγγελική

dc.contributor.author	Dimitriou, Angeliki	en
dc.contributor.author	Δημητρίου, Αγγελική	el
dc.date.accessioned	2023-01-23T11:00:28Z
dc.date.available	2023-01-23T11:00:28Z
dc.identifier.uri	https://dspace.lib.ntua.gr/xmlui/handle/123456789/56827
dc.identifier.uri	http://dx.doi.org/10.26240/heal.ntua.24525
dc.rights	Αναφορά Δημιουργού - Μη Εμπορική Χρήση - Παρόμοια Διανομή 3.0 Ελλάδα	*
dc.rights.uri	http://creativecommons.org/licenses/by-nc-sa/3.0/gr/	*
dc.subject	Νευρωνικά Δίκτυα Γράφων	el
dc.subject	Ομοιότητα Γραφημάτων	el
dc.subject	Ανάκτηση Γραφήματος	el
dc.subject	Γράφοι Σκηνής	el
dc.subject	Εξηγήσεις με Αντιπαράδειγμα	el
dc.subject	Graph Neural Networks	en
dc.subject	Graph Similarity	en
dc.subject	Graph Retrieval	en
dc.subject	Scene Graphs	en
dc.subject	Counterfactual Explanations	en
dc.title	Scene graph retrieval for counterfactual explanations using graph neural networks	en
heal.type	bachelorThesis
heal.classification	Μηχανική Μάθηση	el
heal.classification	Explainable AI	en
heal.language	en
heal.access	free
heal.recordProvider	ntua	el
heal.publicationDate	2022-10-19
heal.abstract	Οι Εξηγήσεις με Αντιπαράδειγμα παρέχουν αιτολογία πίσω από την απόφαση ενός μοντέλου να κάνει μια διαφορετική πρόβλεψη, προτείνοντας τις αλλαγές που πρέπει να γίνουν. ΄Οταν το εν λόγω μοντέλο είναι ταξινομητής μαύρου-κουτιού και η είσοδος αποτελείται από εικόνες, για να απαντηθεί πώς μια οντότητα πρέπει να τροποποιηθεί με ελάχιστο τρόπο ώστε να ταξινομηθεί διαφορετικά, απαιτείται να βρεθεί η πιο παρόμοια εικόνα που ανήκει σε άλλη κατηγορία. ΄Ενας σημασιολογικά πλούσιος τρόπος για την επίτευξη αυτού, δίνοτας ταυτόχρονα βάση στις αλληλεπιδράσεις μεταξύ των απεικονιζόμενων αντικειμένων, είναι η σύγκριση των αντίστοιχων γραφημάτων σκηνής των εικόνων, δηλαδή γραφημάτων που περιγράφουν τα αντικείμενα σε μια σκηνή και πώς αυτά σχετίζονται μεταξύ τους. Το πρόβλημα της Ομοιότητας Γραφημάτων ή της Αντιστοίχισης Γραφημάτων με Ανεκτικότητα σε Σφάλματα έχει αντιμετωπιστεί κατά τη διάρκεια των χρόνων χρησιμοποιώντας μετρικές όπως η Απόσταση Επεξεργασίας Γραφήματος (ΑΕΓ) ή μεθόδους όπως οι Πυρήνες Γράφων. Σε αυτή τη διατριβή, προτείνουμε τη χρήση των πρόσφατα ακμάζων μοντέλων βαθιάς μάθησης που λειτουργούν ειδικά σε δεδομένα δομημένα σε γράφους, που ονομάζονται Νευρωνικά Δίκτυα Γράφων (ΝΔΓ). Παρουσιάζουμε ένα πλαίσιο ΝΔΓ που λαμβάνει ζεύγη γραφημάτων ως είσοδο και ενσωματώνει κάθε μέλος σε ένα χώρο που αντιστοιχίζει παρόμοια γραφήματα πιο κοντά με βάση τη μετρική που χρησιμοποιείται κατά την εκπαίδευση ως σήμα εποπτείας. Εκπαιδεύουμε αυτό το μοντέλο σε ένα μικρό υποσύνολο ζευγών γράφων χρησιμοποιώντας την ΑΕΓ ως ετικέτα και εξάγουμε ενσωματώσεις γράφων που μπορούν να συγκριθούν μεταξύ τους χρησιμοποιώντας απλές μετρικές όπως η ομοιότητα συνημιτόνου. Επομένως, παράγονται ταξινομήσεις παρόμοιων γραφημάτων για κάθε δείγμα του συνόλου δεδομένων και μπορεί να προσδιοριστεί η καλύτερη αντιστοίχιση. Κατά τη διάρκεια του πειραματισμού, είμαστε σε θέση να χρησιμοποιήσουμε πολλές διαφορετικές παραλλαγές συνελικτικών ΝΔΓ και να βγάλουμε σημαντικά συμπεράσματα σχετικά με την αποτελεσματικότητα και την εκφραστικότητά τους. Τα μοντέλα ΝΔΓ συγκρίνονται τόσο μεταξύ τους όσο και με μεθόδους πυρήνα γράφων και αξιολογούνται ποσοτικά, χρησιμοποιώντας έναν προσεγγιστικό αλγόριθμο ΑΕΓ ως βασική αλήθεια, και ποιοτικά με παρατήρηση αντίστοιχων εικόνων. Τα μοντέλα μας είναι σε θέση να ξεπεράσουν τις προηγουμένως χρησιμοποιούμενες μεθόδους πυρήνα και στις δύο περιπτώσεις και να παράγουν ενσωματώσεις που είναι ωφέλιμες για τη δημιουργία εξηγήσεων με αντιπαράδειγμα και δυνητικά εφαρμόσιμες σε πολλά άλλα προβλήματα.	el
heal.abstract	Counterfactual explanations provide reasoning in the form of changes needed to be made in order for a model to make a different decision. When the model in question is a black-box classifier and the input consists of images, to answer how an instance should be modified in a minimal way so as to be classified differently, one is required to find the most similar image in the other category. A semantically meaningful way to do that, while simultaneously attending to the interactions between depicted objects, is by comparing the images’ corresponding scene graphs, i.e. graphs which describe object instances in a scene and how they relate to each other. The problem of Graph Similarity or Error-tolerant Graph Matching has been tackled throughout the years by measures like Graph Edit Distance (GED) or methods like Graph Kernels. In this thesis, we propose using the recently thriving deep learning models which specifically operate on graph structured data, called Graph Neural Networks (GNN). We present a GNN framework which takes graph pairs as input and embeds each counterpart in a space which maps more similar graphs closer based on the metric used during training as a supervision signal. We train this model on a small subset of graph pairs using GED as their label and extract graph embeddings which can be compared to one another using simple metrics like cosine similarity. Therefore, rankings of similar graphs are produced for each instance in the dataset and the best match can be determined. During experimentation, we are able to utilize several different convolutional GNN variants and draw important conclusions about their effectiveness and expressivity. The GNN models are compared to each other and to graph kernel methods and evaluated both quantitatively, using an approximate GED algorithm as the ground truth, as well as qualitatively by observing corresponding images. Our models are able to outperform the previously used kernel methods in both cases and produce embeddings which are beneficial for creating counterfactual explanations and potentially applicable to many other tasks.	en
heal.advisorName	Στάμου, Γεώργιος	el
heal.committeeMemberName	Στάμου, Γεώργιος	el
heal.committeeMemberName	Βαζιργιάννης, Μιχάλης	el
heal.committeeMemberName	Βουλόδημος, Αθανάσιος	el
heal.academicPublisher	Εθνικό Μετσόβιο Πολυτεχνείο. Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών. Τομέας Τεχνολογίας Πληροφορικής και Υπολογιστών	el
heal.academicPublisherID	ntua
heal.numberOfPages	107 σ.	el
heal.fullTextAvailability	false