Unsupervised scene graph retrieval using graph autoencoders

Chaidos, Nikolaos; Χάιδος, Νικόλαος

dc.contributor.author	Chaidos, Nikolaos	en
dc.contributor.author	Χάιδος, Νικόλαος	el
dc.date.accessioned	2024-04-15T10:57:23Z
dc.date.available	2024-04-15T10:57:23Z
dc.identifier.uri	https://dspace.lib.ntua.gr/xmlui/handle/123456789/59191
dc.identifier.uri	http://dx.doi.org/10.26240/heal.ntua.26887
dc.rights	Αναφορά Δημιουργού - Παρόμοια Διανομή 3.0 Ελλάδα	*
dc.rights.uri	http://creativecommons.org/licenses/by-sa/3.0/gr/	*
dc.subject	Graph neural networks	en
dc.subject	Counterfactual explanations	en
dc.subject	Graph similarity	en
dc.subject	Graph autoencoders	en
dc.subject	Scene graphs	en
dc.subject	Νευρωνικά δίκτυα γράφων	el
dc.subject	Εξηγήσεις με αντιπαραδείγματα	el
dc.subject	Ομοιότητα γραφημάτων	el
dc.subject	Αυτο-κωδικοποιητές γράφων	el
dc.subject	Γράφοι σκηνής	el
dc.title	Unsupervised scene graph retrieval using graph autoencoders	en
heal.type	bachelorThesis
heal.classification	Artificial Intelligence	en
heal.language	el
heal.language	en
heal.access	free
heal.recordProvider	ntua	el
heal.publicationDate	2023-10-26
heal.abstract	Graph Neural Networks (GNNs) have emerged as a key model in the field of machine learning because of their unique ability to handle data structured as graphs. Unlike traditional data representations, graphs capture complex relationships and dependencies between entities, which is often found in a wide range of fields such as social networks, molecular chemistry, recommender systems and others. GNNs excel at modeling these complex interactions, allowing for increased prediction accuracy and better understanding of various structures. One of the most important and traditional problems in graph theory is Graph Similarity, i.e., quantifying the comparison of two graphs. To solve this problem, approximate algorithms for finding Graph Edit Distance (GED) are used, as well as more classical methods such as Graph Kernels. Furthermore, GNNs can be used to provide Counterfactual Explanations, therefore interpreting the differences among the several classes of the dataset. With the retrieved graphs, we have access to the Counterfactual Object, which is the first retrieved graph that doesn't belong to the same class as the query graph. With the Counterfactual Object, we can extract meaningful changes needed to be made to the graph, in order to find the minimum differences of the object classes. In this thesis, we will tackle the Graph Similarity problem using Graph Neural Networks. The dataset consists of Scene Graphs, i.e., graphs which semantically represent a corresponding image. By encoding graph structures into high-dimensional embeddings, GNNs allow quantifying the similarity between graphs, enabling efficient graph matching and clustering tasks. Their ability to adapt and generalize to different graph domains makes GNNs a flexible and promising approach to address the problem of Graph Similarity, offering new insights and solutions in areas where understanding the underlying relationships within complex networks is essential. In particular, we will use a sub-class of unsupervised GNNs, called Graph Auto-encoders, which aim to successfully reconstruct input graphs by embedding them in higher dimensional spaces. The main advantage of architectures based on Autoencoders, is the speed-up of the Training of the models, when compared to supervised approaches. Several variants of the basic Graph Auto-encoder are tested, and compared with the five predominant Graph Kernels. The purpose of all the above models is to approximate the results given by the Graph Edit Distance algorithm, which is quite difficult to compute, and much more time consuming. The results are evaluated both at quantitative level, using three metrics to evaluate graph retrieval, and at qualitative level, by plotting the images corresponding to the graphs in the dataset. Ultimately, Graph Auto-encoders have the ability to better approximate the GED algorithm, compared to Graph Kernels, while also producing graph embeddings, which can be useful in several other problems.	en
heal.abstract	Τα Νευρωνικά Δίκτυα Γράφων (ΝΔΓ) έχουν αναδειχθεί ως ένα βασικό μοντέλο στον τομέα της μηχανικής μάθησης, λόγω της μοναδικής τους ικανότητας να χειρίζονται δεδομένα δομημένα ως γραφήματα. Σε αντίθεση με τις παραδοσιακές αναπαραστάσεις δεδομένων, οι γράφοι αποτυπώνουν περίπλοκες σχέσεις και εξαρτήσεις μεταξύ των οντοτήτων, κάτι που εντοπίζεται συχνά σε ένα ευρύ φάσμα τομέων, όπως τα κοινωνικά δίκτυα, η μοριακή χημεία, τα συστήματα συστάσεων και άλλα. Τα ΝΔΓ υπερέχουν στη μοντελοποίηση αυτών των πολύπλοκων αλληλεπιδράσεων, επιτρέποντας αυξημένη ακρίβεια πρόβλεψης και καλύτερη κατανόηση των διαφόρων δομών. Ένα από τα πιο σημαντικά και παραδοσιακά προβλήματα στην θεωρία των γράφων, είναι η Ομοιότητα Γραφημάτων, δηλαδή η ποσοτικοποίηση της σύγκρισης δύο γράφων. Για την επίλυση αυτού του προβλήματος, χρησιμοποιούνται προσεγγιστικοί αλγόριθμοι εύρεσης Απόστασης Επεξεργασίας Γράφων, αλλά και πιο κλασσικές μέθοδοι, όπως Πυρήνες Γράφων. Επιπλέον, τα ΝΔΓ μπορούν να χρησιμοποιηθούν για την παροχή Εξηγήσεων μέσω Αντιπαραδειγμάτων, ερμηνεύοντας έτσι τις διαφορές μεταξύ των κατηγοριών του συνόλου δεδομένων. Με τους ανακτηθέντες γράφους, έχουμε πρόσβαση στο αντικείμενο που αντιπροσωπεύει το κύριο Αντιπαράδειγμα, το οποίο είναι ο πρώτος ανακτηθείς γράφος που δεν ανήκει στην ίδια κλάση με τον γράφο του ερωτήματος. Με τον γράφο Αντιπαράδειγμα, μπορούμε να εξάγουμε τις ουσιαστικές αλλαγές που πρέπει να γίνουν στο γράφημα, προκειμένου να βρούμε τις ελάχιστες διαφορές των κλάσεων των αντικειμένων. Σε αυτήν την διατριβή, θα αντιμετωπίσουμε το πρόβλημα της Ομοιότητας Γραφημάτων, χρησιμοποιώντας Νευρωνικά Δίκτυα Γράφων. Το συνολό δεδομένων αποτελείται από Γράφους Σκηνής, δηλαδή γράφους οι οποίοι απεικονίζουν σημασιολογικά μία αντίστοιχη εικόνα. Κωδικοποιώντας τις δομές των γραφημάτων σε υψηλής διάστασης ενθετικές αναπαραστάσεις, τα ΝΔΓ ποσοτικοποιούν την ομοιότητα μεταξύ των γραφημάτων, επιτρέποντας την αποτελεσματική αντιστοίχιση γραφημάτων αλλά και γενικότερες εργασίες συσταδοποίησης. Η ικανότητά τους να προσαρμόζονται και να γενικεύονται σε διαφορετικούς τομείς γράφων καθιστά τα ΝΔΓ μια ευέλικτη και πολλά υποσχόμενη προσέγγιση για την αντιμετώπιση του προβλήματος της Ομοιότητας Γραφημάτων, προσφέροντας νέες ιδέες και λύσεις σε τομείς όπου η κατανόηση των υποκείμενων σχέσεων μέσα σε πολύπλοκα δίκτυα είναι απαραίτητη. Συγκεκριμένα, θα χρησιμοποιηθεί μία υπό-κατηγορία μη-επιβλεπόμενων ΝΔΓ, οι Αυτο-κωδικοποιητές Γράφων, οι οποίοι έχουν ως σκοπό την επιτυχής ανακατασκευή των γράφων εισόδου, ενσωματώνοντάς τους σε χώρους υψηλότερων διαστάσεων. Το κύριο πλεονέκτημα των αρχιτεκτονικών που βασίζονται σε Αυτο-κωδικοποιητές είναι η επιτάχυνση της εκπαίδευσης των μοντέλων σε σύγκριση με τις προσεγγίσεις που υλοποιούν Επιβλεπόμενη Μάθηση. Δοκιμάζονται αρκετές παραλλαγές του βασικού Αυτο-κωδικοποιητή Γράφων, και συγκρίνονται με τους πέντε επικρατέστερους Πυρήνες Γράφων. Ο σκοπός όλων των παραπάνω μοντέλων είναι να προσεγγίσουν τα αποτελέσματα που δίνει ο αλγόριθμος εύρεσης Απόστασης Επεξεργασίας Γράφων, ο οποίος είναι αρκετά δύσκολος στον υπολογισμό, και πολύ πιο χρονοβόρος. Η αξιολόγηση των αποτελεσμάτων γίνεται τόσο σε ποσοτικό επίπεδο, με χρήση τριών μετρικών για την αξιολόγηση της ανάκτησης γράφων, όσο και σε ποιοτικό επίπεδο, με την απεικόνιση των εικόνων που αντιστοιχούν στους γράφους του συνόλου δεδομένων. Εν τέλει, οι Αυτο-κωδικοποιητές Γράφων έχουν την ικανότητα να προσεγγίσουν καλύτερα τον αλγόριθμο εύρεσης Απόστασης Επεξεργασίας Γραφήματος, σε σύγκριση με τους Πυρήνες Γράφων, ενώ παράλληλα παράγουν και ενθετικές αναπαραστάσεις των γραφημάτων, οι οποίες μπορούν να χρησιμεύσουν σε αρκετά ακόμα προβλήματα.	el
heal.advisorName	Stamou, Giorgos	en
heal.committeeMemberName	Στάμου, Γεώργιος	el
heal.committeeMemberName	Βουλόδημος, Αθανάσιος	el
heal.committeeMemberName	Βαζιργιάννης, Μιχάλης	el
heal.academicPublisher	Εθνικό Μετσόβιο Πολυτεχνείο. Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών. Τομέας Τεχνολογίας Πληροφορικής και Υπολογιστών	el
heal.academicPublisherID	ntua
heal.numberOfPages	140 σ.	el
heal.fullTextAvailability	false