Generating realistic and sparse medical image counterfactuals using StyleGAN

Λίτσος, Ιωάννης; Litsos, Ioannis

dc.contributor.author	Λίτσος, Ιωάννης	el
dc.contributor.author	Litsos, Ioannis	en
dc.date.accessioned	2025-11-24T10:40:36Z
dc.date.available	2025-11-24T10:40:36Z
dc.identifier.uri	https://dspace.lib.ntua.gr/xmlui/handle/123456789/62924
dc.identifier.uri	http://dx.doi.org/10.26240/heal.ntua.30620
dc.rights	Αναφορά Δημιουργού-Μη Εμπορική Χρήση-Όχι Παράγωγα Έργα 3.0 Ελλάδα	*
dc.rights.uri	http://creativecommons.org/licenses/by-nc-nd/3.0/gr/	*
dc.subject	XAI	en
dc.subject	Counterfactual Explanations	en
dc.subject	Generative Adversarial Networks	en
dc.subject	Medical Imaging	en
dc.subject	Adversarial Robustness	en
dc.subject	Ερμηνεύσιμη Τεχνητή Νοημοσύνη	el
dc.subject	Αντιπαραδειγματικές Εξηγήσεις	el
dc.subject	Παραγωγικά Ανταγωνιστικά Δίκτυα	el
dc.subject	Ιατρική Απεικόνιση	el
dc.subject	Ανταγωνιστική Ανθεκτικότητα	el
dc.title	Generating realistic and sparse medical image counterfactuals using StyleGAN	en
heal.type	bachelorThesis
heal.classification	Ερμηνεύσιμη Τεχνητή Νοημοσύνη	el
heal.language	en
heal.access	free
heal.recordProvider	ntua	el
heal.publicationDate	2025-03-26
heal.abstract	Deep Learning (DL) models have demonstrated great applicability in the field of medical imaging, significantly ameliorating diagnostic capabilities. However, their inherent black-box nature poses substantial ethical and practical challenges, raising concerns about their adoption. Counterfactual explanations, which provide human-interpretable insights by suggesting minimal yet meaningful modifications to input data to alter model predictions, have emerged as a promising approach to illuminate these opaque models.However,current methods for generating medical image counterfactuals exhibit critical limitations, including insufficient realism and diagnostic detail,the requirement of some form of supervision during training ,the necessity to retrain explainers for each classifier independently, and lack of sparsity in generated edits. In this thesis, we address these challenges,by creating SPRUCE (SParse Realistic and Uncoupled Counterfactual Explanations), a novel framework specifically designed for generating sparse and realistic medical image counterfactuals. SPRUCE introduces a Generative Adversarial Network (GAN)-based approach which utilizes a specialized loss function, explicitly crafted to maintain the diagnostic relevance and visual fidelity of generated images while enforcing sparsity in modifications. The framework's core advantage lies in its ability to decouple the explainer's training from the classifier's training, allowing for the independent training of a generative model that can subsequently be employed across various classifiers within the same medical imaging domain. In our extensive experimental evaluation, we employed state-of-the-art GAN architectures, particularly StyleGAN2-ADA, coupled with advanced GAN inversion methods, including encoder-based inversion and pivotal tuning, to ensure high-quality, editable latent representations. We validated SPRUCE using multiple medical imaging modalities, such as chest X-rays, OCT scans, and brain MRIs, demonstrating superior performance in terms of Fréchet Inception Distance (FID), Conditional Maximum Mean Discrepancy (CMMD), and other metrics. Furthermore,through our qualitative and quantitative analysis we find that the semantic coherence of counterfactual edits is tied to classifier robustness, positioning SPRUCE not only as an explanatory tool but also as a diagnostic mechanism to assess and improve model robustness prior to clinical deployment.	en
heal.abstract	Τα μοντέλα Βαθιάς Μάθησης έχουν εφαρμοστεί σε πολύ μεγάλο βαθμό στο πεδίο της ιατρικής απεικόνισης, βελτιώνοντας σημαντικά τις διαγνωστικές δυνατότητες. Ωστόσο, η εγγενής φύση τους ως "μαύρα κουτιά" δημιουργεί ουσιώδη ηθικά και πρακτικά ζητήματα, προκαλώντας ανησυχίες σχετικά με την ευρεία υιοθέτησή τους. Οι αντιπαραδειγματικές εξηγήσεις (counterfactual explanations), οι οποίες παρέχουν ανθρωπίνως κατανοητές πληροφορίες προτείνοντας ελάχιστες, αλλά ουσιώδεις, αλλαγές στα δεδομένα εισόδου για την αλλαγή των προβλέψεων του μοντέλου, αναδύονται ως μια πολλά υποσχόμενη μέθοδο για την επεξήγηση της λειτουργίας αυτών των συστημάτων. Παρ’ όλα αυτά, οι υπάρχουσες μέθοδοι στη βιβλιογραφία για την παραγωγή αντιπαραδειγματικών εικόνων στον τομέα της ιατρικής απεικόνισης εμφανίζουν σημαντικούς περιορισμούς, συμπεριλαμβανομένου του μειωμένου ρεαλισμού και της διαγνωστικής λεπτομέρειας των παραγόμενων εικόνων, της ανάγκης κάποιας μορφής εποπτείας κατά την εκπαίδευση του ερμηνευτή (explainer), της υποχρέωσης για επανεκπαίδευση του ερμηνευτή για κάθε ταξινομητή ξεχωριστά, καθώς και της έλλειψης αραιότητας (sparsity) στις προτεινόμενες αλλαγές. Στην παρούσα διπλωματική εργασία, αντιμετωπίζουμε αυτές τις προκλήσεις δημιουργώντας το SPRUCE (SParse Realistic Uncoupled Counterfactual Explanations), ένα νέο πλαίσιο ειδικά σχεδιασμένο για τη δημιουργία αραιών και ρεαλιστικών αντιπαραδειγματικών εικόνων στον χώρο της ιατρικής απεικόνισης. Το SPRUCE βασίζεται σε μια προσέγγιση με Παραγωγικά Ανταγωνιστικά Δίκτυα (ΠΑΔ) και αξιοποιεί μια εξειδικευμένη συνάρτηση απώλειας, η οποία είναι ειδικά σχεδιασμένη για να διατηρεί τη διαγνωστική συνάφεια και την οπτική πιστότητα των παραγόμενων εικόνων, οδηγώντας παράλληλα σε αραιές (sparse) τροποποιήσεις. Το βασικό πλεονέκτημα του συγκεκριμένου πλαισίου έγκειται στη δυνατότητα αποσύζευξης της εκπαίδευσης του ερμηνευτή από την εκπαίδευση του ταξινομητή, επιτρέποντας έτσι την χρήση ενός ΠΑΔ σε πολλαπλούς ταξινομητές που αναφέρονται σε εικόνες ίδιου τομέα ιατρικής απεικόνισης. Στην εκτεταμένη πειραματική αξιολόγησή μας, χρησιμοποιήσαμε προηγμένες αρχιτεκτονικές ΠΑΔ,και πιο συγκεκριμένα το StyleGAN2-ADA, σε συνδυασμό με εξελιγμένες μεθόδους αναστροφής ΠΑΔ (GAN inversion), συμπεριλαμβανομένης της αναστροφής μέσω κωδικοποιητή (encoder-based inversion) και της μεθόδου pivotal tuning, ώστε να εξασφαλίσουμε επεξεργάσιμες λανθάνουσες αναπαραστάσεις υψηλής ποιότητας. Εφαρμόσαμε το SPRUCE σε δεδομένα από διάφορους τομείς ιατρικής εικόνας , όπως ακτινογραφίες θώρακος, οπτικές τομογραφίες συνοχής και μαγνητικές τομογραφίες εγκεφάλου,πετυχαίνοντας ιδιαίτερα καλές επιδόσεις σε μετρικές όπως η Fréchet Inception Distance (FID) και η Conditional Maximum Mean Discrepancy (CMMD). Επιπλέον, μέσα από ποιοτική και ποσοτική ανάλυση, διαπιστώσαμε ότι η σημασιολογική συνοχή των αντιπαραδειγματικών τροποποιήσεων συνδέεται με την ευρωστία (robustness) του εκάστοτε ταξινομητή, αναδεικνύοντας έτσι το SPRUCE όχι μόνο ως ένα εργαλείο επεξήγησης αλλά και ως έναν μηχανισμό διαγνωστικής αξιολόγησης και βελτίωσης της ανθεκτικότητας των μοντέλων προτού χρησιμοποιηθούν κλινικά.	el
heal.advisorName	Βουλόδημος, Αθανάσιος	el
heal.committeeMemberName	Βουλόδημος, Αθανάσιος	el
heal.committeeMemberName	Στάμου, Γεώργιος	el
heal.committeeMemberName	Σταφυλοπάτης, Ανδρέας-Γεώργιος	el
heal.academicPublisher	Εθνικό Μετσόβιο Πολυτεχνείο. Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών. Τομέας Τεχνολογίας Πληροφορικής και Υπολογιστών	el
heal.academicPublisherID	ntua
heal.numberOfPages	162 σ.	el
heal.fullTextAvailability	false