Φαινότυπος δερματικών αλλοιώσεων μέσω ένθετης πολυτροπικής αντιθετικής μάθησης

Σπανός, Σωτήριος; Spanos, Sotirios

dc.contributor.author	Σπανός, Σωτήριος	el
dc.contributor.author	Spanos, Sotirios	en
dc.date.accessioned	2025-11-24T12:23:36Z
dc.date.available	2025-11-24T12:23:36Z
dc.identifier.uri	https://dspace.lib.ntua.gr/xmlui/handle/123456789/62929
dc.identifier.uri	http://dx.doi.org/10.26240/heal.ntua.30625
dc.description	Εθνικό Μετσόβιο Πολυτεχνείο--Μεταπτυχιακή Εργασία. Διεπιστημονικό-Διατμηματικό Πρόγραμμα Μεταπτυχιακών Σπουδών (Δ.Π.Μ.Σ.) “Γεωπληροφορική”	el
dc.rights	Αναφορά Δημιουργού 3.0 Ελλάδα	*
dc.rights.uri	http://creativecommons.org/licenses/by/3.0/gr/	*
dc.subject	Melanoma	en
dc.subject	Self-supervision	en
dc.subject	Representation learning	en
dc.subject	Skin cancer	en
dc.subject	Μελάνωμα	el
dc.subject	Καρκίνος του δέρματος	el
dc.subject	Aυτοεπίβλεψη	el
dc.subject	Μάθηση αναπαράστασης	el
dc.title	Φαινότυπος δερματικών αλλοιώσεων μέσω ένθετης πολυτροπικής αντιθετικής μάθησης	el
dc.title	Skin Lesion Phenotyping via Nested Multi-modal Contrastive Learning	en
heal.type	masterThesis
heal.classification	Μηχανική μάθηση	el
heal.classification	Machine learning	en
heal.language	en
heal.access	free
heal.recordProvider	ntua	el
heal.publicationDate	2025-02-21
heal.abstract	Στην παρούσα εργασία παρουσιάζεται και αξιολογείται η υλοποίηση σύνθετης αρχιτεκτονικής για την αξιολόγηση δερματικών αλλοιώσεων (SLIMP). Η συγκεκριμένη αρχιτεκτονική έχει τέσσερις βασικούς πυρήνες οι οποίοι αποτελούν και συνεισφορά της παρούσας διπλωματικής εργασίας. Αρχικά, την χρήση αυτοεπιβλεπόμενης μάθησης και πιο συγκεκριμένα την εφαρμογή της αντιθετικής συνάρτησης κόστους σε πολυτροπικά δεδομένα. Δηλαδή, έγινε συνδυαστική χρήση κειμενικών και οπτικών (εικόνων) δεδομένων. Εκτός αυτού η προτεινόμενη μεθοδολογία αντιμετώπισε τα σύνθετα δεδομένα των ασθενών ιεραρχικά. Ουσιαστικά κάνοντας χρήση τριών διαφορετικών δικτύων κωδικοποίησης χρησιμοποιήθηκε η πληροφορία τόσο της κάθε δερματικής αλλοίωσης, σε συνδυασμό με τα μεταδεδομένα της, όσο και του συνόλου των δερματικών αλλοιώσεων ενός ασθενή με τα μεταδεδομένα του ιδίου του ασθενή. Με αυτό τον τρόπο γίνεται μια πιο ολοκληρωμένη εκτίμηση των δερματικών αλλοιώσεων του ασθενή λαμβάνοντας υπόψιν την πληροφορία αρκετά κοντά στον τρόπο που θα το αντιμετώπιζε ένας δερματολόγος. Εκτός, αυτού η χρήση συνεχής μερικής αυτοεπιβλεπόμενης εκπαίδευσης του δικτύου για νέα σετ δεδομένων που χρησιμοποιήθηκε παρείχε πολύ καλά ποσοτικά και ποιοτικά αποτελέσματα με μικρό υπολογιστικό κόστος. Τέλος, η μέθοδος ανάκτησης μεταδεδομένων από το αρχικό σετ εκπαίδευσης για σετ δεδομένων που παρέχουν μόνο εικόνες αποτέλεσε μια αρκετά υποσχόμενη και καινοτόμα συνεισφορά. Τα δίκτυα που χρησιμοποιήθηκαν για την κωδικοποίηση της πληροφορίας βασίζονται στην αρχιτεκτονική των Transformer για τα μεταδεδομένα σε πίνακα και Vision Transformers για τις εικόνες. Αυτές οι δύο αρχιτεκτονικές χρησιμοποιούν σαν βασικό μηχανισμό το μηχανισμό προσοχής. Ο τρόπος που συνδυάζονται οι δύο αρχιτεκτονικές που αφορούν το επίπεδο των αλλοιώσεων είναι αρχικά με συνένωση για τον συνδυασμό των χαρακτηριστικών που εξάγουν οι δύο κωδικοποιητές, ενώ στην συνέχεια τα συγκεκριμένα χαρακτηριστικά περνούν από ένα γραμμικό επίπεδο και ένα επίπεδο συγκέντρωσης. Με αυτό τον τρόπο μπορούν στην συνέχεια να αλληλοεπιδράσουν με την αρχιτεκτονική που αφορά το επίπεδο του ίδιου του ασθενή είτε μέσα από την συνάρτηση κόστους κατά την αυτοεπιβλεπόμενη εκπαίδευση είτε με συνένωση για την πρόβλεψη. Η συγκεκριμένη αρχιτεκτονική αξιολογήθηκε εκτενώς τόσο σε σύγκριση με την μέθοδο Simple Framework for Contrastive Learning η οποία αποτελεί μια από τις πιο ισχυρές μεθόδους αυτοεπιβλεπόμενης μάθησης, όσο και με πολλές διαφορετικές εκδοχές του εαυτού της. Αυτή η διαδικασία έγινε χρησιμοποιώντας 5 διαφορετικά σετ δεδομένων, όπου το πληρέστερο βάση κριτηρίων, κρίθηκε ως αυτό που θα χρησιμοποιηθεί για την εκμάθηση του SLIMP. Ενώ, στα υπόλοιπα τέσσερα σετ δεδομένων εφαρμόστηκε η συνεχής μερική αυτοεπιβλεπόμενη εκπαίδευση (SLIMP-C) και προέκυψαν ποσοτικά και ποιοτικά μέτρα αξιολόγησης. Βάση των αρχικών αποτελεσμάτων που παρουσιάζονται στο γίνεται αντιληπτό ότι η προτεινόμενη μέθοδος παρουσιάζει καλύτερα μετρητικά αποτελέσματα σε σχέση με τον ανταγωνισμό. Ενώ, εκτός αυτού οι χάρτες προσοχής που προέκυψαν κατά την αυτοεπιβλεπόμενη μάθηση, παρουσιάζουν χαρακτηριστικά πολύ καλής τοπικοποίσης των αλλοιώσεων γεγονός που δείχνει ότι το μοντέλο δίνει προσοχή στο σημαντικό τμήμα της εικόνας. Μεγάλο ενδιαφέρον παρουσιάζει και το στο οποίο αξιολογούνται διαφορετικές εκδοχές της προτεινόμενης αρχιτεκτονικής. Γενικότερα έγινε αξιολόγηση διαφορετικών κωδικοποιητών εικόνας αλλά και κειμένου αλλά τα αποτελέσματα δεν έδειξαν βελτίωση σε σχέση με αυτά που προέκυψαν με την βασική αρχιτεκτονική. Εκτός αυτού, αξιολογήθηκε η συνεισφορά των μεταδεδομένων στην μεθοδολογία όπου έγινε αντιληπτό ότι η χρήση της νέας πληροφορίας παρουσιάζει πολύ καλύτερα αποτελέσματα σε σχέση μόνο της χρήση των εικόνων των δερματικών αλλοιώσεων. Η τελευταία εκδοχή που αξιολογήθηκε ήταν με εισαγωγή παραμορφώσεων στις εικόνες κατά την αυτοεπιβλεπόμενη εκπαίδευση ώστε το δίκτυο να έχει καλύτερη δυνατότητα γενίκευσης παρόλα αυτά τα αποτελέσματα ήταν ίδια με την αρχική έκδοση. Συνολικά, η παρούσα εργασία έδειξε πολύ καλά ποιοτικά και ποσοτικά αποτελέσματα προάγοντας την καινοτομία και την εισαγωγή νέων ιδεών για την αξιολόγηση δερματικών αλλοιώσεων, μελλοντικά υπάρχουν ακόμα αρκετές βελτιώσεις και προσθήκες που θα μπορούσαν να αξιολογηθούν όπως είναι η επίλυση περισσότερων προβλημάτων όπως είναι η κατάτμηση, η ανάκτηση και η ταξινόμηση πολλών διαφορετικών κλάσεων αλλοιώσεων.	el
heal.abstract	We introduce SLIMP (Skin Lesion Image-Metadata Pretraining) for learning rich representations of skin lesions through nested contrastive image-metadata pre-training. Melanoma detection and skin lesion classification based solely on images, pose significant challenges due to large variations in imaging conditions (lighting, resolution, distance, etc.) and lack of clinical and phenotypical context. Clinicians typically follow a holistic approach both for assessing the risk level of the patient overall and for classifying lesions by taking into account the patient medical history and the appearance of other lesions on the patient skin. Inspired by this, SLIMP combines the appearance and the metadata of individual skin lesions with patient-level metadata relating to their medical record and other clinically relevant information. The proposed pre-training strategy improves performance with respect to other pre-training strategies on downstream skin lesions classification tasks, highlighting the efficiency and the generalization ability of the learned representations.	en
heal.advisorName	Καράντζαλος, Κωνσταντίνος	el
heal.committeeMemberName	Καράντζαλος, Κωνσταντίνος	el
heal.committeeMemberName	Πατεράκη, Μαρία	el
heal.committeeMemberName	Παπουτσής, Ιωάννης	el
heal.academicPublisher	Εθνικό Μετσόβιο Πολυτεχνείο. Σχολή Αγρονόμων και Τοπογράφων Μηχανικών.	el
heal.academicPublisherID	ntua
heal.numberOfPages	79 σ.	el
heal.fullTextAvailability	false