Μεταφορά γνώσης από μεγάλα μοντέλα όρασης-γλώσσας για εντοπισμό και κατάτμηση σε δυσδιάστατη ιατρική απεικόνιση

Τριανταφύλλης, Γεώργιος; Triantafyllis, Georgios

dc.contributor.author	Τριανταφύλλης, Γεώργιος	el
dc.contributor.author	Triantafyllis, Georgios	en
dc.date.accessioned	2025-11-20T12:04:12Z
dc.date.available	2025-11-20T12:04:12Z
dc.identifier.uri	https://dspace.lib.ntua.gr/xmlui/handle/123456789/62909
dc.identifier.uri	http://dx.doi.org/10.26240/heal.ntua.30605
dc.rights	Default License
dc.subject	Ιατρική απεικόνιση	el
dc.subject	Μεγάλα μοντέλα ́Ορασης-Γλώσσας	el
dc.subject	Γειωμένη Κατάτμηση	el
dc.title	Μεταφορά γνώσης από μεγάλα μοντέλα όρασης-γλώσσας για εντοπισμό και κατάτμηση σε δυσδιάστατη ιατρική απεικόνιση	el
heal.type	bachelorThesis
heal.classification	Τεχνητή Νοημοσύνη	el
heal.language	el
heal.language	en
heal.access	free
heal.recordProvider	ntua	el
heal.publicationDate	2025-03-26
heal.abstract	Το grounded segmentation σε ιατρικές εικόνες είναι μια ιδιαίτερα απαιτητική εφαρμογή, καθώς απαιτεί σύνολα δεδομένων που αποτελούνται από εικόνες, μάσκες και κειμενικές περιγραφές για κάθε μάσκα κάτι το οποίο δε συναντάται συχνά. Για την επίλυση αυτού του προβλήματος, χρησιμοποιούμε μεγάλα μοντέλα Όρασης-Γλώσσας (LVLMs) σε συνδυασμό με ντετερμινιστικούς αλγορίθμους για την παραγωγή των κειμενικών περιγραφών για κάθε μάσκα. Όσον αφορά το grounded segmentation, αναπτύσσεται ένα σύστημα το οποίο αποτελείται από το GroundingDINO και το SAM2 ή το Med-SAM2 από τα οποία μόνο το GroundingDINO επιδέχεται περεταίρω στοχευμένη εκπαίδευση. Το σύνολο δεδομένων που θα χρησιμοποιηθεί ονομάζεται RAOS και αποτελείται από εικόνες υπολογιστικής τομογραφίας (CT) και εικόνες συνθετικής μαγνητικής τομογραφίας (synthetic MRI). Τα πειράματα που παρουσιάζονται αξιολογούν την εγκυρότητα των απαντήσεων του LVLM LLaVA-Med και τις επιδόσεις του προτεινόμενου συστήματος δοκιμάζοντας διάφορες στρατηγικές εισόδου τόσο σε παρόμοιες εικόνες όσο και σε εικόνες εκτός κατανομής συνόλου εκπαίδευσης. Τα αποτελέσματα καταδεικνύουν πως το LLaVA-Med δεν είναι αξιόπιστο για την πλήρη παραγωγή των περιγραφών των μασκών, λόγω της περιορισμένης κριτικής του ικανότητας. Επιπρόσθετα, το προτεινόμενο σύστημα παρουσιάζει ικανοποιητικές επιδόσεις σε εικόνες που ανήκουν στην ίδια κατανομή με αυτή της εκπαίδευσης, λαμβάνοντας υπόψην και τους εγγενείς περιορισμούς του.	el
heal.advisorName	Βουλόδημος, Αθανάσιος	el
heal.committeeMemberName	Βουλόδημος, Αθανάσιος	el
heal.committeeMemberName	Στάμου, Γεώριος	el
heal.committeeMemberName	Σταφυλοπάτης, Ανδρέας-Γεώργιος	el
heal.academicPublisher	Εθνικό Μετσόβιο Πολυτεχνείο. Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών	el
heal.academicPublisherID	ntua
heal.fullTextAvailability	false