Leveraging attention mechanism In clinical risk assessment: A framework for heterogeneous data

Χριστόπουλος, Διονύσιος; Christopoulos, Dionysios

dc.contributor.author	Χριστόπουλος, Διονύσιος	el
dc.contributor.author	Christopoulos, Dionysios	en
dc.date.accessioned	2025-01-08T09:46:56Z
dc.date.available	2025-01-08T09:46:56Z
dc.identifier.uri	https://dspace.lib.ntua.gr/xmlui/handle/123456789/60634
dc.identifier.uri	http://dx.doi.org/10.26240/heal.ntua.28330
dc.description	Εθνικό Μετσόβιο Πολυτεχνείο--Μεταπτυχιακή Εργασία. Διεπιστημονικό-Διατμηματικό Πρόγραμμα Μεταπτυχιακών Σπουδών (Δ.Π.Μ.Σ.) “Γεωπληροφορική”	el
dc.rights	Αναφορά Δημιουργού-Μη Εμπορική Χρήση-Όχι Παράγωγα Έργα 3.0 Ελλάδα	*
dc.rights.uri	http://creativecommons.org/licenses/by-nc-nd/3.0/gr/	*
dc.subject	Μελάνωμα	el
dc.subject	Μη-αρνητικά δίκτυα	el
dc.subject	Μηχανισμός προσοχής	el
dc.subject	Δυαδική ταξινόμηση	el
dc.subject	Μη-ισορροπημένα σετ δεδομένων	el
dc.subject	Melanoma	en
dc.subject	Self-attention	en
dc.subject	Non-negative	en
dc.subject	Binary classification	en
dc.subject	Class imbalance	en
dc.title	Leveraging attention mechanism In clinical risk assessment: A framework for heterogeneous data	en
dc.title	Εκτίμηση ρίσκου σε κλινικά πολυτροπικά δεδομένα με τη χρήση νευρωνικών δικτύων και μηχανισμού προσοχής	el
heal.type	masterThesis
heal.classification	Βαθιά Μηχανική Μάθηση	el
heal.classification	Deep Learning	en
heal.language	el
heal.language	en
heal.access	free
heal.recordProvider	ntua	el
heal.publicationDate	2024-07-04
heal.abstract	Στη παρούσα εργασία, πραγματοποιείται η ανάπτυξη και αξιολόγηση δύο καινοτόμων αρχιτεκτονικών βαθιάς μάθησης, για την πρόωρη εκτίμηση ρίσκου σε κλινικά δεδομένα, τα οποία περιλαμβάνουν αριθμητικά, κατηγοριοποιημένα και δεδομένα τύπου πολλαπλής επιλογής. Η πρώτη και απλούστερη αρχιτεκτονική που υλοποιήθηκε, είναι ένα πλήρως συνδεδεμένο δίκτυο, δύο επιπέδων, μη αρνητικών βαρών. Η δεύτερη και πιο σύνθετη αρχιτεκτονική αξιοποιεί τον μηχανισμό προσοχής. Ο πυρήνας της προτεινόμενης μεθόδου είναι ένας Transformer Encoder (κωδικοποιητής) με ορισμένες ιδιαιτερότητες βάσει των απαιτήσεων και προκλήσεων που εισάγουν τα κλινικά δεδομένα καθώς διαχειρίζεται με επιτυχία όλα τα πιθανά είδη δεδομένων (συνεχή, κατηγοριοποιημένα, πολλαπλής επιλογής) αλλά και χαρακτηριστικά με ελλιπείς τιμές, χωρίς να απαιτεί την αφαίρεση τους από το σετ εκπαίδευσης. Σε αυτή τη μελέτη τα μοντέλα εκπαιδεύονται και αξιολογούνται σε δύο διαφορετικά σύνολα δεδομένων, το ένα επικεντρωμένο στην ταξινόμηση μελανώματος και το άλλο σε ένα ιδιαίτερα μη ισορροπημένο σύνολο δεδομένων έρευνας από το Σύστημα Παρακολούθησης Συμπεριφορικών Παραγόντων Κινδύνου (BRFSS), που έχει προεπεξεργαστεί για την ταξινόμηση καρδιακής προσβολής/νόσου. Επιπλέον, ενσωματώνουμε μια διαδικασία προστασίας της ιδιωτικότητας, που περιλαμβάνει τεχνικές ανωνυμοποίησης και ελαχιστοποίησης, για να εξασφαλίσουμε την προστασία προσωπικών δεδομένων. Τα αποτελέσματα δείχνουν ότι τόσο το μη αρνητικό MLP όσο και το δίκτυο προσοχής βελτιώνουν σημαντικά την απόδοση των μοντέλων που προτείνονται στη βιβλιογραφία. Επιπλέον, τα βάρη προσοχής που δημιουργούνται, παρέχουν εύκολα ερμηνεύσιμες πληροφορίες, αυξάνοντας τη διαφάνεια του μοντέλου κατά τη διαδικασία λήψης αποφάσεων.	el
heal.abstract	In this study, we present two novel frameworks for clinical risk assessment utilizing heterogeneous tabular data, including numerical, categorical, and checkbox-type features. The architectures developed are a non-negative multi-layer perceptron (MLP), which enforces non-negativity constraints on all weights during training and a network that deploys the self-attention mechanism for enhanced feature interaction. This work involves training and evaluating the models on two distinct datasets, one focused on melanoma classification and the other on a highly imbalanced survey dataset from Behavioral Risk Factor Surveillance System (BRFSS), preprocessed for heart attack/disease classification. Additionally, we integrate a privacy-preserving pipeline, including anonymization and minimization techniques, to ensure personal data protection. The performance metrics indicate that both the non-negative MLP and the attentive network significantly outperform Logistic Regression, which is a widely used method in clinical risk assessment task. The attentive network, in particular, while effectively handling missing values, mitigates overfitting and demonstrates superior robustness. Furthermore, the attention weights generated, provide easily interpretable insights, enhancing the model’s transparency during decision-making process.	en
heal.advisorName	Καράντζαλος, Κωνσταντίνος	el
heal.committeeMemberName	Καράντζαλος, Κωνσταντίνος	el
heal.committeeMemberName	Karantzalos, Konstantinos	en
heal.committeeMemberName	Καραθανάση, Βασιλεία	el
heal.committeeMemberName	Karathanasi, Vasilia	en
heal.committeeMemberName	Παπουτσής, Ιωάννης	el
heal.committeeMemberName	Papoutsis, Ioannis	en
heal.academicPublisher	Εθνικό Μετσόβιο Πολυτεχνείο. Σχολή Αγρονόμων και Τοπογράφων Μηχανικών	el
heal.academicPublisherID	ntua
heal.fullTextAvailability	false