Analysis of Deep Federated Learning on Early Prediction of ICU Mortality Risk

Γεωργούτσος, Αθανάσιος; Georgoutsos, Athanasios

dc.contributor.author	Γεωργούτσος, Αθανάσιος	el
dc.contributor.author	Georgoutsos, Athanasios	en
dc.date.accessioned	2023-09-28T08:36:45Z
dc.date.available	2023-09-28T08:36:45Z
dc.identifier.uri	https://dspace.lib.ntua.gr/xmlui/handle/123456789/58104
dc.identifier.uri	http://dx.doi.org/10.26240/heal.ntua.25801
dc.rights	Αναφορά Δημιουργού-Μη Εμπορική Χρήση-Όχι Παράγωγα Έργα 3.0 Ελλάδα	*
dc.rights.uri	http://creativecommons.org/licenses/by-nc-nd/3.0/gr/	*
dc.subject	Ομοσπονδιακή Μάθηση	el
dc.subject	Βαθιά Νευρωνικά Δίκτυα	el
dc.subject	Μηχανική Μάθηση	el
dc.subject	Ιδιωτικότητα	el
dc.subject	Πρόβλεψη Θνησιμότητας	el
dc.subject	Federated Learning	en
dc.subject	Deep Neural Networks	en
dc.subject	Machine Learning	en
dc.subject	Privacy	en
dc.subject	Mortality Prediction	en
dc.title	Analysis of Deep Federated Learning on Early Prediction of ICU Mortality Risk	en
dc.title	Ανάλυση της Χρήσης Βαθιάς Ομοσπονδιακής Μάθησης για Έγκαιρη Πρόβλεψη του Κινδύνου Θνησιμότητας στη ΜΕΘ	el
dc.contributor.department	Τομέας Τεχνολογίας Πληροφορικής και Υπολογιστών	el
heal.type	bachelorThesis
heal.classification	Machine Learning	en
heal.classification	Μηχανική Μάθηση	el
heal.language	el
heal.language	en
heal.access	free
heal.recordProvider	ntua	el
heal.publicationDate	2023-07-04
heal.abstract	In the technological age, vast amounts of data are being generated continuously, holding information that could significantly improve various aspects of everyday life, if effectively utilized with machine learning techniques. However, traditional centralized machine learning approaches are subject to privacy and security concerns, which impede the development of robust, generalizable models. Federated learning is a novel approach in the field of machine learning, which addresses the aforementioned issues by allowing multiple parties to collaboratively train a machine learning algorithm without exchanging their local data. One domain that could be significantly benefited from the advancement of federated learning is healthcare, where data from multiple medical institutions cannot be centralized due to patient privacy. In this thesis, we investigate the application of state-of-the-art federated learning (FL) algorithms on the early prediction of ICU mortality risk. More specifically, we focus on utilizing the rich temporal dynamics of vital signs and laboratory results, in the form of multivariate time series, from the first 24 hours of an ICU stay to estimate the mortality risk in the following 48 hours. Our data originates from multiple hospitals across the US between 2014 and 2015, therefore allowing us to recreate a realistic, multi-center federated environment. In order to gain an insight into the FL framework, with regard to this task, we design a series of experimental scenarios. Our aim is to explore the generalizability and integration of different deep recurrent neural network (RNN) models with FL, the sensitivity of different FL algorithms in the presence of heterogeneous local data distributions and the effect of individual hospitals on the development of a FL model. We compare our FL models with reference to the centralized machine learning (CML) and local machine learning (LML) approaches. Our results indicate that, in settings with non-IID datasets, the FL models are superior to the privacy-preserving LML models, in terms of AUROC, AUPRC and F1-Score, while they perform slightly worse, in general, than the CML models. Then, depending on the characteristics of the FL participants, in relation to data size and class representation, certain FL algorithms exhibit better suitability for specific scenarios. Moreover, hospitals with both smaller and larger datasets may improve the models' performance on their local data, by participating in FL model training.	en
heal.abstract	Τα τελευταία χρόνια, τεράστιες ποσότητες δεδομένων παράγονται με ραγδαίο ρυθμό, περιέχοντας πληροφορίες που θα μπορούσαν να βελτιώσουν σημαντικά διάφορες πτυχές της καθημερινής ζωής, εάν αξιοποιηθούν αποτελεσματικά με τεχνικές μηχανικής μάθησης. Ωστόσο, η κεντρική μηχανική μάθηση συχνά υπόκειται σε προβλήματα ιδιωτικότητας και ασφάλειας, που εμποδίζουν την ανάπτυξη ισχυρών μοντέλων. Η ομοσπονδιακή μάθηση είναι μια νέα προσέγγιση στο πεδίο της μηχανικής μάθησης, η οποία αντιμετωπίζει αυτά τα ζητήματα επιτρέποντας σε διάφορους φορείς να εκπαιδεύσουν συνεργατικά έναν αλγόριθμο χωρίς την ανταλλαγή των τοπικών τους δεδομένων. Μεταξύ άλλων, ο τομέας της υγείας θα μπορούσε να επωφεληθεί σημαντικά από την ομοσπονδιακή μάθηση, καθώς τα δεδομένα από διάφορα κέντρα υγείας δεν μπορούν να συγκεντρωθούν λόγω του απορρήτου των ασθενών. Στην παρούσα διπλωματική εργασία, μελετάμε τη χρήση προηγμένων αλγορίθμων ομοσπονδιακής μάθησης για την έγκαιρη πρόβλεψη του κινδύνου θνησιμότητας στη ΜΕΘ. Συγκεκριμένα, επικεντρωνόμαστε στη χρήση των μετρήσεων ζωτικών ενδείξεων και των εργαστηριακών εξετάσεων, σε μορφή πολυμεταβλητών χρονοσειρών, από τις πρώτες 24 ώρες παραμονής στη ΜΕΘ για να εκτιμήσουμε το ρίσκο θνησιμότητας κατά τις επόμενες 48 ώρες. Τα δεδομένα μας προέρχονται από νοσοκομεία των ΗΠΑ μεταξύ 2014 και 2015, επιτρέποντάς μας να κατασκευάσουμε ένα ρεαλιστικό ομοσπονδιακό περιβάλλον. Για να αποκτήσουμε μια καλύτερη κατανόηση της ομοσπονδιακής μάθησης, σε σχέση με αυτό το πρόβλημα, σχεδιάζουμε μια σειρά πειραματικών σεναρίων. Στόχος μας είναι να εξερευνήσουμε τη γενικευσιμότητα και την ενσωμάτωση διαφορετικών μοντέλων αναδρομικών νευρωνικών δικτύων βαθιάς μάθησης στο πλαίσιο της ομοσπονδιακής μάθησης, την ευαισθησία διαφορετικών αλγορίθμων σε ανομοιόμορφες κατανομές των τοπικών δεδομένων και τη συνεισφορά συγκεκριμένων νοσοκομείων στην ανάπτυξη ενός μοντέλου ομοσπονδιακής μάθησης. Τα αποτελέσματά μας υποδεικνύουν ότι τα μοντέλα ομοσπονδιακής μάθησης παρουσιάζουν καλύτερες επιδόσεις από τα τοπικά μοντέλα και ελαφρώς χειρότερες επιδόσεις από τα μοντέλα κεντρικής μηχανικής μάθησης. Στη συνέχεια, ανάλογα με το μέγεθος και την κατανομή των δεδομένων των συνεργαζόμενων φορέων, ορισμένοι αλγόριθμοι ομοσπονδιακής μάθησης είναι πιο αποτελεσματικοί σε συγκεκριμένα σενάρια. Επιπλέον, νοσοκομεία διαφορετικού μεγέθους μπορούν να συμβάλλουν στη βελτίωση της επίδοση των προγνωστικών μοντέλων πάνω στα τοπικά δεδομένα τους, συμμετέχοντας στην εκπαίδευσή τους.	el
heal.advisorName	Καντερέ, Βασιλική	el
heal.committeeMemberName	Τσουμάκος, Δημήτριος	el
heal.committeeMemberName	Παπαβασιλείου, Συμεών	el
heal.academicPublisher	Εθνικό Μετσόβιο Πολυτεχνείο. Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών. Τομέας Τεχνολογίας Πληροφορικής και Υπολογιστών	el
heal.academicPublisherID	ntua
heal.numberOfPages	127 σ.	el
heal.fullTextAvailability	false