Optimization of distributed learning methods

Ταγαράκης, Κωνσταντίνος; Tagarakis, Konstantinos

dc.contributor.author	Ταγαράκης, Κωνσταντίνος	el
dc.contributor.author	Tagarakis, Konstantinos	en
dc.date.accessioned	2023-05-15T11:18:53Z
dc.date.available	2023-05-15T11:18:53Z
dc.identifier.uri	https://dspace.lib.ntua.gr/xmlui/handle/123456789/57712
dc.identifier.uri	http://dx.doi.org/10.26240/heal.ntua.25409
dc.rights	Default License
dc.subject	Τεχνητή Νοημοσύνη	el
dc.subject	Μηχανική Μάθηση	el
dc.subject	Κατανεμημένη Μάθηση	el
dc.subject	Βελτιστοποίηση	el
dc.subject	Προσομοίωση	el
dc.subject	Machine Learning	en
dc.subject	Federated Learning	en
dc.subject	Non-IID	en
dc.subject	Simulation	en
dc.subject	Artificial Intelligence	en
dc.title	Optimization of distributed learning methods	en
dc.title	Βελτιστοποίηση μεθόδων κατανεμημένης μάθησης	el
heal.type	bachelorThesis
heal.classification	Computer Science	en
heal.language	el
heal.language	en
heal.access	free
heal.recordProvider	ntua	el
heal.publicationDate	2023-03-27
heal.abstract	From medical imaging to predictive analytics, more and more applications nowadays are based on Artificial Intelligence-Machine Learning (AI/ML), to address complex problems. Although powerful, AI/ML techniques require enormous amounts of data in order to be trained. During the last decade, increasing privacy concerns require the authorities to restrict the use and transfer of data generated by individuals. At the same time, the massive stream of data produced and transmitted by the IoT (Internet of Things) devices can lead to network overload, increased demand for storage capacity and computational power. As the traditional approach of centralized machine learning (CL) struggles under these circumstances, the paradigm of Federated Learning (FL) emerges as an alternative. Unlike CL where the data processing task (training) occurs in a centralized entity (e.g. cloud server), in FL it is offloaded to the client devices (e.g. smartphones) and the central entity is only responsible to aggregate the produced local models. This approach tackles the above challenges but new ones come together. One major challenge is the bias that the client introduces which leads to a suboptimal model compared to a centralized approach. The aim of this thesis is to investigate the problem of bias in FL environments focusing on its impact on the model performance. On top, we present FedLoss, a novel bias mitigation algorithm, which is benchmarked in our dedicated Federated Learning simulation environment.	en
heal.abstract	Είναι γνωστό ότι η πρόσφατη πρόοδος στον τομέα της μηχανικής μάθησης οφείλεται στον μεγάλο όγκο των διαθέσιμων δεδομένων. Ωστόσο, τα τελευταία χρόνια οι αυξανόμενες ανησυχίες για την προστασία των προσωπικών δεδομένων ώθησαν τις αρχές να περιορίσουν τη χρήση και τη διαβίβαση των δεδομένων που παράγονται από φυσικά πρόσωπα. Ταυτόχρονα, η μαζική ροή δεδομένων που παράγεται από το Διαδίκτυο των Πραγμάτων (Internet of Things-IoT) μπορεί να οδηγήσει σε υπερφόρτωση του δικτύου και σε αυξημένες ανάγκες για αποθηκευτική ικανότητα και υπολογιστική ισχύ. Καθώς η παραδοσιακή προσέγγιση της κεντρικοποιημένης μηχανικής μάθησης καταρρέει υπό αυτές τις συνθήκες, αναδύεται το μοντέλο της ομοσπονδιακής μηχανικής μάθησης (Federated Learning). Η κεντρική ιδέα της ομοσπονδιακής μάθησης είναι να μεταφερθεί η διαδικασία εκπαίδευσης στις τερματικές συσκευές των χρηστών, να εκπαιδευτούν πολλαπλά τοπικά μοντέλα και να παραχθεί ένα συνολικό μοντέλο από τον συνδυασμό τους. Η προσέγγιση αυτή αντιμετωπίζει τις παραπάνω προκλήσεις, αλλά νέες αναδύονται. Μια σημαντική πρόκληση που προκύπτει είναι η μεροληψία (bias) που εισάγουν οι τερματικές συσκευές η οποία οδηγεί σε ένα μη βέλτιστο μοντέλο σε σύγκριση με την παραδοσιακή κεντρικοποιημένη προσέγγιση (non identically and independently distributed data - non-iidness). Σκοπός της παρούσας διπλωματικής εργασίας είναι η διερεύνηση των βασικών αρχών του μοντέλου της ομοσπονδιακής μάθησης και της προαναφερθείσας μεγάλης πρόκλησης που το συνοδεύει. Τέλος, προτείνουμε έναν αλγόριθμο που μετριάζει αυτό το πρόβλημα και τον αξιολογούμε πραγματοποιώντας πειράματα σε ένα προσομοιωμένο περιβάλλον.	el
heal.advisorName	Τσανάκας, Παναγιώτης	el
heal.advisorName	Tsanakas, Panayiotis	en
heal.committeeMemberName	Τσανάκας, Παναγιώτης	el
heal.committeeMemberName	Tsanakas, Panayiotis	en
heal.committeeMemberName	Ματσόπουλος, Γεώργιος	el
heal.committeeMemberName	Σταφυλοπάτης, Ανδρέας-Γεώργιος	el
heal.committeeMemberName	Matsopoulos, George	en
heal.committeeMemberName	Stafylopatis, Andreas-Georgios	en
heal.academicPublisher	Εθνικό Μετσόβιο Πολυτεχνείο. Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών. Τομέας Τεχνολογίας Πληροφορικής και Υπολογιστών	el
heal.academicPublisherID	ntua
heal.numberOfPages	66 σ.	el
heal.fullTextAvailability	false