Causal transfer learning for personalized recommendation
systems

Κόντη, Πολυξένη Ειρήνη; Konti, Polyxeni Eirini

dc.contributor.author	Κόντη, Πολυξένη Ειρήνη	el
dc.contributor.author	Konti, Polyxeni Eirini	en
dc.date.accessioned	2022-11-18T10:22:18Z
dc.date.available	2022-11-18T10:22:18Z
dc.identifier.uri	https://dspace.lib.ntua.gr/xmlui/handle/123456789/56163
dc.identifier.uri	http://dx.doi.org/10.26240/heal.ntua.23861
dc.rights	Default License
dc.subject	Εξατομικευμένο Σύστημα Συστάσεων	el
dc.subject	Ομαδοποίηση χρηστών	el
dc.subject	Συνεργατική μάθηση	el
dc.subject	Μεταφορά μάθησης	el
dc.subject	Αιτιότητα	el
dc.subject	Personalized Recommendation System	en
dc.subject	Federated Learning	en
dc.subject	Clustering	en
dc.subject	Transfer Learning	en
dc.subject	Causality	en
dc.title	Causal transfer learning for personalized recommendation systems	en
heal.type	bachelorThesis
heal.classification	Μηχανική Μάθηση	el
heal.language	el
heal.language	en
heal.access	free
heal.recordProvider	ntua	el
heal.publicationDate	2022-07-13
heal.abstract	Σε αυτή την εργασία μελετάμε ένα πρόβλημα μεταφοράς μάθησης για εξατομικευμένα συστήματα συστάσεων, που θα επιτρέπει σε διαφορετικές ομάδες χρηστών να μαθαίνουν συνεργατικά τις προτιμήσεις τους χωρίς να μοιράζονται ιδιωτικές πληροφορίες μεταξύ τους. Συγκεκριμένα, θεωρούμε έναν server που έχει πρόσβαση μόνο σε δεδομένα που προκύπτουν από την αλληλεπίδραση των χρηστών με το σύστημα και όχι από τα υπόλοιπα προσωπικά τους χαρακτηριστικά. Μοντελοποιούμε αυτό το σύστημα ως ένα Multi-armed bandit πρόβλημα (MAB) με ξεχωριστές μηχανές συστάσεως για κάθε ομάδα χρηστών. Στόχος του συστήματος είναι να προσδιορίσει τις προτιμήσεις της κάθε ομάδας χρηστών, να κατατάξει τους χρήστες στις ομάδες αυτές, και ανάλογα με την κατάταξη αυτή να τους κάνει τις κατάλληλες συστάσεις ώστε να μεγιστοποιησει την ανταμοιβή τους προς το σύστημα. Ωστόσο, λαμβάνοντας υπόψιν την απουσία γνώσης σχετικά με τα χαρακτηριστικά των ομάδων αλλα και ειδικότερα των χρηστών, γίνεται αντιληπτό ότι ο server δεν μπορεί να υπολογίσει τα πραγματικά rewards της κάθε ομάδας προς τις πιθανές συστάσεις (arms) του συστήματος. Αντ’ αυτού, κρίνεται σκόπιμος ο υπολογισμός causal bounds για το reward που προσίδει στο σύστημα το κάθε arm. Μέσω των ορίων αυτών μπορεί να γίνει μεταφορά γνώσης μεταξύ των ομάδων και να προκύψει έτσι ένας νέος causal-constrained UCB αλγόριθμος, που θα επιτρέπει σε κάθε ομάδα χρηστών να μάθει την καλύτερη επιλογή που μπορεί να της προσφέρει το σύστημα αξιοποιώντας πληροφορίες από τις υπόλοιπες ομάδες. ΄Ενα βασικό χαρακτηριστικό του αλγορίθμου μας είναι η ικανότητά του να αντιμετωπίζει σφάλματα κατά την ομαδοποίηση των χρηστών σε διαφορετικές ομάδες χρηστών, γεγονός πιθανό μιας και η ομάδα στην οποία ανήκει ο κάθε χρήστης θεωρείται πληροφορία άγνωστη στον server. Τέτοια σφάλματα μπορεί να οδηγήσουν σε user selection bias που μπορεί να επηρεάσει την διαδικασία εκμάθησης. Για να αντιμετωπίσουμε αυτήν την πρόκληση, εφαρμόζουμε μια ϵ-greedy μέθοδο, πουκειμένου τόσο να επιτραπεί η δίκαιη εξερεύνηση όων των arms του συστήματος όσο και να βελτιωθεί η ακρίβεια ομαδοποίησης κατά τη διάρκεια της εκμάθησης. Μέσω της διεξαγωγής αριθμητικών πειραμάτων αποδεικνύεται ότι ο προτεινόμενος αλγόριθμος ξεπερνά μεθόδους μάθησης που δεν λαμβάνουν υπόψη ούτε την ύπαρξη αιτιότητας (causality) στο σύστημα, αλλά ούτε και την ύπαρξη λάθους ομαδοποίησης των χρηστών του συστήματος.	el
heal.abstract	In this paper we study a transfer learning problem for personalized recommendation systems to allow distinct user groups defined by distinct preferences to learn from each other without sharing private information. Specifically, we consider a server that has access only to user-click data points but not to any other personal user attributes. We model this system as a federated multi-armed bandit (MAB) problem with distinct bandit machines for each user group associated with distinct reward functions. The goal is to learn the true user types and rewards while maximizing the user clicks by adapting the arm selection strategy. Since, in the presence of unobserved user group preferences, the server cannot compute the true click-through rates (rewards) for each user group, we instead propose to compute causal bounds on the true click-through rates that by design contain the true values. Transferring these bounds to the different user groups, we obtain a new causal-bound-constrained UCB algorithm that allows each user group to learn their best arm by taking advantage of information from other groups. A key feature of our algorithm is its ability to deal with errors in the clustering of users to different user groups, which is possible since the true user group membership is assumed unknown to the server. Such errors can result in user selection bias and, therefore, bias in the learning process. To address this challenge, we implement an ϵ-greedy method to enable fair exploration and improve clustering accuracy during learning. We present numerical experiments that demonstrate that our proposed algorithm outperforms non-causal federated learning methods that do not account for clustering errors, especially for user types that constitute the minority of a data set.	en
heal.sponsor	Υποτροφία Λεμός	el
heal.advisorName	Στάμου, Γεώργιος	el
heal.committeeMemberName	Στάμου, Γεώργιος	el
heal.committeeMemberName	Ζαβλανός, Μιχάλης	el
heal.committeeMemberName	Βουλόδημος, Αθανάσιος	el
heal.academicPublisher	Εθνικό Μετσόβιο Πολυτεχνείο. Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών. Τομέας Τεχνολογίας Πληροφορικής και Υπολογιστών	el
heal.academicPublisherID	ntua
heal.numberOfPages	62 σ.	el
heal.fullTextAvailability	false