Υλοποίηση ελεγκτή κλειστού συστήματος ελέγχου γλυκόζης με χρήση αλγορίθμων βαθιάς ενισχυτικής μάθησης

Τσολίσου, Δάφνη; Tsolisou, Dafni

dc.contributor.author	Τσολίσου, Δάφνη	el
dc.contributor.author	Tsolisou, Dafni	en
dc.date.accessioned	2020-05-07T08:58:53Z
dc.date.available	2020-05-07T08:58:53Z
dc.identifier.uri	https://dspace.lib.ntua.gr/xmlui/handle/123456789/50410
dc.identifier.uri	http://dx.doi.org/10.26240/heal.ntua.18108
dc.rights	Αναφορά Δημιουργού-Μη Εμπορική Χρήση-Όχι Παράγωγα Έργα 3.0 Ελλάδα	*
dc.rights.uri	http://creativecommons.org/licenses/by-nc-nd/3.0/gr/	*
dc.subject	Τεχνητό πάγκρεας	el
dc.subject	Διαβήτης τύπου ένα	el
dc.subject	Βαθιά ενισχυτική μάθηση	el
dc.subject	Προσομοιωτής UVA-PADOVA S2008	el
dc.subject	Artificial pancreas	el
dc.subject	DQN	en
dc.subject	UVA/Padova simulator 2008	en
dc.subject	Deep Reinforcement Learning	en
dc.subject	Type 1 Diabetes	en
dc.title	Υλοποίηση ελεγκτή κλειστού συστήματος ελέγχου γλυκόζης με χρήση αλγορίθμων βαθιάς ενισχυτικής μάθησης	el
heal.type	bachelorThesis
heal.classification	Μηχανική Μάθηση	el
heal.language	el
heal.access	free
heal.recordProvider	ntua	el
heal.publicationDate	2019-11-18
heal.abstract	Ο διαβήτης τύπου ένα είναι μία αυτοάνοση ασθένεια η οποία καταστρέφει τα βκύτταρα του παγκρέατος που παράγουν ινσουλίνη, την ορμόνη υπεύθυνη για την απορρόφηση της γλυκόζης. Οι διαβητικοί αυτορυθμίζουν τη γλυκόζη τους καθημερινά με ενέσεις ινσουλίνης ή μέσω αντλίας. H δημιουργία ενός κλειστού συστήματος ελέγχου γλυκόζης, το ονομαζόμενο τεχνητό πάγκρεας, με συνδυασμό συσκευής συνεχής μέτρησης γλυκόζης, αντλίας ινσουλίνης και ενός αλγορίθμου ελέγχου θα βελτιώσει την ποιότητα ζωής τους. Ο αλγόριθμος είναι το βασικότερο συστατικό για την κατασκευή πλήρως αυτοματοποιημένου συστήματος κάτι που μέχρι σήμερα δεν υπάρχει λόγω μη γραμμικών παραμέτρων στο μοντέλου γλυκόζηςινσουλίνης. Χρησιμοποιώντας τον αλγορίθμο ενισχυτικής μάθησης DQN εκπαιδεύσαμε τρεις πράκτορες με ίδιο σύνολο ενεργειών ινσουλίνης τριών δόσεων και συνάρτηση ανταμοιβής με βάση τον δείκτη συνολίκου κινδύνου στο περιβάλλον του προσομοιωτή του μοντέλου γλυκόζηςινσουλίνης T1D UVA/Padova S2008 σε python3. Ο πρώτος πράκτορας εκπαιδεύτηκε σε έναν ασθενή, δεδομένο σενάριο γεύματος και διάνυσμα καταστάσης που περιελάμβανε την προηγούμενη δόση ινσουλίνης. O δεύτερος ήταν γενικού σκοπού, ο τρίτος εκπαιδεύτηκε σε ασθενή με τυχαία γεύματα και οι δύο είχαν διάνυσμα καταστάσεων που περιελάμβανε τη χρονική στιγμή. Η αξιολόγηση έδειξε ότι ο πρώτος κατάφερε καλύτερο γλυκαιμικό έλεγχο σε οποιοδήποτε σενάριο και ότι κάνενας πράκτορας δεν πέτυχε πλήρη έλεγχο λόγω της μερικής παρατηρησιμότητας του περιβάλλοντος, τα χαρακτηριστικά φαρμακοκινητικής της ινσουλίνης, της ακρίβειας των αισθητήρων και του περιορισμένου συνόλου ενεργειών. Συνολικά η διπλωματική αυτή δείχνει ότι η ενισχυτική μάθηση μπορεί να διαχειριστεί το πρόβλημα του διαβήτη τύπου ένα αλλά χρειάζεται περαιτέρω πειραματισμός στο είδος του αλγορίθμου εκπαίδευσης και των παραμέτρων του.	el
heal.abstract	Type 1 diabetes is an autoimmune disease that attacks pancreatic beta cells, responsible for insulin production and glycemic control. Diabetics require external insulin delivery with shots or an insulin pump to selfregulate their glucose levels. The creation of a closed loop glucose control system, also known as an artificial pancreas, from the combination of a continuous glucose monitor, an insulin pump and a control algorithm will achieve better glycemic control and improve their lifestyle. The algorithm is the most important component for a fully automatic insulin delivery system something that does not yet exist due to the existence of nonlinear parameters in the glucoseinsulin model. By using the DQN algorithm from reinforcement learning we trained three agents with the same action set of three insulin doses and a reward function based on blood glucose risk index to act on the environment of the T1D UVA/PADOVA simulator 2008 implemented in python3. The first agent was trained for one patient, a fixed meal scenario and a state vector containing previous insulin dose. The second one was trained for all patients and random meals, the third one was trained for one patient and random meals and both with state vectors containing time. Evaluating them concluded that the first one achieved better glucemic control in any meal scenario and that none of them controlled the system successfully due to the environment’s partial observabillity, insulin pharmacokinetics, sensor noise and reduced action set. In conclution reinforcement learning can be used to solve the type one diabetes but further experiments in control algorithm and parameters are required.
heal.advisorName	Σταφυλοπάτης, Ανδρέας	el
heal.committeeMemberName	Στάμου, Γεώργιος	el
heal.committeeMemberName	Νικήτα, Κωνσταντίνα	el
heal.academicPublisher	Εθνικό Μετσόβιο Πολυτεχνείο. Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών. Τομέας Τεχνολογίας Πληροφορικής και Υπολογιστών	el
heal.academicPublisherID	ntua
heal.numberOfPages	64 σ.	el
heal.fullTextAvailability	false