Νευρική απόκριση αμφιβληστροειδούς και οπτική προεξοχή: μοντελοποίηση με μεθόδους βαθιάς μάθησης και συμπεράσματα για την προσθετική οραση

Νακόπουλος, Γεώργιος

dc.contributor.author	Νακόπουλος, Γεώργιος	el
dc.date.accessioned	2021-03-01T08:51:05Z
dc.date.available	2021-03-01T08:51:05Z
dc.identifier.uri	https://dspace.lib.ntua.gr/xmlui/handle/123456789/52931
dc.identifier.uri	http://dx.doi.org/10.26240/heal.ntua.20629
dc.rights	Αναφορά Δημιουργού-Μη Εμπορική Χρήση-Όχι Παράγωγα Έργα 3.0 Ελλάδα	*
dc.rights.uri	http://creativecommons.org/licenses/by-nc-nd/3.0/gr/	*
dc.subject	Μοντέλα αμφιβληστροειδούς	el
dc.subject	Εμφυτεύματα αμφιβληστροειδούς	el
dc.subject	Ηλεκτροφυσιολογία	el
dc.subject	Προεξοχή	el
dc.subject	Συνελικτικά νευρωνικά δίκτυα	el
dc.subject	Retina models	en
dc.subject	Retina implants	en
dc.subject	Electrophysiology	en
dc.subject	Saliency	en
dc.subject	Convolutional neural networks	en
dc.title	Νευρική απόκριση αμφιβληστροειδούς και οπτική προεξοχή: μοντελοποίηση με μεθόδους βαθιάς μάθησης και συμπεράσματα για την προσθετική οραση	el
dc.contributor.department	Τομέας Συστημάτων Μετάδοσης Πληροφορίας και Τεχνολογίας Υλικών	el
heal.type	bachelorThesis
heal.classification	Προσομοίωση Φυσιολογικών Συστημάτων	el
heal.language	el
heal.access	free
heal.recordProvider	ntua	el
heal.publicationDate	2021-02-15
heal.abstract	Η διαδικασία με την οποία οι άνθρωποι και άλλοι ζωντανοί οργανισμοί αντιλαμβάνονται το περιβάλλον και ερμηνεύουν τα διαρκή οπτικά ερεθίσματα από αυτό ξεκινά στον οφθαλμό. Εκεί, και συγκεκριμένα στον αμφιβληστροειδή πραγματοποιείται μια πολυστρωματική και σύνθετη επεξεργασία. Οι φωτοϋποδοχείς χαρακτηρίζονται από ευαισθησία στο φως και εντοπίζουν πρώτοι τις μεταβολές στο οπτικό πεδίο. Διαφορετικές κατηγορίες κυττάρων επεξεργάζονται το σήμα που τελικά οδηγείται στο επίπεδο εξόδου, τα γαγγλιακά κύτταρα, που αποστέλλουν προς τον εγκέφαλο την κωδικοποιημένη πληροφορία για περαιτέρω επεξεργασία. Η τεχνολογία της προσθετικής αμφιβληστροειδούς επιδιώκει να καταπολεμήσει ασθένειες που βλάπτουν τους φωτοϋποδοχείς και διαταράσσουν την παραπάνω λειτουργία. Στόχος είναι να παρακαμφθεί ο παθολογικός ιστός και με κατάλληλα ηλεκτρικά σήματα να ενεργοποιηθούν τα γαγγλιακά κύτταρα. Για έναν άνθρωπο, δεν είναι απαραίτητο να σαρώσει την οπτική σκηνή στην ολότητά της προκειμένου να κατανοήσει τι βλέπει. Ο εγκέφαλος δημιουργεί ένα χάρτη προεξοχής (saliency map), ο οποίος αναπαριστά την ικανότητα κάθε σημείου της εικόνας να ξεχωρίζει από τα γειτονικά του. Με αυτό τον τρόπο ο άνθρωπος, μέσα από συνεχείς κινήσεις των ματιών, εντοπίζει ενδιαφέρουσες περιοχές και εστιάζει σε αυτές. Στην παρούσα διπλωματική εργασία μελετάμε τη σχέση της οπτικής προεξοχής με την απόκριση του αμφιβληστροειδούς. Αρχικά, αναπτύσσουμε ένα μοντέλο του αμφιβληστροειδούς εκπαιδεύοντας ένα συνελικτικό νευρωνικό δίκτυο με πειραματικά βιολογικά δεδομένα καταγραφών της απόκρισης γαγγλιακών κυττάρων σε εικόνες του φυσικού περιβάλλοντος. Αξιοποιώντας την ικανότητα του εκπαιδευμένου μοντέλου να μιμηθεί τη συμπεριφορά του αμφιβληστροειδούς, υπολογίζουμε και απεικονίζουμε τα υποδεκτικά πεδία των νευρώνων του πειράματος μέσω μιας κλασικής τεχνικής που ονομάζεται αντίστροφη συσχέτιση, εκτιμώντας με αυτό τον τρόπο τη στοιχειώδη σχέση μεταξύ διέγερσης και απόκρισης. Ως υποδεκτικό πεδίο ενός γαγγλιακού κυττάρου ορίζεται η περιοχή του οπτικού πεδίου εντός της οποίας η πρόκληση κάποιας αλλαγής θα μεταβάλλει την απόκρισή του. Εξετάσαμε για κάθε κύτταρο τη μορφή του υποδεκτικού του πεδίου σε αντιπαραβολή με την τεκμηριωμένη σε θεωρητικές μελέτες περιγραφή των υποδεκτικών πεδίων. Διακρίναμε μια ξεκάθαρη περιοχή ενδιαφέροντος, αλλά όχι για όλους τους νευρώνες. Μέσα από τη διερεύνηση του χρονικού διαστήματος στο οποίο οι αλλαγές επηρεάζουν τις αποκρίσεις, καταλήξαμε σε συγκεκριμένη τιμή μνήμης για τα κύτταρα και διαπιστώσαμε ότι η υψηλή επίδοση του δικτύου δεν οδήγησε αυτόματα και στα προσδοκώμενα υποδεκτικά πεδία. Στη συνέχεια υπολογίζουμε το χάρτη προεξοχής για ένα πλήθος από εικόνες μέσω ενός ήδη εκπαιδευμένου για αυτό το πρόβλημα τεχνητού νευρωνικού δικτύου. Παράλληλα, προβάλλουμε τις ίδιες εικόνες στα γαγγλιακά κύτταρα και λαμβάνουμε τις αποκρίσεις τους μέσω του προηγούμενου μοντέλου. Επιχειρούμε να αντιληφθούμε αν η ιδιότητα ενός αντικειμένου να ξεχωρίζει ως προς τα γειτονικά του αντικατοπτρίζεται στη μεταβολή του ρυθμού πυροδότησης των γαγγλιακών κυττάρων. Με αυτό τον τρόπο θα μπορούσαμε να διεγείρουμε στοχευμένα και αποτελεσματικά τους νευρώνες και ενδεχομένως να βελτιώσουμε τα εμφυτεύματα αμφιβληστροειδούς. Ειδικότερα, συγκρίνουμε τη μέση απόκριση με αυτή στις περισσότερο προεξέχουσες περιοχές, μελετώντας ταυτόχρονα τη συσχέτιση μεταξύ συχνότητας δυναμικών και έντασης προεξοχής. Δεν διαπιστώσαμε συνέπεια στη συμπεριφορά μεταξύ των κυττάρων. Ορισμένα αύξησαν την απόκρισή τους κατά τον εντοπισμό προεξέχοντος αντικειμένου σε περισσότερες περιπτώσεις από άλλα, ενώ είχαν και ισχυρότερους συντελεστές συσχέτισης. Τα κύτταρα που είχαν μέση απόκριση στις εικόνες κάτω από την τιμή ηρεμίας τους έδειξαν μια τάση να αυξήσουν το ρυθμό τους όταν τους προβλήθηκαν περιοχές μέγιστης προεξοχής, έχοντας θετικούς συντελεστές. Αντίθετα τα υπόλοιπα, που επέλεξαν να στέλνουν δυναμικά σε υψηλότερες συχνότητες, μείωναν την απόκρισή τους στις σημαντικές περιοχές, έχοντας αρνητικούς συντελεστές. Οι τιμές στις μετρικές ήταν χαμηλές, κι έτσι δεν μας επετράπη να ισχυριστούμε πως ο αμφιβληστροειδής συμμετέχει στη διαμόρφωση του χάρτη προεξοχής με έναν τόσο άμεσο τρόπο. Η εργασία κάνει ένα σημαντικό βήμα στη συσχέτιση ανώτερων λειτουργιών, συγκεκριμένα της οπτικής προσοχής, με την απόκριση του αμφιβληστροειδούς. Περισσότερη διερεύνηση, με ειδικά διαμορφωμένα σύνολα δεδομένων και με καταγραφές μεγαλύτερης χρονικής διάρκειας για πολλά κύτταρα θα είναι σημαντική για την εξαγωγή αποτελεσμάτων που μπορούν να βελτιώσουν την όραση μέσω εμφυτευμάτων.	el
heal.abstract	The process that enables humans and other living organisms to perceive the environment and interpret the visual stimuli begins in the eye. There, and specifically in the retina, a multilayered and complex processing takes place. Photoreceptors are characterized by sensitivity to light and are the first to detect changes in the field of view. Various cell types process the signal that is finally transmitted to the retinal output, the ganglion cells which send the encoded information to the brain for further processing. The technology of retinal prosthesis seeks to provide therapy to diseases that hurt the photoreceptors and disrupt this operation. The goal is to bypass the damaged tissue and activate the ganglion cells with the appropriate electrical signals. For a human, it is not necessary to scan the visual scene in its entirety in order to comprehend what they see. The brain forms a saliency map that represents the property of an image point to stand out from its neighbors. In this way a human, through successive eye movements, identifies important areas and focuses on them. In this Diploma Thesis we study the relationship between visual saliency and retinal response. We first develop a retina model by training a convolutional neural network in experimental biological data of ganglion cell responses to natural images. By utilizing the trained model's ability to mimic retinal behavior, we estimate and visualize the receptive fields of the neurons through an established technique called reverse correlation, thus estimating the basic relationship between stimulation and response. The receptive field of a retinal ganglion cell is defined as the area of the visual field in which a change will alter its response. We examined, for each cell, the form of its receptive field in comparison to substantiated in theoretical studies analysis of receptive fields. We detected a well-defined area of interest, but not for all neurons. Through the analysis of the time period in which changes affect the responses, we set a specific value for the cells’ memory and found that high model performance did not lead to the expected receptive fields. We then calculate the saliency map for an image dataset through a pre-trained artificial neural network. We also project the same dataset on the ganglion cells, getting their responses through our model. We try to find out if the property of an object to stand out from its neighbors is reflected in the firing rate of ganglion cells. In this way we could stimulate the neurons in a targeted and effective way and potentially improve retinal implants. In particular, we compare the mean response with that in the most salient regions, while studying the correlation between action potential frequency and intensity of salience. We found no consistency in the behavior between the cells. Some increased their response when they detected a salient object in more cases than others, and so they had stronger correlation coefficients. Cells that had an average response below their steady-state value showed a tendency to increase their rate when areas with maximal salience were projected on them, showing positive coefficients. On the contrary, cells that chose to send action potentials at higher frequencies, reduced their response in the important areas, showing negative coefficients. The values of the metrics were low, so we were not able to claim that the retina is involved in shaping the saliency map in such a direct way. The thesis takes an important step in correlating superior cognitive functions, namely visual attention, with retinal response. Further research, with specifically designed datasets and longer recordings for many cells will be important to extract results that can improve vision through retinal implants.	en
heal.advisorName	Νικήτα, Κωνσταντίνα	el
heal.committeeMemberName	Κουτσούρης, Δημήτριος-Διονύσιος	el
heal.committeeMemberName	Σταφυλοπάτης, Ανδρέας-Γεώργιος	el
heal.academicPublisher	Εθνικό Μετσόβιο Πολυτεχνείο. Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών. Τομέας Συστημάτων Μετάδοσης Πληροφορίας και Τεχνολογίας Υλικών	el
heal.academicPublisherID	ntua
heal.numberOfPages	112 σ.	el
heal.fullTextAvailability	false