Επεξεργασία δεδομένων fMRI και αξιοποίησή τους στο πρόβλημα οπτικοακουστικής εμφάνειας

Panagiotaropoulou, Georgia; Παναγιωταροπούλου, Γεωργία

dc.contributor.author	Panagiotaropoulou, Georgia	en
dc.contributor.author	Παναγιωταροπούλου, Γεωργία	el
dc.date.accessioned	2016-03-09T11:56:41Z
dc.date.available	2016-03-09T11:56:41Z
dc.date.issued	2016-03-09
dc.identifier.uri	https://dspace.lib.ntua.gr/xmlui/handle/123456789/42121
dc.identifier.uri	http://dx.doi.org/10.26240/heal.ntua.11763
dc.rights	Αναφορά Δημιουργού - Μη Εμπορική Χρήση - Παρόμοια Διανομή 3.0 Ελλάδα	*
dc.rights.uri	http://creativecommons.org/licenses/by-nc-sa/3.0/gr/	*
dc.subject	Οπτικοακουστική εμφάνεια	el
dc.subject	Λειτουργική μαγνητική απεικόνιση	el
dc.subject	Επισημείωση οπτικοακουστικής πληροφορίας	el
dc.subject	Γενικό γραμμικό μοντέλο	el
dc.subject	Θεωρία τυχαίων γκαουσιανών πεδίων	el
dc.subject	Audiovisual saliency	en
dc.subject	Functional magnetic resonance	en
dc.subject	General linear model	en
dc.subject	Audiovisual user annotation	en
dc.subject	Random gaussian fields theory	en
dc.title	Επεξεργασία δεδομένων fMRI και αξιοποίησή τους στο πρόβλημα οπτικοακουστικής εμφάνειας	el
heal.type	bachelorThesis
heal.classification	Επεξεργασία σήματος	el
heal.classification	Signal processing	en
heal.language	el
heal.access	free
heal.recordProvider	ntua	el
heal.publicationDate	2015-10-30
heal.abstract	Η παρούσα εργασία εξετάζει το πρόβλημα εξαγωγής οπτικοακουστικής εμφάνειας, αξιοποιώντας την πληροφορία που περιέχεται σε δεδομένα εγκεφαλικής ενεργοποίησης προερχόμενα από λειτουργική μαγνητική απεικόνιση. Με χρήση των δεδομένων αυτών επιχειρείται η αξιολόγηση και η επαλήθευση της βιολογικής εγκυρότητας διαδεδομένων μοντέλων εξαγωγής οπτικής και ακουστικής εμφάνειας από σύνθετα ερεθίσματα, όπως βίντεο ταινιών. Περιγράφεται ο πειραματικός σχεδιασμός που χρησιμοποιήθηκε για την καταγραφή των δεδομένων λειτουργικής μαγνητικής απεικόνισης κατά τη διάρκεια που οι συμμετέχοντες παρακολουθούσαν ένα εκ των δύο βίντεο που επιλέχθηκαν, καθώς και η διαδικασία προεπεξεργασίας τους ώστε να καταστούν κατάλληλα για περαιτέρω ανάλυση. Στη συνέχεια, με χρήση ενός Γενικού Γραμμικού Μοντέλου επιχειρείται η ανακατασκευή των χρονικών αποκρίσεων περιοχών του εγκεφάλου σχετικών με την επεξεργασία οπτικοακουστικής πληροφορίας από τα υπολογιστικά χαρακτηριστικά που εξήχθησαν από κάθε βίντεο, σύμφωνα με τα αντίστοιχα υπολογιστικά μοντέλα. Η ανάλυση αυτή επιβεβαιώνει ότι τα περισσότερα μοντέλα, τόσο οπτικά όσο και ακουστικά, μπορούν με επιτυχία να αναπαραγάγουν τις αποκρίσεις των περιοχών του οπτικού και ακουστικού φλοιού αντίστοιχα. Η ίδια ανάλυση αποκάλυψε επίσης αλληλεπιδράσεις μεταξύ των δύο τροπικοτήτων, γνωστές ήδη από προηγούμενες μελέτες. Στα ίδια συμπεράσματα καταλήγει η επαλήθευση της εγκυρότητας δεδομένων επισημείωσης χρηστών στο ένα από τα επιλεγμένα βίντεο. Εξετάζεται ακόμη, με χρήση της μεθόδου διυποκειμενικής συσχέτισης, ο βαθμός στον οποίο η εσωτερική αναπάρασταση των ίδιων εξωτερικών ερεθισμάτων διαφέρει από άτομο σε άτομο, με τελικό σκοπό τον εμπλουτισμό των πλαισίων περιγραφής πολυμεσικού περιεχομένου, ώστε αυτά να ενσωματώνουν βιολογικά εμπνευσμένη αλλά και σημασιολογική πληροφορία μέσω δεδομένων λειτουργικής μαγνητικής απεικόνισης.	el
heal.abstract	The present thesis focuses on the problem of audiovisual saliency extraction by taking advantage of brain activation data acquired via functional magnetic resonance imaging (fMRI). Using fMRI data we aim at evaluating the biological plausibility of several computational audiovisual saliency extraction models widely used on complex stimuli, such as movie videos. The experimental design used for recording the functional data is presented, whereby a number of subjects watch one of two movie videos freely, followed by the preprocessing procedure that was adopted in order to prepare the data for further analysis. A General Linear Model (GLM) was subsequently employed to reconstruct the time responses of brain regions that are known to be involved in audiovisual information processing using computational features that were extracted from the videos according to each of the models in question. The GLM analysis confirms that most of the visual and auditory models can in fact successfully reconstruct responses originating from the visual and auditory cortex respectively. It also revealed several cross-modal interactions already indicated in previous works. The validity of user annotation data for salient segments on one of the selected movie videos was also confirmed by means of a GLM analysis. We further investigate the extent to which internal brain representations of the same external stimuli are similar and hence reproducible across individuals by employing the intersubject correlation method. Reproducibility across individuals would ultimately help augment the current feature extraction frameworks to embed biologically-inspired and semantic imformation present in functional data.	en
heal.advisorName	Μαραγκός, Πέτρος	el
heal.committeeMemberName	Πρωτόπαπας, Αθανάσιος	el
heal.committeeMemberName	Ποταμιάνος, Αλέξανδρος	el
heal.academicPublisher	Εθνικό Μετσόβιο Πολυτεχνείο. Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών. Τομέας Σημάτων, Ελέγχου και Ρομποτικής. Εργαστήριο Όρασης Υπολογιστών, Επικοινωνίας Λόγου και Επεξεργασίας Σημάτων	el
heal.academicPublisherID	ntua
heal.numberOfPages	177 σ.
heal.fullTextAvailability	true