Δίκτυα Αραιής Ενεργοποίησης: Μια νέα μέθοδος αποσύνθεσης και συμπίεσης δεδομένων

Μπιζόπουλος, Πασχάλης; Bizopoulos, Paschalis

dc.contributor.author	Μπιζόπουλος, Πασχάλης	el
dc.contributor.author	Bizopoulos, Paschalis	en
dc.date.accessioned	2020-03-09T14:40:17Z
dc.date.available	2020-03-09T14:40:17Z
dc.date.issued	2020-03-09	en
dc.identifier.uri	https://dspace.lib.ntua.gr/xmlui/handle/123456789/49909
dc.identifier.uri	http://dx.doi.org/10.26240/heal.ntua.17607
dc.rights	Αναφορά Δημιουργού 3.0 Ελλάδα	*
dc.rights.uri	http://creativecommons.org/licenses/by/3.0/gr/	*
dc.subject	Νευρωνικά Δίκτυα	el
dc.subject	Αυτοκωδικοποιητές	el
dc.subject	Αραιότητα	el
dc.subject	Συμπίεση	el
dc.subject	Neural Networks	en
dc.subject	Autoencoders	en
dc.subject	Sparsity	en
dc.subject	Compression	en
dc.title	Δίκτυα Αραιής Ενεργοποίησης: Μια νέα μέθοδος αποσύνθεσης και συμπίεσης δεδομένων	el
dc.title	Sparsely Activated Networks: A new method for decomposing and compressing data	en
dc.contributor.department	Εργαστήριο Βιοϊατρικής Τεχνολογίας	el
heal.type	doctoralThesis
heal.classification	Μηχανική Μάθηση	el
heal.classification	Machine Learning	en
heal.language	el
heal.access	free
heal.recordProvider	ntua	el
heal.publicationDate	2019-10-30
heal.abstract	Η πρόσφατη βιβλιογραφία σχετικά με τη μη-επιβλεπώμενη μάθηση επικεντρώθηκε στο σχεδιασμό δομών με στόχο την μάθηση χαρακτηριστικών. Αυτό όμως γινόταν χωρίς να ληφθεί υπόψη το μήκος περιγραφής των αναπαραστάσεων, το οποίο είναι ένα άμεσο και αμερόληπτο μέτρο της πολυπλοκότητας του μοντέλου. Στο πλαίσιο της διδακτορικής διατριβής προτείνουμε ένα μέτρο φ το οποίο αξιολογεί μη-επιβλεπώμενα μοντέλα με βάση την ακρίβεια ανακατασκευής και το βαθμό συμπίεσης των εσωτερικών αναπαραστάσεων. Έπειτα παρουσιάζουμε και ορίζουμε δύο συναρτήσεις ενεργοποίησης (Ταυτότητα, ReLU) ως βάσεις αναφοράς και τρεις αραιές συναρτήσεις ενεργοποίησης (Απόλυτα κ-μέγιστα, Δείκτες συγκέντρωσης ακρότατων, Ακρότατα) ως υποψήφιες δομές για την ελαχιστοποίηση του προηγουμένως ορισμένου μέτρου φ. Τέλος προτείνουμε μια νέα αρχιτεκτονική Νευρωνικών Δικτύων, τα Δίκτυα Αραιής Ενεργοποίησης (SANs), τα οποία αποτελούνται από πυρήνες με κοινά βάρη που κατά την κωδικοποίηση συνελλίσονται με την είσοδο και στη συνέχεια διέρχονται μέσω μιας συνάρτησης αραιής ενεργοποίησης. Κατά τη διάρκεια της αποκωδικοποίησης, τα ίδια βάρη συνελλίσονται με τον χάρτη αραιής ενεργοποίησης και έπειτα οι μερικές ανακατασκευές από κάθε βάρος αθροίζονται για να ανακασκευάσουν την είσοδο. Συγκρίνουμε τα SANs χρησιμοποιώντας τις προηγουμένως ορισμένες συναρτήσεις ενεργοποίησης σε ένα σύνολο από βάσεις δεδομένων (15 βάσεις δεδομένων από την Physionet και EEG από την UCI για ταξινόμηση επιληπτικών κρίσεων) και δείχνουμε ότι τα SANs που επιλέγονται με χρήση του φ έχουν αναπαραστάσεις με μικρό μήκος περιγραφής και περιέχουν ερμηνεύσιμους πυρήνες.	el
heal.abstract	Recent literature on unsupervised learning focused on designing structural priors with the aim of learning meaningful features, but without considering the description length of the representations. In this thesis, we introduce the φ metric that evaluates unsupervised models based on their reconstruction accuracy and the degree of compression of their internal representations. We then present and define two activation functions (Identity, ReLU) as base of reference and three sparse activation functions (top-k absolutes, Extrema-Pool indices, Extrema) as candidate structures that minimize the previously defined metric φ. We lastly present Sparsely Activated Networks (SANs) that consist of kernels with shared weights that, during encoding, are convolved with the input and then passed through a sparse activation function. During decoding, the same weights are convolved with the sparse activation map and subsequently the partial reconstructions from each weight are summed to reconstruct the input. We compare SANs using the previously defined activation functions on a variety of datasets (Physionet, UCI-epilepsy, MNIST, FMNIST) and show that models that are selected using φ have small description representation length and consist of interpretable kernels.	en
heal.advisorName	Κουτσούρης, Δημήτριος	el
heal.committeeMemberName	Φωτιάδης, Δημήτριος	el
heal.committeeMemberName	Νικήτα, Κωνσταντίνα	el
heal.committeeMemberName	Παπαιωάννου, Θεόδωρος	el
heal.committeeMemberName	Βαβουρανάκης, Εμμανουήλ	el
heal.committeeMemberName	Ματσόπουλος, Γεώργιος	el
heal.committeeMemberName	Πρέντζα, Ανδριάνα	el
heal.academicPublisher	Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών	el
heal.academicPublisherID	ntua
heal.numberOfPages	158
heal.fullTextAvailability	false