Αυτόματη αναζήτηση αρχιτεκτονικής νευρωνικού δικτύου με χρήση γενετικών μοντέλων για γραφήματα

Χατζηαναστάσης, Μιχάλης; Chatzianastasis, Michail

dc.contributor.author	Χατζηαναστάσης, Μιχάλης	el
dc.contributor.author	Chatzianastasis, Michail	en
dc.date.accessioned	2020-12-21T13:20:45Z
dc.date.available	2020-12-21T13:20:45Z
dc.identifier.uri	https://dspace.lib.ntua.gr/xmlui/handle/123456789/52644
dc.identifier.uri	http://dx.doi.org/10.26240/heal.ntua.20342
dc.rights	Default License
dc.subject	Machine learning	en
dc.subject	Deep learning	en
dc.subject	Neural architecture search	en
dc.subject	Graph generative models	en
dc.subject	Operation embeddings	en
dc.subject	Μηχανική μάθηση	el
dc.subject	Βαθιά μάθηση	el
dc.subject	Αναζήτηση αρχιτεκτονικής νευρωνικού δικτύου	el
dc.subject	Γενετικά μοντέλα	el
dc.subject	Αυτόματοι εναλλασσόμενοι κωδικοποιητές	el
dc.title	Αυτόματη αναζήτηση αρχιτεκτονικής νευρωνικού δικτύου με χρήση γενετικών μοντέλων για γραφήματα	el
dc.title	Neural Architecture Search with Graph Generative Models	en
heal.type	bachelorThesis
heal.classification	Machine Learning	en
heal.language	el
heal.language	en
heal.access	free
heal.recordProvider	ntua	el
heal.publicationDate	2020-11-22
heal.abstract	Η αναζήτηση αρχιτεκτονικής νευρωνικής δικτύου (Neural Architecture Search) έχει α- ποκτήσει μεγάλη προσοχή πρόσφατα, καθώς προσπαθεί να αυτοματοποιήσει την εύρεση της αρχιτεκτονικής του νευρωνικού δικτύου για διάφορα προβλήματα. Ωστόσο, η αναπαράσταση της αρχιτεκτονικής είναι μια σύνθετη διαδικασία. Οι υπάρχουσες μέθοδοι αντιπροσωπεύουν την αρχιτεκτονική του νευρωνικού δικτύου είτε ως μια ακολουθία από συμβολοσειρές, η οποία δεν συλλαμβάνει τις δομικές ιδιότητες της αρχιτεκτονικής, είτε χρησιμοποιούν έναν γράφημα ώστε να καθορίσουν τις συνδέσεις μεταξύ των επιπέδων, σε συνδυασμό με πίνακες ονε-ηοτ κωδικοποίησης, οι οποίοι αναπαριστούν την λειτουργία που εκτελείται σε κάθε επίπεδο. Σε αυτή τη διπλωματική, προτείνουμε έναν εναλλασσόμενο αυτόματο κωδικοποιητή για γραφήμα- τα (Graph Variational Autoencoder), που κωδικοποιεί τις αρχιτεκτονικές σε έναν λανθάνων χώρο (latent space), χρησιμοποιώντας πυκνές αναπαραστάσεις πινάκων για τις λειτουργίες κάθε επιπέδου της αρχιτεκτονικής (operation embeddings). Με αυτόν τον τρόπο, μπορούμε να συλλάβουμε τις συσχετίσεις μεταξύ των διαφορετικών λειτουργιών πιο αποτελεσματικά, και ως εκ τούτου το μοντέλο μας παράγει με ακρίβεια έναν ομαλό λανθάνοντα χώρο, χαρτογρα- φώντας αρχιτεκτονικές παρόμοιων επιδόσεων κοντά την μια στην άλλη. Η πραγματοποίηση βελτιστοποίησης σε έναν τόσο ομαλό λανθάνοντα χώρο, είναι πολύ αποτελεσματική για το πρόβλημα της αναζήτησης αρχιτεκτονικής νευρικού δικτύου. Η προσέγγιση μας αξιολογήθη- κε με πολλαπλά πειράματα, τα αποτελέσματα των οποίων έδειξαν πολύτιμα πλεονεκτήματα της μεθόδου μας σε σχέση με άλλες υπάρχοντες τεχνικές που στοχεύουν στη δημιουργία αρχιτεκτονικών νευρωνικών δικτύων υψηλής απόδοσης.	el
heal.advisorName	Γεώργιος, Στάμου	el
heal.advisorName	Μιχάλης, Βαζιργιάννης	el
heal.committeeMemberName	Μιχάλης, Βαζιργιάννης	el
heal.committeeMemberName	Ανδρέας, Σταφυλοπάτης	el
heal.committeeMemberName	Γεώργιος, Στάμου	el
heal.academicPublisher	Εθνικό Μετσόβιο Πολυτεχνείο. Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών. Τομέας Τεχνολογίας Πληροφορικής και Υπολογιστών	el
heal.academicPublisherID	ntua
heal.numberOfPages	88 σ.	el
heal.fullTextAvailability	false