Improving projected gradient descent based adversarial attacks

Αντωνίου, Νικόλαος; Antoniou, Nikolaos

dc.contributor.author	Αντωνίου, Νικόλαος	el
dc.contributor.author	Antoniou, Nikolaos	en
dc.date.accessioned	2022-12-12T10:34:12Z
dc.date.available	2022-12-12T10:34:12Z
dc.identifier.uri	https://dspace.lib.ntua.gr/xmlui/handle/123456789/56423
dc.identifier.uri	http://dx.doi.org/10.26240/heal.ntua.24121
dc.rights	Αναφορά Δημιουργού 3.0 Ελλάδα	*
dc.rights	Αναφορά Δημιουργού 3.0 Ελλάδα	*
dc.rights.uri	http://creativecommons.org/licenses/by/3.0/gr/	*
dc.subject	Deep Learning	en
dc.subject	Adversarial Machine Learning	en
dc.subject	Image Classification	en
dc.subject	Projected Gradient Descent	en
dc.subject	Adversarial Attacks	en
dc.subject	Βαθιά Μάθηση	el
dc.subject	Ανταγωνιστική Μηχανική Μάθηση	el
dc.subject	Κατηγοριοποίηση Εικόνας	el
dc.subject	Ανταγωνιστικές Επιθέσεις	el
dc.subject	Ασφάλεια Νευρωνικών Δικτύων	el
dc.title	Improving projected gradient descent based adversarial attacks	en
heal.type	bachelorThesis
heal.classification	Machine Learning	en
heal.language	en
heal.access	free
heal.recordProvider	ntua	el
heal.publicationDate	2022-09-14
heal.abstract	Η παρούσα διπλωματική εργασία καταπιάνεται με το φαινόμενο των ανταγωνιστικών παραδειγμάτων (adversarial examples) που εμφανίστηκε πριν μερικά χρόνια στην βιβλιογραφία, και έκτοτε έχει αλλάξει άρδην τον τρόπο που αντιλαμβανόμαστε τα Νευρωνικά Δίκτυα. Τα ανταγωνιστικά παραδείγματα, για παράδειγμα στο πρόβλημα της κατηγοριοποίησης εικόνων, συμπίπτουν με εικόνες οι οποίες έχουν νοθευτεί με προσεκτικά σχεδιασμένες διαταραχές (perturbations), πολύ μικρές μεν για να γίνουν αντιληπτές από έναν ανθρώπινο παρατηρητή, αρκετά επιδραστικές δε ώστε να κατευθύνουν τα Νευρωνικά Δίκτυα να κατηγοριοποιούν τις εικόνες σε οποιαδήποτε (αυθαίρετη) κλάση, επηρεάζοντας αρνητικά την απόδοση σε εισόδους που το ανθρώπινο μάτι μπορεί πολύ εύκολα να αναθέσει την σωστή ετικέτα. Η ανάδειξη ενός τέτοιου φαινομένου ανησύχησε, και επομένως, κινητοποίησε την επιστημονική κοινότητα να αναζητήσει τρόπους ωστέ να βελτιώσει την ευρωστία (robustness) των Νευρωνικών Δικτύων, έναντι στην εν δυνάμει εμφάνιση τέτοιων παραδειγμάτων. Οι μέθοδοι που αποσκοπούν στο να αμβλύνουν τις συνέπειες αυτού του φαινομένου ονομάζονται Ανταγωνιστικές ΄Αμυνες (Adversarial Defenses). ΄Επειτα από την πάροδο των χρόνων, έχει γίνει αντιληπτό πως η αξιολόγηση των προτεινόμενων αμυνών πάσχει από ένα ιδιαίτερα σημαντικό ζήτημα: την υπερεκτίμηση ευρωστίας (Robustness Overestimation). Για να αποφανθούμε αν μια μέθοδος άμυνας μπορεί πραγματικά να αυξήσει την ευρωστία, πρέπει να λύσουμε ένα πρόβλημα βελτιστοποίησης το οποίο είναι ανέφικτο στον χώρο των Νευρωνικών Δικτύων. Ωστόσο, καταφεύγουμε σε προσεγγιστικές λύσεις αυτού του προβλήματος βελτιστοποίησης (όπως ακριβώς κάνουμε και όταν τα εκπαιδεύουμε, βλ. τον αλγόριθμο Gradient Descent). Η υπερεκτίμηση ευρωστίας αναφέρεται στην περίπτωση που ο αμυνόμενος δεν καταφέρνει να λύσει (προσεγγιστικά) αυτό το πρόβλημα επαρκώς καλά, επομένως αποκτά μια ψευδή αίσθηση πως η μέθοδος του προσφέρει ευρωστία, ενώ η πραγματικότητα διαφέρει. ΄Ενας από τους πιο δημοφιλής τρόπους για την προσεγγιστική λύση του προβλήματος που σχετίζεται με την αξιολόγηση Νευρωνικών Δικτύων είναι ο αλγόριθμος Projected Gradient Descent (συντομ. PGD). Μια από τις σχεδιαστικές επιλογές του αλγόριθμου PGD είναι αυτή της αντικειμενικής συνάρτησης (objective function) που βελτιστοποιεί ο αλγόριθμος, για την οποία η σχετική βιβλιογραφία έχει προτείνει μια πληθώρα από εναλλακτικές. Ωστόσο, έστω και μικρές διαφοροποιήσεις στην μαθηματική έκφραση της συνάρτησης κόστους έχουν την δυνατότητα να επηρεάσουν σε μεγάλο βαθμό την απόδοση του αλγορίθμου, λαμβάνοντας υπόψη την εξαιρετικά πολύπλοκη γεωμετρία στο πεδίο βελτιστοποίησης (optimization landscape) σε τόσο μεγάλες διαστάσεις. Στην εργασία αυτή, θέτουμε αυτήν την παρατήρηση (η οποία υποστηρίζεται εμπειρικά από προηγούμενα αποτελέσματα) ως το κύριο κίνητρο της δουλειάς μας, και αναζητούμε τρόπους ανάμειξης διαφορετικών συναρτήσεων κόστους ώστε να αποκομίσουμε καλύτερη επίδοση. Τα πειράματα μας επιδεικνύουν εμπειρικά ότι μια αρκετά απλοϊκή μέθοδος, δηλαδή η αλλαγή συνάρτησης κόστους στα μέσα του επαναληπτικού αλγορίθμου PGD, βοηθά τον αλγόριθμο να φθάσει καλύτερες λύσεις, με συνέπεια, καθώς το εύρημά μας γενικεύεται για 15 διαφορετικές μεθόδους άμυνας.	el
heal.advisorName	Ποταμιάνος, Αλέξανδρος	el
heal.committeeMemberName	Κόλλιας, Στέφανος	el
heal.committeeMemberName	Τζαφέστας, Κωνσταντίνος	el
heal.academicPublisher	Εθνικό Μετσόβιο Πολυτεχνείο. Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών	el
heal.academicPublisherID	ntua
heal.fullTextAvailability	false