Robustness of object detectors against corrupted inputs

Κοσκινιώτη, Ευαγγελία; Koskinioti, Evangelia

dc.contributor.author	Κοσκινιώτη, Ευαγγελία	el
dc.contributor.author	Koskinioti, Evangelia	en
dc.date.accessioned	2023-05-24T06:57:15Z
dc.date.available	2023-05-24T06:57:15Z
dc.identifier.uri	https://dspace.lib.ntua.gr/xmlui/handle/123456789/57750
dc.identifier.uri	http://dx.doi.org/10.26240/heal.ntua.25447
dc.rights	Default License
dc.subject	Εντοπισμός Αντικειμένων, Στιβαρότητα, Αλλοιώσεις Εικόνων, Χάρτες Εξοχής, YOLO	el
dc.subject	Object Detection, Robustness, Image Corruptions, Saliency Maps, YOLO	en
dc.title	Robustness of object detectors against corrupted inputs	en
heal.type	bachelorThesis
heal.classification	Computer Vision	en
heal.language	el
heal.language	en
heal.access	free
heal.recordProvider	ntua	el
heal.publicationDate	2023-03-20
heal.abstract	Η στιβαρότητα των μοντέλων ΄Ορασης Υπολογιστών είναι ένα ιδιαίτερα κοινό ζήτημα στη βιβλιογραφία, ει- δικότερα δεδομένου του αυξανόμενου ρόλου που αυτά αποκτούν σε ένα ευρύ φάσμα τομέων στη σύγχρονη κοινωνία. Προκειμένου να εμπιστευθούμε τις αποφάσεις τους πρέπει να εξασφαλίσουμε την αξιοπιστία τους όταν αυτά χρησιμοποιούνται σε πραγματικά σενάρια, καθώς και την διαφάνειά τους, έτσι ώστε να αποφευχθούν ολέθρια λάθη και να μπορούν να παράγονται χρήσιμες ερμηνείες σχετικά με τη λειτουργία τους. Ειδικότερα σε εφαρμογές που λειτουργούν σε εξωτερικούς χώρους, όπως τα αυτό-οδηγούμενα αυτοκίνητα ή τα συστή- ματα ζωντανής πλοήγησης, τα μοντέλα εντοπισμού αντικειμένων πρέπει να έχουν τη δυνατότητα να λειτουργούν αποτελεσματικά και συστηματικά ακόμα και κάτω από δυσμενείς συνθήκες όπως η βροχή, το χιόνι, κάτω από διαφορετικές συνθήκες φωτισμού, ή σε περιπτώσεις δυσλειτουργίας εξοπλισμού που εισάγουν θόρυβο ή θόλωση στην εικόνα. Το συγκεκριμένο πρόβλημα έχει μελετηθεί εκτενώς στη βιβλιογραφία, τόσο για τον Εντοπισμό Αντικειμένων όσο και για την Ταξινόμηση Εικόνων, ωστόσο με την εισροή νέων μοντέλων που επιτυγχάνουν ολοένα και υψηλότερες αποδόσεις, μια αναλυτική μελέτη είναι απαραίτητη. Σε αυτή την εργασία προσεγγίζουμε το συγκεκριμένο ζήτημα αξιολογώντας τα πιο σύγχρονα συστήματα Εν- τοπισμού Αντικειμένων σε ένα σύνολο αλλοιωμένων εικόνων και στη συνέχεια ερμηνεύοντας την απόδοσή τους, αρχικά χρησιμοποιώντας ένα σύνολο νέων ειδικά κατασκευασμένων μετρικών που βασίζονται στην μετρική AP, και στη συνέχεια οπτικά και ποσοτικά χρησιμοποιώντας την τεχνική των Χαρτών Εξοχής. Παρουσιάζουμε 18 σύνολα δεδομένων, καθένα από τα οποία περιλαμβάνει αλλοιωμένες εκδοχές του συνόλου δεδομένων COCO. Κάθε σύνολο περιέχει πέντε υποσύνολα: τις αρχικές 5.000 εικόνες αλλοιωμένες με μια διαφορετικού τύπου αλλοίωση η οποία έχει εφαρμοστεί με ένα αυξανόμενο επίπεδο σφοδρότητας. Θα χρησιμοποιήσουμε αυτά τα σύνολα δεδομένων προκειμένου να αξιολογήσουμε τη στιβαρότητα των τελευταίων μοντέλων YOLO και του μοντέλου Mask R-CNN, αναλύωντας την πτώση στην απόδοσή τους για κάθε τύπο αλλοίωσης, καθώς γίνεται πιο έντονη. Αυτή η αξιολόγηση θα πραγματοποιηθεί χρησιμοποιώντας τη μετρική mAP και εισάγοντας ένα σύνολο νέων μετρικών που έχουν κατασκευαστεί ειδικά για τη δομή των πειραμάτων μας, κατά την οποία η έν- ταση της αλλοίωσης αυξάνεται σε επίπεδα. Στη συνέχεια θα εξάγουμε τους Χάρτες Εξοχής για ένα υποσύνολο αυτών των αλλοιώσεων, προκειμένου να αποκτήσουμε οπτική κατανόηση του τρόπου που αυτά τα μοντέλα λαμ- βάνουν αποφάσεις, και πως αυτός επηρεάζεται. Τέλος, προτείνουμε ένα σύνολο μετρικών με σκοπό να εισάγουμε ποσοτική σκοπιά στους κατά τα άλλα οπτικούς Χάρτες Εξοχής, και να παρατηρήσουμε πιο καθαρά τις αλλαγές τους ανάλογα με τον τύπο της αλλοίωσης και τα επίπεδα σφοδρότητας. Καταφέραμε να εξάγουμε κάποιες ενδιαφέρουσες ερμηνείες και υποθέσεις βάσει των αποτελεσμάτων των πειραμάτων μας, και ταυτόχρονα να συνε- ισφέρουμε με τη μορφή μερικών νέων αλλοιώσεων και μετρικών, αλλά και να προτείνουμε κάποιες μελλοντικές κατευθύνσεις για τη συνέχιση των προσπαθειών μας που φαίνονται υποσχόμενες.	el
heal.advisorName	Στάμου, Γεώργιος	el
heal.committeeMemberName	Βουλόδημος, Αθανάσιος	el
heal.committeeMemberName	Κόλλιας, Στέφανος	el
heal.committeeMemberName	Στάμου, Γεώργιος	el
heal.academicPublisher	Εθνικό Μετσόβιο Πολυτεχνείο. Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών. Τομέας Τεχνολογίας Πληροφορικής και Υπολογιστών	el
heal.academicPublisherID	ntua
heal.numberOfPages	106 σ.	el
heal.fullTextAvailability	false