Τεχνικές κανονικοποίησης συνέπειας για την ηµιεπιβλεπόµενη σηµασιολογική κατάτµηση εικόνας

Σπύρου, Νικόλαος; Spyrou, Nikolaos

dc.contributor.author	Σπύρου, Νικόλαος	el
dc.contributor.author	Spyrou, Nikolaos	en
dc.date.accessioned	2023-04-03T09:28:29Z
dc.date.available	2023-04-03T09:28:29Z
dc.identifier.uri	https://dspace.lib.ntua.gr/xmlui/handle/123456789/57471
dc.identifier.uri	http://dx.doi.org/10.26240/heal.ntua.25168
dc.rights	Αναφορά Δημιουργού-Μη Εμπορική Χρήση-Όχι Παράγωγα Έργα 3.0 Ελλάδα	*
dc.rights.uri	http://creativecommons.org/licenses/by-nc-nd/3.0/gr/	*
dc.subject	Κατάτµηση εικόνας	el
dc.subject	Ηµιεπιβλεπόµενη µάθηση	el
dc.subject	Κανονικοποίηση συνέπειας	el
dc.subject	Ψευδοετικέτες	el
dc.subject	Δίκτυα κωδικοποιητή- αποκωδικοποιητή	el
dc.subject	Image segmentation	en
dc.subject	Semi-supervised learning	en
dc.subject	Consistency regularization	en
dc.subject	Pseudo-labels	en
dc.subject	Convolutional networks	en
dc.title	Τεχνικές κανονικοποίησης συνέπειας για την ηµιεπιβλεπόµενη σηµασιολογική κατάτµηση εικόνας	el
heal.type	bachelorThesis
heal.classification	Μηχανική μάθηση	el
heal.language	el
heal.access	free
heal.recordProvider	ntua	el
heal.publicationDate	2023-03-02
heal.abstract	Η ευρεία ανάπτυξη των ϐαθιών συνελικτικών δικτύων και ειδικότερα των αρχιτεκτονικών κωδικοποιητή-αποκωδικοποιητή έχει οδηγήσει στην εκτεταµένη χρήση τους για την επίλυση του προβλήµατος της σηµασιολογικής κατάτµησης εικόνας. Παρόλα αυτά, προκειµένου να εκπαιδευτούν µοντέλα µε ικανοποιητική ικανότητα γενίκευσης για το συγκεκριµένο πρόβληµα απαιτούνται µεγάλου πλήθους σύνολα επισηµασµένων δεδοµένων. Στην περίπτωση της σηµασιολογικής κατάτµησης η επισήµανση δεδοµένων είναι µία αρκετά χρονοβόρα διαδικασία, καθώς σε κάθε εικονοστοιχείο πρέπει να ανατεθεί µία σηµασιολογική κλάση. Για αυτόν τον λόγο, ιδιαίτερη έµφαση δίνεται σε ανάπτυξη µεθόδων ηµιεπιβλεπόµενης µάθησης, όπου το δίκτυο εκπαιδεύεται πάνω σε λιγότερα επισηµασµένα και σε περισσότερα µη επισηµασµένα δεδοµένα, µε στόχο να µπορεί να παρουσιάζει εξίσου καλή ικανότητα γενίκευσης. Στην παρούσα διπλωµατική εξετάζεται η µέθοδος της κανονικοποίησης συνέπειας (consistency regularization) για την αξιοποίηση των µη επισηµασµένων δεδοµένων, σύµφωνα µε την οποία το δίκτυο καλείται να παράγει όµοιες προβλέψεις για διαταραγµένες (perturbed) εκδοχές της εικόνας εισόδου (διαταραχές εισόδου). Συγκεκριµένα, χρησιµοποιούµε το παϱάδειγµα εκπαίδευσης της ασθενούς-ισχυρής συνέπειας (weak-to-strong consistency), κατά το οποίο το δίκτυο δέχεται στην είσοδο µία ασθενώς διαταραγµένη εκδοχή (λιγότερο έντονη επαύξηση, ασθενής επαύξηση) και η πρόβλεψη του για αυτή χρησιµοποιείται ως ψευδοετικέτα για την επίβλεψη της αντίστοιχης εξόδου της ισχυρά διαταραγµένης εκδοχής (πιο έντονη επαύξηση, ισχυρή επαύξηση). Για τη δηµιουργία της ισχυρά επαυξηµένης εκδοχής µιας εικόνας, πειραµατιζόµαστε µε διάφορες µεθόδους επαύξησης, όπως µε µετασχηµατισµούς χρώµατος (color distortions, color augmentation), καθώς και µε τεχνικές µίξης ζευγών εικόνων, όπως οι ClassMix, CutMix, οι οποίες συνδυάζουν εικόνες µε σκοπό την παϱαγωγή νέων πιο πολύπλοκων τεχνητών εικόνων µε διευρυµένο σηµασιολογικό περιεχόµενο. Παράλληλα, πειραµατιζόµαστε και µε την περίπτωση όπου το δίκτυο τροφοδοτείται µε δύο ισχυρά επαυξηµένες εκδοχές που έχουν παραχθεί είτε µε την ίδια, είτε και µε διαφορετική µέθοδο επαύξησης. Αναφέρουµε και συγκρίνουµε τα πειραµατικά αποτελέσµατα στα σύνολα δεδοµένων Pascal VOC 2012, CelebAMask-HQ και QaTa-COV19-v2.	el
heal.sponsor	The widespread development of deep convolutional networks, especially encoder- decoder architectures, has led to their extensive use in solving the problem of image semantic segmentation. However, large labeled datasets are required to train models with satisfactory generalization ability for this problem. In the case of semantic segmentation, data labeling is a time-consuming process, as each image pixel must be assigned to a semantic class. Therefore, particular emphasis is placed on the development of semi-supervised learning methods, where the network is trained on fewer labeled and more unlabeled data, with the aim of exhibiting equally good generalization ability. In this thesis, the consistency regularization method is examined to exploit unlabeled data, according to which the network is called to produce similar predictions for perturbed input images. Specifically, we use the example of weak-to-strong consistency training, where the network accepts a weakly perturbed version (less intense augmentation, weak augmentation) in the input and its prediction for it is used as a pseudo-label to supervise the corresponding output of the strongly perturbed version (more intense augmentation, strong augmentation). To create the strongly augmented version of an image, we experiment with various augmentation methods, such as color distortions(color augmentation), as well as image mixing techniques, such as ClassMix, CutMix, which combine images in order to produce new and more complex artificial images with an extended semantic content. At the same time, we are experimenting also with the case where the network is fed with two strongly augmented versions that have been generated either with the same or different augmentation method. We report and compare the experimental results on the Pascal VOC 2012, CelebAMask-HQ, and QaTa-COV19-v2 datasets.	en
heal.advisorName	Κόλλιας, Στέφανος	el
heal.committeeMemberName	Βουλόδημος, Αθανάσιος	el
heal.committeeMemberName	Στάμου, Γεώργιος	el
heal.academicPublisher	Εθνικό Μετσόβιο Πολυτεχνείο. Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών. Τομέας Τεχνολογίας Πληροφορικής και Υπολογιστών	el
heal.academicPublisherID	ntua
heal.numberOfPages	125 σ.	el
heal.fullTextAvailability	false