Mitigating exposure bias in discriminator guided diffusion models

Τσώνης, Ελευθέριος; Tsonis, Eleftherios

dc.contributor.author	Τσώνης, Ελευθέριος	el
dc.contributor.author	Tsonis, Eleftherios	en
dc.date.accessioned	2024-05-21T07:46:38Z
dc.date.available	2024-05-21T07:46:38Z
dc.identifier.uri	https://dspace.lib.ntua.gr/xmlui/handle/123456789/59410
dc.identifier.uri	http://dx.doi.org/10.26240/heal.ntua.27106
dc.rights	Αναφορά Δημιουργού-Μη Εμπορική Χρήση-Όχι Παράγωγα Έργα 3.0 Ελλάδα	*
dc.rights.uri	http://creativecommons.org/licenses/by-nc-nd/3.0/gr/	*
dc.subject	Diffusion models	en
dc.subject	Score-Based generative models	en
dc.subject	Stochastic differential equations	en
dc.subject	Generative AI	en
dc.subject	Image generation	en
dc.subject	Computer vision	en
dc.subject	Μοντέλα διάχυσης	el
dc.subject	Score-Based παραγωγικά μοντέλα	el
dc.subject	Στοχαστικές διαφορικές εξισώσεις	el
dc.subject	Παραγωγή εικόνων	el
dc.subject	Όραση Υπολογιστών	el
dc.title	Mitigating exposure bias in discriminator guided diffusion models	en
heal.type	bachelorThesis
heal.classification	Computer Vision	en
heal.language	en
heal.access	free
heal.recordProvider	ntua	el
heal.publicationDate	2023-11-01
heal.abstract	Diffusion Models have demonstrated remarkable performance in image generation. However, their demanding computational requirements for training have prompted ongoing efforts to enhance the quality of generated images through modifications in the sampling process. A recent approach, known as Discriminator Guidance, seeks to bridge the gap between the model score and the data score by incorporating an auxiliary term, derived from a discriminator network. We show that despite significantly improving sample quality, this technique has not resolved the persistent issue of Exposure Bias. Exposure bias refers to the discrepancy between the input data during training and inference phases and leads to diminished sample quality in diffusion models. We propose SEDM-G++, which incorporates a modified sampling approach, combining Discriminator Guidance and Epsilon Scaling. Our proposed framework outperforms the current state-of-the-art in unconditional image generation.	en
heal.abstract	Τα μοντέλα διάχυσης έχουν επιδείξει αξιοσημείωτες επιδόσεις στη δημιουργία εικόνων. Ωστόσο, οι υψηλές υπολογιστικές απαιτήσεις τους για εκπαίδευση έχουν οδηγήσει σε συνεχείς προσπάθειες βελτίωσης της ποιότητας των παραγόμενων εικόνων μέσω τροποποιήσεων στη διαδικασία δειγματοληψίας. Μια πρόσφατη προσέγγιση, γνωστή ως Καθοδήγηση Διαχωριστή, επιδιώκει να γεφυρώσει το χάσμα μεταξύ του score του μοντέλου και του score των δεδομένων, ενσωματώνοντας έναν βοηθητικό όρο, που προέρχεται από ένα δίκτυο διαχωριστή. Δείχνουμε ότι παρά τη σημαντική βελτίωση στην ποιότητα των δειγμάτων, η τεχνική αυτή δεν έχει επιλύσει το ζήτημα της μεροληψίας έκθεσης. Η μεροληψία έκθεσης αναφέρεται στην διαφορά μεταξύ των δεδομένων εισόδου κατά τη φάση εκπαίδευσης και τη φάση δειγματοληψίας και οδηγεί σε μειωμένη ποιότητα δειγμάτων στα μοντέλα διάχυσης. Προτείνουμε το SEDM-G++, το οποίο ενσωματώνει μια τροποποιημένη προσέγγιση δειγματοληψίας, συνδυάζοντας την Καθοδήγηση Διαχωριστή και την Κλιμάκωση Έψιλον. Η προτεινόμενη προσέγγισή μας ξεπερνάει το τρέχον state-of-the-art στη δημιουργία συνθετικών εικόνων.	el
heal.advisorName	Βουλόδημος, Αθανάσιος	el
heal.committeeMemberName	Στάμου, Γεώργιος	el
heal.committeeMemberName	Κόλλιας, Στέφανος	el
heal.academicPublisher	Εθνικό Μετσόβιο Πολυτεχνείο. Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών. Τομέας Τεχνολογίας Πληροφορικής και Υπολογιστών. Εργαστήριο Υπολογιστικών Συστημάτων	el
heal.academicPublisherID	ntua
heal.numberOfPages	105 σ.	el
heal.fullTextAvailability	false