3Δ ανακατασκευή προσώπων από εικόνες

Μήτσουρας, Ηλίας; Mitsouras, Ilias

dc.contributor.author	Μήτσουρας, Ηλίας	el
dc.contributor.author	Mitsouras, Ilias	en
dc.date.accessioned	2022-09-02T09:43:37Z
dc.date.available	2022-09-02T09:43:37Z
dc.identifier.uri	https://dspace.lib.ntua.gr/xmlui/handle/123456789/55582
dc.identifier.uri	http://dx.doi.org/10.26240/heal.ntua.23280
dc.rights	Default License
dc.subject	3Δ ανακατασκευή προσώπων	el
dc.subject	3D morphable model	en
dc.subject	Φωτισμός	el
dc.subject	Βαθιά μάθηση	el
dc.subject	΄Οραση υπολογιστών	el
dc.subject	3D face reconstruction	en
dc.subject	3D morphable model	en
dc.subject	Illumination	en
dc.subject	Deep learning	en
dc.subject	Computer vision	en
dc.title	3Δ ανακατασκευή προσώπων από εικόνες	el
dc.title	3D face reconstruction from 2D images	en
heal.type	bachelorThesis
heal.classification	Μηχανική Μάθηση	el
heal.classification	Όραση Υπολογιστών	el
heal.classification	Machine Learning	en
heal.classification	Computer Vision	en
heal.language	el
heal.access	free
heal.recordProvider	ntua	el
heal.publicationDate	2022-03-14
heal.abstract	Η 3Δ ανακατασκευή προσώπων από εικόνες αποσκοπεί στον ακριβή προσδιορισμό της 3Δ γεωμετρίας και των χαρακτηριστικών των εικονιζόμενων 2Δ προσώπων, έτσι ώστε να παραχθούν 3Δ μοντέλα όσο το δυνατόν πιο ρεαλιστικά και όμοια με αυτά. Παρ΄ όλη την πρόοδο που έχει σημειωθεί τα τελευταία χρόνια στην επιστήμη της Μηχανικής Μάθησης και της ΄Ορασης Υπολογιστών και παρά τα υψηλά ποσοστά ακρίβειας και πιστότητας στην ανακατασκευή που έχουν επιτευχθεί από μεθόδους, οι οποίες βασίζονται αποκλειστικά στη χρήση βαθέων συνελικτικών νευρωνικών δικτύων, το πρόβλημα απέχει αρκετά από την οριστική επίλυσή του, κυρίως λόγω της πλούσιας δομικής ποικιλομορφίας και του υψηλού επιπέδου λεπτομερειών που παρουσιάζει το ανθρώπινο πρόσωπο. Στην παρούσα εργασία υλοποιείται ένα σύστημα ανακατασκευής 3Δ προσώπων από 2Δ έγχρωμες εικόνες χαμηλής ανάλυσης, οι οποίες έχουν ληφθεί σε μη δεσμευμένο περιβάλλον, με αποτέλεσμα να παρουσιάζουν ποικίλες διακυμάνσεις ως προς την πόζα και την έκφραση των εικονιζόμενων προσώπων καθώς και τις συνθήκες φωτισμού. Το προτεινόμενο σύστημα ανακατασκευής αποτελείται από ένα κατάλληλα σχεδιασμένο συνελικτικό νευρωνικό δίκτυο, το οποίο και εκπαιδεύεται χωρίς επίβλεψη. Για την 3Δ αναπαράσταση του ανθρώπινου προσώπου χρησιμοποιείται κατάλληλο 3D Morphable Face Model, το οποίο κωδικοποιεί την πληροφορία για το σχήμα, την έκφραση και την υφή ενός προσώπου μέσω αντίστοιχων διανυσμάτων συντελεστών. Δοθείσης μιας 2Δ εικόνας στην είσοδο, το δίκτυο προσδιορίζει τα διανύσματα συντελεστών σχήματος, έκφρασης και υφής, τα οποία χρησιμοποιούνται στη συνέχεια για το σχηματισμό του 3Δ μοντέλου του προσώπου. Η εκπαίδευση πραγματοποιείται χωρίς επίβλεψη, ελαχιστοποιώντας μια υβριδική συνάρτηση απώλειας, η οποία απαρτίζεται από κατάλληλα επιλεγμένες επιμέρους συναρτήσεις απώλειας, έτσι ώστε αυτές να εξετάζουν το μεγαλύτερο εύρος του φάσματος των χαρακτηριστικών του ανθρώπινου προσώπου. Τα ποιοτικά και ποσοτικά αποτελέσματα που προκύπτουν έπειτα από εφαρμογή του προτεινόμενου εκπαιδευμένου δικτύου σε πραγματικά δεδομένα, αποδεικνύουν την δυνατότητα σθεναρούς και λεπτομερούς ανακατασκευής 3Δ προσώπων από 2Δ εικόνες, φανερώνοντας ωστόσο την ευαισθησία της όλης διαδικασίας σε έντονες πόζες, εκφράσεις και κακές συνθήκες φωτισμού.	el
heal.abstract	The task of 3D face reconstruction from images aims to obtain the detailed 3D geometry and features of a 2D face of a person, in order to produce a realistic 3D face model that gives strong depiction of the person’s identity. Despite the advances of Machine Learning and the high rates of reconstruction accuracy and fidelity achieved by methods based on convolutional neural networks, the problem of 3D face reconstruction is far from being permanently solved, with the existing methods falling short when it comes to the depiction of some of the facial features, mainly due to the rich structural diversity and the high level details that characterize the human face. In the present thesis a system for reconstructing 3D faces solely from low resolution 2D RGB images is implemented. The 2D images are captured in an unconstrained environment, under an unknown and diverse variation of poses, expressions and illuminations. The proposed reconstruction system consists of a properly designed convolutional neural network, which is trained via unsupervised learning. For the 3D representation of the human face, a suitable 3D Morphable Model is used, which encodes the information about shape, expression and texture of a face using appropriate coefficient vectors. Given a 2D image as input, the network estimates shape, expression, and texture coefficients for the depicted face, which are then used to form the corresponding 3D face model (3D morph). The training process is implemented in an usupervised manner, by minimizing a hybrid loss function, comprised of carefully selected sub-loss functions, which examine a wide range of facial features. The qualitative and quantitative results obtained after using the proposed trained network in real data, prove that it is possible to robustly recover the detailed 3D face geometry from 2D facial images, revealing at the same time that the reconstruction process is very sensitive in extreme poses, expressions and illumination variations of the depicted person’s face.	en
heal.advisorName	Σταφυλοπάτης, Ανδρέας-Γεώργιος	el
heal.committeeMemberName	Σταφυλοπάτης, Ανδρέας-Γεώργιος	el
heal.committeeMemberName	Κόλλιας, Στέφανος	el
heal.committeeMemberName	Στάμου, Γεώργιος	el
heal.academicPublisher	Εθνικό Μετσόβιο Πολυτεχνείο. Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών. Τομέας Τεχνολογίας Πληροφορικής και Υπολογιστών	el
heal.academicPublisherID	ntua
heal.numberOfPages	122 σ.	el
heal.fullTextAvailability	false