3Δ ανακατασκευή προσώπων από εικόνες

DSpace/Manakin Repository

Show simple item record

dc.contributor.author Μήτσουρας, Ηλίας el
dc.contributor.author Mitsouras, Ilias en
dc.date.accessioned 2022-09-02T09:43:37Z
dc.date.available 2022-09-02T09:43:37Z
dc.identifier.uri https://dspace.lib.ntua.gr/xmlui/handle/123456789/55582
dc.identifier.uri http://dx.doi.org/10.26240/heal.ntua.23280
dc.rights Default License
dc.subject 3Δ ανακατασκευή προσώπων el
dc.subject 3D morphable model en
dc.subject Φωτισμός el
dc.subject Βαθιά μάθηση el
dc.subject ΄Οραση υπολογιστών el
dc.subject 3D face reconstruction en
dc.subject 3D morphable model en
dc.subject Illumination en
dc.subject Deep learning en
dc.subject Computer vision en
dc.title 3Δ ανακατασκευή προσώπων από εικόνες el
dc.title 3D face reconstruction from 2D images en
heal.type bachelorThesis
heal.classification Μηχανική Μάθηση el
heal.classification Όραση Υπολογιστών el
heal.classification Machine Learning en
heal.classification Computer Vision en
heal.language el
heal.access free
heal.recordProvider ntua el
heal.publicationDate 2022-03-14
heal.abstract Η 3Δ ανακατασκευή προσώπων από εικόνες αποσκοπεί στον ακριβή προσδιορισμό της 3Δ γεωμετρίας και των χαρακτηριστικών των εικονιζόμενων 2Δ προσώπων, έτσι ώστε να παραχθούν 3Δ μοντέλα όσο το δυνατόν πιο ρεαλιστικά και όμοια με αυτά. Παρ΄ όλη την πρόοδο που έχει σημειωθεί τα τελευταία χρόνια στην επιστήμη της Μηχανικής Μάθησης και της ΄Ορασης Υπολογιστών και παρά τα υψηλά ποσοστά ακρίβειας και πιστότητας στην ανακατασκευή που έχουν επιτευχθεί από μεθόδους, οι οποίες βασίζονται αποκλειστικά στη χρήση βαθέων συνελικτικών νευρωνικών δικτύων, το πρόβλημα απέχει αρκετά από την οριστική επίλυσή του, κυρίως λόγω της πλούσιας δομικής ποικιλομορφίας και του υψηλού επιπέδου λεπτομερειών που παρουσιάζει το ανθρώπινο πρόσωπο. Στην παρούσα εργασία υλοποιείται ένα σύστημα ανακατασκευής 3Δ προσώπων από 2Δ έγχρωμες εικόνες χαμηλής ανάλυσης, οι οποίες έχουν ληφθεί σε μη δεσμευμένο περιβάλλον, με αποτέλεσμα να παρουσιάζουν ποικίλες διακυμάνσεις ως προς την πόζα και την έκφραση των εικονιζόμενων προσώπων καθώς και τις συνθήκες φωτισμού. Το προτεινόμενο σύστημα ανακατασκευής αποτελείται από ένα κατάλληλα σχεδιασμένο συνελικτικό νευρωνικό δίκτυο, το οποίο και εκπαιδεύεται χωρίς επίβλεψη. Για την 3Δ αναπαράσταση του ανθρώπινου προσώπου χρησιμοποιείται κατάλληλο 3D Morphable Face Model, το οποίο κωδικοποιεί την πληροφορία για το σχήμα, την έκφραση και την υφή ενός προσώπου μέσω αντίστοιχων διανυσμάτων συντελεστών. Δοθείσης μιας 2Δ εικόνας στην είσοδο, το δίκτυο προσδιορίζει τα διανύσματα συντελεστών σχήματος, έκφρασης και υφής, τα οποία χρησιμοποιούνται στη συνέχεια για το σχηματισμό του 3Δ μοντέλου του προσώπου. Η εκπαίδευση πραγματοποιείται χωρίς επίβλεψη, ελαχιστοποιώντας μια υβριδική συνάρτηση απώλειας, η οποία απαρτίζεται από κατάλληλα επιλεγμένες επιμέρους συναρτήσεις απώλειας, έτσι ώστε αυτές να εξετάζουν το μεγαλύτερο εύρος του φάσματος των χαρακτηριστικών του ανθρώπινου προσώπου. Τα ποιοτικά και ποσοτικά αποτελέσματα που προκύπτουν έπειτα από εφαρμογή του προτεινόμενου εκπαιδευμένου δικτύου σε πραγματικά δεδομένα, αποδεικνύουν την δυνατότητα σθεναρούς και λεπτομερούς ανακατασκευής 3Δ προσώπων από 2Δ εικόνες, φανερώνοντας ωστόσο την ευαισθησία της όλης διαδικασίας σε έντονες πόζες, εκφράσεις και κακές συνθήκες φωτισμού. el
heal.abstract The task of 3D face reconstruction from images aims to obtain the detailed 3D geometry and features of a 2D face of a person, in order to produce a realistic 3D face model that gives strong depiction of the person’s identity. Despite the advances of Machine Learning and the high rates of reconstruction accuracy and fidelity achieved by methods based on convolutional neural networks, the problem of 3D face reconstruction is far from being permanently solved, with the existing methods falling short when it comes to the depiction of some of the facial features, mainly due to the rich structural diversity and the high level details that characterize the human face. In the present thesis a system for reconstructing 3D faces solely from low resolution 2D RGB images is implemented. The 2D images are captured in an unconstrained environment, under an unknown and diverse variation of poses, expressions and illuminations. The proposed reconstruction system consists of a properly designed convolutional neural network, which is trained via unsupervised learning. For the 3D representation of the human face, a suitable 3D Morphable Model is used, which encodes the information about shape, expression and texture of a face using appropriate coefficient vectors. Given a 2D image as input, the network estimates shape, expression, and texture coefficients for the depicted face, which are then used to form the corresponding 3D face model (3D morph). The training process is implemented in an usupervised manner, by minimizing a hybrid loss function, comprised of carefully selected sub-loss functions, which examine a wide range of facial features. The qualitative and quantitative results obtained after using the proposed trained network in real data, prove that it is possible to robustly recover the detailed 3D face geometry from 2D facial images, revealing at the same time that the reconstruction process is very sensitive in extreme poses, expressions and illumination variations of the depicted person’s face. en
heal.advisorName Σταφυλοπάτης, Ανδρέας-Γεώργιος el
heal.committeeMemberName Σταφυλοπάτης, Ανδρέας-Γεώργιος el
heal.committeeMemberName Κόλλιας, Στέφανος el
heal.committeeMemberName Στάμου, Γεώργιος el
heal.academicPublisher Εθνικό Μετσόβιο Πολυτεχνείο. Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών. Τομέας Τεχνολογίας Πληροφορικής και Υπολογιστών el
heal.academicPublisherID ntua
heal.numberOfPages 122 σ. el
heal.fullTextAvailability false

Files in this item

This item appears in the following Collection(s)

Show simple item record