Οπτική παρακολούθηση και προσδιορισμός τρισδιάστατης θέσης πόρτας υπό συναρμολόγηση σε βιομηχανικό περιβάλλον

Φραγκούλης, Κωνσταντίνος; Fragkoulis, Konstantinos

dc.contributor.author	Φραγκούλης, Κωνσταντίνος	el
dc.contributor.author	Fragkoulis, Konstantinos	en
dc.date.accessioned	2024-07-01T09:02:05Z
dc.date.available	2024-07-01T09:02:05Z
dc.identifier.uri	https://dspace.lib.ntua.gr/xmlui/handle/123456789/59782
dc.identifier.uri	http://dx.doi.org/10.26240/heal.ntua.27478
dc.rights	Default License
dc.subject	Όραση υπολογιστών	el
dc.subject	Στόχοι ArUco	el
dc.subject	Βαθιά μάθηση	el
dc.subject	Computer vision	en
dc.subject	ArUco markers	en
dc.subject	Deep learning	en
dc.title	Οπτική παρακολούθηση και προσδιορισμός τρισδιάστατης θέσης πόρτας υπό συναρμολόγηση σε βιομηχανικό περιβάλλον	el
dc.title	Visual tracking and car door position estimation during assembly tasks in industrial environments	en
heal.type	bachelorThesis
heal.classification	Φωτογραμμετρία	el
heal.language	el
heal.access	free
heal.recordProvider	ntua	el
heal.publicationDate	2024-03-13
heal.abstract	Αντικείμενο της παρούσας εργασίας είναι η παρακολούθηση μιας πόρτας αυτοκινήτου κατά τη συναρμολόγησή της από ανθρώπους, σε βιομηχανικό περιβάλλον. Η παρακολούθηση της πόρτας είναι σημαντική για την ανάλυση του κύκλου εργασιών που πραγματοποιούνται, ενώ μπορεί να βοηθήσει ένα έξυπνο σύστημα ή ρομπότ δίνοντάς του γνώση, ώστε να είναι σε θέση να λάβει αποφάσεις. Στόχος είναι η δημιουργία ενός αλγορίθμου οπτικού εντοπισμού και παρακολούθησης για πόρτες υπο συναρμολόγηση σε γραμμή παραγωγής, αξιοποιώντας δεδομένα εικόνων. Το πρόβλημα επιλύεται μέσα από δύο διαφορετικές προσεγγίσεις. Στην πρώτη προσέγγιση έγινε ο εντοπισμός δυαδικών στόχων (ArUco markers) σε εικόνες. Στις εικόνες απεικονίζονται πόρτες αυτοκινήτου σε βιομηχανικό περιβάλλον, όπου ενυπάρχουν και οι στόχοι ArUco. Διεξάχθηκε πλήθος δοκιμών οι οποίες αξιολογήθηκαν ποιοτικά και ποσοτικά, προκειμένου να βρεθεί η βέλτιστη μέθοδος εντοπισμού. Στην δεύτερη προσέγγιση έγινε η εκπαίδευση ενός δικτύου βαθιάς μάθησης ώστε να μπορεί να ανιχνεύει το πλαίσιο και το περίγραμμα πόρτας αυτοκινήτου σε εικόνες. Δημιουργήθηκαν δεδομένα εκπαίδευσης/ελέγχου και η εκπαίδευση βασίστηκε σε ένα ήδη εκπαιδευμένο μοντέλο στο οποίο έγινε επανεκπαίδευση. Υλοποιήθηκε ένα πλήθος δοκιμών οι οποίες αξιολογήθηκαν ποιοτικά και ποσοτικά, ώσπου τελικά προέκυψε το τελικό μοντέλο. Επισημαίνεται ότι το τελικό μοντέλο αποφασίστηκε να ανιχνεύει τις πόρτες αλλά και τους ανθρώπους στη σκηνή, λόγω των αποκρύψεων που δημιουργεί η αλληλεπίδραση των ανθρώπων με τις πόρτες. Τέλος, παρουσιάζονται κάποια βασικά συμπεράσματα και σχόλια πάνω στη διαδικασία, όπως και προτάσεις για μελλοντική εργασία.	el
heal.abstract	The objective of the present thesis is the tracking of a car door during assembly tasks executed by humans, in an industrial environment. Tracking the car door is important for analysing the operations' cycle, while at the same time it can provide context related knowledge to a smart system or robot and enable decision making. The aim is to develop an algorithm for visual detection and tracking of car doors in assembly tasks in a production line, utilizing image sequences. The problem is solved by two different approaches. In the first approach the detection of binary markers (ArUco markers) in images is exploited. The images depict car doors in industrial environments with detected ArUco markers. A number of tests were conducted, followed by qualitative and quantitative evaluation until the optimal detection method was found. The second approach concerns the training of a deep learning network in order to be able to detect the bounding box an the outline of car doors in images. At first training and validation data were created and the training process used a pretrained model as a starting point for retraining. Various tests were conducted, which were evaluated qualitatively and quantitatively to select the final model was created. It should also be stated that the final model was decided to detect both doors and humans in the scene, due to the occlusions that occur from humans interacting with the car doors. Finally, some main conclusions and comments are presented together with proposals for future work.	en
heal.advisorName	Πατεράκη, Μαρία	el
heal.committeeMemberName	Καράντζαλος, Κωνσταντίνος	el
heal.committeeMemberName	Παπουτσάκης, Κωνσταντίνος	el
heal.academicPublisher	Εθνικό Μετσόβιο Πολυτεχνείο. Σχολή Αγρονόμων και Τοπογράφων Μηχανικών. Τομέας Τοπογραφίας. Εργαστήριο Φωτογραμμετρίας	el
heal.academicPublisherID	ntua
heal.numberOfPages	60 σ.	el
heal.fullTextAvailability	false