Robotic arm manipulation for object detection & grasping in occlusion environments using machine vision & neural networks

Χιονίδης, Παύλος; Chionidis, Pavlos

dc.contributor.author	Χιονίδης, Παύλος	el
dc.contributor.author	Chionidis, Pavlos	en
dc.date.accessioned	2024-07-15T07:35:48Z
dc.date.available	2024-07-15T07:35:48Z
dc.identifier.uri	https://dspace.lib.ntua.gr/xmlui/handle/123456789/59902
dc.identifier.uri	http://dx.doi.org/10.26240/heal.ntua.27598
dc.rights	Αναφορά Δημιουργού-Μη Εμπορική Χρήση-Όχι Παράγωγα Έργα 3.0 Ελλάδα	*
dc.rights.uri	http://creativecommons.org/licenses/by-nc-nd/3.0/gr/	*
dc.subject	Robotics	en
dc.subject	Machine Vision	en
dc.subject	Virtual Environment	en
dc.subject	Occlusion	en
dc.subject	Neural Networks	en
dc.subject	Ρομποτική	el
dc.subject	Μηχανική Όραση	el
dc.subject	Νευρωνικά Δίκτυα	el
dc.subject	Εικονικό Περιβάλλων	el
dc.subject	Αλληλοεπικάλυψη	el
dc.title	Robotic arm manipulation for object detection & grasping in occlusion environments using machine vision & neural networks	en
dc.title	Ρομποτικός βραχίονας με σύστημα μηχανικής όρασης & λογικής για την αναγνώριση & αρπαγή αλληλοεπικαλυπτόμενων αντικειμένων	el
heal.type	bachelorThesis
heal.classification	Μηχανολογία	el
heal.classification	Επιστήμη των Υπολογιστών	el
heal.classification	Mechanical Engineering	en
heal.classification	Computer Science	en
heal.language	el
heal.language	en
heal.access	free
heal.recordProvider	ntua	el
heal.publicationDate	2024-02-28
heal.abstract	This diploma thesis focuses on the simulation of a robotic manipulator with machine vision to grasp objects in occlusion environments. Specifically, the robotic arm in use is the Stäubli RX90L with 6 degrees of freedom, equipped with a gripper. The study delves into the assessment of inverse kinematics and trajectory control during grasping operations. A crucial augmentation to the system involves the incorporation of machine vision systems for object detection. The machine vision component encompasses the calibration of Kinect V2 RGB and depth images, along with the mapping of RGB images to depth images. Subsequently, the theoretical underpinnings of Convolutional Neural Networks are elucidated, with the chosen network for this thesis being the Mask RCNN. The methodology for training the network is explicated, followed by comprehensive testing in diverse occlusion environments. A paramount aspect of this work involves addressing the occlusion problem in the grasping methodology, determining which objects are occluded, by implementing neural networks that utilize features extracted from the Mask RCNN network and depth images. The acquired occlusion data undergoes a logic-based algorithm, delineating the item to be grasped and generating an effective grasping strategy. The entire process is simulated within the integrated MATLAB-Simulink Unreal Engine environment, providing a holistic evaluation of the proposed methodologies. This comprehensive exploration encompasses robotic arm control, machine vision implementation, advanced neural network training, occlusion problem resolution, and subsequent simulation within a virtual environment.	en
heal.abstract	Η παρούσα διπλωματική εργασία εστιάζει στην προσομοίωση ενός ρομποτικού βραχίονα με μηχανική όραση για να συλλαμβάνει αντικείμενα σε περιβάλλοντα αλληλοεπικάλυψης αντικειμένων. Πιο συγκεκριμένα, ο ρομποτικός βραχίονας που χρησιμοποιείται είναι ο Stäubli RX90L με 6 βαθμούς ελευθερίας, εξοπλισμένος με αρπάγη. Η μελέτη εμβαθύνει στην υλοποίηση της αντίστροφης κινηματικής και του ελέγχου της τροχιάς του βραχίονα κατά τη σύλληψη αντικειμένων. Κρίσιμη είναι η ενσωμάτωση του συστήματος μηχανικής όρασης για την ανίχνευση αντικειμένων. Το κεφάλαιο της μηχανικής όρασης περιλαμβάνει τη βαθμονόμηση και την αντιστοίχιση των εικόνων RGB στις εικόνες βάθους του Kinect V2. Στη συνέχεια, διευκρινίζονται οι θεωρητικές βάσεις των συνελικτικών νευρωνικών δικτύων, με το δίκτυο που επιλέχθηκε για τη διατριβή αυτή, να είναι το Mask RCNN. Έπειτα ακολουθείται η μεθοδολογία για την εκπαίδευση του δικτύου, με την δοκιμή του σε διάφορα περιβάλλοντα αλληλοεπικάλυψης. Μια πρωταρχική πτυχή της εργασίας περιλαμβάνει η αντιμετώπιση του προβλήματος αλληλοεπικάλυψης των αντικειμένων. Για τον προσδιορισμό των αντικειμένων που επικαλύπτονται, χρησιμοποιήθηκαν νευρωνικά δίκτυα με είσοδο χαρακτηριστικά που εξάγονται από το δίκτυο Mask RCNN και τις εικόνες βάθους. Η έξοδος από τα νευρωνικά δίκτυα χρησιμοποιείται από αλγόριθμο, ο οποίος οριοθετεί το αντικείμενο που πρέπει να συλληφθεί και δημιουργεί την στρατηγική σύλληψης. Η όλη διαδικασία προσομοιώνεται στο περιβάλλον του MATLAB-Simulink-Unreal Engine, παρέχοντας μια ολική εικόνα των προτεινόμενων μεθοδολογιών.	el
heal.advisorName	Μπενάρδος, Πανώριος	el
heal.advisorName	Benardos, Panorios	en
heal.committeeMemberName	Μπενάρδος, Πανώριος	el
heal.committeeMemberName	Βοσνιάκος, Γεώργιος	el
heal.committeeMemberName	Ναθαναήλ, Δημήτριος	el
heal.academicPublisher	Εθνικό Μετσόβιο Πολυτεχνείο. Σχολή Μηχανολόγων Μηχανικών. Τομέας Τεχνολογίας των Κατεργασιών	el
heal.academicPublisherID	ntua
heal.numberOfPages	121 σ.	el
heal.fullTextAvailability	false