Αυτοματοποιημένη εκμάθηση σε εικονικό περιβάλλον οπτικά οδηγούμενης ρομποτικής λαβής με πολυστρωματικό νευρωνικό δίκτυο

Abstract

Η έρευνα για την δημιουργία ρομποτικών χειριστών με εφαρμογές στην καθημερινότητα του ανθρώπου αναπτύσσεται, ραγδαίως, τα τελευταία χρόνια. Στην έρευνα αυτή συμβάλλουν πολλοί επιστημονικοί τομείς, όπως είναι η τεχνητή νοημοσύνη, η αλληλεπίδραση ανθρώπου – μηχανής, η όραση υπολογιστών, η βιολογία και η ψυχολογία. Σκοπός της συγκεκριμένης διπλωματικής εργασίας είναι η δημιουργία ενός αυτοματοποιημένου προγράμματος για την εκ των προτέρων εκπαίδευση ενός ρομποτικού χειριστή στο να προσεγγίζει και να πιάνει ορισμένα αντικείμενα χρησιμοποιώντας αποκλειστικά οπτική (μονοσκοπική) πληροφορία. Στόχο της εργασίας αποτελεί η διερεύνηση της δυνατότητας εκπαίδευσης του ρομποτικού χειριστή με τρόπο αυτοματοποιημένο επί ενός εικονικού περιβάλλοντος. Στο πρώτο στάδιο κατασκευής του συνόλου εκπαίδευσης της οπτικά οδηγούμενης ρομποτικής λαβής, κατασκευάζονται με τρόπο συστηματικό και αυτοματοποιημένο, διαδοχικά στιγμιότυπα επιτυχούς ρομποτικής λαβής αντικειμένων γνωστής γεωμετρίας επί ενός εικονικού περιβάλλοντος ρομποτικής εργασίας. Το εικονικό αυτό περιβάλλον υλοποιήθηκε χρησιμοποιώντας τη βιβλιοθήκη τριδιάστατων γραφικών OpenGL, ώστε να είναι άμεσα μεταφέρσιμο σε διαφορετικές προγραμματιστικές πλατφόρμες. Η διαδικασία αυτοματοποιημένης λήψης διαδοχικών στιγμιοτύπων εκπαίδευσης από το κεντρικό περιβάλλον εικονικής προσομοίωσης της ρομποτικής εργασίας, ακολουθείται από την αυτόματη εισαγωγή των οπτικών δεδομένων (raw data) σε ένα άλλο υπολογιστικό περιβάλλον προσομοίωσης (υλοποιημένου σε Matlab) όπου εκτελούνται όλες οι διαδικασίες που αφορούν στην εκμάθηση της ρομποτικής λαβής, δηλαδή τη συσχέτιση οπτικών περιγραφέων των αντικειμένων με τις μεταβλητές ελέγχου του ρομποτικού χειριστή. Η διαδικασία αυτή περιλαμβάνει: (α) κατάτμηση κάθε εικόνας για την εξαγωγή του αντικειμένου, διαδικασία η οποία στην παρούσα εργασία βασίζεται σε χρωματική πληροφορία (μετατροπή του συστήματος απεικόνισης χρωμάτων από το σύστημα RGB στο σύστημα HSL και εν συνεχεία κατάτμηση της εικόνας με βάση την απόχρωση του αντικείμενου), (β) Εξαγωγή χαρακτηριστικών περιγραφέων σχήματος του απεικονιζόμενου αντικειμένου και αποθήκευση των δεδομένων αυτών σε ένα αρχείο εκπαίδευσης. Στο ίδιο αρχείο αποθηκεύονται και τα δεδομένα του ρομποτικού χειριστή, δηλαδή, η θέση και ο προσανατολισμός της ρομποτικής αρπάγης. Ακολούθως, για την εκπαίδευση του ρομποτικού χειριστή, επιλέχθηκε η δημιουργία ενός πολυστρωματικού νευρωνικού δικτύου προσοτροφοδότησης. Το νευρωνικό δίκτυο αυτό, αποτελείται από 7 νευρώνες στο επίπεδο εισόδου, 15 νευρώνες στο πρώτο κρυμμένο επίπεδο, 10 νευρώνες στο δεύτερο κρυμμένο επίπεδο και 4 νευρώνες στο επίπεδο εξόδου. Ύστερα από την αυτοματοποιημένη και συστηματική συλλογή των δεδομένων εκπαίδευσης για ένα πλήθος αντικειμένων και των αντίστοιχων δεδομένων του ρομποτικού χειριστή, εισάγονται τα δεδομένα αυτά ως είσοδοι και έξοδοι αντίστοιχα στο νευρωνικό δίκτυο. Το νευρωνικό δίκτυο εκπαιδεύεται χρησιμοποιώντας ως πρότυπο μάθησης την επιβλεπόμενη μάθηση με βάση τον αλγόριθμο Levenberg – Marquardt και ως μέθοδο αναπροσαρμογής των συναπτικών βαρών του νευρωνικού δικτύου τη μέθοδο διόρθωσης σφάλματος. Συνεπώς, μετά την εκπαίδευση, το νευρωνικό δίκτυο και κατά συνέπεια ο ρομποτικός χειριστής, είναι σε θέση παίρνοντας ως είσοδο οποιοδήποτε αντικείμενο σε οποιαδήποτε θέση να δίνει ως έξοδο την θέση και τον προσανατολισμό της ρομποτικής αρπάγης. Τέλος, έγινε έλεγχος της γενίκευσης της εκπαίδευσης του ρομποτικού χειριστή σε ένα πλήθος από σύνολα ελέγχου, τα οποία περιλαμβάνουν αντικείμενα με γνωστό ύψος και άγνωστο μήκος, αντικείμενα με άγνωστο ύψος και άγνωστο ύψος, καθώς και αντικείμενα τόσο με παρόμοια όσο και με διαφορετική γεωμετρία με τα αντικείμενα της εκπαίδευσης. Τα αποτελέσματα από την προσομοίωση έδειξαν ότι ο ρομποτικός χειριστής είναι σε θέση να προσεγγίζει και να πιάνει σωστά όλα τα αντικείμενα εκτός από αυτά που δεν παρουσιάζουν γεωμετρική ομοιότητα με τα αντικείμενα στα οποία έχει εκπαιδευτεί το ρομπότ.

The research to design robots with applications in human’s everyday routine is developing rapidly in the latest years. A lot of scientific sectors contribute in this research such as artificial intelligence, human – robot interaction, computer vision, biology and psychology. The aim of this particular diploma thesis is the creation of an automated program for prior teaching a robotic manipulator to approach and grasp certain objects using only optical (monoscopic) information. The investigation of the possibility of automatically teaching a robotic manipulator in a virtual environment constitutes the objective of this work. In the first stage of constructing the training set for teaching a visually guided robotic grasping, consecutive snapshots of successful grasping of objects with known geometry are taken in the virtual environment, in a systematic and automatic manner. The virtual environment was created using OpenGL 3D graphics library, in order to make the program directly portable to different programming platforms. The automatic process of taking the successive training snapshots within the virtual environment is followed by the automatic import of these raw data to another simulation environment (implemented in Matlab). In this environment, all the robot learning processes are executed, which concern teaching of the robotic grasping mechanism, and more specifically associating the optical descriptors of the objects with the control variables of the robotic manipulator. This process consists of: (a) image segmentation to extract the object, a process which in this work is based on colour information (transformation of the colour system of the image from RGB to HSL system and then segmentation of the image using hue values), (b) extraction of specific shape descriptors of the object and storing of these data in a training file. The data of the robotic manipulator (world coordinates and orientation of the robotic gripper) are also saved in the same training file. At the following stage, the creation of a multilayer feedforward neural network was chosen in order to train the robotic manipulator. This neural network has 4 neurons in the input layer, 15 neurons in the first hidden layer, 10 neurons in the second hidden layer and 4 neurons in the output layer. After the systematic and automatic collection of the training data for a number of objects and the respective data of the robotic manipulator, the data are imported as input and output data respectively in the neural network. The neural network is then trained using the Levenberg – Marquardt algorithm as a base for supervised learning and error correction as the method for changing the weights of the neural network. As a result, after training the robot, the neural network having as input any object in any location is capable of giving as output the coordinates and the orientation of the robotic hand. Finally, a number of tests have been performed for the generalization of the training of the robotic manipulator with a variety of test sets that consist of objects with known height and unknown length, objects with unknown height and length and objects with either similar or different geometry with the training objects. The results of the simulation in the virtual environment showed that the robotic manipulator is capable of grasping correctly all the objects, apart from those objects that have significantly different geometry from the training objects.