Εκπαίδευση Ρομποτικού Βραχίονα στην Οπτική Αναγνώριση Επιτρεπτών Λαβών Σύνθετων Αντικειμένων σε Επίπεδο μέσω Επιβλεπόμενης Μάθησης Αυτο-οργανούμενου Χάρτη

Abstract

Η επιστήμη της ρομποτικής έχει ως στόχο να δημιουργήσει «σκεπτόμενες» μηχανές, τα ρομπότ, οι οποίες θα μπορούν να αλληλεπιδρούν με το περιβάλλον τους με απώτερο σκοπό να διευκολύνουν τον άνθρωπο στις διάφορες εργασίες που έχει να επιτελέσει. Απαραίτητη προϋπόθεση προκειμένου να συμβεί αυτό είναι τα ρομπότ να μπορούν να χειρίζονται με ιδιαίτερη επιδεξιότητα τα αντικείμενα που βρίσκονται στο περιβάλλον τους. Πεδίο μελέτης της παρούσας διπλωματικής εργασίας αποτελεί η ανάπτυξη ενός ρομποτικού συστήματος το οποίο θα εκπαιδεύεται ώστε να αποκτήσει την δεξιότητα της οπτικής αναγνώρισης των εφικτών λαβών των αντικειμένων. Η εκπαίδευση του ρομποτικού συστήματος υλοποιείται μέσω της αλληλεπίδρασης αυτού με τον άνθρωπο. Ο εκπαιδευτής επιδεικνύει στο ρομπότ τον τρόπο λαβής ορισμένων πρωταρχικών αντικειμένων (επιβλεπόμενη μάθηση) και το ρομποτικό σύστημα συνδυάζοντας αλγορίθμους επεξεργασίας εικόνας και διατάξεων νευρωνικών δικτύων αναπτύσει την ικανότητα της εύρεσης των επιτρεπτών λαβών σύνθετων αντικειμένων.

Η διπλωματική εργασία μπορεί να χωρισθεί σε δύο ουσιώδη μέρη: (α) την θεωρητική ανάλυση και (β) την υλοποίηση του πειράματος. Στο πρώτο μέρος, παρουσιάζεται εκτενώς το θεωρητικό υπόβαθρο στο οποίο στηριχτήκαμε ώστε να επιλύσουμε το πρόβλημά μας. Επικεντρωνόμαστε κυρίως στην θεωρία της εξαγωγής οπτικών χαρακτηριστικών που σχετίζονται με πληροφορία σχήματος, όπως οι ροπές εικόνας, οι αναλλοίωτες μεταβλητές ροπών και η ανάλυση καμπυλότητας. Παρουσιάζεται η μεθοδολογία της κατάτμησης σχήματος και της στερεοπτικής όρασης καθώς και βασικές τεχνικές βαθμονόμησης κάμερας. Ιδιαίτερη έμφαση δίνεται στην θεωρία που διέπει τους αυτοοργανούμενους χάρτες, καθώς αποτελούν την διάταξη νευρωνικού δικτύου που χρησιμοποιήθηκε για να εκπαιδευτεί ο ρομποτικός χειριστής. Στο δεύτερο μέρος, αναλύεται η διαδικασία που ακολουθήθηκε για την εκπαίδευση του ρομποτικού χειριστή, όπου αναδεικνύονται τα πλεονεκτήματα της χρήσης αυτοοργανούμενου χάρτη καθώς το σύστημα έχει τη δυνατότητα να εκπαιδευτεί αποτελεσματικά με χρήση μικρού αντιπροσωπευτικού συνόλου εκπαίδευσης. Επίσης, επεξηγείται εκτενώς η μεθοδολογία που εφαρμόστηκε προκειμένου το ρομπότ να είναι σε θέση να εντοπίζει το σύνολο των επιτρεπτών λαβών του αντικειμένου. Τέλος, παρουσιάζονται στιγμιότυπα της υλοποίησης του πειράματος σε περιβάλλον προσομοίωσης Webots, χρησιμοποιώντας τον ρομποτικό βραχίονα Katana 6M180. Τα αποτελέσματα απο την προσομοίωση δείχνουν ότι ο ρομποτικός χειριστής ανταποκρίνεται ιδιαιτέρως ικανοποιητικά στο πρόβλημα του εντοπισμού των επιτρεπτών λαβών σύνθετου σχήματος αντικειμένου που είναι τοποθετημένο πάνω σε οριζόντιο τραπέζι.

The goal of Robotics science is to create “thinking” machines, that is, robots that will be capable of interacting with their environment with a view to facilitate humans in various tasks. A necessary condition for this to happen is the robot to be able to handle with great skill various objects in its environment. The main goal of this diploma thesis is to develop a robotic system that will be trained to acquire the skill associated to the visual identification of feasible grasp configurations of objects. Training of the robotic system can be performed through human-robot interaction. The human instructor can teach the system how to handle certain primitive objects (in a supervised learning context) and, by combining image processing and neural network learning algorithms, the robotic system can then develop the capability of finding feasible grasp configurations for more complex objects.

This diploma thesis is divided into two main parts: (a) the theoretical analysis and (b) the experimental implementation and assessment. The first part presents in detail the theoretical background used to solve the problem. We focus mainly on the theory of extracting visual features that are related to shape information, like image moments, image moment invariants and curvature. Moreover, stereopsis and camera calibration techniques are employed in this work. Particular emphasis is given to the theory governing self-organizing maps (SOMs), as they constitute the neural network architecture that we used to achieve learning of feasible grasps based on visual features. The second part of this thesis deals with the procedure followed to train the robot manipulator. The advantages of using SOMs are highlighted, enabling the system to achieve good learning performance while using a small representative set of training examples. Moreover, we introduce the methodology used to enable the robot to identify the set of feasible grasp configurations of visible objects. Experimental implementation is performed on a Webots simulation environment, and results are obtained using a robotic arm Katana 6M180. The results presented in this thesis show that the robot manipulator achieves excellent learning performance, responding very well to the problem of identifying feasible grasps configurations of new complex objects mounted on a horizontal table.