Ανάπτυξη κατανεμημένου πολυπρακτορικού συστήματος από κοινού ενισχυτικής μάθησης για την αυτόνομη ρύθμιση του βηματισμού σε τετράποδο ρομπότ

Abstract

Η κίνηση ρομπότ με πόδια έχει προσελκύσει το ενδιαφέρον αρκετών ερευνητών από διάφορα επιστημονικά πεδία παγκοσμίως, για περισσότερες από δύο δεκαετίες. Η σχεδίαση βέλτιστων προτύπων βάδισης για ένα βαδίζον ρομπότ συνιστά ένα ιδιαίτερα πολύπλοκο πρόβλημα, κυρίως λόγω του μεγάλου αριθμού παραμέτρων οι οποίες καθορίζουν τη συμπεριφορά κίνησης, καθιστώντας έτσι την εφαρμογή τυπικών αλγορίθμων αναζήτησης ακατάλληλη. Λύση στο πρόβλημα αυτό μπορούν να δώσουν μέθοδοι Μηχανικής Μάθησης, οι οποίες δε χρειάζονται κάποιο μοντέλο του συστήματος και μπορούν να μάθουν τις παραμέτρους με καλή προσέγγιση. Η εργασία η οποία παρουσιάζεται σε αυτή τη διπλωματική εργασία, εμπνεύστηκε από την ανάγκη ανάπτυξης μεθοδολογιών οι οποίες μπορούν να παρέχουν ιδιότητες αναπτυξιακής μάθησης και προσαρμογής συμπεριφοράς σε πολύπλοκους ρομποτικούς μηχανισμούς, όπως τα ρομπότ με πόδια. Ο στόχος είναι να προσδώσουν στους πολύπλοκους ρομποτικούς μηχανισμούς τη δυνατότητα να μαθαίνουν αυτόματα τον τρόπο με τον οποίο θα φέρνουν εις πέρας νέες εργασίες, ιδιαίτερα εργασίες δύσκολες σε μη – φιλικά και μη – δομημένα περιβάλλοντα για τα οποία τα κλασικά ρομπότ με τροχούς κρίνονται ακατάλληλα. Στην παρούσα διπλωματική εργασία, προτείνουμε δύο νέες μεθόδους μάθησης παραμέτρων ενός τετράποδου ρομποτικού συστήματος, με σκοπό την κίνηση του με κάποια επιθυμητή ταχύτητα. Οι μέθοδοι αυτοί χρησιμοποιούν Ενισχυτική Μάθηση. Αρχικά προτείνουμε μία προσέγγιση ενός πράκτορα και στη συνέχεια, προτείνουμε μία προσέγγιση πολλών πρακτόρων. Συγκεκριμένα προσθέτουμε τέσσερις ακόμη πράκτορες, σε διαφορετικό επίπεδο, οι οποίοι μαθαίνουν κάποια τοπική συμπεριφορά και συγχρονίζονται από τον πράκτορα της πρώτης προσέγγισης. Το σύστημα αξιολογείται στην πλατφόρμα εξομοίωσης WebotsΤΜ. Τα αποτελέσματα που προκύπτουν αποδεικνύουν ότι ο προτεινόμενος πολυπρακτορικός μηχανισμός μάθησης καθιστά ικανό το ρομπότ να κινηθεί με ένα ευσταθές πρότυπο βάδισης, επιτυγχάνοντας την επιθυμητή ταχύτητα με πολύ μικρό σφάλμα και υψηλό βαθμό γενίκευσης.

Legged robot locomotion has attracted the interest of many researchers, from different scientific fields worldwide, for more than two decades now. Designing optimal gait patterns for a walking robot constitutes a particularly complex problem, notably due to the large number of parameters that govern locomotion behavior, making the application of typical search algorithms inappropriate. Solution to this problem can come from Machine Learning methods, that do not need a model of the system and are able to learn this set of parameters with a very good approximation. The work presented in this diploma thesis has been motivated by the need to develop methodologies that can provide complex robotic mechanisms, such as legged walking robots, with developmental learning and behavioral adaptability properties. The goal is to endow complex robot mechanisms with capacities to automatically learn how to fulfill new tasks, especially difficult tasks in hostile and unstructured environments for which classic wheeled mobile robots are unsuitable. In this diploma thesis, we propose two new methods for parameter learning of a quadruped robot, in order to make it able to move with a desired velocity. These methods use Reinforcement Learning. At first, we suggest a single agent approach and later, we suggest a multiagent approach. Specifically, we introduce four additional agents, on a different level, that learn a local behavior and are coordinated by the agent of the first approach. The system is evaluated on the Webots simulation platform. The obtained results show that the proposed multi-agent learning mechanism enables the quadruped robot to achieve a stable gait pattern, reaching its goal velocity with very slight error and great degree of generalization.