Development of a framework for 3D reconstruction and inspection of vineyards

Ζάρρας, Ιωάννης; Zarras, Ioannis

dc.contributor.author	Ζάρρας, Ιωάννης	el
dc.contributor.author	Zarras, Ioannis	en
dc.date.accessioned	2024-07-16T08:21:29Z
dc.date.available	2024-07-16T08:21:29Z
dc.identifier.uri	https://dspace.lib.ntua.gr/xmlui/handle/123456789/59921
dc.identifier.uri	http://dx.doi.org/10.26240/heal.ntua.27617
dc.rights	Αναφορά Δημιουργού-Μη Εμπορική Χρήση-Όχι Παράγωγα Έργα 3.0 Ελλάδα	*
dc.rights.uri	http://creativecommons.org/licenses/by-nc-nd/3.0/gr/	*
dc.subject	Γεωργικά Ρομπότ	el
dc.subject	Ρομποτική Αντίληψη	el
dc.subject	Τρισδιάστατη Ανακατασκευή Χώρου	el
dc.subject	Πλοήγηση και Έλεγχος Κινούμενων Ρομπότ	el
dc.subject	Σχεδιασμός Τροχιάς	el
dc.subject	Agricultural Robots	en
dc.subject	Robotic Perception	en
dc.subject	3D Reconstruction	en
dc.subject	Robotic Navigation and Control	en
dc.subject	Path Planning	en
dc.title	Development of a framework for 3D reconstruction and inspection of vineyards	en
heal.type	bachelorThesis
heal.classification	Robotics	en
heal.classification	Computer Vision	en
heal.language	en
heal.access	free
heal.recordProvider	ntua	el
heal.publicationDate	2024-03-27
heal.abstract	Η τρισδιάστατη απεικόνιση χώρου είναι ένα ισχυρό εργαλείο που φέρνει ήδη ριζικές αλλαγές στον τομέα της γεωργίας. Χρησιμοποιείται για την απομακρυσμένη παρακολούθηση της ανάπτυξης των καλλιεργειών, την ταυτοποίηση παρασίτων και ασθενειών, ακόμα και την αυτοματοποίηση των εργασιών στον αγρό. Ωστόσο, αποτελεί πρόκληση η διασφάλιση της απαραίτητης οπτικής ποιότητας της απεικόνισης ώστε να μπορεί ο αγρότης να διακρίνει εύκολα λεπτομέρειες στα φυτά. Η παρούσα διπλωματική εργασία επικεντρώνεται στο σχεδιασμό και την υλοποίηση ενός αποδοτικού συστήματος αντίληψης για τετράποδα ρομπότ, ικανού να ανακατασκευάσει με ακρίβεια ένα αμπέλι παράγοντας σαφές οπτικό περιεχόμενο για τον χρήστη. Το αντικείμενο της παρούσας εργασίας είναι όχι μόνο η έρευνα και η ανάπτυξη του απαραίτητου λογισμικού για την επίτευξη του παραπάνω στόχου, αλλά και η ανασκόπηση του διαθέσιμου υλικού για αυτόν τον σκοπό και τελικά η εκτέλεση ενός πειράματος σε προσομοίωση αλλά και με πραγματικό ρομπότ σε πραγματικές συνθήκες. Αρχικά εξετάζονται υπάρχοντα πακέτα λογισμικού για τρισδιάστατη ανακατασκευή και χωρική χαρτογράφηση. Η σύγκριση παράγει πολύτιμες πληροφορίες σχετικά με τα οφέλη και τα μειονεκτήματα πρωτοποριακών μεθόδων ανακατασκευής χώρου. Τα πακέτα δοκιμάζονται στο ROS noetic και εφαρμόζεται επιτάχυνση υλικού CUDA, όταν αυτό είναι εφικτό. Επιλέγεται τελικά το εργαλείο χωρικής χαρτογράφησης ZED με υπολογισμό βάθους με νευρωνικά δίκτυα, για να συμπληρώσει τον προσαρμοσμένο αλγόριθμο τρισδιάστατης ανακατασκευής που σχεδιάζεται στο τέλος αυτής της εργασίας. Στο τρίτο κεφάλαιο της παρούσας διπλωματικής εργασίας μελετώνται αλγόριθμοι πλοήγησης και σχεδιασμού τροχιάς. Ο αλγόριθμος πλοήγησης του ρομπότ που εν τέλει εφαρμόστηκε βασίζεται σε προηγούμενες μελέτες για οπτική οδομετρία με δύο κάμερες που πραγματοποιήθηκαν από την Ομάδα Τετράποδων Ρομπότ του Εργαστηρίου Συστημάτων Ελέγχου του ΕΜΠ, σε έναν πρωτότυπο αλγόριθμο αποφυγής εμποδίων που αποσυνθέτει τον χώρο σε πολύγωνα, καθώς και σε έναν PID ελεγκτή παρακολούθησης τροχιάς. Στη συνέχεια εξετάζεται η επιλογή των υλικοτεχνικών στοιχείων που θα χρησιμοποιηθούν για την υλοποίηση του συστήματος αντίληψης. Μια σύγκριση αισθητήρων και μονάδων επεξεργασίας, καθώς και μια εξερεύνηση των τρόπων με τους οποίους αυτά μπορούν να συνδυαστούν και να τοποθετηθούν σε ένα τετράποδο ρομπότ, οδήγησε σε καλά τεκμηριωμένες αποφάσεις σχετικά με την τελική δομή του συστήματος. Για την επίτευξη των συγκρίσεων αναπτύχθηκε ένα εργαλείο τρισδιάστατης απεικόνισης πεδίου θέασης και ανάλυσης lidar (FoVaLiRa) στην πλατφόρμα ανάπτυξης Unity. Το τελευταίο κεφάλαιο επικεντρώνεται στην ανάπτυξη του αλγορίθμου Vinymap για αντικειμενική αξιολόγηση ποιότητας point cloud, τρισδιάστατη απεικόνιση αμπελιών και αξιολόγηση πυκνότητας φυλλώματος. Το Vinymap είναι μια καινοτόμος διεργασία και δοκιμάστηκε σε κινητό ρομπότ που φέρει το σύστημα αντίληψης που δημιουργήθηκε στα πλαίσια αυτής της εργασίας. Είναι γραμμένο σε python3, με χρήση δύο γνωστών και καθιερωμένων βιβλιοθηκών ανοιχτού κώδικα, των Open3D και OpenCV.	el
heal.abstract	3D spatial mapping is a powerful tool that is revolutionizing the field of agriculture. By creating detailed digital representations of fields, farmers can gain insights into their land that were previously unattainable. This technology can be used to remotely monitor crop growth, identify pests and diseases, optimize irrigation and fertilizer applications, and even automate field operations. However, it is a challenge to ensure the necessary optical quality so that the farmer can easily distinguish details in the plants. The present thesis focuses on the design and implementation of an effective perception system capable of accurately reconstructing a vineyard while producing clear and comprehensive visual content for the user. The subject of the present work is not only the research and development of the necessary software to achieve the above goal, but also a review of the available hardware for that purpose and ultimately the execution of an experiment in simulation, as well as with a real robot in realistic conditions. First, the available software on 3D reconstruction and spatial mapping is reviewed. Comparing four different packages produces valuable insight regarding the benefits and drawbacks of various state-of-the-art reconstruction methods. The packages are tested on ROS noetic and CUDA hardware acceleration is enabled to speed up the process. The ZED spatial mapping tool with neural depth capabilities is chosen to complement the custom 3D reconstruction algorithm that is ultimately implemented in this work. Navigation and path planning algorithms are studied in the third chapter of the present thesis. The final design of the high-level planner which is utilized in both the simulation and the real-life experiments is based on prior studies on dual camera visual odometry conducted by the Legged Robots Team of the Control Systems Lab in NTUA, as well as on a novel obstacle avoidance algorithm which leverages polytopic decomposition and a stable trajectory tracking PID controller. Deciding which hardware components to utilize for the implementation of the perception system is next addressed in this work. A comparison of sensors and processing units, as well as an exploration of the ways in which they can be combined and placed on a quadruped robot, led to well-argued decisions about the final structure of the perception system. To justify and visualize these comparisons, a three-dimensional field of view visualization and lidar resolution analysis tool (FoVaLiRa) was developed in the Unity Development platform. The final chapter focuses on the development of the Vinymap Objective Quality Assessment, Canopy Inspection and 3D Reconstruction Algorithm. Vinymap is a novel approach to reconstructing a real vineyard while maintaining the visual features of the leaves, the grapes, and the trunk intact. It also assesses the vineyard’s canopy density and provides valuable quantitative indexes to the farmers. Vinymap was tested on a mobile robotic platform with the perception system developed in this work. It is written in python3 and utilizes open3D and openCV, two well-known and well-established open-source libraries.	en
heal.advisorName	Τζαφέστας, Κωνσταντίνος	el
heal.committeeMemberName	Παπαδόπουλος, Ευάγγελος	el
heal.committeeMemberName	Μαραγκός, Πέτρος	el
heal.academicPublisher	Εθνικό Μετσόβιο Πολυτεχνείο. Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών. Τομέας Σημάτων, Ελέγχου και Ρομποτικής	el
heal.academicPublisherID	ntua
heal.numberOfPages	156 σ.	el
heal.fullTextAvailability	false