Αυτόματος εντοπισμός ισάλου γραμμής

Βασιλόπουλος, Κωνσταντίνος; Vasilopoulos, Konstantinos

dc.contributor.author	Βασιλόπουλος, Κωνσταντίνος	el
dc.contributor.author	Vasilopoulos, Konstantinos	en
dc.date.accessioned	2018-09-25T11:14:08Z
dc.date.available	2018-09-25T11:14:08Z
dc.date.issued	2018-09-25
dc.identifier.uri	https://dspace.lib.ntua.gr/xmlui/handle/123456789/47674
dc.identifier.uri	http://dx.doi.org/10.26240/heal.ntua.8634
dc.description	Εθνικό Μετσόβιο Πολυτεχνείο--Μεταπτυχιακή Εργασία. Διεπιστημονικό-Διατμηματικό Πρόγραμμα Μεταπτυχιακών Σπουδών (Δ.Π.Μ.Σ.) “Συστήματα Αυτοματισμού”	el
dc.rights	Default License
dc.subject	Νευρωνικά δίκτυα	el
dc.title	Αυτόματος εντοπισμός ισάλου γραμμής	el
dc.title	Automatic Visual sea-Vessel and waterline detection using Neural Networks	en
heal.type	masterThesis
heal.classification	Οπτική αναγνώριση	el
heal.classification	Object based image analysis	el
heal.classification	Convolutional neural networks	el
heal.language	en
heal.access	free
heal.recordProvider	ntua	el
heal.publicationDate	2018-07-20
heal.abstract	Κύριος σκοπός αυτής της διπλωαματικής είναι η σχεδίαση ενός συστήματος αποφυγής εμποδίων, το οποίο τοποθετημένο σε μια μικρή βάρκα θα μπορεί να εντοπίζει σε ικανοποιητικό βαθμό τα περιβάλλοντα οχήματα, λειτουργόντας σαν το κύριο αισθητήριο σύστημα ενός συστήματος αποφυγής συγκρούσεων. Το σύστημα θα πρέπει να δύναται να λαμβάνει σαν είσοδο βίντεο απο μια κάμερα τοποθετημένη πάνω στη βάρκα και να εντοπίζει τα οχήματα καθώς και την σχετική θέση τους στην εικόνα. Για την ικανοποίηση αυτών των προδιαγραφλων χρησιμοποιήθηκαν Convolutional Νευρωνικά Δίκτυα καθώς πετυχαίνουν τα βέλτιστα αποτελέσματα όταν πρόκειται για επεξεργασία εικόνων και εντοπισμό αντικειμένων. Βίντεο που τραβήχτηκαν απο βάρκα χρησιμοποιήθηκαν σαν είσοδος στο τελικό σύστημα και όλα τα πειράματα έλαβαν χώρα στις εγκαταστάσεις του εργαστηρίου του τμήματος Ναυπηγών Μηχανολόγων Μηχανικών (LME). Αρχικά, εικόνες που είχαν ήδη ονομαστεί χρησιμοποιήθηκαν σαν είσοδος σε ένα ήδη εκπαιδευμένο δίκτυο με τη χρήση του object detection API της Googe, κάνοντας το δίκτυο αυτό να λειτουργεί σαν ένα δίκτυο εντοπισμού θαλάσσιων οχημάτων. Οι εικόνες που χρησιμοποιήθηκαν για την εκπαίδευση επιλέχθηκαν με τέτοιο τρόπο, ώστε το δίκτυο να έχει τη μεγαλύτερη δυνατή γενικότητα,ώστε να είναι δυνατός ο εντοπισμός διαφορετικών οχημάτων από διαφορετικές γωνίες και σε διαφορετικά περιβάλλοντα. Το εκπαιδευμένο ΄δίκτυο παίρνει σαν είσοδο μια εικόνα οποιουδήποτε ύψους και πλάτους και επιστρέφει τη θέση και τις διαστάσεις του μικρότερου δυνατού περιβάλλοντος ορθογωνίου που εμπεριέχει το αντίστοιχο όχημα. Επιπρόσθετα, για να βελτιωθούν οι δυνατότητες του προαναφερθέντος συστήματος, ένα σύστημα αναγνώρισης της ισάλου γραμμής δημιουργήθηκε, επιτρέποντας να απορρίπτονται οι περισσότεροι false positive εντοπισμοί. Για το σύστημα αυτό χρησιμοποιήθηκε ένα κλασσικό CNN. Οι εικόνες που χρησιμοποιήθηκαν για την εκπαίδευση είχαν όλα τα pixels τους ονομασμένα και χωρισμένα στις κατηγορίες νερό και όχι νερό, επιτρέποντας στο σύστημα να αναγνωρίζει τα pixels νερού στα frames των βίντεο που δίνει η κάμερα πάνω στη βάρκα. Αυτό το δίκτυο παίρνει σαν είσοδο μια εικόνα με ύψος και πλάτος 150 pixels και 3 κανάλια χρώματος (RGB) και επιστρέφει μια εικόνα 150 pixels όπου το κάθε pixel έχει την ονομασία νερό ή όχι νερό. Το μέγεθος των εικόνων επιλέχθηκε να είναι 150 pixels λόγο περιορισμών μνήμης στον Η/Υ που χρησιμοποιήθηκε κατα τη διάρκεια της εκπαίδευσης του δικτύου. Τα αποτελέσματα φιλτράρονται ώστε να αποφευχθεί ο μεγάλος θόρυβος κοντά στη στεριά ή σε άλλα αντικείμενα που βρίσκονται μέσα στο νερό. Το αποτέλεσμα περνά από έναν αυτόματο Canny Edge detector και τα edges που εντοπίζονται δίνονται σαν είσοδος σε έναν RANSAC αλγόριθμο που επιστρέφει μια ευθεία γραμμή που ελαχιστοποιεί την απόσταση από κάθε pixel.Η ευθεία αυτή γραμμή είναι μια προσέγγιση της ισάλου γραμμής στην εικόνα. Ακόμη, τα αποτελέσματα απο τα δύο συστήματα συνδυάζονται ώστε να λειτουργούν πάνω στην ίδια εικόνα. Το σύστημα εντοπισμού ισάλου γραμμής λειτουργεί πάνω σε μια σμίκρυνση του frame απο το βίντεο της κάμερας και η ίσαλος γραμμή εντοπίζεται. Έπειτα, το σύστημα εντοπισμού οχημάτων εντοπίζει πάνω στην αρχική εικόνα όλα τα οχήματα και τη θέση τους. Στη συνέχεια, τα οχήματα που βρίσκονται πάνω από την ίσαλο γραμμή εξαιρούνται από το τελικό αποτέλεσμα. Αυτό είναι ιδιαίτερα χρήσιμο όταν η βάρκα βρίσκεται κοντά στη στεριά όπου ο αριθμός των false positive εντοπισμών αυξάνεται. Τελικά, η επίδοση του συστήματος μετρήθηκε σε βίντεο που προσεγγίζουν ικανοποιητικά τις συνθήκες κάτω από τις οποίες το σύστημα απαιτείται να λειτουργεί. Ο στόχος του εντοπισμού των οχημάτων και των θέσεών τους σε ένα frame με σκοπό να δοθούν σαν είσοδος σε ένα σύστημα αποφυγής συγκρούσεων επιτεύχθηκε ικανοποιητικά. Όλα τα πειράματα έγιναν σε εξοπλισμό του εργαστηρίου Ναυπηγών Μηχανολόγων Μηχανικών (LME).	el
heal.abstract	The main purpose of this thesis is the design of an obstacle detection system, which when placed on a small boat will be able to e ectively detect surrounding vessels ultimately, making up the main sensory system of a collision avoidance controller for the boat. The system should be able to receive video taken by a camera on the boat and detect any vessels, as well as their respective positions in the image. To achieve that purpose, convolutional neural networks where used since they achieve the best results when it comes to image processing and classi cation. Videos taken by boat where used as input to the developed system and all experiments where conducted in the experimental facilities of the Laboratory of Marine Engineering (LME) and with the help of the existing equipment. Firstly, labeled train images where fed to a pre- trained network via the object detection API developed by Google, shaping it into a vessel detection network. The train images were picked in such a way, to make the network as generalized as possible, so that detection of di erent types of vessels from di erent angles could be made possible. The trained network receives as an input an image of any width and height and returns the boundaries of the smallest rectangle box possible, fully surrounding the detected vessels. Furthermore, in order to improve the network's performance and enhance its capa- bilities, a waterline detection network was built, allowing to dropout most of the false positive detections. For the waterline detection, again a classic CNN was used. The images fed to the CNN for the waterline detection had all their pixels labeled as wa- ter and non-water pixels, thus enabling the network to recognize water and non-water pixels in the frames captured by the camera on the boat. This network receives as an input an image with height and width of 150 pixels and 3 channels of colors (RGB) and outputs a label of the same size, were each pixel is labeled as water and non-water. The size of the images was decided after consideration of the memory limitations of the computer used during the training process. The results are then regulated in order to avoid the high noise near non-water bodies like vessels or land. The resulting label is passed through an automatic canny edge detector and the edges detected are then passed through a RANSAC algorithm which extracts the straight line that minimizes the distance from every pixel. The resulting straight line is an approximation of the water level in the image. Additionally, the two networks were combined so that they would both function on the same image. The waterline detector is applied to a rescaled version of the video frame so that its size is 150 X 150 pixels and the waterline position is extracted. Afterwards the vessel detector is applied to the original image and the positions of all detected vessels are extracted. Then, the detected vessels positioned higher than the waterline in the image are considered as false positives and are excluded from the final output. This is particularly useful when the boat is near the land and the number of false positive detections increases. Finally, the trained system performance was tested on a video that closely resembles the conditions under it is required to function. The goal of detecting the positions of vessels in a video frame in order to feed a collision avoidance controlled was achieved in a satisfactory way. All the tests were run on the equipment provided by the LME.	en
heal.advisorName	Παπαλάμπρου, Γεώργιος	el
heal.committeeMemberName	Γκίνης, Αλέξανδρος	el
heal.committeeMemberName	Παπαδόπουλος, Χρήστος	el
heal.academicPublisher	Εθνικό Μετσόβιο Πολυτεχνείο. Σχολή Ναυπηγών Μηχανολόγων Μηχανικών	el
heal.academicPublisherID	ntua
heal.numberOfPages	92 σ.	el
heal.fullTextAvailability	true