Development of an object detection application that monitors vessel traffic, using neural networks

Χατζησταματίου, Νικόλαος; Chatzistamatiou, Nikolaos

dc.contributor.author	Χατζησταματίου, Νικόλαος
dc.contributor.author	Chatzistamatiou, Nikolaos
dc.date.accessioned	2021-09-15T09:51:14Z
dc.date.available	2021-09-15T09:51:14Z
dc.identifier.uri	https://dspace.lib.ntua.gr/xmlui/handle/123456789/53862
dc.identifier.uri	http://dx.doi.org/10.26240/heal.ntua.21560
dc.rights	Αναφορά Δημιουργού-Μη Εμπορική Χρήση-Όχι Παράγωγα Έργα 3.0 Ελλάδα	*
dc.rights.uri	http://creativecommons.org/licenses/by-nc-nd/3.0/gr/	*
dc.subject	Σύστημα παρακολούθησης	el
dc.subject	Νευρωνικά δίκτυα	el
dc.subject	Ναυάγιο περιστέρας	el
dc.subject	Αναγνώριση αντικειμένων	el
dc.subject	Τεχνητή νοημοσύνη	el
dc.subject	Monitoring system	en
dc.subject	Neural networks	en
dc.subject	Peristera shipwreck	en
dc.subject	Object detection	en
dc.subject	Artificial Intelligence	en
dc.subject	YOLOv3	en
dc.subject	TensorFlow.js	en
dc.title	Development of an object detection application that monitors vessel traffic, using neural networks	en
dc.title	Ανάπτυξη Εφαρμογής Αναγνώρισης Αντικειμένων με χρήση Νευρωνικών Δικτύων, για την Παρακολούθηση Κίνησης Θαλάσσιων Σκαφών	el
heal.type	bachelorThesis
heal.classification	Ναυτική Μηχανολογία	el
heal.classification	Marine Engineering	en
heal.classification	Computer Programming	en
heal.classification	Προγραμματισμός Υπολογιστών	el
heal.language	en
heal.access	free
heal.recordProvider	ntua	el
heal.publicationDate	2021-07-19
heal.abstract	Η παρούσα διπλωματική εργασία διερευνά την ανάπτυξη μιας εφαρμογής Αναγνώρισης Αντικειμένων, μέσω της χρήσης Νευρονικών Δικτύων ώστε να ελέγχεται η κίνηση των θαλάσσιων σκαφών που διέρχονται πάνω από το Ναυάγιο της Περιστέρας. Βασικός στόχος της έρευνας αποτελεί η εύρεση ενός εναλλακτικού συστήματος που είναι ταυτόχρονα οικονομικό αλλά και εξίσου αξιόπιστο με τα παραδοσιακά συστήματα παρακολούθησης, έτσι ώστε να εξασφαλίζεται η ομαλή λειτουργία του Υποβρύχιου μουσείου και η συντήρηση του θησαυρού που αυτό φιλοξενεί. Ο αλγόριθμος που δημιουργήθηκε λαμβάνει τη ροή βίντεο από την κάμερα που βρίσκεται εγκατεστημένη στο νησί της Περιστέρας, και με χρήση τεχνικών Machine Learning οπτικοποιεί τα αποτελέσματα, σε πραγματικό χρόνο. Για να επιτευχθεί αυτή η διαδικασία, πραγματοποιήθηκαν πειράματα με ένα πλήθος εικόνων και βίντεο, ώστε να επιλεγεί εν τέλει το YOLOv3 ως το ταχύτερο και αποτελεσματικότερο μοντέλο για την αναγνώριση αντικειμένων. Το μοντέλο αυτό, χρησιμοποιήθηκε στη συνέχεια σε δύο διαφορετικές εφαρμογές. Στην πρώτη εφαρμογή, ο αλγόριθμος χρησιμοποιεί standard YOLOv3 ήδη εκπαιδευμένο σε βάση δεδομένων COCO, ώστε να παρακολουθήσει την κίνηση των θαλάσσιων σκαφών, παράγοντας σχετικά επιτυχή αποτελέσματα με ταχύτητα ανανέωσης frame 0.8 FPS. Αν και η βάση δεδομένων COCO περιλαμβάνει μια κλάση η οποία ονομάζεται “boat”, καθώς δεν ειδικεύεται στην αναγνώριση πλεούμενων σκαφών, το μοντέλο καταλήγει να πραγματοποιεί περίσσιους υπολογισμούς για άλλες κλάσεις, ενώ δεν παράγει επαρκή αποτελέσματα όταν οι συνθήκες φωτός δεν είναι ιδανικές. Επιπλέον, δεν παρέχει πληροφορίες που αφορούν τον συγκεκριμένο τύπο του σκάφους που εντοπίζει. Έτσι, οδηγούμαστε στη δεύτερη εφαρμογή, στην οποία πραγματοποιείται transfer learning στο YOLOv3, με τη χρήση μιας μικρής βάσης δεδομένων που αποτελείται από εικόνες και βίντεο σκαφών, τραβηγμένα από την εγκατεστημένη κάμερα. Η διαδικασία της δημιουργίας, του labeling και της επεξεργασίας της βάσης δεδομένων, καθώς και η σχεδίαση του κώδικα και μιας νέας προσαρμοσμένης συνάρτησης απόκλισης, ώστε να μπορέσει να εκπαιδευτεί το μοντέλο, αναλύονται διεξοδικά στα επόμενα κεφάλαια, καθώς αποτέλεσαν μια ισχυρή πρόκληση, καθ’ όλη τη διάρκεια της έρευνας. Η εκπαίδευση του προγράμματος συνάντησε ωστόσο ένα εμπόδιο και δεν μπόρεσε να ολοκληρωθεί: Παρόλο που παρατηρήθηκε ότι η τιμή της απόκλισης μειώνεται έπειτα από κάθε epoch -- κάτι που υποδεικνύει ότι το πρόγραμμα εκπαιδεύεται -- μια διαρροή μνήμης στον κώδικα αδρανοποιεί το πρόγραμμα έπειτα από ένα χρονικό διάστημα.	el
heal.abstract	This thesis investigates the implementation of an object detection application using neural networks to monitor vessel traffic over the Peristera shipwreck. Our study's goal is to provide a monitoring system cheaper, but as robust as the traditional solutions, ensuring the safe operation of the underwater shipwreck museum and the preservation of its national treasure. The algorithm receives video stream from a pre-installed remote based land camera on Peristera island, applies machine learning and visualizes the results on real time. For that purpose, experiments are conducted, with a variety of images and videos, in order to choose an efficient and fast object detection model, resulting to YOLOv3. This model is then used in two different implementations. In the first implementation, the algorithm uses standard YOLOv3 pre-trained on COCO Dataset to perform vessel traffic monitoring, delivering quite good results and frame rate of 0.8 FPS. Although COCO Dataset contains a "boat" class, it is not specialized in ship detection, resulting in excessive computations for other classes and insufficient performance under not ideal lighting conditions. Moreover, it does not provide any information about the specific type of the detected vessel. This leads to the second implementation of performing transfer learning to YOLOv3 with a small dataset of vessel images and videos captured by the land camera on Peristera. The whole procedure of creating, labeling and pre-processing our dataset, along with the creation of the code pipeline and a custom loss function that are used for training the new model, consist a challenging aspect that is described thoroughly. Although the loss value is decreasing after each epoch, suggesting that the model is "learning", the training phase could not be completed due to a memory leak in the code, that crashes the program after a certain number of iterations.	en
heal.advisorName	Παπαλάμπρου, Γεώργιος	el
heal.advisorName	Papalambrou, Georgios	en
heal.committeeMemberName	Παπαδόπουλος, Χρήστος	el
heal.committeeMemberName	Γρηγορόπουλος, Γρηγόρης	el
heal.committeeMemberName	Gregoropoulos, Gregoris	en
heal.committeeMemberName	Papadopoulos, Christos	en
heal.academicPublisher	Εθνικό Μετσόβιο Πολυτεχνείο. Σχολή Ναυπηγών Μηχανολόγων Μηχανικών. Τομέας Ναυτικής Μηχανολογίας. Εργαστήριο Ναυτικής Μηχανολογίας	el
heal.academicPublisherID	ntua
heal.numberOfPages	81 σ.	el
heal.fullTextAvailability	false