Δυναμικός έλεγχος μικτής κυκλοφορίας με φάλαγγες αυτόματων οχημάτων σε περιοχή πλέξης ελεύθερης λεωφόρου με τη χρήση μεθόδων ενισχυτικής μάθησης

Μπίθας, Αναστάσιος; Bithas, Anastasios

dc.contributor.author	Μπίθας, Αναστάσιος	el
dc.contributor.author	Bithas, Anastasios	en
dc.date.accessioned	2023-12-18T09:45:08Z
dc.date.available	2023-12-18T09:45:08Z
dc.identifier.uri	https://dspace.lib.ntua.gr/xmlui/handle/123456789/58458
dc.identifier.uri	http://dx.doi.org/10.26240/heal.ntua.26154
dc.rights	Αναφορά Δημιουργού-Μη Εμπορική Χρήση-Όχι Παράγωγα Έργα 3.0 Ελλάδα	*
dc.rights.uri	http://creativecommons.org/licenses/by-nc-nd/3.0/gr/	*
dc.subject	Αυτόματα οχήματα	el
dc.subject	Φάλαγγες	el
dc.subject	Μικτή κυκλοφορία	el
dc.subject	Μικροσκοπική προσομοίωση	el
dc.subject	Ενισχυτική μάθηση	el
dc.subject	Αυτόνομα οχήματα	el
dc.subject	Autonomous vehicles	en
dc.subject	Platoons	en
dc.subject	Mixed traffic	en
dc.subject	Microscopic simulation	en
dc.subject	Reinforcement learning	en
dc.subject	Πλέξη	el
dc.subject	Weaving	en
dc.title	Δυναμικός έλεγχος μικτής κυκλοφορίας με φάλαγγες αυτόματων οχημάτων σε περιοχή πλέξης ελεύθερης λεωφόρου με τη χρήση μεθόδων ενισχυτικής μάθησης	el
dc.title	Dynamic mixed traffic control with platooning in a freeway weaving section using reinforcement learning	en
heal.type	bachelorThesis
heal.classification	Κυκλοφοριακή τεχνική	el
heal.classification	Μηχανική μάθηση	el
heal.classification	Traffic engineering	en
heal.classification	Machine learning	en
heal.language	el
heal.access	free
heal.recordProvider	ntua	el
heal.publicationDate	2023-07-17
heal.abstract	Αντικείμενο της διπλωματικής εργασίας αποτελεί η ανάπτυξη μοντέλων βασισμένων στην ενισχυτική μάθηση, για τον δυναμικό έλεγχο μικτής κυκλοφορίας με φάλαγγες αυτόματων οχημάτων σε περιοχές πλέξης ελεύθερων λεωφόρων. Ο έλεγχος της κυκλοφορίας υλοποιείται με τη χρήση ευφυών συστημάτων ελέγχου και πιο συγκεκριμένα με το συνδυασμό του συστήματος ελέγχου ράμπας εισόδου και του συστήματος μεταβλητών ορίων ταχύτητας. Καταστρώθηκε πρόβλημα ελέγχου κυκλοφορίας σε συμφορημένο τμήμα πλέξης ελεύθερης λεωφόρου, αποτελούμενο από δώδεκα κυκλοφοριακά σενάρια, με διαφορετική σύνθεση της κυκλοφορίας, βασισμένα σε πραγματική κατανομή ζήτησης από τη διεθνή βιβλιογραφία. Το πρόβλημα αποτυπώθηκε στο λογισμικό μικροσκοπικής προσομοίωσης ανοιχτού κώδικα SUMO και ο έλεγχος της προσομοίωσης πραγματοποιήθηκε με την διεπαφή προγραμματισμού (API) Libsumo και simpla για την οργάνωση των φαλαγγών. Η εκπαίδευση του μοντέλου πραγματοποιήθηκε με τον αλγόριθμο Proxy Policy Optimization (PPO), αφού ορίστηκαν οι βασικές μεταβλητές για την εκμάθηση του μοντέλου ενισχυτικής μάθησης, δηλαδή η κατάσταση, οι ενέργειες και η επιβράβευση του περιβάλλοντος. Η αξιολόγηση του εκπαιδευμένου μοντέλου πραγματοποιήθηκε συγκρίνοντας τους δείκτες απόδοσης των οχημάτων στο οδικό τμήμα που προσομοιάστηκε, για κάθε ένα από τα παραπάνω κυκλοφοριακά σενάρια κατά την εφαρμογή των μεθόδων ελέγχου, σε σχέση με τους δείκτες για τα ίδια σενάρια χωρίς μεθόδους ελέγχου. Επιπλέον, αξιολογήθηκαν τρία νέα σενάρια, ώστε να εξεταστεί η γενίκευση του μοντέλου. Παρατηρήθηκε πως ανεξαρτήτως από την εφαρμογή των μεθόδων ελέγχου, η αύξηση του ποσοστού των αυτόματων οχημάτων στη σύνθεση της κυκλοφορίας και συνεπώς των φαλάγγων οχημάτων στο δίκτυο, οδηγεί σε αύξηση της μέσης ταχύτητας και στη μείωση του συνολικού χρόνου διαδρομής (TTT), του συνολικού σπαταλημένου χρόνου (TTS) και του μέσου απολυμένου χρόνου. Η εφαρμογή των μεθόδων ελέγχου οδηγεί σε βελτιωμένους δείκτες αξιολόγησης, ενώ η βελτίωση είναι σημαντικά μεγαλύτερη για χαμηλά ποσοστά αυτόματων οχημάτων στη σύνθεση της κυκλοφορίας Το μοντέλο είναι προσαρμοστικό και μεταβάλλει τη στρατηγική ελέγχου ανάλογα με τη σύνθεση και τα επίπεδα ζήτησης της κυκλοφορίας, ώστε σε κάθε περίπτωση να υπάρχει βελτίωση στις κυκλοφοριακές συνθήκες. Τέλος, παρατηρείται πως για μειωμένα ποσοστά αυτόματων οχημάτων στη σύνθεση της κυκλοφορίας, χρησιμοποιείται σε μεγαλύτερο βαθμό ο έλεγχος της ράμπας εισόδου με τον σηματοδότη, ενώ για αυξημένα ποσοστά αυτόματων οχημάτων στη σύνθεση της κυκλοφορίας χρησιμοποιούνται σε μεγαλύτερο βαθμό τα μεταβλητά όρια ταχύτητας.	el
heal.abstract	The aim of this diploma thesis is to develop reinforcement learning models for the dynamic control of mixed traffic with platoons that consist of automatic vehicles in freeway weaving sections. The above-mentioned dynamic control is actualized with intelligent transport systems (ITS) and more specifically with the implementation of ramp-metering and variable speed limits (VSL). A traffic control problem was developed for a congested freeway weaving section, that consists of twelve traffic scenarios, which contain three different traffic demand distributions and four different automated vehicle market penetration rates (MP). The problem was modelled in the open-source microscopic traffic simulation software SUMO and the simulation was controlled with the Libsumo application programming interface (API) and the simpla plugin for the formation and management of vehicle platoons. The training of the reinforcement learning model was carried out with the Proxy Policy Optimization (PPO) algorithm, after defining the Markov Decision Process (MDP) variables that are required for the learning environment, namely the state space, action space and reward. The evaluation of the trained model was carried out by comparing key point indicators (KPI) of the traffic within the simulated freeway section, for each of the traffic scenarios used in the training during the application of the control methods against the same KPIs for the same scenarios without the application of control methods. In addition, three new scenarios were evaluated to examine the generalisation of the model. It was observed that regardless of the application of control methods, an increase of the automated vehicle market penetration and thus an increase in the formation of platoons leads to an increase in average speed and a decrease in total travel time (TTT), total time spent (TTS) and average loss time. The application of control methods leads to improved KPIs, while the extent of improvement is significantly greater for low automatic vehicles market penetration rates. The model is adaptive and modifies the control strategy depending on the automated vehicle market penetration and the levels of traffic demand, so that always an improvement of traffic conditions is achieved. Finally, it is observed that for reduced automated vehicle market penetration rates, the ramp-metering control method is used to a greater extent, while for increased market penetration rated, the variable speed limits control method is preferred.	en
heal.advisorName	Βλαχογιάννη, Ελένη	el
heal.committeeMemberName	Γιαννής, Γεώργιος	el
heal.committeeMemberName	Γκιοτσαλίτης, Κωνσταντίνος	el
heal.academicPublisher	Εθνικό Μετσόβιο Πολυτεχνείο. Σχολή Πολιτικών Μηχανικών. Τομέας Μεταφορών και Συγκοινωνιακής Υποδομής. Εργαστήριο Κυκλοφοριακής Τεχνικής	el
heal.academicPublisherID	ntua
heal.numberOfPages	161 σ.	el
heal.fullTextAvailability	false