Deep Reinforcement Learning Traffic Models for Personalized Driving Recommendations

Μαντούκα, Ελένη; Mantouka, Eleni

dc.contributor.author	Μαντούκα, Ελένη
dc.contributor.author	Mantouka, Eleni
dc.date.accessioned	2022-01-19T07:24:22Z
dc.date.available	2022-01-19T07:24:22Z
dc.identifier.uri	https://dspace.lib.ntua.gr/xmlui/handle/123456789/54364
dc.identifier.uri	http://dx.doi.org/10.26240/heal.ntua.22062
dc.rights	Default License
dc.subject	συμπεριφορά οδήγησης	el
dc.subject	ενισχυτική μάθηση	el
dc.subject	ομαδοποίηση k-means	el
dc.subject	συστάσεις οδήγησης	el
dc.subject	εξατομίκευση	el
dc.subject	driving behavior	en
dc.subject	reinforcement learning	en
dc.subject	k-means clustering	en
dc.subject	driving recommendations	en
dc.subject	personalization	en
dc.title	Deep Reinforcement Learning Traffic Models for Personalized Driving Recommendations	en
dc.title	Κυκλοφοριακά Πρότυπα Βαθιάς Ενισχυτικής Μάθησης για Προσωποποιημένες Συστάσεις Οδήγησης	el
dc.contributor.department	Τομέας Μεταφορών και Συγκοινωνιακής Υποδομής	el
heal.type	doctoralThesis
heal.classification	Οδηγική Συμπεριφορά	el
heal.classification	Επιστήμη Δεδομένων	el
heal.classification	Προσωποποιημένες συστάσεις	el
heal.classification	Κυκλοφοριακή τεχνική	el
heal.classification	Driving behavior	en
heal.classification	Data Science	el
heal.classification	Personalized Recommendations	el
heal.classification	Traffic Engineering	el
heal.language	el
heal.language	en
heal.access	free
heal.recordProvider	ntua	el
heal.publicationDate	2021-12-02
heal.abstract	The aim of this doctoral dissertation is initially to develop an inclusive personalized driving recommendation framework which first identifies each individual’s driving style and then, proposes customized driving actions that mitigate aggressiveness and riskiness, and, thereafter, to assess the impact of applying such a personalized decision support system through microsimulation by properly adjusting traffic models. The methodological approach is based on a mixture of unsupervised learning and Deep Reinforcement Learning algorithms while exploiting an always increasing naturalistic driving dataset that emerged from crowd-sensing. Using a variety of variables which describe driving behavior each individual’s driving behavior is identified both on a trip- and user-level. Findings revealed that there are 6 driving profiles that describe the overall behavior a driver has during their trip, which spans from safe to aggressiveness and distraction during driving. Subsequently, the average behavior of each driver was estimated and further exploited to separate drivers into groups. Then, two Reinforcement Learning agents were trained, each one corresponding to a specific group of drivers with common behavior, to determine the optimal behavior alteration for each driver given the way they have drove over their last trip. Specifically, the two agents correspond to cautious and more aggressive drivers respectively. The results of applying the controllers into real world data have shown that, although given the same driving characteristics of a trip, indicating the same driving behavior, the two controllers provide different driving suggestions, both of them lead to safer driving actions. Finally, a microsimulation scenario was set in order to assess traffic conditions, emissions and safety before and after applying the recommendation system. Findings have revealed that when each individual driver improves their behavior accordingly to the system’s recommendation, although traffic conditions are not improved, the calculation of key safety and environmental performance indicators unveiled a significant reduction of both conflicts and harmful emissions. Results could be exploited within the framework of an advanced active cruise control system, in the development of enhanced behavioral models or could even lead to the revision of policy measures that utilize driving behavior as a key controller of traffic management.	en
heal.abstract	Ο στόχος της παρούσας διδακτορικής διατριβής είναι, αρχικά, να αναπτύξει μια ολοκληρωμένη προσέγγιση για τη δημιουργία ενός εξατομικευμένου συστήματος παροχής συστάσεων οδήγησης το οποίο πρώτα θα ανιχνεύει τη συμπεριφορά οδήγησης και στη συνέχεια θα προτείνει εξατομικευμένες ενέργειες που μετριάζουν την επιθετικότητα και το ρίσκο κατά την οδήγηση, και έπειτα, να εκτιμήσει τις επιπτώσεις της εφαρμογής ενός τέτοιου συστήματος μέσω προσομοίωσης προσαρμόζοντας κατάλληλα τις παραμέτρους του κυκλοφοριακού μοντέλου. Η μεθοδολογική προσέγγιση βασίζεται σε ένα μείγμα αλγορίθμων μη επιβλεπόμενης και ενισχυτικής μάθησης, στα πλαίσια των οποίων αξιοποιείται μια βάση δεδομένων πραγματικής οδήγησης που συλλέγονται από το πλήθος. Χρησιμοποιώντας μια ποικιλία μεταβλητών που περιγράφουν τον τρόπο οδήγησης, προσδιορίζεται η συμπεριφορά οδήγησης τόσο σε επίπεδο διαδρομής όσο και σε επίπεδο χρήστη. Η ανάλυση ανέδειξε 6 προφίλ οδήγησης που περιγράφουν τη συνολική συμπεριφορά ενός οδηγού κατά τη διάρκεια της διαδρομής του, και εκτείνονται από την ασφαλή έως την επιθετική οδήγηση και την οδήγηση με απόσπαση προσοχής. Στη συνέχεια, η μέση συμπεριφορά κάθε οδηγού εκτιμήθηκε και αξιοποιήθηκε περαιτέρω για να διαχωριστούν οι οδηγοί σε ομάδες με κοινά χαρακτηριστικά. Δύο ξεχωριστοί πράκτορες Ενισχυτικής μάθησης εκπαιδεύτηκαν, ένας για κάθε ομάδα χρηστών, οι οποίοι είναι σε θέση να προσδιορίζουν τη βέλτιστη αλλαγή στη συμπεριφορά κάθε οδηγού δεδομένου του τρόπου που ο ίδιος οδήγησε στην προηγούμενη διαδρομή του. Πιο συγκεκριμένα, οι δύο πράκτορες αντιστοιχούν στους τυπικούς οδηγούς και στους πιο επιθετικούς/μη ασφαλείς οδηγούς, αντίστοιχα. Τα αποτελέσματα της αξιοποίησης των συστάσεων οδήγησης έδειξαν ότι, δεδομένων των ίδιων χαρακτηριστικών οδήγησης για μια διαδρομή, που υποδηλώνουν ίδια συμπεριφορά οδήγησης, οι δύο πράκτορες παράγουν διαφορετικές συστάσεις οι οποίες ταιριάζουν με τις προτιμήσεις της εκάστοτε ομάδας οδηγών, παρόλο που και οι δύο οδηγούν σε ασφαλέστερες ενέργειες οδήγησης. Τέλος, δύο κύκλοι προσομοίωσης πραγματοποιήθηκαν προκειμένου να αξιολογηθούν οι επιπτώσεις της εφαρμογής ενός τέτοιου συστήματος τόσο στην κυκλοφορία, όσο και στην οδική ασφάλεια και το περιβάλλον. Τα ευρήματα έδειξαν ότι εάν όλοι οι οδηγοί βελτιώσουν τη δική τους συμπεριφορά οδήγησης τότε, παρόλο που οι συνθήκες κυκλοφορίας δε βελτιώνονται, παρατηρούνται σημαντικές μειώσεις τόσο στις εκπομπές βλαβερών αερίων όσο και στις εμπλοκές ανάμεσα στα οχήματα. Τα αποτελέσματα αυτής της έρευνας μπορούν να αξιοποιηθούν στα πλαίσια ενός προηγμένου συστήματος υποβοήθησης του οδηγού, στην ανάπτυξη προχωρημένων προτύπων συμπεριφοράς ή ακόμη και να οδηγήσουν στην αναθεώρηση των πολιτικών που χρησιμοποιούν τη συμπεριφορά οδήγησης ως κινητήριο δύναμη για τη διαχείριση της κυκλοφορίας.	el
heal.sponsor	This research is co-financed by Greece and the European Union (European Social Fund- ESF) through the Operational Programme «Human Resources Development, Education and Lifelong Learning» in the context of the project “Strengthening Human Resources Research Potential via Doctorate Research – 2nd Cycle” (MIS-5000432), implemented by the State Scholarships Foundation (ΙΚΥ).	en
heal.advisorName	Βλαχογιάννη, Ελένη
heal.advisorName	Vlahogianni, Eleni
heal.committeeMemberName	Γκόλιας, Ιωάννης
heal.committeeMemberName	Γιαννής, Γιώργος
heal.committeeMemberName	Κεπαπτσόγλου, Κωνσταντίνος
heal.committeeMemberName	Παπαμιχαήλ, Ιωάννης
heal.committeeMemberName	Γερολιμίνης, Νικόλαος
heal.committeeMemberName	Γκριτζά, Κωνσταντίνα
heal.academicPublisher	Σχολή Πολιτικών Μηχανικών	el
heal.academicPublisherID	ntua
heal.numberOfPages	201
heal.fullTextAvailability	false