Ενισχυτική Μάθηση σε Συστήματα Γνωστικών Ραδιοεπικοινωνιών

Abstract

Η αλματώδης αύξηση της ζήτησης για υπηρεσίες ασύρματης επικοινωνίας έχει οδηγήσει στην ελαχιστοποίηση του διαθέσιμου φάσματος συχνοτήτων, καθιστώντας το σπάνιο φυσικό πόρο. Συνεπώς, η διαχείριση και εκχώρηση φάσματος αποτελεί αντικείμενο με ιδιαίτερο οικονομικό και επιστημονικό αντίκτυπο. Σύμφωνα με πολλές σχετικές μελέτες, η χρησιμοποίηση του φάσματος δεν είναι αποδοτική εξαιτίας της στατικής εκχώρησής του αποκλειστικά σε αδειοδοτημένους χρήστες (πρωτεύοντες χρήστες). Ως επακόλουθο των στατικών πολιτικών πρόσβασης και της διαδικασίας αδειοδότησης φάσματος υπάρχει σημαντικό πλεόνασμα ανεκμετάλλευτων συχνοτήτων και κρίνεται επιτακτική η αλλαγή στην πολιτική εκχώρησης φάσματος. Προς το σκοπό αυτό έχει προταθεί η δυναμική πρόσβαση στο φάσμα η οποία γίνεται δυνατή μέσω των γνωστικών ραδιοεπικοινωνιών. Σκοπός της εργασίας είναι η διερεύνηση της εφαρμογής τεχνικών ενισχυτικής μάθησης στη διαδικασία ανίχνευσης φάσματος από δευτερεύοντες χρήστες γνωστικών ραδιοεπικοινωνιών. Αρχικά, γίνεται επισκόπηση του αντικειμένου των γνωστικών ραδιοεπικοινωνιών και παρουσιάζεται το πρόβλημα της ενισχυτικής μάθησης, δίνοντας έμφαση στις τεχνικές που στηρίζονται σε διαδικασίες απόφασης Markov. Στη συνέχεια, ακολουθεί η παρουσίαση και τα συμπεράσματα από εφαρμογές ήδη υπαρχόντων μοντέλων ενισχυτικής μάθησης. Τέλος παρουσιάζονται τα εργαστηριακά αποτελέσματα της προσομοίωσης ενός σχήματος ενισχυτικής μάθησης για αποδοτικότερη πρόσβαση στο φάσμα με χρήση του εργαλείου MATLAB.

The growth of demand for wireless communication services has led to the minimazation of the available frequency spectrum, rendering it a scarce natural resource. Consequently, the spectrum management and assignment has become a very important matter with severe financial and scientific impact. According to a lot of relevant researches, spectrum utilization is not efficient because of the static spectrum allocation only to primary users. As a result of static spectrum access, there is a lot of unexploited frequency bands, in this way the change of the spectrum access policy is necessary. As a solution to the problem, dynamic spectrum access was proposed to allow non-licensed users to access the spectrum opportunistically. This kind of access is achieved through the use of cognitive radios. This thesis aims at examining the application of reinforcement learning techniques in the framework of spectrum sensing from secondary cognitive radio users. First, the principles of cognitive radio and reinforcement learning are presented extensively, focusing on Markov Decision Processes. Then, a specific application of reinforcement learning techniques is simulated and the corresponding results are presented.