Στοχαστικός βέλτιστος έλεγχος με εφαρμογές στα ασύρματα δίκτυα επικοινωνιών

Abstract

Η παρούσα μεταπτυχιακή εργασία εστιάζει στη μελέτη του Στοχαστικού Βέλτιστου Ελέγχου και τις εφαρμογές του στα ασύρματα δίκτυα τηλεπικοινωνιών. Ο Στοχαστικός Βέλτιστος Έλεγχος είναι μία μαθηματική μέθοδος βελτιστοποίησης ενός κριτηρίου επίδοσης, μέσω του προσδιορισμού βέλτιστων πολιτικών ελέγχου, ενώ λαμβάνεται υπόψη η ύπαρξη αβεβαιότητας είτε στην παρατήρηση των δεδομένων κατάστασης είτε στις δυνάμεις που επιδρούν στην εξέλιξη της κατάστασης του συστήματος. Συγκεκριμένα, η κατάσταση του συστήματος μοντελοποιείται ως στοχαστική διαδικασία και λύση μίας Στοχαστικής Διαφορικής Εξίσωσης (ΣΔΕ) κατά Ito και η επιλογή μίας εκ των αποδεκτών πολιτικών ελέγχου επηρεάζει τη δυναμική του συστήματος, δηλ. τη ΣΔΕ της κατάστασης. Προτού μελετηθεί ο Στοχαστικός Βέλτιστος Έλεγχος, παρατίθεται το απαραίτητο υπόβαθρο όσον αφορά το ευρύτερο πλαίσιο των Στοχαστικών Διαφορικών Εξισώσεων κατά Ito (κίνηση Brown, φόρμουλα του Ito, ύπαρξη και μοναδικότητα της λύσης της ΣΔΕ, αναλυτική και αριθμητική επίλυση, κλπ.). Ακολούθως, μελετάται και αναλύεται ο Στοχαστικός Βέλτιστος Έλεγχος. Αρχικά, περιγράφονται οι δυνατές διατυπώσεις ενός προβλήματος Στοχαστικού Βέλτιστου Ελέγχου, ονομαστικά η ισχυρή και η ασθενής διατύπωση. Χρησιμοποιώντας τις δύο διατυπώσεις ενός προβλήματος Στοχαστικού Βέλτιστου Ελέγχου, περιγράφονται οι δύο μέθοδοι επίλυσης του, η Στοχαστική Αρχή Μεγίστου και ο δυναμικός προγραμματισμός μέσω της μερικής διαφορικής εξίσωσης Hamilton-Jacobi-Bellman, ενώ μελετάται η ισοδυναμία των δύο μεθόδων. Περισσότερη έμφαση δίνεται στη δεύτερη μέθοδο, καθώς είναι εκείνη που εφαρμόζεται συχνότερα στα προβλήματα Στοχαστικού Βέλτιστου Ελέγχου στη βιβλιογραφία. Ως εκ τούτου μελετώνται οι ιδιότητες της αναλυτικής λύσης της μερικής διαφορικής εξίσωσης Hamilton-Jacobi-Bellman, ενώ εξετάζεται και η αριθμητική της επίλυση αφού στα περισσότερα προβλήματα δεν είναι εφικτός ο υπολογισμός της αναλυτικής λύσης. Τη θεωρητική μελέτη του Στοχαστικού Βέλτιστου Ελέγχου ακολουθεί η μελέτη των εφαρμογών του για τη βελτιστοποίηση και το σχεδιασμό των ασύρματων δικτύων, με επίκεντρο την κατανομή πόρων και συγκεκριμένα τον προσδιορισμό της ισχύος εκπομπής των χρηστών των ασύρματων κυψελωτών δικτύων. Αναλυτικότερα, σύμφωνα με μελέτες της βιβλιογραφίας, ένα ρεαλιστικό μοντέλο των στοχαστικών ασύρματων καναλιών είναι εκείνο που περιγράφει την απώλεια ισχύος κατά μήκος τους ως λύση μίας ΣΔΕ. Ως εκ τούτου, εξετάζεται η βέλτιστη κατανομή ισχύος εκπομπής στους χρήστες ενός κυψελωτού δικτύου, με κριτήριο την οικονομική κατανάλωση ενέργειας, όπου τα ασύρματα κανάλια μεταξύ των χρηστών και του σταθμού βάσης είναι στοχαστικά και η δυναμική μεταβολή τους περιγράφεται από ΣΔΕ. Τέλος, η μεταπτυχιακή εργασία ολοκληρώνεται με τον προσδιορισμό κάποιων μελλοντικών κατευθύνσεων για την εφαρμογή του Στοχαστικού Βέλτιστου Ελέγχου στα ασύρματα δίκτυα επικοινωνιών.

This master thesis is focused on the study of Stochastic Optimal Control and its applications in wireless communications networks. Stochastic Optimal Control is a theoretic optimization tool of a performance index, via the determination of optimal control policies, while taking into consideration the existence of uncertainty either in the observation of the state data of the system or in the evolution of system's state. Precisely, the state of the system is modeled as a stochastic process solving a Stochastic Differential Equation (SDE) of Ito type, and the choice of an admissible control policy affects the system's dynamics, i.e., the SDE describing the system's state. Before studying Stochastic Optimal Control, it is provided the necessary background regarding the broader framework of SDEs of Ito type (Brownian motion, Ito's formula, uniqueness and existence of solution, SDE's analytic and arithmetic solution, etc.). In the sequel, in view of the background on SDEs, Stochastic Optimal Control is studied and analyzed. Initially, the two possible formulations of a Stochastic Optimal Control problem are described, namely the strong and weak formulation. Based on these two formulations, two methods of solving a Stochastic Optimal Control problem are analytically studied, namely, the Stochastic Maximum Principle and the dynamic programming via the partial differential equation Hamilton-Jacobi-Bellman, while the conditions under which equivalence of the two methods holds are also given. In this master thesis, emphasis is put on the latter method as it is used in a great range of applications in literature. Therefore, the properties of the analytic solution of the Hamilton-Jacobi-Bellman are studied, but also a finite difference scheme for its arithmetic solution is provided, since an analytic solution form is not possible in the majority of applications. The theoretical study of Stochastic Optimal Control is followed by the study of its applications in literature for the optimization and the design of wireless networks with focus on the resource allocation problem on the users of a wireless cellular network. Precisely, the resource is the transmission power while the performance index relates to the efficiency of the energy consumption. Specifically, as it is observed in literature, an SDE-based model describes in a realistic way the power loss along the stochastic wireless channels. As a result, the problem of optimal transmission power allocation on the users of a cellular network is studied where the wireless channels between the users and the base station are stochastic and their dynamic change is modeled via an SDE. Finally, some future directions for the application of Stochastic Optimal Control in wireless networks are identified and discussed.