Bootstrap methods for confidence intervals and quantiles calculation: A comparison study

Abstract

Σκοπός της παρούσας εργασίας είναι η σύγκριση των ποσοστιαίων σημείων και των διαστημάτων εμπιστοσύνης αφότου εκτιμηθούν με την κλασσική μέθοδο και με μεθόδους bootstrap για την περίπτωση ανεξάρτητων και ισόνομα κατανεμημένων μεταβλητών και για την περίπτωση της αλυσίδας Markov. Μετά από μία σύντομη ιστορική αναφορά στις μεθόδους bootstrap, παρουσιάζεται η βασική θεωρία της μεθόδου bootstrap του Efron και της σταθμισμένης μεθόδου bootstrap. Στην παρούσα μελέτη εφαρμόστηκαν η μέθοδος bootstrap του Efron και οι σταθμισμένες μέθοδοι με εκθετική κατανομή και κατανομή Poisson. Περιλαμβάνεται επίσης η βασική θεωρία για την εμπειρική συνάρτηση κατανομής, η οποία χρησιμοποιείται για την εκτίμηση των ποσοστιαίων σημείων. Για τις αλυσίδες Markov, οι οποίες αποτελούν το δεύτερο τύπο δείγματος που χρησιμοποιείται, γίνεται επίσης θεωρητική ανάλυση. Όσον αφορά στην εφαρμογή, τόσο στην περίπτωση των ανεξάρτητων και ισόνομα κατανεμημένων τυχαίων μεταβλητών και όσο και στην περίπτωση της μαρκοβιανής αλυσίδας, εκτιμάται η τυπική απόκλιση με την κλασσική μέθοδο και διάφορες μεθόδους bootstrap, και στη συνέχεια συγκρίνεται με τη θεωρητική τιμή της τυπικής απόκλισης. Επίσης, χρησιμοποιείται η εμπειρική συνάρτηση κατανομής για την εκτίμηση των ποσοστιαίων σημείων, και τέλος, έχοντας τα προηγούμενα αποτελέσματα της τυπικής απόκλισης και των ποσοστιαίων σημείων, λαμβάνουμε μια εκτίμηση των διαστημάτων εμπιστοσύνης.

The purpose of this project is to compare the quantiles and confidence intervals estimated with classical and bootstrap methods for the case of independent andidentically distributed [i.i.d.] variables and the case of a Markov chain. After a short historical overview of bootstrap methods, we expose the basic theory of Efron bootstrap and weighted bootstrap. In the present study, Efron bootstrap and weighted bootstrap with exponential and Poisson distribution were applied. We also include the basic theory for the empirical distribution function, which is used for the estimation of quantiles. Markov chains, which constitute the second type of sample used, are theoretically analyzed, as well. In regard with the application, for both the case of i.i.d. variables and the case of Markov chain, we estimate the variance with classical method and various bootstrap methods, and then compare it to the theoretical variance. Then we use the empirical distribution function so as to estimate the quantiles, and last, having the previous results of variance and quantiles, we get an estimation of confidence intervals.