Κριτήρια επιλογής στατιστικών μοντέλων

Abstract

Η παρούσα Διπλωματική εργασία εκπονήθηκε στα πλαίσια των σπουδών μου για την απόκτηση του προπτυχιακού διπλώματος της σχολής Εφαρμοσμένων Μαθηματικών και Φυσικών Εφαρμογών (Σ.Ε.Μ.Φ.Ε.) του Εθνικού Μετσόβιου Πολυτεχνείου (Ε.Μ.Π.). Σκοπός της είναι η παρουσίαση του Akaike κριτηρίου πληροφορίας (AIC) και κάποιων επεκτάσεών του, TIC, AICc, WleAIC, καθώς και σύγκρισή του με το Μπεϋζιανό κριτήριο πληροφορίας (BIC) ως προς την συνέπεια και αποδοτικότητά του. Η εργασία εκτείνεται σε τρείς ενότητες και 5 κεφάλαια. Στην πρώτη ενότητα ανήκουν τα πρώτα δύο κεφάλαια. Στο 1ο Κεφάλαιο ‘Εισαγωγικό Σημείωμα’, αναφερόμαστε στο λόγο ύπαρξης των κριτηρίων πληροφορίας ο οποίος είναι η εύρεση του καταλληλότερου μοντέλου ανάλυσης ή πρόβλεψης των δεδομένων και η δημιουργία του στατιστικού μοντέλου ανάλυσης ή πρόβλεψης. Στο 2ο κεφάλαιο ‘Βασικές Έννοιες’, παρουσιάζουμε το στατιστικό μοντέλο παλινδρόμησης μέσα από το γραμμικό μοντέλο παλινδρόμησης που είναι το πιο συχνά εφαρμόσιμο στατιστικό μοντέλο. Επίσης παραθέτουμε την μέθοδο ελαχίστων τετραγώνων, καθώς και τα μέτρα καταλληλότητας και . Η 2η ενότητα αποτελείται από το 3ο και το 4ο κεφάλαιο. Στο 3ο κεφάλαιο ‘Βασικά χαρακτηριστικά Akaike κριτηρίου πληροφορίας’, παρουσιάζεται η γενική μορφή του AIC καθώς και τα κύρια εργαλεία κατασκευής του, οι εκτιμήτριες μέγιστης πιθανοφάνειας και η απόσταση κατά Kullback – Leibler. Στο 4ο κεφάλαιο ‘Akaike κριτήριο πληροφορίας και οι επεκτάσεις του TIC, AICc, WleAIC’, παρουσιάζουμε ένα σχεδιάγραμμα της απόδειξης του Akaike κριτήριου πληροφορίας καταδεικνύοντας έτσι τα πλεονεκτήματα και τα μειονεκτήματά του, καθώς και κάποια άλλα κριτήρια,TIC, AICc, WleAIC, τα οποία προσπαθούν να εξαλείψουν τα μειονεκτήματα αυτά. Στην 3η ενότητα ανήκει το 5ο κεφάλαιο ‘Μπεϋζιανό κριτήριο πληροφορίας (BIC)’, παρουσιάζουμε μια σύγκριση του Akaike κριτήριου πληροφορίας με το Μπεϋζιανό κριτήριο πληροφορίας με βάση την συνέπεια και την αποδοτικότητά τους μέσα από αντίστοιχα θεωρήματα. Προσπαθήσαμε καθ’ όλη την έκταση της διπλωματικής να αναφέρουμε όσο το δυνατόν περισσότερα παραδείγματα έτσι ώστε να τονίσουμε τον εφαρμοσμένο ρόλο του θέματος. Τέλος για την ανάλυση των δεδομένων στα παραδείγματα χρησιμοποιήσαμε το ελεύθερο πρόγραμμα στατικής ανάλυσης R, έκδοση 2.12.0.

Information criteria are used in finding the most suitable model for the analysis or prediction of data, since they balance the explanatory power of the candidate models against the number of their parameters. Various information criteria have been developed over the years. In this thesis, an outline of the proof of the Akaike Information Criterion (AIC) is presented, thus we demonstrate its main characteristics. AIC’s extensions (TIC, AICc, WleAIC) are also described since they aim at eliminating some of the latter, as well as maximum likelihood estimators and Kullback – Leibler distance. All of these information criteria are then compared with Bayesian information criterion (BIC). Specifically the weak consistency, strong consistency, consistency and efficiency of these criteria were compared through concrete theorems. It was concluded that both AIC and BIC manage to choose the model that is closer to the true distribution of data according to the Kullback – Leibler distance as . In addition, AIC manages to choose the model also chosen through minimization of squared errors as (efficiency), whereas BIC manages to choose the most parsimonious model from those that minimize the Kullback – Leibler distance between the adjusted and true distribution of data (consistency).