Μέθοδοι και κριτήρια επιλογής μοντέλου με ποινή

Abstract

Η ανάγκη της επιλογής των στατιστικά σημαντικών μεταβλητών που θα εισαχθούν τελικά σε ένα μοντέλο, ώστε να περιγράψουν με όσο το δυνατό μεγαλύτερη ακρίβεια το υπό εξέταση χαρακτηριστικό, οδήγησε στη δημιουργία μεθόδων ικανών να ανταποκριθούν στην απαίτηση αυτή. Σε συνδυασμό με την ανάγκη το προκύπτων μοντέλο να χαρακτηρίζεται και από καλή ικανότητα πρόβλεψης για μελλοντικές παρατηρήσεις, αναπτύχθηκαν κατάλληλες μέθοδοι και κριτήρια. Το κοινό χαρακτηριστικό αυτών των μεθόδων είναι ότι επιβάλλουν ένα είδος ποινής στη συνάρτηση πιθανοφάνειας με αποτέλεσμα οι συντελεστές των μεταβλητών στο μοντέλο να συρρικνώνονται. Το κοινό χαρακτηριστικό των κριτηρίων είναι οτι επιβάλλουν ποινή προκειμένου να μην εισαχθούν ανεξέλγκτα πολλές επεξηγηματικές μεταβλητές. Μέθοδοι όπως η LASSO, η παλινδρόμηση κορυφογραμμής, η SCAD, και κριτήρια όπως AIC, BIC αναπτύσσονται στα πλαίσια της εργασίας τα οποία βρίσκουν εφαρμογή τόσο σε γενικευνμένα γραμμικά μοντέλα όσο και σε δεδομένα επιβίωσης κάνοντας χρήση του μοντέλου του Cox. Σε ένα σύνολο πραγματικών δεδομένων εφαρμόζονται όλες οι μέθοδοι που παρουσιάζονται κάνοντας χρήση κατάλληλων πακέτων της R.

The need of selecting the statistically significant variables that will finally participate in the model, so that the characteristic under consideration is described as well as possible, has led to the development of methods that are capable of meeting this requirement. Combining this need with the fact that the resulting model should have a good predictive ability, led to more efficient methods and criteria. The common characteristic of these methods is that they impose a penalty in the likelihood function causing shrinkage of the regression coefficients. The common characteristic of the criteria is that they also consider a penalty to avoid adding too many variables to the model. Methods such as LASSO, Ridge Regression, SCAD and criteria such as AIC and BIC are analyzed in the present thesis. These can be applied not only to the classical general linear model but also to generalized linear models and survival data using Cox's model. All the methods presented are applied to a real data set using programms in R.