dc.contributor.author | Ρεπόπουλος, Σοφοκλής![]() |
el |
dc.contributor.author | Repopoulos, Sofoklis![]() |
en |
dc.date.accessioned | 2021-10-22T10:04:22Z | |
dc.date.available | 2021-10-22T10:04:22Z | |
dc.identifier.uri | https://dspace.lib.ntua.gr/xmlui/handle/123456789/53991 | |
dc.identifier.uri | http://dx.doi.org/10.26240/heal.ntua.21689 | |
dc.rights | Αναφορά Δημιουργού-Μη Εμπορική Χρήση-Όχι Παράγωγα Έργα 3.0 Ελλάδα | * |
dc.rights.uri | http://creativecommons.org/licenses/by-nc-nd/3.0/gr/ | * |
dc.subject | στατιστικά μοντέλα | el |
dc.subject | Παλινδρόμηση | el |
dc.subject | Θεωρητικά κριτήρια πληροφορίας | el |
dc.subject | Προβλεπτικό σφάλμα | el |
dc.subject | Επιλογή μεταβλητών | el |
dc.subject | Model selection | en |
dc.subject | Information theoretic criteria | en |
dc.subject | Regression | en |
dc.subject | Variable selection | en |
dc.subject | Prediction error | en |
dc.title | Μέθοδοι επιλογής μοντέλων στη στατιστική | el |
dc.title | Model selection methods in Statistics | en |
heal.type | bachelorThesis | |
heal.classification | Στατιστική | el |
heal.classification | Statistics | en |
heal.language | el | |
heal.access | free | |
heal.recordProvider | ntua | el |
heal.publicationDate | 2021-07-05 | |
heal.abstract | Στη σύγχρονη εποχή έχουμε πρόσβαση σε πληθώρα δεδομένων τα οποία αν αξιοποιηθούν κατάλληλα μπορούν να οδηγήσουν στην ορθή λήψη αποφάσεων και να προσφέρουν διορατικότητα στην επίλυση προβλημάτων. Τα στατιστικά μοντέλα παλινδρόμησης προσπαθούν να εξηγήσουν τις πιθανές σχέσεις που υπάρχουν ανάμεσα στις μεταβλητές-έννοιες που μελετώνται. Ένα από τα κυριότερα ζητήματα του προβλήματος επιλογής μοντέλων είναι η εύρεση του κατάλληλου υποσυνόλου επεξηγηματικών μεταβλητών, το οποίο οδηγεί κατά επέκταση σε μοντέλα με υψηλή προβλεπτική ικανότητα και μειώνει το υπολογιστικό κόστος στην αξιοποίησή τους. Στην παρούσα εργασία μελετάται ένα πλήθος από μεθόδους και κριτήρια επιλογής στατιστικών μοντέλων με στόχο την αποτελεσματική πρόβλεψη της μεταβλητής ενδιαφέροντος και την ανίχνευση των παραγόντων με τη μεγαλύτερη επιρροή. Στο 1ο κεφάλαιο "Βασικές έννοιες" παρουσιάζουμε τις θεμελιώδεις αρχές του προβλήματος επιλογής μοντέλου που πρέπει να λαμβάνει υπόψιν του ο κάθε αναλυτής. Επιπλέον, εισάγεται η έννοια της Kullback-Leibler απόστασης με την οποία συνδέονται τα κριτήρια πληροφορίας που μελετώνται στο επόμενο κεφάλαιο. Επίσης, παρουσιάζεται και αναλύεται το γραμμικό μοντέλο παλινδρόμησης, που είναι το πιο ευρέως διαδεδομένο στατιστικό μοντέλο, μαζί με τα καταλληλότητας R-squared και Mallow's Cp. Στο 2ο κεφάλαιο "Θεωρητικά κριτήρια πληροφορίας" συνδέουμε αρχικά την έννοια της Kullback-Leibler απόστασης με τα θεωρητικά κριτήρια πληροφορίας, εργαλεία κρίσιμης σημασίας στην επιλογή μοντέλων. Στη συνέχεια παρουσιάζουμε και αναλύουμε τα AIC και AICc κριτήρια πληροφορίας τα οποία εφαρμόζουμε στο γραμμικό μοντέλο παλινδρόμησης. Επίσης παρουσιάζουμε το Μπεϋζιανό κριτήριο πληροφορίας BIC και το συγκρίνουμε με τα προηγούμενα κριτήρια σε εφαρμογή με δεδομένα διάρκειας ζωής. Στο τέλος του κεφαλαίου αναλύουμε το πρόβλημα της επιλογής μεταβλητών εστιάζοντας στη μέθοδο της πλήρους εξερεύνησης του χώρου μοντελοποίησης και στις διαδικασίες κατά βήματα, αναφέροντας τα πλεονεκτήματα και μειονεκτήματά τους. Στο 3ο κεφάλαιο "Ιδιότητες κριτηρίων πληροφορίας" εισάγουμε θεμελιώδεις ιδιότητες που είναι θεμιτό να κατέχουν τα κριτήρια πληροφορίας. Συγκεκριμένα, εξετάζουμε με τη βοήθεια αντίστοιχων θεωρημάτων τις ιδιότητες της ασθενούς και της ισχυρής συνέπειας των κριτηρίων AIC, AICc και BIC. Στο 4ο κεφάλαιο "Cross validation και Bootstrap" εισάγουμε τις υπολογιστικές μεθόδους cross validation και Bootstrap και παρουσιάζουμε τον τρόπο που χρησιμοποιούνται για την εκτίμηση του προβλεπτικού σφάλματος των μοντέλων. Ασχολούμαστε με αρκετές εκδοχές της cross validation μεθόδου τις οποίες αξιολογούμε μαζί με την Boostrap μέθοδο σε παράδειγμα δεδομένων. Στο 5ο κεφάλαιο "Μέθοδος lasso" αναλύουμε αρχικά το πρόβλημα της πολυσυγγραμμικότητας που εμφανίζεται συχνά στα διαθέσιμα δεδομένα και δυσκολεύει την εύρεση βέλτιστου γραμμικού μοντέλου. Στη συνέχεια παρουσιάζουμε τη μέθοδο ποινικοποίησης lasso η οποία αντιμετωπίζει το προαναφερθέν πρόβλημα και πραγματοποιεί με αυτόματο τρόπο την επιλογή μεταβλητών. Στο τελευταίο κεφάλαιο "Σύγκριση μεθόδων σε προσομοιωμένα δεδομένα" πραγματοποιούμε δύο διαφορετικές προσομοιώσεις δεδομένων από την πολυδιάστατη κανονική κατανομή προκειμένου να αξιολογήσουμε την απόδοση των μεθόδων που παρουσιάστηκαν στα πλαίσια της εργασίας. | el |
heal.abstract | In modern times we have access to a wealth of data which if used properly can lead to sound decision making and offer insight into problem solving. Statistical models try to explain the possible relationships between the variables-concepts being studied. One of the main issues of the model selection problem is to find the appropriate subset of explanatory variables which leads to models with high predictability and low computational cost. In the present work a number of methods and criteria for model selection are studied in order to effectively predict the variable of interest and detect the factors with the greatest influence. In the 1st chapter "Basic concepts" we present the fundamental principles of the model selection problem that every analyst must take into account. In addition, the concept of Kullback-Leibler distance is introduced, which is related to the information criteria studied in the next chapter. The linear regression model, which is the most widely used statistical model, is also presented and analyzed along with the R-squared and Mallow's Cp metrics. In Chapter 2 "Information theoretic criteria" we first connect the concept of the Kullback-Leibler distance with the information theoretic criteria, tools critical to model selection. Then we present and analyze the AIC and AICc information criteria that we apply to the linear regression model. We also present the Bayesian information criterion BIC and compare it with the previous criteria in a real lifetime data application. At the end of the chapter we analyze the problem of variable selection focusing on the method of full exploration of the modeling space and the stepwise procedures, stating their advantages and disadvantages. In Chapter 3 "Information Criteria Properties" we introduce fundamental information criteria properties that are often required. In particular, we examine with the help of relative theorems the properties of the weak and strong consistency of the AIC, AICc and BIC criteria. In the 4th chapter "Cross validation and Bootstrap" we introduce the computational methods cross validation and Bootstrap and present the way they are used to estimate the prediction error of the models. We deal with several versions of the cross validation method that we evaluate together with the Boostrap method in a data example. In the 5th chapter "Lasso method" we first analyze the problem of multicollinearity that often appears in the available data and makes it difficult to find an optimal linear model. Next, we present the lasso penalization method which addresses the aforementioned problem and automatically selects variables. In the last chapter "Comparison of methods in simulated data" we perform two different data simulations from the multivariate normal distribution in order to evaluate the performance of the methods presented. | en |
heal.advisorName | Φουσκάκης, Δημήτριος | el |
heal.advisorName | Fouskakis, Dimitris | en |
heal.committeeMemberName | Λουλάκης, Μιχαήλ | el |
heal.committeeMemberName | Loulakis, Michail | en |
heal.committeeMemberName | Φουσκάκης, Δημήτριος | el |
heal.committeeMemberName | Fouskakis, Dimitris | en |
heal.committeeMemberName | Βόντα, Φιλία | el |
heal.committeeMemberName | Vonta, Filia | en |
heal.academicPublisher | Εθνικό Μετσόβιο Πολυτεχνείο. Σχολή Εφαρμοσμένων Μαθηματικών και Φυσικών Επιστημών. Τομέας Μαθηματικών | el |
heal.academicPublisherID | ntua | |
heal.numberOfPages | 133 σ. | el |
heal.fullTextAvailability | false |
Οι παρακάτω άδειες σχετίζονται με αυτό το τεκμήριο: