Κριτήρια Πληροφορίας για την Επιλογή Μεταβλητών στις Μηχανές Διανυσματικής Υποστήριξης και Εφαρμογές

Στουφή, Ευγενία; Stoufi, Eugenia

dc.contributor.author	Στουφή, Ευγενία	el
dc.contributor.author	Stoufi, Eugenia	en
dc.date.accessioned	2015-07-08T10:30:14Z
dc.date.available	2015-07-08T10:30:14Z
dc.date.issued	2015-07-08
dc.identifier.uri	https://dspace.lib.ntua.gr/xmlui/handle/123456789/40931
dc.identifier.uri	http://dx.doi.org/10.26240/heal.ntua.4370
dc.description	Εθνικό Μετσόβιο Πολυτεχνείο--Μεταπτυχιακή Εργασία. Διεπιστημονικό-Διατμηματικό Πρόγραμμα Μεταπτυχιακών Σπουδών (Δ.Π.Μ.Σ.) “Εφαρμοσμένες Μαθηματικές Επιστήμες”	el
dc.rights	Αναφορά Δημιουργού-Μη Εμπορική Χρήση-Όχι Παράγωγα Έργα 3.0 Ελλάδα	*
dc.rights.uri	http://creativecommons.org/licenses/by-nc-nd/3.0/gr/	*
dc.subject	Εξόρυξη Δεδομένων	el
dc.subject	Μηχανική Μάθηση	el
dc.subject	Κριτήρια Πληροφορίας	el
dc.subject	Μηχανές Διανυσματικής Υποστήριξης	el
dc.subject	Machine Learning	en
dc.subject	Data Mining	en
dc.subject	Information Criteria	en
dc.subject	Support Vector Machines	en
dc.title	Κριτήρια Πληροφορίας για την Επιλογή Μεταβλητών στις Μηχανές Διανυσματικής Υποστήριξης και Εφαρμογές	el
dc.contributor.department	Εφαρμοσμένες Μαθηματικές Επιστήμες	el
heal.type	masterThesis
heal.secondaryTitle	Information Criteria for Variable Selection in Support Vector Machines and Applications	en
heal.classification	Εξόρυξη Δεδομένων	el
heal.classification	Μηχανική Μάθηση	el
heal.classification	Data Mining	en
heal.classification	Machine Learning	en
heal.classification	Μαθηματικά	el
heal.classification	Mathematics	en
heal.language	el
heal.access	free
heal.recordProvider	ntua	el
heal.publicationDate	2015-01-19
heal.abstract	Η πρόοδος στην ψηφιακή απόκτηση δεδομένων και στην τεχνολογία αποθήκευσης έχει σαν αποτέλεσμα την αύξηση των τεραστίων βάσεων δεδομένων. Η ανάλυση αυτών των βάσεων για την εύρεση ανυποψίαστων σχέσεων και τη σύνοψη των δεδομένων με νέους τρόπους που να είναι κατανοητοί όσο και χρήσιμοι, αποτελεί την Εξόρυξη Δεομένων (Data Mining). Κύριοι στόχοι του D.M είναι η πρόβλεψη και η περιγραφή, ένας από τους τρόπους επίτευξής τους είναι η ταξινόμηση, δηλαδή η εκμάθηση μιας λειτουργίας που να ταξινομεί ένα στοιχείο δεδομένων σε μία από τις πολλές προκαθορισμένες κλάσεις. Στην παρούσα εργασία, θα αναλυθούν θεωρητικά οι μηχανές διανυσματικής υποστήριξης δύο και περισσοτέρων κλάσεων, οι οποίες αποτελούν μια νέα μέθοδο ταξινόμησης. Ο πρωταρχικός στόχος, όμως, του D.M. είναι η εξαγωγή νέων πληροφοριών από τα δεδομένα, ο οποίος μπορεί να επιτευχθεί με διάφορες τεχνικές που διακρίνονται στις μεθόδους με επίβλεψη και χωρίς επίβλεψη. Η πρώτη κατηγορία απαρτίζεται από τα στάδια της επιλογής και της εκτίμησης μοντέλου, για αυτά τα δύο στάδια έχει αναπτυχθεί μια μεγάλη ποικιλία μεθόδων και κριτηρίων. Στόχος και κύριο θέμα της παρούσης εργασίας είναι η παρουσίαση αυτών των κριτηρίων και μεθόδων και η εισαγωγή νέων Κριτηρίων πληροφορίας για τα δυαδικά και τα multiclass SVMs και η πειραματική σύγκριση της απόδοσής τους. Στο τέλος της συγκεκριμένης εργασίας, αξιολογείται και η πειραματική εφαρμογή των μεθόδων διανυσματικής υποστήριξης σε προβλήματα ταξινόμησης δύο και τριών κλάσεων. Πιο συγκεκριμένα: • Το πρώτο Κεφάλαιο, αποτελεί μια εισαγωγή για τις βασικές έννοιες της Εξόρυξης Δεδομένων όπως είναι η διαδικασία του, οι συνιστώσες των δεδομένων, οι μέθοδοί του, τα συστατικά των αλγορίθμων του, οι κατηγορίες του, τα είδη μάθησής του και οι εφαρμογές του. • Στο δεύτερο Κεφάλαιο, αναλύεται το θεωρητικό υπόβαθρο των δυαδικών SVMs, και πιο συγκεκριμένα, το βέλτιστο διαχωριστικό υπερεπίπεδο, ο ταξινομητής διανυσματικής υποστήριξης, το δυαδικό SVM, οι πυρήνες, το τέχνασμα πυρήνα, και τέλος το SVM ως μέθοδος ποινικοποίησης. • Στο τρίτο Κεφάλαιο, το δυικό SVM εφαρμόζεται και σε προβλήματα ταξινόμησης με περισσότερες από δύο κλάσεις μέσω των μεθόδων one-against-all, one-against-one και των error-correcting output codes. • Στο τέταρτο Κεφάλαιο, παρουσιάζεται μια μεγάλη ποικιλία κριτηρίων και μεθόδων που χρησιμοποιούνται για την επιλογή και την εκτίμηση μοντέλου όπως τα: AIC, BIC, διασταυρωμένη επικύρωση, διασταυρωμένα επικυρωμένο ποσοστό σφάλματος, ένδειξη υπολογισμένη με τη μέθοδο Laplace, ξα-εκτίμηση, GRM, MDL και bootstrap. Επίσης, αναλύεται το θεωρητικό τους υπόβαθρο και παρουσιάζονται τα αντίστοιχα πειραματικά αποτελέσματα για την απόδοσή τους. • Στο πέμπτο Κεφάλαιο, παρουσιάζονται τα νέα Κριτήρια πληροφορίας για τα δυαδικά SVMs, και συγκεκριμένα τα: RIC, KRIC, SVMICa και SVMICb, το θεωρητικό τους υπόβαθρο, κάποιες προαπαιτούμενες έννοιες, η προσεγγιστική μέθοδος του Nystrom για τον υπολογισμό του KRIC και πειραματική σύγκριση της απόδοσής τους με αυτή των κριτηρίων του τετάρτου Κεφαλαίου μέσω μοτίβων προσομοίωσης αλλά και δοκιμών σε σύνολα δεδομένων του πραγματικού κόσμου. • Στο έκτο Κεφάλαιο, παρουσιάζονται δύο νέα Κριτήρια πληροφορίας για τα SVMs περισσοτέρων των δύο κλάσεων, τα οποία χρησιμοποιούν το σφάλμα ακτινωτού περιθωρίου για τα δυαδικά SVMs, κάποιες προαπαιτούμενες έννοιες, μια πειραματική σύγκριση της αποδοτικότητάς τους για την επιλογή μοντέλου στα multiclass SVMs, μια σύγκριση του υπολογιστικού τους κόστους με αυτό άλλων μεθόδων και τέλος κάποια πειραματικά αποτελέσματα για τα σύνολα δεδομένων αναφοράς. • Στο έβδομο Κεφάλαιο, αναλύεται θεωρητικά ο Στατιστικός Έλεγχος Υποθέσεων και τα κριτήρια απόδοσης του μοντέλου (Confusion Matrix). Επιπλέον, αξιολογείται πειραματικά η εφαρμογή των μεθόδων διανυσματικής υποστήριξης σε προβλήματα δύο και τριών κλάσεων. • Τέλος, στο όγδοο Κεφάλαιο παρουσιάζεται μια σύνοψη της εργασίας και εξάγονται κάποια γενικά συμπεράσματα.	el
heal.abstract	Progress in digital data acquisition and storage technology have resulted in an increase of massive databases. The analysis of these databases to find unsuspecting relationships and to summarize the data in novel ways that are understandable and useful, is Data Mining. The main objectives of the DM is the prediction and description, one of the ways to achieve them is the classification, i.e. learning a function that classifies a data item into one of the several predefined classes. In this thesis, we theoretically analyze the Support vector machines of two or more classes, which form a new classification method. The primary goal, however, of DM is the extraction of new information from the data, which can be achieved by various techniques which are distinguished in the supervised and unsupervised methods. The first category consists of the stages of model selection and assessment, for these two stages has been developed a wide variety of methods and criteria. Objective and main theme of this thesis is the presentation of these criteria and methods and the introduction of new information Criteria for binary and multiclass SVMs and the experimental comparison of their performance. Finally, the experimental application of the methods of support vector classification problems in two and three classes is evaluated. More specifically: • The first chapter is an introduction to the basic concepts of Data Mining, for instance: its procedure, the data components, its methods, the components of its algorithms, its categories and types of learning and its applications. • In the second chapter, the theoretical background of binary SVMs is analyzed, and more specifically, the optimal separating hyperplane, the support vector classifier, the binary SVM, the kernels, the kernel trick, and finally the SVM as a penalization method. • In the third chapter, the binary SVM is applied to classification problems with more than two classes through the methods of one-against-all, one-against-one and the error-correcting output codes. • In the fourth chapter, a wide variety of criteria and methods used for the model selection and assessment, is analyzed, such as: AIC, BIC, cross validation, cross-validated error rate, evidence calculated by Laplace’s method, ξα-estimation, GRM, MDL and bootstrap. Moreover, their theoretical background is analyzed and the corresponding experimental results for their performance are presented. • In the fifth chapter the new information criteria for binary SVMs are presented, namely: RIC, KRIC, SVMICa and SVMICb, their theoretical background, some prerequisite concepts, the Nystrom approximation method for the calculation of the KRIC and the experimental comparison of their performance to the corresponding performance of the criteria of the fourth chapter through simulation patterns and tests on real data. • In the sixth chapter, two new information criteria for SVMs of more than two classes, which use the radius-margin bound for binary SVMs, some prerequisite concepts, an experimental comparison of their efficiency for model selection in multiclass SVMs, a comparison of the computation load to that of other methods and finally some experimental results on the benchmark datasets are presented. • In the Seventh Chapter, Statistical hypothesis testing and performance criteria of the model (Confusion Matrix) are analyzed. Moreover, the application of support vector methods to problems of two and three classes are experimentally evaluated. • Finally, in the eighth chapter a summary of the thesis is presented and some general conclusions are exported.	en
heal.advisorName	Κουκουβίνος, Χρήστος	el
heal.committeeMemberName	Σπηλιώτης, Ιωάννης	el
heal.committeeMemberName	Βόντα, Φιλία	el
heal.academicPublisher	Εθνικό Μετσόβιο Πολυτεχνείο. Σχολή Εφαρμοσμένων Μαθηματικών και Φυσικών Επιστημών	el
heal.academicPublisherID	ntua
heal.numberOfPages	175 σ.	el
heal.fullTextAvailability	true