Νευρωνικά δίκτυα και το μοντέλο του Cox στην ανάλυση δεδομένων με αποκομμένες παρατηρήσεις και εφαρμογές

Abstract

Η τεχνολογία του data mining είναι μια σχετικά καινούρια περιοχή η οποία περιλαμβάνει τεχνικές επεξεργασίας και ανάλυσης μεγάλων βάσεων δεδομένων. Ο στόχος αυτών των τεχνικών, είναι η ανακάλυψη νέων προτύπων μεταξύ των δεδομένων και η εξαγωγή χρήσιμων πληροφοριών. Στη παρούσα διπλωματική εργασία, μελετώ τη τεχνολογία των Τεχνητών Νευρωνικών Δικτύων (ΤΝΔ) και ιδιαίτερα τις δύο πιό συνηθισμένες κλάσεις, το Perceptron πολλών στρωμάτων (MLP) και τα δίκτυα συναρτήσεων βάσης ακτινικού τύπου (RBFN). Το πρώτο κεφάλαιο περιέχει μια εισαγωγή στις τεχνικές του data mining η οποία περιλαμβάνει τους σκοπούς και τη διαδικασία του, καθώς επίσης και τους τομείς στους οποίους εφαρμόζεται. Στη συνέχεια, αναλύονται τα κύρια χαρακτηριστικά των Νευρωνικών Δικτύων. Οι μαζικοί αυτοί παράλληλοι επεξεργαστές, έχουν εμπνευστεί από τη δομή και τη λειτουργία του ανθρωπίνου εγκεφάλου. Οι αντιστοιχίες μεταξύ των τεχνητών νευρωνικών δικτύων και του βιολογικού εγκεφάλου, οι κύριες τοπολογίες των δικτύων, μορφές της συνάρτησης ενεργοποίησης, κανόνες εκπαίδευσης καθώς και το μαθηματικό μοντέλο του βασικού νευρώνα, παρουσιάζονται στο κεφάλαιο αυτό. Το δεύτερο κεφάλαιο ασχολείται με τα δύο κύρια μοντέλα των τεχνητών νευρωνικών δικτύων, τα MLP και RBFN. Το δίκτυο Perceptron πολλών στρωμάτων, είναι ένα εμπρόσθιας τροφοδότησης νευρωνικό δίκτυο, το οποίο εκπαιδεύεται μετά από μια διαδικασία η οποία παρουσιάζει στο δίκτυο σετ δεδομένων εισόδου και εξόδους-στόχους. Ο πιό διαδεδομένος κανόνας εκπαίδευσης για τα δίκτυα MLP, είναι ο back-propagation, και σε αυτό το κεφάλαιο αναλύεται ο αλγόριθμος και η λειτουργία του. Τα δίκτυα συναρτήσεων βάσης ακτινικού τύπου (RBFN), έχουν αρκετές ομοιότητες με τα MLP δίκτυα, αλλά η βασική τους διαφορά συναντάται στο γεγονός ότι τα πρώτα χρησιμοποιούν μη γραμμικές συναρτήσεις ενεργοποίησης (συναρτήσεις βάσης ακτινικού τύπου). Οι υπόλοιπες διαφορές των RBFN από τα δίκτυα MLP αναφέρονται στη συνέχεια, καθώς επίσης και η αρχιτεκτονική τους και οι βασικοί κανόνες εκπαίδευσής τους. Στο τρίτο κεφάλαιο παρουσιάζονται οι βασικές έννοιες της ανάλυσης επιβίωσης και κυρίως το φαινόμενο της αποκοπής στα δεδομένα διάρκειας ζωής. Αναλύεται, επίσης, το μοντέλο αναλογικής διακινδύνευσης του Cox και τα βασικά χαρακτηριστικά του. Το τέταρτο κεφάλαιο περιλαμβάνει μια εφαρμογή, στην οποία αξιολογούνται οι στρατηγικές που έχουν αναπτυχθεί για την επέκταση της τεχνολογίας πρόβλεψης των νευρωνικών δικτύων ώστε να επεξεργάζονται δεδομένα με δεξιά αποκομμένες παρατηρήσεις. Η απόδοση των μεθόδων αυτών, συγκρίνεται με αυτή του μοντέλου παλινδρόμησης του Cox σε μια Monte Carlo μελέτη προσομοίωσης για εννιά διαφορετικούς σχεδιασμούς.

Data mining is a relatively new field which includes techniques for processing and analyzing large databases. The goal of these techniques is the discovering of new patterns among the data and extract useful knowledge. In my diploma dissertation, I am studying the technology of Artificial Neural Networks (ANNs) and especially the two most common classes of ANNs; the Multilayer Perceptrons (MLPs) and the Radial Basis Function Networks (RBFNs). The first chapter contains an introduction to the data mining techniques which includes their purposes, the general data mining procedure and their applications. The main features of Artificial Neural Networks are also mentioned in a throughout analysis. These massively parallel processors are inspired by the structure and functional aspects of the human brain. The correspondences between artificial and biological neuron networks, the main topologies of ANNs, types of activation functions, training rules and the mathematical model of the basic neural unit are presented in this chapter as well. The second chapter deals with the two main models of ANNs; MLPs and RBFNs. Multilayer Perceptron is a feed forward artificial neural network which is being trained after a process in which sets of inputs and target outputs are provided to the network. The most popular training rule for MLPs is the back-propagation, and in this chapter I analyze the algorithm and its functionality. Radial Basis Function Networks have a lot in common with MLPs, but the main difference is that they use nonlinear activation functions (radial basis functions). Other differences from the MLPN are mentioned, as well as the architecture and the main training rules. The third chapter introduces the basic notions of survival analysis, and mainly the phenomenon of censoring on lifetime data. Moreover, the Cox’s proportional hazards model and its main attributes are analysed. In the last part of my diploma dissertation, I present an application in which the strategies developed for expanding the neural network’s forecasting technology in order to process right-censored data, are evaluated. The performances of those methods are compared with that of Cox’s regrregression model, using a Monte Carlo simulation study for nine different designs.