Ανάπτυξη αλγορίθμων υπολογιστικής νοημοσύνης και εφαρμογές στην εξέλιξη του παγκόσμιου ιστού

Χονδροδήμα, Ευαγγελία; Chondrodima, Evangelia

dc.contributor.author	Χονδροδήμα, Ευαγγελία	el
dc.contributor.author	Chondrodima, Evangelia	en
dc.date.accessioned	2017-07-21T07:54:34Z
dc.date.available	2017-07-21T07:54:34Z
dc.date.issued	2017-07-21
dc.identifier.uri	https://dspace.lib.ntua.gr/xmlui/handle/123456789/45299
dc.identifier.uri	http://dx.doi.org/10.26240/heal.ntua.2755
dc.rights	Αναφορά Δημιουργού-Μη Εμπορική Χρήση-Όχι Παράγωγα Έργα 3.0 Ελλάδα	*
dc.rights	Αναφορά Δημιουργού-Μη Εμπορική Χρήση-Όχι Παράγωγα Έργα 3.0 Ελλάδα	*
dc.rights.uri	http://creativecommons.org/licenses/by-nc-nd/3.0/gr/	*
dc.subject	Νευρωνικά δίκτυα	el
dc.subject	Υπολογιστική Νοημοσύνη	el
dc.subject	Βελτιστοποίηση σμήνους σωματιδίων	el
dc.subject	Neural networks	en
dc.subject	Computational Intelligence	en
dc.subject	Particle Swarm Oprimization	en
dc.subject	Παγκόσμιος Ιστός	el
dc.subject	World Wide Web	en
dc.subject	Μηχανική μάθηση	el
dc.subject	Machine learning	en
dc.title	Ανάπτυξη αλγορίθμων υπολογιστικής νοημοσύνης και εφαρμογές στην εξέλιξη του παγκόσμιου ιστού	el
dc.title	Development of computational intelligence algorithms and applications on the evolution of the World Wide Web	en
dc.contributor.department	Εθνικό Μετσόβιο Πολυτεχνείο. Σχολή Χημικών Μηχανικών. Τομέας Ανάλυσης, Σχεδιασμού και Ανάπτυξης Διεργασιών και Συστημάτων	el
heal.type	doctoralThesis
heal.classification	ΥΠΟΛΟΓΙΣΤΙΚΗ ΝΟΗΜΟΣΥΝΗ	el
heal.classification	ΠΡΟΧΩΡΗΜΕΝΗ ΜΗΧΑΝΙΚΗ ΜΑΘΗΣΗ	el
heal.classification	ΕΦΑΡΜΟΓΕΣ ΣΤΟΝ ΠΑΓΚΟΣΜΙΟ ΙΣΤΟ	el
heal.classification	Computational intelligence	en
heal.classification	Machine learning	en
heal.classification	WORLD WIDE WEB APPLICATIONS	en
heal.classificationURI	http://data.seab.gr/concepts/d5cf140063d31fceb414be6c8dcb4654ffd3efcf
heal.classificationURI	http://id.loc.gov/authorities/subjects/sh94004659
heal.classificationURI	http://id.loc.gov/authorities/subjects/sh85079324
heal.language	el
heal.access	free
heal.recordProvider	ntua	el
heal.publicationDate	2017-07-17
heal.abstract	Computational intelligence (CI) is a branch of artificial intelligence, which is based on imitating elements of intelligence exhibited by living organisms and offers techniques that are capable of solving complex problems that could not be solved by using conventional methodologies. The objective of this doctoral dissertation is the development of novel algorithms belonging to the field of computational intelligence, which are capable of handling numerical, categorical and mixed attributes, while providing improved predictive abilities when compared to conventional methodologies. The computational intelligence techniques which constitute the basic tools used in this dissertation are the radial basis function (RBF) neural networks, the evolutionary simulated annealing (ESA) technique and the particle swarm optimization (PSO) algorithm. As far as numerical attributes are concerned, 3 novel RBF network training algorithms where developed in this dissertation, with the ability to perform full network optimization by concurrently determining all the RBF parameters. The first algorithm, namely PSO-NSFM, is based on the non symmetric fuzzy means (NSFM) algorithm, which is enhanced by a PSO optimization engine, in order to optimize the fuzzy partition of the input space. The PSO-NSFM algorithm produces RBF models with simpler structures, while at the same time exhibiting higher prediction accuracy in shorter computational times, when compared to standard machine learning techniques. The second algorithm which was developed for handling numerical inputs, namely COOP-VW, optimizes the construction of RBF networks trained with the NSFM algorithm, based on a cooperative PSO (CPSO) framework. The COOP-VW algorithm allows for using variable-width basis functions, which increase the flexibility of the produced models. The result is an additional improvement in prediction accuracy, albeit at the cost of a relatively small increase of the computational cost, when compared to the PSO-NSFM technique. The third algorithm which was developed, namely ESA-NSFM, is based on a modification of the ESA technique, in order to optimize the RBF models produced by the NSFM algorithm. The ESA-NSFM algorithm produces RBF network models of increased prediction accuracy compared to standard machine learning techniques, and at the same time offers fast operational parameter customization. Using algorithms similar to those mentioned above, the basic RBF network structure can handle numeric inputs with great success; however, it is unable to deal with categorical, or mixed data. In order to solve this problem, two novel neural network architectures were developed within this doctoral dissertation. The first one, namely CRBF networks, is an expansion of RBF networks, providing them with the ability of handling categorical data. This is accomplished by using categorical tuples as RBF centers, while the categorical center selection (CCS) algorithm is also proposed for training these networks. The second neural network architecture that was developed, namely MRBF networks, is capable of handling mixed data. In fact, MRBF networks are essentially a synthesis of RBF and CRBF networks, and are trained with a novel methodology which combines the fuzzy means algorithm and the CCS technique. Due to their ability to handle in a different manner the nature of numerical and categorical data, MRBF networks can provide solutions with increased prediction accuracy, in contrast to the methodologies that are inherently designed for a single type of data. Moreover, because of the simple and fast training algorithm that they use, MRBF networks are suitable to handle big data. All the aforementioned methods were evaluated on a large number of benchmark datasets, derived from a variety of scientific fields, including function approximation and classification problems. Results and comparisons with a wide range of machine learning methods, including different neural network methods, support vector machines (SVMs), naïve Bayes classifiers, decision trees, random forest trees, etc., highlight the effectiveness of the proposed approaches. In addition, at the level of application, a novel intelligent system was developed with the ability to automatically classify web pages based on their content. The latter is a generic tool for web page classification which offers satisfactory precision and is able to classify a webpage depending on functional, genre, subject classification, etc. This system was called MRBF-WPC and adopts the MRBF neural network architecture and web mining tools. Applying this system to a widely used dataset of webpages and comparing it with other methods, has shown that the system provides increased accuracy in classifying web pages. Thus, the MRBF-WPC system is an integrated tool that can be used as the basis for enrichment of the web content with metadata, and thus, for the World Wide Web growth into the Semantic Web.	en
heal.abstract	Η υπολογιστική νοημοσύνη (computational intelligence, CI) αποτελεί έναν κλάδο της τεχνητής νοημοσύνης που βασίζεται στη μίμηση στοιχείων ευφυΐας που παρατηρούνται στα έμβια όντα και προσφέρει τεχνικές ικανές να επιλύουν πολύπλοκα προβλήματα που δεν θα μπορούσαν να επιλυθούν με συμβατικές μεθοδολογίες. Το αντικείμενο της παρούσας διδακτορικής διατριβής είναι η ανάπτυξη νέων αλγορίθμων που εντάσσονται στο πεδίο της υπολογιστικής νοημοσύνης, και παρουσιάζουν τη δυνατότητα χειρισμού αριθμητικών, κατηγορικών και μικτών μεταβλητών, παρέχοντας βελτιωμένες ικανότητες πρόβλεψης σε σχέση με συμβατικές μεθοδολογίες. Οι τεχνικές που ανήκουν στον κλάδο της υπολογιστικής νοημοσύνης και αποτελούν βασικά εργαλεία της παρούσας διατριβής είναι τα νευρωνικά δίκτυα ακτινικής συνάρτησης βάσης (radial basis function, RBF), η τεχνική εξελικτικής προσομοιωμένης ανόπτησης (evolutionary simulated annealing, ESA) και ο αλγόριθμος βελτιστοποίησης σμήνους σωματιδίων (particle swarm optimization, PSO). Σε ότι αφορά στον χειρισμό αριθμητικών εισόδων, στα πλαίσια της παρούσας διατριβής αναπτύχθηκαν 3 νέοι αλγόριθμοι εκπαίδευσης νευρωνικών δικτύων RBF, οι οποίοι επιτυγχάνουν την πλήρη βελτιστοποίηση των τελευταίων, με ταυτόχρονο προσδιορισμό όλων των παραμέτρων τους. Ο πρώτος αλγόριθμος που αναπτύχθηκε, ονομάστηκε PSO-NSFM και βασίζεται στον μη συμμετρικό αλγόριθμο των ασαφών μέσων (non symmetric fuzzy means, NSFM), ο οποίος ενισχύεται με έναν μηχανισμό βελτιστοποίησης PSO, προκειμένου να βελτιστοποιηθεί η ασαφής διαμέριση του χώρου εισόδου. Ο αλγόριθμος PSO-NSFM παράγει μοντέλα RBF που παρουσιάζουν απλούστερες δομές και ταυτόχρονα μεγαλύτερη ακρίβεια πρόβλεψης σε μικρότερους υπολογιστικούς χρόνους, έναντι καθιερωμένων τεχνικών μηχανικής μάθησης. Ο δεύτερος αλγόριθμος που αναπτύχθηκε για χειρισμό αριθμητικών εισόδων ονομάστηκε COOP-VW και βελτιστοποιεί την κατασκευή δικτύων RBF που εκπαιδεύονται με τον αλγόριθμο NSFM, με βάση ένα συνεργατικό πλαίσιο PSO (cooperative PSO, CPSO). Ο αλγόριθμος COOP-VW επιτρέπει τη χρήση συναρτήσεων βάσης μεταβλητού εύρους, που αυξάνουν την ευελιξία των παραγόμενων μοντέλων, με αποτέλεσμα την περαιτέρω αύξηση της ακρίβειας πρόβλεψης, αλλά με σχετικά μικρή αύξηση του υπολογιστικού κόστους σε σχέση με την τεχνική PSO-NSFM. Ο τρίτος αλγόριθμος που αναπτύχθηκε ονομάστηκε ESA-NSFM και προσαρμόζει την τεχνική ESA με στόχο τη βελτιστοποίηση των μοντέλων RBF που παράγονται από τον αλγόριθμο NSFM. O αλγόριθμος ESA-NSFM παράγει μοντέλα δικτύων RBF, τα οποία παρουσιάζουν αυξημένη ακρίβεια πρόβλεψης σε σχέση με τις καθιερωμένες τεχνικές μηχανικής μάθησης, και ταυτόχρονα εύκολη επιλογή λειτουργικών παραμέτρων. Χρησιμοποιώντας αλγόριθμους όπως αυτοί που αναφέρθηκαν προηγουμένως, η βασική δομή των δικτύων RBF είναι σε θέση να χειριστεί με μεγάλη επιτυχία αριθμητικά δεδομένα εισόδου, ωστόσο εμφανίζει προβλήματα στον χειρισμό κατηγορικών ή μικτών δεδομένων. Προκειμένου να επιλυθεί αυτό το πρόβλημα, στα πλαίσια αυτής της διδακτορικής διατριβής αναπτύχθηκαν δύο νέες αρχιτεκτονικές νευρωνικών δικτύων. Η πρώτη από αυτές, ονομάστηκε CRBF και αποτελεί επέκταση των δικτυών RBF, δίνοντας στα τελευταία τη δυνατότητα χειρισμού κατηγορικών δεδομένων. Αυτό επιτυγχάνεται χρησιμοποιώντας κατηγορικές πλειάδες ως κέντρα RBF, ενώ παράλληλα προτείνεται και ο αλγόριθμος categorical center selection (CCS) για την εκπαίδευση αυτών των δικτύων. Ο αλγόριθμος αυτός είναι ιδιαίτερα απλός και παρουσιάζει μεγάλη ταχύτητα εκτέλεσης, καθώς χρησιμοποιεί μόνο ένα πέρασμα των δεδομένων. Η δεύτερη αρχιτεκτονική νευρωνικών δικτύων που αναπτύχθηκε ονομάστηκε MRBF και έχει την ικανότητα να χειρίζεται μικτά δεδομένα. Τα δίκτυα MRBF ουσιαστικά αποτελούν συνδυασμό των δικτύων RBF και CRBF, και εκπαιδεύονται με μία νέα μεθοδολογία η οποία βασίζεται στον αλγόριθμο των ασαφών μέσων και στην τεχνική CCS. Τα δίκτυα MRBF, λόγω της ικανότητας τους να λαμβάνουν υπόψη ξεχωριστά τη φύση των αριθμητικών και των κατηγορικών δεδομένων, μπορούν να δώσουν λύσεις με αυξημένη ακρίβεια πρόβλεψης σε σχέση με μεθοδολογίες που είναι εγγενώς φτιαγμένες για έναν μόνο τύπο δεδομένων, ενώ, λόγω του απλού και γρήγορου αλγορίθμου εκπαίδευσης που χρησιμοποιούν, ενδείκνυνται για εφαρμογή σε σύνολα δεδομένων μεγάλου όγκου (big data). Όλες οι μέθοδοι που προαναφέρθηκαν, αξιολογήθηκαν σε ένα μεγάλο πλήθος συνόλων δεδομένων τύπου benchmark, που προέρχονται από ποικίλα επιστημονικά πεδία, και περιλαμβάνουν προβλήματα προσέγγισης συνάρτησης και ταξινόμησης. Τα αποτελέσματα και οι συγκρίσεις με ένα ευρύ φάσμα μεθόδων μηχανικής μάθησης, που περιλαμβάνουν διαφορετικές μεθόδους νευρωνικών δικτύων, μηχανές διανυσμάτων υποστήριξης (support vector machines, SVMs), ταξινομητές Bayes, δέντρα αποφάσεων, ταξινομητές τυχαίων δασών (random forest trees), κ.α., καταδεικνύουν την αποτελεσματικότητα των προτεινόμενων αλγορίθμων. Επιπλέον, σε ότι αφορά στο επίπεδο της εφαρμογής, στα πλαίσια της παρούσας διατριβής, αναπτύχθηκε ένα νέο ευφυές σύστημα με την ικανότητα αυτόματης ταξινόμησης ιστοσελίδων με βάση το περιεχόμενό τους, το οποίο αποτελεί ένα εργαλείο γενικής χρήσης για την ταξινόμηση ιστοσελίδων με ικανοποιητική ακρίβεια και μπορεί για παράδειγμα να ταξινομήσει μία ιστοσελίδα ανάλογα με τη λειτουργία της, το είδος της, τη θεματική περιοχή της, κ.α. Το σύστημα αυτό ονομάστηκε MRBF-WPC και υιοθετεί τα νευρωνικά δίκτυα MRBF και στοιχεία από τον κλάδο της εξόρυξης γνώσης στον ιστό. Η εφαρμογή του συστήματος σε ένα ευρέως χρησιμοποιούμενο σύνολο ιστοσελίδων και η σύγκριση με άλλες μεθόδους, έδειξε ότι το σύστημα παρέχει αυξημένη ακρίβεια πρόβλεψης ως προς την ταξινόμηση των ιστοσελίδων. Έτσι, το σύστημα MRBF-WPC είναι ένα ολοκληρωμένο εργαλείο που μπορεί να χρησιμοποιηθεί ως βάση για τον εμπλουτισμό του περιεχομένου του ιστού με μεταδεδομένα, και άρα για την εξέλιξη του παγκόσμιου ιστού σε σημασιολογικό ιστό.	el
heal.sponsor	Η διδακτορική διατριβή εκπονήθηκε με χρηματοδότηση από τον Ειδικό Λογαριασμό Έρευνας του Εθνικού Μετσόβιου Πολυτεχνείου.	el
heal.advisorName	Σαρίμβεης, Χαράλαμπος	el
heal.committeeMemberName	Κυρανούδης, Χρήστος	el
heal.committeeMemberName	Μαυρωτάς, Γεώργιος	el
heal.committeeMemberName	Στασινόπουλος, Γεώργιος	el
heal.committeeMemberName	Πατρινός, Παναγιώτης	el
heal.committeeMemberName	Πελέκης, Νικόλαος	el
heal.committeeMemberName	Τσακανίκας, Άγγελος	el
heal.academicPublisher	Εθνικό Μετσόβιο Πολυτεχνείο. Σχολή Χημικών Μηχανικών. Τομέας Ανάλυσης, Σχεδιασμού και Ανάπτυξης Διεργασιών και Συστημάτων	el
heal.academicPublisherID	ntua
heal.numberOfPages	215 σ.
heal.fullTextAvailability	true