Μελέτη μεθόδων για την έμμεση αύξηση των δεδομένων εκπαίδευσης συναρτήσεων ταξινόμησης σε αποτελέσματα αναζήτησης

Abstract

Καθώς ο όγκος πληροφορίας που διακινείται μέσω του διαδικτύου αυξάνεται με εκθετικό ρυθμό, η ανάγκη αποδοτικής αναζήτησης γίνεται όλο και πιο επιβεβλημένη. Η αναζήτηση πλέον διαφοροποιείται ανάλογα με τον χρήστη και τις συνήθειές του. Καθώς ο χρήστης αλλάζει συνεχώς το μοτίβο (pattern) των επιλογών του, δεν μπορεί να κατασκευαστεί ντετερμινιστικός αλγόριθμος που να επιστρέφει την βέλτιστη σειρά αποτελεσμάτων για τον εκάστοτε χρήστη. Μια προσέγγιση για την επίτευξη της προσωποποιημένης αναζήτησης είναι η χρήση νευρωνικών δικτύων. Τα νευρωνικά δίκτυα αποτελούν προσεγγιστικά μοντέλα τα οποία ουσιαστικά ελαχιστοποιούν μια συνάρτηση βάση κάποιων περιορισμών. Για την υλοποίηση τους χρειαζόμαστε κάποιο σύνολο εκμάθησης. Θεωρητικά, όσο μεγαλύτερο και πιο αντιπροσωπευτικό είναι το σύνολο εκμάθησης τόσο καλύτερο είναι το μοντέλο που κατασκευάζεται. Το σύνολο όμως των αποτελεσμάτων που αξιολογούν οι χρήστες σε κάθε αναζήτησή τους είναι μικρό (συνήθως μόνο τα 10 πρώτα αποτελέσματα). Η ιδέα αυτής της διπλωματικής είναι να επεκτείνουμε τις πραγματικές αξιολογήσεις των χρηστών σε αποτελέσματα που είναι συναφή με βάση κάποια συγκεκριμένα χαρακτηριστικά. Υλοποιούμε δηλαδή συσταδοποίηση (clustering) των αποτελεσμάτων, αποφασίζουμε ποιες συστάδες θα κρατήσουμε, ορίζουμε μια ενιαία αξιολόγηση για κάθε συστάδα και την επεκτείνουμε σε όλα τα μέλη του. Επίσης δοκιμάστηκε μεγάλο σύνολο αλγορίθμων για το clustering ώστε να επιτευχθεί το καλύτερο δυνατό αποτέλεσμα. Αυτά τα νέα σύνολα δόθηκαν σαν είσοδος στο νευρωνικό (SVM) και κατασκευάστηκε το μοντέλο που στη συνέχεια ελέγχθηκε με τη χρήση ενός διαφορετικού συνόλου ελέγχου(dataset) που προσομοιώνει την νέα αναζήτηση του χρήστη. Όλη η διαδικασία αναλύεται με λεπτομέρειες στις σελίδες που ακολουθούν.

The vast amount of information traveling through the Internet makes the need of efficient web search crucial. The web search gets personalized and the results of the same query differ among users. There have been stated different approaches for the problem of personalization in web search. Our approach is based οn the training of neural networks so as to boost the result of a new search, considering the user's options of previous searches. We use the click-through data of the user in order to rank the results and provide the most relevant ones, higher in ordering. The problem we face is that there are limited click-through data per query as the user normally checks only the first n results of the thousands provided by the search engine. In our approach we try to expand the judgment of these first results in the unjudged ones so as to have a bigger training set for our SVM. This expansion is basically done through clustering of the results into relevant groups considering different criteria. In our experiments, we use the LETOR benchmark. In the following pages we elaborate on our method and we explain the results of our experiments.