Γεωμετρική Άθροιση Διανυσμάτων Περιγραφής για Ανάκτηση και Κατηγοριοποίηση Εικόνων

Abstract

Σε αυτή τη διπλωματική εργασία προτείνουμε μία νέα μέθοδο διανυσματικής αναπαράστασης εικόνων η οποία βασίζεται στην άθροιση διανυσμάτων περιγραφής, αξιοποιώντας παράλληλα τη χωρική τους πληροφορία. Η μέθοδος που αναπτύξαμε ονομάζεται Spatial Pyramid with Vectors of Locally Aggregated Descriptors (SP-VLAD) και σχεδιάστηκε με γνώμονα την εφαρμογή της στο πρόβλημα της ανάκτησης εικόνων με τρόπο που να επιτυγχάνεται υψηλή ακρίβεια και αποδοτικότητα, με χαμηλές απαιτήσεις μνήμης. Η μέθοδος SP-VLAD στηρίζεται στις ιδέες των μεθόδων Spatial Pyramid Matching (SPM) και Vector of Locally Aggregated Descriptors (VLAD). Συγκεκριμένα, συνδυάζει τη δομή της χωρικής πυραμίδας με τα διανύσματα VLAD. Η αξιολόγηση της μεθόδου SP-VLAD οδήγησε σε αισθητά υψηλότερες επιδόσεις σε σχέση με τις μεθόδους SPM και VLAD. Γι' αυτό το λόγο εφαρμόστηκε και στο πρόβλημα της κατηγοριοποίησης εικόνων, όπου ξεπέρασε το βαθμό κατηγορίοποιησης των μεθόδων SPM και VLAD στις βάσεις εικόνων στις οποίες δοκιμάστηκε. Οι εξαιρετικές επιδόσεις της μεθόδου SP-VLAD επετεύχθησαν με πολύ χαμηλές απαιτήσεις μνήμης μετά την μείωση της διάστασης των τελικών διανυσμάτων περιγραφής στις 128 και 64 διαστάσεις μέσω της μεθόδου PCA. Στο πλαίσιο της ερευνητικής μας δραστηριότητας δημιουργήθηκε η νέα βάση εικόνων Flowers 15 με σκοπό την εφαρμογή της μεθόδου SP-VLAD σε εικόνες ανθοφόρων φυτών.

We propose a new method for the vector representation of an image which is based on aggregation of image descriptors while exploiting their spatial information. Our method, Spatial Pyramid with Vectors of Locally Aggregated Descriptors (SP-VLAD), was designed for the problem of image retrieval in order to achieve high accuracy and efficiency, with low memory requirements. SP-VLAD is based on the ideas of two other methods, Spatial Pyramid Matching (SPM) and Vector of Locally Aggregated Descriptors (VLAD). Specifically, it combines the idea of spatial pyramid with the VLAD descriptor vectors. The SP-VLAD method achieves high accuracy and significantly outperforms SPM and VLAD methods. Τhe promising results led us to apply our method to the problem of image classification as well; exceeding the classification rate of SPM and VLAD methods on all databases which were used. The excellent results of our method were achieved with low memory usage after the dimension reduction of the descriptor vectors with the PCA method which resulted to vectors of 64 or 128 dimensions. We also created the dataset Flowers 15 for the needs of our research in order to be able to test the SP-VLAD method upon images of flowering plants.