Αναζήτηση και Ανάκτηση Πολυτροπικού, Οπτικοακουστικού Περιεχομένου

Abstract

Σκοπός της παρούσας διπλωματικής εργασίας είναι η μελέτη κατάλληλων και αποδοτικών μηχανισμών ευρετηρίου, αναζήτησης και ανάκτησης πολυτροπικού οπτικοακουστικού περιεχομένου μέσα από μια βάση δεδομένων. Στα πλαίσια της εργασίας χρησιμοποιήθηκαν υπάρχουσες τεχνολογίες βάσεων δεδομένων για την αποθήκευση των μεταδεδομένων που συνοδεύουν το οπτικοακουστικό υλικό. Η χρήση σχεσιακών Συστημάτων Διαχείρισης Βάσεων Δεδομένων επιλέχθηκε μέσα από ένα σύνολο εναλλακτικών επιλογών, λόγω της ευρείας χρήσης και υποστήριξής τους. Μελετήθηκε η δημιουργία ενός σχεσιακού σχήματος που επιτρέπει τη μετέπειτα αποδοτική αναζήτηση και ανάκτηση περιεχομένου μέσω κατάλληλων ευρετηρίων. Η διαμόρφωση ενός τέτοιου σχήματος απαιτεί την κατανόηση και μελέτη του προτύπου MPEG-7, με βάση το οποίο έχουν κωδικοποιηθεί οι περιγραφές των μεταδεδομένων. Το βασικότερο στάδιο της αναζήτησης και ανάκτησης αποτελεί ο αλγόριθμος, ο οποίος δεδομένης της αποθήκευσης της υπάρχουσας πληροφορίας σε ένα κατάλληλο σχήμα, καλείται να εξάγει αποδοτικά τις ζητούμενες πληροφορίες. Ο αλγόριθμος απαιτεί την ύπαρξη κατάλληλων ευρετηρίων που επιταχύνουν την αναζήτηση περιεχομένου χρησιμοποιώντας σημασιολογικά χαρακτηριστικά του περιεχομένου σε συνδυασμό με ορισμένα χαμηλού επιπέδου χαρακτηριστικά. Η αναζήτηση με βάση υψηλού επιπέδου χαρακτηριστικά επικεντρώνεται στις κινήσεις και αντιδράσεις ανθρώπινων οντοτήτων στο διαθέσιμο υλικό. Η δυνατότητα αναζήτησης εμπλουτίζεται επιπλέον με ένα μηχανισμό ανατροφοδότησης σχετικότητας των αποτελεσμάτων, ώστε να παρουσιάζονται στο χρήστη πρώτα τα σχετικά αποτελέσματα. Εν κατακλείδι, δημιουργήθηκε μια γραφική διεπαφή χρήστη μέσω της οποίας ο χρήστης μπορεί εύκολα να θέσει τα ερωτήματα του στη βάση δεδομένων με σκοπό την ανάκτηση ενός video. Η διεπαφή καθοδηγεί το χρήστη στην κατάλληλη διαμόρφωση των ερωτημάτων με βάση υψηλού επιπέδου χαρακτηριστικά.

The objective of this diploma thesis is the efficient search and retrieval of multimodal audiovisual content through a database which contains audiovisual content. Existing database technologies were studied and adopted in order to store metadata that accompanied the multimedia material. Relational database systems were devised among a series of alternative options due to their broad use and support. Furthermore, the main aim of the research includes the creation of a relational schema which enables the subsequent efficient search and retrieval of data through appropriate indexes. The formulation of such a schema requires an understanding of the MPEG-7 standard, which is used for encoding metadata descriptions. The most important phase of the search and retrieval process is the algorithm, which given the stored information in an appropriate schema, is expected to efficiently extract the desired three-dimensional audiovisual material. The algorithm requires the existence of proper indexes that accelerate the search process by using the content’s visual and audio high-level semantic features combined with certain low level features. Moreover, the search based on high level features focuses on the movements and reactions of humans in the available three-dimensional audiovisual content. The whole process is enriched with a Relevance Feedback mechanism to supply users only with the most relevant results. Finally, a user interface was studied and created. User’s interface enables a user to easily query the multimodal media database in order to retrieve audiovisual content. The interface guides the user to form queries mostly based on high level features.