Online learning for adaptive quality estimation of machine translation output

Abstract

Η εκτίμηση της ποιότητας της Μηχανικής Μετάφρασης είναι ένα δύσκολο πρόβλημα, όπου η επιλογή του κατάλληλου αλγορίθμου και των πιο περιγραφικών χαρακτηριστικών συχνά παίζει σημαντικό ρόλο. Μεταφερόμενοι από το ελεγχόμενο περιβάλλον των εργαστηριακών πειραμάτων σε σενάρια της πραγματικής ζωής, η εργασία αυτή γίνεται ακόμα πιο δύσκολη. Για τα υπάρχοντα συστήματα Εκτίμησης Ποιότητας Μηχανικής Μετάφρασης, επιπλέον πολυπλοκότητα προκύπτει από τη δυσκολία μοντελοποίησης διαφορετικών χρηστών και θεματικών περιοχών. ΓΙα να αντιμετωπίσουμε αυτό το πρόβλημα, προτείνουμε ένα σειριακό πλαίσιο εργασίας για προσαρμοζόμενη Εκτίμηση Ποιότητας, ούτως ώστε να επιτύχουμε καλύτερα αποτελέσματα απέναντι στις αλλαγές. Πειραματιζόμαστε με διαφορετικές τεχνικές για σειριακή μηχανική μάθηση, όπως Μηχανες Διανυσμάτων Υποστήριξης, Παθητικούς-Επιθετικούς Αλγορίθμους και Διαδικασίες Gauss. Πραγματοποιήσαμε επίσης πειράματα με δύο γλωσσικά ζευγάρα, Αγγλικά-Ισπανικά και Αγγλικά-Ιταλικά, με διαφορετικές πειραματικές συνθήκες. Τα αποτελέσματα αυτών των πειραμάτων αποδεικνύει τη χρηστικότητα της πρότασής μας.

The automatic estimation of Machine Translation output quality is a hard task, where the selection of the appropriate algorithm and the most predictive features often plays a crucial role. When moving from controlled lab evaluations to real-life scenarios the task becomes even harder. For current Machine Translation Quality Estimation systems, additional complexity comes from the difficulty to model user and domain changes. Systems' instability with respect to data coming from different distributions, in fact, calls for adaptive solutions that quickly react to new operating conditions. To tackle this issue we propose an online framework for adaptive Quality Estimation, targeting reactivity and robustness to user and domain changes. We experiment with different online machine learning techniques like Online Support Vector Regression, Passive Aggressive Algorithms and Online Gaussian Processes. We also perform contrastive experiments with two language pairs, English-Spanish and English-Italian, in different testing conditions. The outcome of the experiments demonstrates the effectiveness of this approach.