Machine Learning and Natural Language Processing Techniques for Question Answering

Abstract

Στα πλαίσια της παρούσας διατριβής μελετήθηκε το πρόβλημα της απάντησης ερωτήσεων για ερωτήσεις γεγονότων και κλειστού τύπου ερωτήσεις ναι/όχι. Επίσης, παρουσιάζονται εφαρμογές στον τομέα της βιοιατρικής και σε ανοιχτού τομέα συστημάτων απάντησης ερωτήσεων. Τα μοντέλα απάντησης ερωτήσεων έχουν ως στόχο τη γρήγορη εξυπηρέτηση των χρηστών. Αναλυτικά, ένα τέτοιο μοντέλο δέχεται ως είσοδο μία ερώτηση σε φυσική γλώσσα και είναι υπεύθυνο για την επιστροφή μίας ευανάγνωστης και κατανοητής απάντησης προς το χρήστη. Σε αντίθεση με τα κλασσικά συστήματα ανάκτησης πληροφορίας ένα μοντέλο απάντησης ερωτήσεων είναι ικανό να επιστρέψει ένα συγκεκριμένο τμήμα κειμένου που θα ικανοποιεί τις ανάγκες των χρηστών. Η ιστορία των συστημάτων απάντησης ερωτήσεων είναι μεγάλη και ξεκινάει το 1960 όπου πρωτοεμφανίστηκαν τα πρώτα συστήματα για περιορισμένη χρήση σε συγκεκριμένους τομείς. Στην πάροδο του χρόνου πολλές αρχιτεκτονικές προτάθηκαν και διάφορα παραδείγματα υιοθετήθηκαν. Ένα σημαντικό ορόσημο ήταν όταν εμφανίστηκε ένα καλά σχεδιασμένο μοντέλο απάντησης ερωτήσεων της IBM ικανό να κερδίσει σε διαγωνισμό ανθρώπους συμμετέχοντες. Σήμερα τα μοντέλα αυτά είναι πιο ικανά από ποτέ και βασίζονται σε τεχνικές βαθιάς μάθησης. Ένα σύγχρονο μοντέλο απάντησης ερωτήσεων είναι μία περίπλοκη συνάρτηση και οι παράμετροι μπορούν και προσαρμόζονται λαμβάνοντας υπόψιν τεράστιες συλλογές ακατέργαστου κειμένου. Προβλήματα του παρελθόντος έχουν επιλυθεί τα τελευταία λίγα χρόνια και νέες προκλήσεις εμφανίζονται για την επιστημονική κοινότητα. Η μελέτη μας επικεντρώνεται τόσο σε κλασσικές αρχιτεκτονικές όπου δεσπόζουσα θέση έχουν τα παραδοσιακά μοντέλα μηχανικής μάθησης όπως η γραμμική παλινδρόμηση και οι μηχανές διανυσμάτων υποστήριξης και η εξαγωγή χαρακτηριστικών όσο και σε πιο σύγχρονες τεχνικές. Στις τελευταίες χρησιμοποιούνται προ-εκπαιδευμένα γλωσσικά μοντέλα εκπαιδευμένα σε τεράστιες κειμενικές πηγές που κατανοούν τη γλώσσα βρίσκοντας συντακτικές και σημασιολογικές σχέσεις μεταξύ των συστατικών μερών που απαρτίζουν την είσοδο στα μοντέλα. Η αρχιτεκτονική των μοντέλων επιτρέπει τη μεταφορά γνώσης σε άλλες εργασίες όπως είναι το πρόβλημα της απάντησης ερωτήσεων. Τρεις ολοκληρωμένες επιστημονικές εργασίες παρουσιάζονται στη διατριβή που έχουν επίσημα δημοσιευτεί σε επιστημονικά περιοδικά. Στην πρώτη εργασία παρουσιάζουμε ένα μοντέλο απάντησης ερωτήσεων για την περιοχή της βιοιατρικής. Αναλυτικά, δείχνουμε ότι η προσέγγιση που ακολουθήσαμε μπορεί να οδηγήσει σε καλύτερα αποτελέσματα συγκριτικά με άλλες τεχνικές που παρουσιάστηκαν για το ίδιο πρόβλημα με το ίδιο σύνολο δεδομένων. Η συνεισφορά μας ήταν η δημιουργία ενός εύρωστου μοντέλου απάντησης ερωτήσεων όπου με ελάχιστες τροποποιήσεις μπορεί να χρησιμοποιηθεί σε οποιαδήποτε περιοχή πέρα από τη βιοατρική. Οι πηγές και τα διανύσματα λέξεων που εκμεταλλευτήκαμε σε συνδυασμό με παραδοσιακά μοντέλα μηχανικής μάθησης δεν είχαν εξεταστεί στο παρελθόν από άλλες εργασίες. Η δεύτερη εργασία βασίζεται στη διαίσθηση ότι κατά την εκπαίδευση μοντέλων σε κάποιες εργασίες, τα μοντέλα θα μάθουν σημαντικές σχέσεις και μοτίβα που μπορούν ύστερα να φανούν χρήσιμη γνώση για την πρόβλεψη απαντήσεων. Εφαρμόζοντας αυτό το σκεπτικό στην απάντηση κλειστού τύπου ερωτήσεων δείξαμε ότι μία τέτοια προσέγγιση μπορεί να βελτιώσει την απόδοση των μοντέλων. Συγκεκριμένα, εξετάσαμε το ενδεχόμενο δημιουργίας τεχνητών εργασιών που θα υποβοηθήσουν τα μοντέλα απάντησης ερωτήσεων. Τα αποτελέσματα έδειξαν ότι και οι τρεις εργασίες που προτείνουμε μπορούν να ενισχύσουν την απόδοση των μοντέλων ενώ η ποιοτική ανάλυση έδειξε ότι τα μοντέλα έχουν την ικανότητα να μάθουν συγκεκριμένες σχέσεις μεταξύ της ερώτησης και του σχετικού κείμενου. Τέλος, η τρίτη εργασία στηρίζεται στο σκεπτικό ότι όσες περισσότερες εργασίες μπορεί να μάθει ένα μοντέλο στο ίδιο σύνολο δεδομένων τόσο πιο σίγουρο να έχει πιο βαθιά κατανόηση το μοντέλο στο σύνολο δεδομένων. Εξετάσαμε αυτή την άποψη πάλι στο πρόβλημα απάντησης κλειστού τύπου ερωτήσεων και δείξαμε ότι αν ένα σύνθετο μοντέλο μπορεί ταυτόχρονα να εκπαιδευτεί στο πρόβλημα απάντησης ερωτήσεων αλλά και στην εξαγωγή τμήματος κειμένου που μπορεί να θεωρηθεί ως απόδειξη αλήθειας της ερώτησης τότε το μοντέλο προβλέπει με μεγαλύτερη ακρίβεια τις δοσμένες ερωτήσεις. Επίσης, η ποιοτική ανάλυση έδειξε ότι αυτά τα τμήματα κειμένου μπορεί να είναι χρήσιμη πηγή γνώσης για τους χρήστες ενώ ταυτόχρονα τους παρέχουν τη δυνατότητα κατανόησης της απάντησης που πήρανε.