Question Answering. Sie holt sich ihr Wissen aus dem Internet. Das bedeutet sie weiß alles! Pixel Perfect, USA Peter Kolb 12.7.

Transkript

1 Question Answering Sie holt sich ihr Wissen aus dem Internet. Das bedeutet sie weiß alles! Pixel Perfect, USA 2004 Peter Kolb

2 Question Answering QAS liefern Antwort auf natürlichsprachige Frage statt nur sortierter Liste mit Trefferdokumenten Information-Retrieval statt Dokumenten- Retrieval nächste Entwicklungsstufe von Suchmaschinen QA erfordert mehr und komplexere NLP- Techniken als IR

3 Question Answering Closed-domain QA Wissensbasis Datenbank spezielles Korpus Open-domain QA Korpora WWW

4 Geschichte 60er Jahre: natürlichsprachige Schnittstellen zu Expertensystemen handgeschriebene Wissensbasis eingeschränkte Domäne BASEBALL, LUNAR SHRDLU (Terry Winograd) ELIZA (

5 SHRDLU P: What does the box contain? C: The blue pyramid and the blue block. P: What is the pyramid supported by? C: The box. P: How many blocks are not in the box? C: Four of them. P: Stack up two pyramids. C: I can't.

6 QA heute Chatbots ( Suchmaschinen open-domain QA TREC QA track

7 TREC QA Track seit 1999 Systeme sollten kleine Textschnipsel liefern, die Antwort auf Frage beinhalten Fragen: open-domain, closed-class Faktenfragen TREC-8 (1999): 200 Testfragen Evaluierung: Wann gilt Antwort als korrekt?

8 TREC-QA: Evaluierung QAS liefert Text-Schnipsel mit Antwort und Quelldokument Bewertung als correct, unsupported, inexact, incorrect Wer entdeckte den Mississippi? correct: Der spanische Entdecker Hernando de Soto entdeckte den Mississippi unsupported: Hernando de Soto entdeckte Gold im Mississippi inexact: Hernando de Soto entdeckte den...

9 TREC-8 (1999) Fragen 6: Why did David Koresh ask the FBI for a word processor? answer pattern: To\s+record\s+his\s+revelations finish\w*\s+writing.*?revelations original answer: To record his revelations 22: When did the Jurassic Period end? answer pattern: 130\s+million\s+years\+ago original answer: 130 million years ago 64: Who is the voice of Miss Piggy? answer pattern: Frank\s+Oz original answer: Frank Oz

10 TREC Frage-Arten Faktenfragen ( factoid questions ) Wie hoch ist der Eiffelturm? Wann wurde A. Einstein geboren? Listenfragen Welche Länder exportieren Erdöl? Nennen Sie die Bundespräsidenten! Fusionsfragen: Informationen (information nuggets) aus mehreren Doks zusammentragen Wer ist Barack Obama?

11 QA-Grundproblem Paraphrasen die Bundeskanzlerin besucht Moskau Merkel zu Besuch bei Putin Merkel trifft russischen Präsidenten Merkel zu Gesprächen in russischer Hauptstadt betrifft Frage und Antwort abgemildert durch Datenmenge im Web

12 Systemarchitektur

13 Frage-Analyse Was wird erfragt? What, who, which, where, when, why, how many, how long, how tall, how far, how rich, in which year, in what year Wann heiratete Tom Cruise? Datum Wo heiratete Tom Cruise? Ort Wen heiratete Tom Cruise? Person

14 Frage-Analyse mittels regulärer Ausdrücke: $q = /where/ Location $q = /who/ Person $q = /when/ Date Antworten auf entsprechende Named Entities einschränken

15 Frage-Analyse Frage-Typen in Vererbungshierarchie [6] syntaktische Analyse u. heuristische Regeln z.b. Webclopedia QA typology 72 Knoten Why-Famous, Proper-Person, Abbrev- Expansion, Quantity-Numerical, Quantity- Monetary,... Who invented the gas laser? A scientist at MIT What is the name of the person who invented...

16 Dokumentenauswahl IR-Suche nach relevanten Dokumenten zur Frage Filterung liefert Dokumente, die wahrscheinlich Antwort auf Frage enthalten

17 Dokumentenauswahl Anfrageerweiterung mit WordNet-Synsets [6] oder Wikipedia-Synonymen [3]: Flachbildschirm, Bildschirm, Display, PC- Flachbildschirm, TFT-Bildschirm, TFT- Monitor, TFT Angela Merkel, Angie, Dr. Angela Merkel Moskau, russischen Hauptstadt, Moskwa, Moskowiter, Moskauer, Moscow automatisch extrahiert aus Seitenumleitungen in Wikipedia

18 Satzauswahl Passage lokalisieren, die Antwort erhält relevante Dokumente in Sätze zerlegen Text Tiling Ähnlichkeit zwischen Frage u. Sätzen bestimmen Fenster, Wort-Übereinstimmung Wortvektor-Ähnlichkeit

19 Satzauswahl Fenster-Methode bis 30% Accuracy Problem: Antwortgrenzen finden Who was the second president of the US? John Adams was the second president of the US General Ott was the second president of the US Field Artillery Association nur auf Wortebene, keine NE-Typen

20 Satzauswahl Paraphrasen bilden Antwortmuster beschreiben Aranea [1]: Who killed Abraham Lincoln? <PERSON> killed Abraham Lincoln Abraham Lincoln was killed by <PERSON> How tall is the Statue of Liberty? height of the Statue of Liberty

21 Satzauswahl: Parsing Syntax, Mehrwortlexeme robuster Dependenzparser Minipar [5] The US purchased Alaska in 1867 purchase V:subj:N United States purchase V:obj:N Alaska Alaska N:mod:Prep in in Prep:pcomp-n:N 1867

22 Satzauswahl: Logische Form [4] nutzen FrameNet The United States purchased Alaska in Alaska was bought from Russia in In 1867, Russia sold Alaska to the United States.

23 Satzauswahl: Logische Form Oberflächen- u. Tiefenkasus: Verb Verkäufer Käufer Ware verkaufen FROM_POSS TO_POSS THEME NP nom NP dat NP akk PP an kaufen PP von NP nom NP akk abkaufen NP dat NP nom NP akk Kauf PP von PP durch NP gen verscherbeln, versetzen, veräußern, erwerben, erstehen

24 Satzauswahl: Logische Form Problem: Suchmaschine kennt keine logische Form alle möglichen Antworten generieren und als Suchanfragen abschicken QA mittels NLG Wer kaufte YouTube? x kaufte YouTube x erwarb YouTube x hat YouTube erstanden Kauf von YouTube durch x YouTube wurde von x gekauft...

25 Antwort-Auswahl Einschränkung durch Frage-Typ regulären Ausdruck (Muster) Syntax, logische Form Anzahl der Treffer Gewichtung der Quellen

26 Vertrauenswürdigkeit der Quelle Welche Nebenwirkungen hat Colidormin? Colidormin hat keine bekannten Nebenwirkungen. (

27 Vertrauenswürdigkeit der Quelle Welche Nebenwirkungen hat Colidormin? Colidormin hat keine bekannten Nebenwirkungen. Wurde mir gesagt. Stimmt aber nicht. (

28 Vertrauenswürdigkeit der Quelle Welche Nebenwirkungen hat Colidormin? Colidormin hat keine bekannten Nebenwirkungen. Wurde mir gesagt. Stimmt aber nicht. ( QAS liefern nur Daten, keine Informationen!

29 QA-Ressourcen TREC CLEF: multilinguales QA (u.a. Deutsch, Spanisch, Italienisch, Bulgarisch...) Aranea: Open-Source-QAS [1] QA test collection [2]

30 Question Answering Kommerzielle QA-Systeme im Web: Brainboost is an answer engine whereas Google is a Search engine. TREC 2005 bestes System von Language Computers Corp. mit Accuracy von 0,713

31 Literaturangaben [1] B. Katz, J. Lin, D. Loreto, W. Hildebrandt, M. Bilotti, S. Felshin, A. Fernandes, G. Marton u. F. Mora (2003): Integrating web-based and corpus-based techniques for question answering. In Proceedings of the 12th Text Retrieval Conference (TREC-12). [2] J. Lin u. B. Katz (2006): Building a reusable test collection for question answering. Journal of the American Society for Information Science and Technology, 57(7): [3] B. Katz, G. Marton, S. Felshin, D. Loreto, B. Lu, F. Mora, Ö. Uzuner, M. McGraw-Herdeg, N. Cheung, Y. Luo, A. Radul, Y. Shen u. G. Zaccak (2006): Question answering experiments and resources. In Proceedings of the 15th Text Retrieval Conference (TREC-15).

32 Literaturangaben [4] M. Kaisser, S. Scheible, B. Webber (2006): Experiments at the University of Edinburgh for the TREC 2006 QA track. In Proceedings of the 15th Text Retrieval Conference (TREC- 15). [5] D. Lin (1998): Dependency-based evaluation of MINIPAR. In Workshop on the Evaluation of Parsing Systems. [6] E. Hovy, L. Gerber, U. Hermjakob, C.-Y. Lin u. D. Ravichandran (2001): Towards semantics-based answer pinpointing. In Proceedings of HLT 2001.