Textmining Information Extraction (probabilistisch)

Transkript

1 Textmining Information Extraction (probabilistisch) Department Informatik / Künstliche Intelligenz Friedrich-Alexander-Universität Erlangen-Nürnberg (FAU Dept. CS KI) Information Extraction (probabilistisch) 1 / 33

2 Information Extraction Problemstellung Gegeben eine Sammlung von (Text-)Dokumenten Konstruiere Wissensbasen / Datenbankeinträge / Fülle Templates Beispiel: Personeninformationen Name Vorname Abteilung Herangehensweisen: 1 Pattern matching + Regeln (Symbolischer Ansatz) 2 Probabilisitische Modellierung (FAU Dept. CS KI) Information Extraction (probabilistisch) 2 / 33

3 Probabilistischer Ansatz (Übersicht) (FAU Dept. CS KI) Information Extraction (probabilistisch) 3 / 33

4 Grundgedanke Extrahiere Entitäten probabilisitisch, kombiniere probabilistisch Auch hier: Bottom-up Generelle Idee: Modelliere das zu extrahierende (welchen Text würde man schreiben) Wähle für eine gegebene Beobachtung (Zeichen, Tokens) diejenige Erklärung, die die Beobachtung am wahrscheinlichsten erzeugt Wahrscheinlichkeitsverteilungen / Modellparameter werden aus einem Korpus abgeleitet (FAU Dept. CS KI) Information Extraction (probabilistisch) 4 / 33

5 Vergleich mit dem symbolischen Ansatz Symb. Definitionen werden vorgegeben, prob. Modelle werden auf Grundlage von Daten bestimmt Symb. Definitionen sind Vorbild für prob. Modellklassen (wie man noch sehen wird) (FAU Dept. CS KI) Information Extraction (probabilistisch) 5 / 33

6 Probabilistische Textmodelle Zeichen (Z i Z j ) Token (T ): p(t Z i Z j ) Token (T k T l ) Parts-of-Speech (POS): p(pos T k T l ) Parts-of-Speech (POS m POS n ) Entity (E): p(e POS m POS n ) Gemeinsam: Verarbeitung von Sequenzen! Tokenisierung, Parts-of-Speech Tagging, Feature Extraktion wird vorerst vorausgestzt (realistisch?) (FAU Dept. CS KI) Information Extraction (probabilistisch) 6 / 33

7 Problemstellung Wir erinnern uns an Extraktionsregeln der Form [company-description, company-name,] Idee: Bestimme Wahrscheinlichkeit, dass eine bestimmte Sequenz von Tokens/Tags/Features eine bestimmte Entität bezeichnet Wie? (FAU Dept. CS KI) Information Extraction (probabilistisch) 7 / 33

8 Erste Idee: N-Gramme Betrachte Sequenzen fester Länge (N) Ermittle interessierenden bedingten Wahrscheinlichkeiten durch Abzählen aus einem gelabelten Korpus: p(e T i T i+1 T } {{ i+n 1 ) = } tok #tok in K mit Label E #tok in K Verwendung * * : Herr Hacker feiert am Freitag die Party DAT NP VP* PLAC NP * * Match NP VP* PLAC (FAU Dept. CS KI) Information Extraction (probabilistisch) 8 / 33

9 Komplexität Generell: M N N-Gramme über M Token N = 2 und M = 20000: Möglichkeiten Die wenigsten der theoretischen Kombinationen treten tatsächlich auf Die möglichen N-Gramme können nicht explizit repräsentiert werden Lazy-Evaluation, etc. (FAU Dept. CS KI) Information Extraction (probabilistisch) 9 / 33

10 (FAU Dept. CS KI) Information Extraction (probabilistisch) 10 / Conclusions from the Experiments Häufigkeit von Trigrammen (Analysen von B. Ludwig und G. Schellenberger, LS Inf8, FAU) (a) Size of language model depending on the selected threshold. (b) Even if the corpus gets larger, the size of the language model remains stable. Figure 4: Though the corpora grow (measured by the number of tags), the number of trigrams converges.

11 Beispiel: Was tun die Kollegen? Tokens: liest, Herbert, Bernd, Papers, KI-I, # Lables: NAME, DOZIEREN, VERB, NOM Korpus: 1 [ DOZIEREN [ NAME Bernd] [ VERB=lesen liest] [ NOM KI-I]] 2 [ DOZIEREN [ NAME Herbert] [ VERB=lesen liest] [ NOM KI-I]] 3 [ FORSCHEN [ NAME Bernd] [ VERB=lesen liest] [ NOM PAPERS]] Ein mögliches Bigramm Sprachmodell: Bigramm β Label (# Bernd) NAME, DOZIEREN (Bernd liest) NAME, VERB, DOZIEREN (# Herbert) NAME, DOZIEREN (Herbert liest) NAME, VERB, DOZIEREN (liest KI-I) VERB, NOM, DOZIEREN (KI-I #) NOM, DOZIEREN (# Bernd) NAME, FORSCHEN (Bernd liest) NAME, VERB, FORSCHEN (liest Papers) VERB, NOM, FORSCHEN (Papers #) NOM, FORSCHEN (FAU Dept. CS KI) Information Extraction (probabilistisch) 11 / 33

12 Beispiel (Forsetzung) Häufigkeiten (Wahrscheinlichkeiten): Bigramm β Label = DOZIEREN Label = FORSCHEN (# Bernd) 1 (0.5) 1 (0.5) (Bernd liest) 1 (0.5) 1 (0.5) (# Herbert) 1 (1) 0 (0) (Herbert liest) 1 (1) 0 (0) (liest KI-I) 2 (1) 0 (0) (KI-I #) 2 (1) 0 (0) (liest Papers) 0 (0) 1 (1) (Papers #) 0 (0) 1 (1) (FAU Dept. CS KI) Information Extraction (probabilistisch) 12 / 33

13 Beispiel (Verwendung-1) Herbert liest KI-II Bekanne Bigramme β p(dozieren β) p(forschen β) (# Herbert) 1 (1) 0 (0) (Herbert liest) 1 (1) 0 (0) Der Satz handelt vom Dozieren, weitere Analysen möglich. Herbert liest Papers Bekanne Bigramme β Label = DOZIEREN Label = FORSCHEN (# Herbert) 1 (1) 0 (0) (Herbert liest) 1 (1) 0 (0) (liest Papers) 0 (0) 1 (1) (Papers #) 0 (0) 1 (1) = 0 = 0? (FAU Dept. CS KI) Information Extraction (probabilistisch) 13 / 33

14 Beispiel (Verwendung-2: Glättung) Häufigkeiten (Wahrscheinlichkeiten): Herbert liest Papers Bigramm β Label = DOZIEREN Label = FORSCHEN (# Bernd) 1 (0.5) 1 (0.5) (Bernd liest) 1 (0.5) 1 (0.5) (# Herbert) 1 (0.9) 0 (0.1) (Herbert liest) 1 (0.9) 0 (0.1) (liest KI-I) 2 (0.9) 0 (0.1) (KI-I #) 2 (0.9) 0 (0.1) (liest Papers) 0 (0.1) 1 (0.9) (Papers #) 0 (0.1) 1 (0.9) Bekanne Bigramme β Label = DOZIEREN Label = FORSCHEN (# Herbert) 1 (0.9) 0 (0.1) (Herbert liest) 1 (0.9) 0 (0.1) (liest Papers) 0 (0.1) 1 (0.9) (Papers #) 0 (0.1) 1 (0.9) = = 0.081? (FAU Dept. CS KI) Information Extraction (probabilistisch) 14 / 33

15 Beispiel (Verwendung-3: Glättung + Gewichtung) DOZIEREN ist im Korpus häufiger als FORSCHEN: Herbert liest Papers Bigramm β Label = DOZIEREN Label = FORSCHEN (# Bernd) 1 (0.6) 1 (0.4) (Bernd liest) 1 (0.6) 1 (0.4) (# Herbert) 1 (0.95) 0 (0.05) (Herbert liest) 1 (0.95) 0 (0.05) (liest KI-I) 2 (0.95) 0 (0.05) (KI-I #) 2 (0.95) 0 (0.05) (liest Papers) 0 (0.15) 1 (0.85) (Papers #) 0 (0.15) 1 (0.85) Bekanne Bigramme β Label = DOZIEREN Label = FORSCHEN (# Herbert) 1 (0.95) 0 (0.05) (Herbert liest) 1 (0.95) 0 (0.05) (liest Papers) 0 (0.15) 1 (0.85) (Papers #) 0 (0.15) 1 (0.85) = = DOZIEREN (FAU Dept. CS KI) Information Extraction (probabilistisch) 15 / 33

16 Diskussion: ist N größer als der längste Satz/Phrase/Text, so sind die N-Gramme das exakteste Textmodell Nicht praktikabel (wg. der Größe der benötigten Stichprobe) Zum Vergleich: Funktionen als Wertetabellen Vereinfachende Annahmen über die (Un-)Abhängigkeit der einzelnen Bestandteile erlauben dramatische Vereinfachungen. Weitere Probleme: Wie Glätten? Wie Gewichten? Was ist mit unbekannten Tokens? ( KI-I und KI-II sind sehr ähnlich!) Wie sind die Einzelwahrscheinlichkeiten zu verrechnen? (FAU Dept. CS KI) Information Extraction (probabilistisch) 16 / 33

17 Erweiterung des Bigramm-Modells Bisher: T T Idee: Verzahne die Bigramme (Bigramm mit Position) T T (FAU Dept. CS KI) Information Extraction (probabilistisch) 17 / 33

18 Erweiterung des Bigramm-Modells (2) Verschmelze die Bigramme T T p!." p!." p!." p!." p!." p!." (FAU Dept. CS KI) Information Extraction (probabilistisch) 18 / 33

19 Erweiterung des Bigramm-Modells (3) Abstrahiere die Struktur (Kennzeichne Startzustand) T p!." T p!." p!." p!." p!." p!." p!." p!." p!." p!." p!." Hidden Markov Modell! (FAU Dept. CS KI) Information Extraction (probabilistisch) 19 / 33

20 Nochmal das Beispiel: Was tun die Kollegen? Tokens: liest, Herbert, Bernd, Papers, KI-I, # Lables: NAME, DOZIEREN, VERB, NOM Korpus: 1 [ DOZIEREN [ NAME Bernd] [ VERB=lesen liest] [ NOM KI-I]] 2 [ DOZIEREN [ NAME Herbert] [ VERB=lesen liest] [ NOM KI-I]] 3 [ FORSCHEN [ NAME Bernd] [ VERB=lesen liest] [ NOM PAPERS]] HMM-Struktur: p 00 p 11 start liest? Herbert? KI-II? Bernd? Papers? KI-I? p 01 p 10 liest? Herbert? KI-II? Bernd? Papers? KI-I? (FAU Dept. CS KI) Information Extraction (probabilistisch) 20 / 33

21 HMM für DOZIEREN 0 1 start liest 0 Herbert 0.5 KI-II 0 Bernd 0.5 Papers 0 KI-I liest 0.5 Herbert 0 KI-II 0 Bernd 0 Papers 0.5 KI-I 0.5 (FAU Dept. CS KI) Information Extraction (probabilistisch) 21 / 33

22 HMM für FORSCHEN 0 1 start liest 0 Herbert 0 KI-II 0 Bernd 1 Papers 0 KI-I liest 0.5 Herbert 0 KI-II 0 Bernd 0 Papers 0.5 KI-I 0 (FAU Dept. CS KI) Information Extraction (probabilistisch) 22 / 33

23 Diskussion HMMs HMMs analog zu regulären Ausdrücken im symbolischen Ansatz Problem (wie bei Bigrammen): Glättung, Gewichtung, was bei ungesehenen Tokens? Wörter als Tokens ungeeignet! (FAU Dept. CS KI) Information Extraction (probabilistisch) 23 / 33

24 Und wieder das Beispiel: Was tun die Kollegen? Tokens: liest, Herbert, Bernd, Papers, KI-I, # Lables: NAME, DOZIEREN, LIEST, LITERATUR, LEHRVERANSTALTUNG Korpus: 1 [ DOZIEREN [ NAME Bernd] [ LIEST liest] [ LEHRVERANSTALTUNG KI-I]] 2 [ DOZIEREN [ NAME Herbert] [ LIEST liest] [ LEHRVERANSTALTUNG KI-I]] 3 [ FORSCHEN [ NAME Bernd] [ LIEST liest] [ LITERATUR PAPERS]] HMM-Struktur: (wie zuvor) (FAU Dept. CS KI) Information Extraction (probabilistisch) 24 / 33

25 HMM für DOZIEREN / start NAME 1 DOZIEREN 0 LIEST 0 LITERATUR 0 LEHRVERANSTALTUNG NAME 0 DOZIEREN 0 LIEST 0.5 LITERATUR 0 LEHRVERANSTALTUNG 0.5 (FAU Dept. CS KI) Information Extraction (probabilistisch) 25 / 33

26 HMM für FORSCHEN / start NAME 1 DOZIEREN 0 LIEST 0 LITERATUR 0 LEHRVERANSTALTUNG NAME 0 DOZIEREN 0 LIEST 0.5 LITERATUR 0.5 LEHRVERANSTALTUNG 0 (FAU Dept. CS KI) Information Extraction (probabilistisch) 26 / 33

27 Diskussion HMMs / 2 Wie genauer extrahieren? Table fold cross-validation results Möglichkeiten, Slot das HMMs-Design Recall Precision anzupassen: # instances name Zustände price für Background Text Zustände picture für Entity 69.0 Text Bestimme speed wahrscheinlichstes HMM = Welche 186 Art wird extrahiert Wähle den size Text der 83.2 durch die Entity 93.7 Knoten 173 erklärt wird Berechne year den Pfad 98.1im HMM ( 70.0 Viterbi) 160 (Aus: Martin Labský and Vojtěch Svátek: Information Extraction from Web Product Catalogues) Fig state submodel trained for bike name do not exhibit significant internal structure and were thus modelled only with the (FAU Dept. CS KI) Information Extraction (probabilistisch) 27 / 33

28 Berücksichtigung semantischer Zusammenhänge beim probabilistischen Information Extraction Definiere interessierende Klassen und Relationen (wie zuvor) Bilde Instanzen aus dem Textkorpus (mit Wahrscheinlichkeit annotiert) Maximiere dabei die Wahrscheinlichkeit des Modells Beantworte Anfragen mit der wahrscheinlichsten Antwort Literaturhinweis: Bhaskara Marthi, Brian Milch, Stuart Russell. First-Order Probabilistic Models for Information Extraction IJCAI 2003 Workshop on Learning Statistical Models from Relational Data. (FAU Dept. CS KI) Information Extraction (probabilistisch) 28 / 33

29 Beispiel: Publikationsdatenbank A11 A12 A13 A21 A22 A23 P1 P2 Paper Author surname #(fnames) fnames #(authors) authors title publication type AuthorAsCited surname #(fnames) fnames author Citation #(obsauthors) obsauthors obstitle parse D11 D12 D13 D21 D22 D23 C1 C2 text paper (Aus: H. Pasula, B. Marthi, B. Milch, S. Russell, and I. Shpitser.: Identity uncertainty and citation matching. In NIPS 15. MIT Press, Cambridge, MA, 2003) e 2: An RPM for our Citeseer example. The large rectangles represent classes arrows indicate the ranges of their complex attributes, and the light arrows la e probabilistic dependencies of their basic attributes. The small rectangles repr (FAU Dept. CS KI) Information Extraction (probabilistisch) 29 / 33

30 n Beispiel: our application, Publikationsdatenbank any two citations may or may not(2) refer to the same paper. Thus, for itations C 1 and C 2, there is uncertainty as to whether the corresponding papers P 1 and P 2 re in fact the same object. If they are the same, they will share one set of basic attributes; A11. surname D11. surname A11. fnames D11. fnames A11. #(fnames) D11. #(fnames) A12. surname D12. surname A12. fnames D12. fnames A12. #(fnames) D12. #(fnames) A13. surname D13. surname A13. fnames D13. fnames A13. #(fnames) D13. #(fnames) A22. A22. surname #(fnames) A21. A22. A23. #(fnames) fnames surname A21. D12. D22. A23. fnames surname #(fnames) fnames A21. D21. D22. D23. A23. surname #(fnames) fnames surname #(fnames) D21. D23. fnames fnames D21. D23. surname #(fnames) C1. #(authors) C1. parse P1. pubtype C1. text C1. obstitle P1. title C2. #(authors) C2. parse P2. pubtype C2. text C2. obstitle P2. title (Aus: Figure H. Pasula, 3: B. The Marthi, Bayesian B. Milch, S. Russell, network and I. equivalent Shpitser.: Identity touncertainty our RPM, andassuming citation matching. C 1 In NIPS C MIT Press, Cambridge, MA, 2003) Zwei Zitierungen beschreiben die gleiche Publikation, wenn deren Parameter gleich (ähnlich) sind. (FAU Dept. CS KI) Information Extraction (probabilistisch) 30 / 33

31 Beispiel: Publikationsdatenbank (3) Einige Modellparameter Mit den Worten der Autoren: We will now fill in the details of the conditional probability models. Our priors over the true attributes are constructed off-line, using the following resources: the 1990 Census data on US names, a large A.I. BibTeX bibliography, and a hand-parsed collection of 500 citations. We learn several bigram models (actually, linear combinations of a bigram model and a unigram model): letter-based models of first names, surnames, and title words, as well as higher-level models of various parts of the citation string. More specifically, the values of Author.fnames and Author.surname are modeled as having a a 0.9 chance of being generated using a bigram model learned from that file.... (Aus: H. Pasula, B. Marthi, B. Milch, S. Russell, and I. Shpitser.: Identity uncertainty and citation matching. In NIPS 15. MIT Press, Cambridge, MA, 2003) (FAU Dept. CS KI) Information Extraction (probabilistisch) 31 / 33

32 Inferenz Für eine gegebene Belegung von Knoten lässt sich die Wahrscheinlichkeit anderer Knoten bestimmen Bayes Netz Wie lässt sich die beste Belegung aller freien Knoten finden? Betrachte den Grundbereich aller Variablen (Welten) Bestimme eine Verteilung per Sampling ( Markov Chain Monte Carlo) Genauer? Wunschzettel (FAU Dept. CS KI) Information Extraction (probabilistisch) 32 / 33

33 Zusammenfassung Auch bei probabilistischen Modellen muss man wissen, was man extrahieren will Modelle werden postuliert, Modellparameter aus Beispielen abgeleitet Modelle bestehen aus Teil- und Untermodellen / Hierarchien Extrem viele Möglichkeiten der Modellierung (FAU Dept. CS KI) Information Extraction (probabilistisch) 33 / 33