Textmining Information Extraction (symbolisch)

Größe: px

Ab Seite anzeigen:

Download "Textmining Information Extraction (symbolisch)"

Hennie Becker
vor 6 Jahren
Abrufe

1 Textmining Information Extraction (symbolisch) Dept. Informatik 8 (Künstliche Intelligenz) Friedrich-Alexander-Universität Erlangen-Nürnberg (Informatik 8) Information Extraction (symbolisch) 1 / 22

2 Information Extraction Problemstellung Gegeben eine Sammlung von (Text-)Dokumenten Konstruiere Wissensbasen / Datenbankeinträge / Fülle Templates Beispiel: Personeninformationen Name Vorname Abteilung Herangehensweisen: 1 Pattern matching + Regeln (Symbolischer Ansatz) 2 Probabilistische Modellierung (Informatik 8) Information Extraction (symbolisch) 2 / 22

3 Wichtigster Schritt: Festlegung der zu extrahierenden Informationen Definiere ein zu füllendes Template. Terrorist report INCIDENT TYPE <> DATE <> LOCATION <> PERPETRATOR <> PHYSICAL TARGET <> HUMAN TARGET <> EFFECT ON PHYSICAL TARGET <> EFFECT ON HUMAN TARGET <> INSTRUMENT <> (Informatik 8) Information Extraction (symbolisch) 3 / 22

4 Beispiel 19 March A bomb went off this morning near a power tower in San Salvador leaving a large part of the city without energy, but no casualties have been reported. According to unofficial sources, the bomb allegedly detonated by urban guerilla commandos blew up a power tower in the northwestern part of San Salvador at 0650 (1250 GMT). INCIDENT TYPE bombing DATE March 19 LOCATION El Salvador: San Salvador (city) PERPETRATOR urban guerilla commandos PHYSICAL TARGET power tower HUMAN TARGET EFFECT ON PHYSICAL TARGET destroyed EFFECT ON HUMAN TARGET no injury or death INSTRUMENT bomb (Informatik 8) Information Extraction (symbolisch) 4 / 22

5 Template-Schema Mehrere Templates, die miteinander in Beziehung stehen (vgl. ER-Diagramme, Semantische Netze) Person Terrorist Report Date Place (Informatik 8) Information Extraction (symbolisch) 5 / 22

6 Pattern matching + Regeln (Informatik 8) Information Extraction (symbolisch) 6 / 22

7 Eine IE-Architektur (Proteus ) Ralph Grishman, Information extraction: techniques and challenges, In Information Extraction (International Summer School SCIE-97, 1997) document lexical analysis name recognition partial syntactic analysis scenario pattern matching coreference analysis inference template generation extracted templates (Informatik 8) Information Extraction (symbolisch) 7 / 22

8 Fortlaufendes Beispiel: Agenturmeldung: Sam Schwartz retired as executive vice president of the famous hot dog manufacturer, Hupplewhite Inc. He will be succeeded by Harry Himmelfarb. (Informatik 8) Information Extraction (symbolisch) 8 / 22

9 Lexical Analysis Text Sätze Tokens dict(token) parts-of-speech, features Lexika, also Verzeichnisse sind eine der wichtigsten Wissensquellen im Textmining Lexika für Allgemeine Ausdrücke Ortsnamen Firmennamen Vornamen, Nachnamen Abkürzungen (Informatik 8) Information Extraction (symbolisch) 9 / 22

10 Name Recognition Identifiziere Idee Bezeichnungen verschiedene Dinge Datumsangaben Währungsangaben... (nach Anwendung; Brennweite, Gewicht,... ) Definiere reguläre Ausdrücke über parts-of-speech, syntaktische und orthografische Merkmale (Informatik 8) Information Extraction (symbolisch) 10 / 22

11 Beispiel: Extraktion von Personennamen Vorangstellter Titel: Mr. Herrington Smith Bekannter / häufiger Vorname: Fred Smith Auf Namen anwendbare Suffixe: Snippety Smith Jr. Amerikanische Namen: middle initial Humble T. Hopp (Informatik 8) Information Extraction (symbolisch) 11 / 22

12 Beispiel: Extraktion von Firmennamen (Englisch) Letzes token: Hepplewhite Inc. Hepplewhite Corporation Hepplewhite Associates First Hepplewhite Bank Gegenbeispiele: General Motors (Informatik 8) Information Extraction (symbolisch) 12 / 22

13 Im laufenden Beispiel [ name type: person Sam Schwartz] retired as executive vice president of the famous hot dog manufacturer, [ name type: company Hupplewhite Inc.] He will be succeeded by [ name type: person Harry Himmelfarb]. (Informatik 8) Information Extraction (symbolisch) 13 / 22

14 Partial Syntactic Analysis Verwende Syntax-Parser für sichere Konstrukte. Verwende auch die extrahierten Namen! Keine allgemeine Grammatik! np : Nominalphrasen: (Name); (Artikel Name); (Artikel (Adjektiv* Name)+)... vg : Verbalphrasen (verb groups): (Verb); (Hilfsverb* Verb); (Verb Adverb*)... [ np entity: e1 Sam Schwartz] [ vg retired] as [ np entity: e2 executive vice president] of [ np entity: e3 the famous hot dog manufacturer], [ np entity: e4 Hupplewhite Inc.] [ np entity: e5 He] [ vg will be succeeded] by [ np entity: e6 Harry Himmelfarb]. Weiter Features denkbar: vp: Zeit, aktiv/passiv, Wortstamm np: Zahl, Stamm (Informatik 8) Information Extraction (symbolisch) 14 / 22

15 Extrahierte Entitäten entity e 1 entity e 2 entity e 3 entity e 4 entity e 5 entity e 6 type: person name: Sam Schwartz type: position value: executive vice president type: manufacturer type: company name: Hupplewhite Inc. type: person type: person name: Harry Himmelfarb (Informatik 8) Information Extraction (symbolisch) 15 / 22

16 Im Englischen schwieriger: Appositionen und Präpositionalphrasen Der Ansatz: Verwende Regeln mit semantischen Konstraints: Muster: [company-description, company-name,] company-name passt zu nps vom Typ company mit einem Namen als Kopf. company-description passt zu nps vom Typ company mit irgendeinem Nomen als Kopf. Muster: [position of company] position passt auf nps vom Typ position company passt of nps vom Typ company Verwende Taxonomie (manufacturer company) (Informatik 8) Information Extraction (symbolisch) 16 / 22

17 Update der extrahierten Entitäten [ np entity: e1 Sam Schwartz] [ vg retired] as [ np entity: e2 executive vice president of the famous hot dog manufacturer, Hupplewhite Inc.] [ np entity: e5 He] [ vg will be succeeded] by [ np entity: e6 Harry Himmelfarb]. entity e 1 type: person name: Sam Schwartz entity e 2 type: position value: executive vice president company: e 3 entity e 3 type: manufacturer name: Hupplewhite Inc. entity e 5 type: person entity e 6 type: person name: Harry Himmelfarb Achtung: frühere Zuordnungen nicht dargestellt! (Informatik 8) Information Extraction (symbolisch) 17 / 22

18 Scenario Pattern Matching Muster (abstrakte Formulierungen) für das Nachfolger -Szenario: person retires as position person is succeeded by person person und position passen auf Nominalphrasen des jeweiligen Typs retires und is succeeded by passen auf Verbalphrasen mit passendem Inhalt. (Informatik 8) Information Extraction (symbolisch) 18 / 22

19 Im Beispiel Neue Strukturen (die auf frühere verweisen) [ clause event: e7 Sam Schwartz retired as executive vice president of the famous hot dog manufacturer, Hupplewhite Inc.] [ clause event: e8 He will be succeeded by Harry Himmelfarb]. und die Tabelle: entity e 1 type: person name: Sam Schwartz entity e 2 type: position value: executive vice president company: e 3 entity e 3 type: manufacturer name: Hupplewhite Inc. entity e 5 type: person entity e 6 type: person name: Harry Himmelfarb event e 7 type: leave-job person: e 1 position: e 2 event e 8 type: succeed person1: e 6 person2: e 5 (Informatik 8) Information Extraction (symbolisch) 19 / 22

20 Coreference Analysis Löse Referenzen (Pronomen, etc.) auf. Im Beispiel: e 5 = He Auflösung: Suche nach einer vorher genannten Entität vom Typ person nimm die naheste: e 1 Ersetze e 5 durch e 1 entity e 1 type: person name: Sam Schwartz entity e 2 type: position value: executive vice president company: e 3 entity e 3 type: manufacturer name: Hupplewhite Inc. entity e 6 type: person name: Harry Himmelfarb event e 7 type: leave-job person: e 1 position: e 2 event e 8 type: succeed person1: e 6 person2: e 1 Verwende Taxonomie (manufacturer company): ersetze die Form the company durch e 3 vom Typ manufacturer (Informatik 8) Information Extraction (symbolisch) 20 / 22

21 Inference + Template-Füllung Setzte events zueinander in Beziehung, interpretiere diese! Verwende logische Regeln: leave-job(x-person, Y-job) & succeed(z-person, X-person) start-job(z-person, Y-job) und start-job(x-person, Y-job) & succeed(x-person, Z-person) leave-job(z-person, Y-job) Auf die Tabelle angewandt: entity e 1 type: person name: Sam Schwartz entity e 2 type: position value: executive vice president company: e 3 entity e 3 type: manufacturer name: Hupplewhite Inc. entity e 6 type: person name: Harry Himmelfarb event e 7 type: leave-job person: e 1 position: e 2 event e 8 type: succeed person1: e 6 person2: e 1 event e 9 type: start-job person: e 6 position: e 2 Aus der Tabelle lassen sich die Templates einfach füllen. (Informatik 8) Information Extraction (symbolisch) 21 / 22

22 Noch einige Punkte Regeln und Muster exakt auf das Extraktionsziel zugeschnitten Man müsste auch Zeit beachten (etwa in den Inferenzregeln), Extraktion der geeigneten Phrasen notwendig! (Datum, relative Zeitangeben, etc.) Einfach auf andere Fragestellungen übertragbar? (Informatik 8) Information Extraction (symbolisch) 22 / 22

Ähnliche Dokumente

Ralph Grishman Information Extraction: Techniques and Challenges

Ralph Grishman Information Extraction: Techniques and Challenges Referat von 1. Einleitung 1.1 Über den Artikel - Autor Ralph Grishman - Professor an der Universität von New York - Mitbegründer des Proteus