Informationsextraktion. Karin Haenelt

Transkript

1 Informationsextraktion Karin Haenelt

2 Informationsextraktion Ziel Identifikation bestimmter Information (Daten) in einem unstrukturierten oder teilstrukturierten textuellen Dokument Transformation unstrukturierter Information in eine strukturierte Datenbank Eigenschaften der Aufgabe Themen und Relevanzkriterien sind begrenzt und werden vorab spezifiziert Repräsentationsformat ist begrenzt und festgelegt typischerweise nur Teile von Texten relevant oft nur Teile von Sätzen relevant Mooney, S. 2 Appelt/Israel, 1999 Informationsextraktion

3 Informationsextraktion Beispiel Asplund, (Erik) Gunnar, Nachname: Asplund *1855 in Stockholm, 1940 in Vorname: (Erik) Gunnar Stockholm. Asplund zählte zu Geburtsdatum: 1855 den prominentesten Geburtsort: Stockholm schwedischen Architekten der ersten Hälfte des 20. Jahrhunderts; Behrens, Peter, *1868 in Nachname: Behrens Hamburg, 1940 in Berlin. Vorname: Peter Behrens entwickelte als einer Geburtsdatum: 1868 der ersten Architekten des Geburtsort: Hamburg 20. Jahrhunderts. Lampugnani,

4 Informationsextraktion Beispiel Als Baum wird im allgemeinen Sprachgebrauch eine holzige Pflanze verstanden, Der Tiger (Panthera tigris) ist eine in Asien verbreitete Großkatze Ein Computer [kɔm pju:tɐ] oder Rechner ist ein Apparat, der Daten mithilfe einer programmierbaren Rechenvorschrift verarbeiten kann Georg Cantor, Beiträge zur transfiniten Begründung der Mengenlehre, Math. Annalen XLVI, 1895, S. 31 4

5 Informationsextraktion Weitere Beispiele Nachrichten zu einem bestimmten Thema Stellenanzeigen, Wohnungsanzeigen Filmbewertungen, Produktbewertungen(opinion mining) Shop Bots 5

6 Konferenz zur Förderung der Informationsextraktion MUC: Message Understanding Conference Ziel: Förderung der Methoden der Informationsextraktion mit Unterstützung der DARPA (Defense Advanced Research Projects Agency) Behörde des Verteidigungsministeriums der USA durchgeführt Beginn der Verfügbarkeit von Massen von Online-Texten Konferenz Bereitstellung von Trainingstexten Spezifikation von Informationsextraktionsaufgaben Spezifikation der erwünschten Ergebnisse Evaluierungsprozedur Appelt/Israel,

7 Beispiel: System FASTUS Links Projektseite Beschreibung Jerry R. Hobbs, Douglas Appelt, John Bear, David Israel, Megumi Kameyama, Mark Stickel, and Mabry Tyson (1997) FASTUS: A Cascaded Finite-State Transducer for Extracting Information from Natural-Language Text Folien Jerry Hobbs, Doug Appelt, John Bear, David Israel, Andy Kehler, David Martin, Karen Meyers, Megumi Kameyama, Mark Stickel, Mabry Tyson ( ) FASTUS 7

8 Beispiel: System FASTUS Drei Impulse zur Entwicklung beeindruckende Resultate der University of Massachusetts- Gruppe bei MUC-3 keine tiefe Analyse keine umfangreiche Verarbeitung aber die richtige Verarbeitung für die Aufgabe Pereira (1990): Finite-state Approximationen von Grammatiken Anforderung der Geschwindigkeit 8

9 Informationsextraktionssysteme Einige Komponenten Textzerlegung: Wortsegmentierung morphologische und lexikalische Analyse part-of-speech-tagging Wortbedeutungs-Tagging Erkennung und Typisierung von Eigennamen, Parsing syntaktischer Konstituenten Extraktion fachgebietsrelevanter Ereignisse und Beziehungen aus dem Text Koreferenz-Analyse Extraktion von Einzelfakten Zusammenführung partieller Ergebnisse Appelt/Israel,

10 Informationsextraktion Entwicklungsmethoden Knowledge Engineering-Ansätze Menschen konstruieren Grammatiken (Testzyklen) Menschen entdecken Informationsmuster durch Überlegung und in Corpora (Testzyklen) oft sehr gute Resultate Automatisch trainierbare Systeme Menschen konstruieren Trainingsdaten (Zyklen: Annotation, Reannotation, Annotationsrichtlinien) statistische Methoden Regel-Konstruktion aus annotierten Corpora Regel-Konstruktion aus Interaktion mit Benutzenden Appelt/Israel,

11 Literatur Douglas E. Appelt und David J. Israel (1999). Introduction to Information Extraction Technology. A Tutorial prepared for IJCAI Karin Haenelt (1994). Das Textanalysesystem KONTEXT Konzeption und Anwendungsmöglichkeiten. in: Sprache und Datenverarbeitung 1, 1994, S Jerry Hobbs, Doug Appelt, John Bear, David Israel, Andy Kehler, David Martin, Karen Meyers, Megumi Kameyama, Mark Stickel, Mabry Tyson ( ) FASTUS Jerry R. Hobbs, Douglas Appelt, John Bear, David Israel, Megumi Kameyama, Mark Stickel, and Mabry Tyson (1997). FASTUS: A Cascaded Finite-State Transducer for Extracting Information from Natural-Language Text Vittorio Magnago Lampugnani (Hrsg.): Lexikon der Architektur des 20. Jahrhunderts. Stuttgart: Verlag Gert Hatje, 1983 Informationsextraktion

12 Literatur Raymond Mooney (o.o., o.j.). Information Extraction. Folien des Kurses Intelligent Information Retrieval and Web Search ( (besucht: ) Günter Neumann (2001):.Informationsextraktion. In: Klabunde et al. (eds.): Computerlinguistik und Sprachtechnologie - Eine Einführung. Heidelberg: Spektrum Akademischer Verlag. Fernando Pereira (1990.) Finite-State Approximations of Grammars, In: Proceedings, DARPA Speech and Natural Language Workshop, Hidden Valley, Pennsylvania, pp Informationsextraktion