Informationsextraktion mit endlichen Automaten

Transkript

1 Informationsextraktion mit endlichen Automaten HS: Information Retrieval Dozentin: Dr. Karin Haenelt Ruprecht-Karls-Universität Heidelberg Seminar für Computerlinguistik Referentinnen: Galina Sigwarth, Maria Semenchuk, Ulzhan Kadirbayeva Wintersemester 2008/

2 Inhalt Motivation Informationsextraktion(Definition) Anwendungmöglichkeiten Kernfunktionalität des IE-Systems Templates zur Spezifikation relevanter Information Komponenten des IE-Systems Werkzeuge für IE-Systeme Reguläre Ausdrücke und endliche Automaten Ein Beispiel für IE Korpus Analyse Implementierung Ergebnis Evaluation Probleme Lösungsvorschlag Evaluation des verbesserten RA Zusammenfassung Literatur

3 Motivation Das Problem der Informationsüberflutung wird immer größer. Je mehr Texte Online zur Verfügung stehen, desto schwieriger wird es, das Informationspotential gezielt zu nutzen. Informationsextraktionssysteme werden entwickelt, um aus elektronischen Texten schnell bestimmte Informationen gewinnen zu können

4 Informationsextraktion Informationsextraktion (IE) ist ein pragmatischer und zielorientierter Ansatz zur Extraktion von spezifischen Informationen aus Texten. 1 Das Ziel der IE ist die Konstruktion von Systemen, die gezielt domänspezifische Informationen aus freien Texten aufspüren Informationen strukturieren irrelevante Informationen überlesen. Typische Antwortmuster: wer, was, wo, wann, wem, warum 2 Quellen: 1. ( ) 2. (Neumann, 2001: 448)

5 Anwendung Extrahierte Daten für Menschen Jobanzeigen sextraktion Firmennamensextraktion Daten für maschinelle Weiterverarbeitung Textfilterung, Textklassifikation Einträge in Datenbanken Unterstützung von Textmining Antwortextraktionssysteme und Textzusammenfassung

6 Kernfunktionalität des IE- Systems Antwortmuster werden in Form von Templates spezifiziert (Merkmal/Wert-Paare). Eingabe: Spezifikation des Typs der relevanten Information in Form von Templates (Menge von Merkmalen) Eine Menge von freien Textdokumenten (Pressemitteilungen, Internetdokumente, etc.) Ausgabe: Eine Menge von instanziierten Templates (Werte für Merkmale), die mit den als relevant identifizierten und normalisierten Textfragmenten gefüllt sind. Quelle: (Neumann, 2001:448)

7 Templates zur Spezifikation relevanter Information Für den folgenden Text: (nach Neumann) Dr. Hermann Wirth, bisheriger Leiter der MusikhochschuleMünchen, verabschiedete sich heute aus dem Amt. Der 65-jährige tritt seinen wohlverdienten Ruhestand an. Als seine Nachfolgerin wurde Sabine Klinger benannt. ergibt sich das gefüllte Template:

8 Komponenten des IE-Systems Tokenisierung Satz-, Wortsegmentierung morphologische und lexikalische Analyse PoS-Tagging Word Sence Disambiguation Syntaktische Analyse flaches (Chunking) und tiefes Parsing Domänanalyse Anaphernresolution Integration verteilter Information Quelle: ( )

9 Werkzeuge für IE Reguläre Ausdrücke: sind genau definierte Suchmuster. sind ein mächtiges, flexibles und effizientes Mittel um Texte zu bearbeiten. Reguläre Ausdrücke können dienen als: Filterkriterium, indem der reguläre Ausdruck in Form eines Musters mit dem Text abgeglichen wird. Schablone, mit deren Hilfe eine Menge von Wörtern erzeugt werden, ohne jedes Wort einzeln eingeben zu müssen. Quellen: (Friedl, Jeffrey, 2003:1)

10 Werkzeuge für IE Ein regulärer Ausdruck über einem Alphabet Σ ist definiert durch Ø ist ein regulärer Ausdruck. ε ist ein regulärer Ausdruck. a i ist a i ein regulärer Ausdruck. Sind x und y reguläre Ausdrücke,so auch (x y),(xy) und x * Die Klasse der Sprachen, die wir durch reguläre Ausdrücke definieren können ist die Klasse der regulären Sprachen. Quelle: (Klabunde, 1998:41)

11 Werkzeuge für IE Metazeichen * +? a b ^ $. null oder mehr Vorkommen ein oder mehr Vorkommen null oder ein Vorkommen a oder b der Anfang des Strings das Ende des Strings beliebiges Zeichen Quelle: ( )

12 Werkzeuge für IE Ein endlicher Automat ist ein Modell des Verhaltens, bestehend aus Zuständen, Zustandsübergängen und Aktionen. Ein endlicher Automat ist eintupel <Φ, Σ, δ, S, F> aus Einem Zustandsalphabet Φ Einem zu Φ disjunkten Eingabealphabet Σ Einer Übergangsfunktion δ: Φ x Σ Φ Einem Startzustand S Φ Einer Menge F Φ von Endzuständen Reguläre Ausdrücke werden von endlichen Automaten erkannt. Quelle: Klabunde, 1998:

13 Reguläre Ausdrücke und endliche Automaten Regulärer Ausdruck spezifizieren (un ε)(be lehr lehr)bar(keit ε) Endlicher Automat un ε be lehr bar lehr keit ε Reguläre Sprachen beschreiben {lehrbar, lehrbarkeit, belehrbar, belehrbarkeit, unbelehrbar, unbelehrbarkeit, unlehrbar, unlehrbarkeit } erkennen Quelle: Klabunde, 1998:

14 Ein Beispiel für IE Ziel: Information aus den Wohnanzeigen mit Hilfe von regulären Ausdrücken extrahieren Vorgehensweise: Korpus auswählen Die zu extrahierende Information auswählen Korpus analysieren Programm implementieren Ergebnisse evaluieren

15 Korpus Korpusauszug: (

16 Korpus Korpusauszug:

17 Korpus Die zu extrahierende Information:

18 Korpus Die zu extrahierende Information: Suchkriterien: Kosten, Anzahl der Seiten, Stadt

19 Analyse Städte sind indiziert Pattern p1 = Pattern.compile( "(wg zimmer in (\\w*? \\w*).(\\d*).0.0) ); Wert von Value durch RA ersetzen Pattern p2 = Pattern.compile( "<input type=\"checkbox\" name=\"merkfeld\" onclick=\"rem\\(this\\);\" value=\ (\\d*) \">" );

20 Analyse Inhalte, die extrahiert werden müssen

21 Implementierung

22 Ergebnis Eingabe / Ausgabe

23 Evaluation Precision bezeichnet den Anteil der korrekt gewonnenen Wissenseinheiten im Vergleich zu den insgesamt gefundenen Wissenseinheiten. Ergebnisse der Evaluation Quelle: ( )

24 Evaluation Recall bezeichnet den Anteil der korrekt gewonnenen Wissenseinheiten im Vergleich zu den insgesamt gewinnbaren Wissenseinheiten Ergebnisse der Evaluation Quelle: ( )

25 Evaluation F-Maß wird verwendet um die Güte eines Algorithmus zu messen. Ergebnisse der Evaluation Quelle: ( )

26 Ergebnisse der Evaluation 1 0,95 0,9 0,85 Precision Recall F-Maß 0,8 0,

27 Probleme Stadtteile, die aus mehreren Wörtern bestehen Stadtteile, die einen Bindestrich enthalten Die Anzeigen werden ständig aktualisiert, hinzugefügt oder gelöscht. Lösung: RA, der die Bindestriche und Wortverbindungen erkennt <b>(\\w*)</b> durch <b>([a-za-z- ]*)</b> ersetzen ( \\d*),- &euro durch ([0-9]+,- n.a.) erseten

28 Evaluation nach der Änderung des RA fast alle relevanten Anzeigen wurden gefunden und alle irrelevanten überlesen

29 Evaluation nach der Änderung des RA 1 0,98 0,96 0,94 0,92 Precision Recall F-Maß 0,9 0,

30 Analyse der Ergebnisse Das Algorithmus liefert gute Ergebnisse. Gründe: eingeschränkte Domäne Suchkriterien vorher bekannt fest vorgegebene Struktur nur für ein bestimmtes Korpus anwendbar

31 Zusammenfassung Mit Hilfe von regulären Ausdrücken lässt sich die Information schnell und einfach extrahieren. RA können sowohl bei der Datenextraktion für die Menschen als auch bei der maschinellen Weiterverarbeitung eingesetzt werden. RA sind für eingeschränkte Domäne und für Korpora mit fest vorgegebener Struktur geeignet. Je vielfältiger die Struktur ist, desto schwieriger ist es 100% Ergebnisse zu erreichen

32 Literatur 1. Appelt, Douglas E. und Israel, David J. (1999): Introduction to Information Extraction Technology. A Tutorial prepared for IJCAI ( ) 2. ( ) 3. ( ) 4. ( ) 5. Friedl, Jeffrey (2003): Reguläre Ausdrücke.Köln 6. Klabunde, Ralf (1998).Formale Grundlagen der Linguistik.Tübingen 7. Neumann, Günter (2001): Informationsextraktion. In: Klabunde et al. (eds.): Computerlinguistik und Sprachtechnologie - Eine Einführung. Heidelberg