Automatische Textzusammenfasung

Transkript

1 Automatische Textzusammenfasung Katja Diederichs Francisco Mondaca Simon Ritter PS Computerlinguistische Grundlagen I - Jürgen Hermes - WS 09/10 Uni Köln

2 Gliederung 1) Einleitung & Überblick 2) Ansätze zur Textzusammenfassung 3) Stufen der Textzusammenfassung 4) Anwendungsbeispiel

3 Definition Eine Zusammenfassung ist ein Text, der aus einem oder mehreren Texten erstellt wird und einen relevanten Teil der Informationen des Textes oder der Texte beinhaltet. Sie ist nicht länger als die Hälfte des Originaltextes (vgl. Hovy 2003 : 584).

4 Text Multimediale Dokumente Online Dokumente Hypertexte Usw...

5 Typen von Zusammenfassungen Indikative: Sie stellen die Grundidee des Textes dar ohne auf den Inhalt näher einzugehen. Informative: Sie bieten eine kürzere Version des Textinhaltes.

6 Typen von Zusammenfassungen Extracts: Geben Teile des Originaltextes wortwörtlich wieder. Abstracts: Werden durch die Regenerierung von extrahiertem Inhalt erstellt.

7 Entwicklung Ende 1950, Anfang 1960: Statistische Verfahren Anfang 1980: Wissensbasierte Verfahren Aktuell: Annäherung der Qualität an menschliche Leistung

8 Ansätze zur Textzusammenfassung Klassischer statistischer Ansatz - Statistisches Verfahren entwickelt ein Extract - Statistische Verteilung von Merkmalen wird berücksichtigt ohne Text zu verstehen - Wichtigkeit eines Wortes = Häufigkeit seines Auftretens

9 Ansätze zur Textzusammenfassung Neuerer statistischer Ansatz Das System lernt anhand eines Korpus von menschlichen Abstracts, welche Sätze extrahiert werden sollen Trainingskorpus ingenieurwissenschaftliche Texte Testkorpus ingenieurwissenschaftlicher Text; darf nicht identisch mit Trainingskorpus sein!

10 Ansätze zur Textzusammenfassung Neuerer statistischer Ansatz Für jeden Satz: Errechnung der Wahrscheinlichkeit, mit der ein menschlicher Zusammenfasser ihn positiv bewerten würde Mittels: Abgleich der statistischen Merkmale im gegebenen Testkorpus mit denen des Trainingskorpus anhand bestimmter Kriterien

11 Ansätze zur Textzusammenfassung Neuerer statistischer Ansatz Kriterien für Sätze positiv oder negativ gewertet Satzlänge => Sätze unter 5 Wörtern negativ Indikatorphrasen => In conclusion... positiv Absatzstruktur => Erste 10, letzte 5 Absätze positiv Themasätze am Anfang/Ende positiv Schlüsselwörter => Viele Schlüsselwörter positiv Akronyme => Eigenname, Akronym(IBM) positiv

12 Ansätze zur Textzusammenfassung Neuerer statistischer Ansatz Ergebnisse dieses Verfahrens zeigen: - Die Übereinstimmung mit menschlichen Abstracts beträgt ca. 35% - Die Übereinstimmung innerhalb menschlicher Abstracts ist ebenso groß

13 Ansätze zur Textzusammenfassung Wissensbasierter Ansatz Kognitive Wende: Wissensverarbeitende Systeme, deren Teilaufgaben sich am menschlichen Vorgehen beim Zusammenfassen orientierten

14 Ansätze zur Textzusammenfassung Wissensbasierter Ansatz Modell wissensbasierten Zusammenfassens: Carstensen 2004

15 Ansätze zur Textzusammenfassung Wissensbasierter Ansatz Modell wissensbasierten Zusammenfassens: (zu Abb. 5.7): 1: Quelltext (externe Information) wird in Bedeutungsrepräsentation umgesetzt (vgl. menschliches Verstehen) 2: Erst diese Repräsentation wird gekürzt (Reduktion/Verdichtung) 3: Aus dieser Kürzung wiederum wird der Text, die externe Zusammenfassung produziert

16 Ansätze zur Textzusammenfassung Wissensbasierter Ansatz D ie d rei d a rg es tellten S chritte w erd en nicht von jed em S ys tem volls tä nd ig d urchla ufen Scisor (Jacobs/Rau, 1990) (analyseorientiert) Vom Original ausgehende Zusammenfassung STREAK (McKeown et al., 1995) Textzusammenfassungen aus strukturiertem Datenbestand

17 Stufen der Textzusammenfassung 1: Bestimmung des Themas V ers chied ene M ethoden: Lage Indikatorphrasen Häufigkeit von Wörtern & Sätzen Titelüberlappung Verknüpfungen Durch die Kombination der Kriterien werden die besten Ergebnisse erzielt

18 Stufen der Textzusammenfassung 2: Interpretation Informationen werden verschmolzen & neu geordnet Ergebnisse dieser Stufe sind meist noch zusammenhangslose, schwer zu lesende Texte

19 Stufen der Textzusammenfassung 3: Erstellung der Zusammenfassung Entstandene Rohfassung wird in die Form eines natürlichen, kohärenten Text gebracht - Kompression - Zusammenlegung von Sätzen - Generierung von Überschriften - Grammatikalische Neuordnung Bei Extracts: Smoothing

20 Anwendungsbeispiel

21 Literatur CARSTENSEN, Kai-Uwe (Hrsg.) ( ). Computerlinguistik und Sprachtechnologie. München: Elsevier. MITKOV, Ruslan (Hrsg.) (2003). The Oxford Handbook of Computational Linguistics. Oxford: Oxford University Press.