Textzusammenfassung durch Satztilgung

Transkript

1 Textzusammenfassung durch Satztilgung Christian Simon Ruprecht-Karls-Universität Heidelberg Seminar für Computerlinguistik HS Information Retrieval PD Dr. Karin Haenelt Wintersemester 2005/06

2 Worum geht es heute? Es geht um die maschinelle Textzusammenfassung. Da die Textzusammenfassung ein Vorgang ist, der sich auf allen sprachlichen Ebenen abspielt, ist seine maschinelle Bewältigung umso komplexer. Dennoch ist es bereits möglich, mittels Satztilgung robust maschinell zusammenzufassen. Anhand des Open Text Summarizers (OTS) von Nadav Rotem soll ein Verfahren dafür vorgestellt werden. Als zweites gehe ich auf SumIt, ein Studienprojekt am Seminar ein, dessen Ziel ein wissensbasiertes Textzusammenfassungssystem mit Satztilgung und lexikalischen Ketten ist.

3 Zusammenfassung durch Satztilgung Grundgedanken: 1) Zusammenfassung durch Eleminierung kompletter, gering gewichteter Sätze (= Ausgabe der am stärksten gewichteten Sätze). 2) Ein Term ( Lexem) ist umso wichtiger ist, je häufiger er im Text vorkommt. 3) Ein Satz ist umso wichtiger, je mehr Terme mit einer hohen Frequenz er enthält. 4) Der erste Satz des Gesamttextes und der Absätze sind besonders wichtig und müssen höher gewichtet werden.

4 Prominente Vertreter Prominente Vertreter sind der Textzusammenfasser unter Word und der Open Text Summarizer von Nadav Rotem. Wie ersterer funktioniert, wissen wir natürlich nicht... (wollen wir auch nicht) Bei letzterem dagegen handelt es sich um ein OpenSource-Tool für die UNIX-Kommandozeile, so dass man anhand des Quellcodes die Architektur des Systems nachvollziehen kann.

5 Die Architekur des OTS Sprachspezifische XML-Datei als Wissensbasis: Stop- Words, Flexionsendungen und Satztrenner; fürs Englische auch Synonyme und Stammäquivalenzen (bring = brought). Satzsegmentierer: Zerlegt den Text in Gewichtungseinheiten (=Sätze). Stemmer: Reduktion der Terme auf Wortstämme (wahrscheinlich Porter-Stemmer); fürs Englische besser, fürs Deutsche eher gar nicht.

6 Die Architektur des OTS Grader: Die gestemmmten Terme werden nach ihrer Term-Frequenz geordnet, Stop-Words werden ausgefiltert. Iterierung durch die Sätze: Anhand der 100 häufigsten Terme (eine vom Autor völlig aus der Luft gegriffene Zahl) erhält jeder Satz einen Score: Score=Score+(Häufigkeit des Terms)*KeyValue. (KeyValue ist ein Wert von 1, 2 oder 3; wieso, warum, weshalb geht aus dem Quellcode nicht hervor) Multiplikation des ersten Satzes des Gesamttextes mit Faktor 2; der jeweils erste Satz eines Absatzes mit 1.6.

7 Die Architektur des OTS Highlighter: Bestimmt anhand des Reduktionsfaktors die Menge der als Zusammenfassung auszugebenden Sätze. Reduktionsfaktor = 40% bedeutet, dass die 40% Sätze mit dem höchsten Score ausgegeben werden.

8 Ein Beispiel aus der Praxis Im Auftrag von Papst Benedikt XVI. erhob der portugiesische Kurienkardinal Martins den NS-Gegner zu den Ehren der Altäre Der "Löwe von Münster": Kardinal Clemens August Graf von Galen ( ) Foto: dpa Vatikanstadt - Mit einem Festgottesdienst im Petersdom ist der frühere Bischof von Münster, Kardinal Clemens August Graf von Galen ( ), selig gesprochen worden. Im Auftrag von Papst Benedikt XVI. erhob der portugiesische Kurienkardinal Jose Saraiva Martins den NS- Gegner zu den Ehren der Altäre. Der Nachfolger von Galens auf dem Münsteraner Bischofsstuhl, Reinhard Lettman, sagte, in "apokalyptischer Zeit" habe von Galen mit Mut und Unerschrockenheit die "menschenverachtende Ideologie des Nationalsozialismus entlarvt". Zu der Seligsprechungs-Zeremonie kamen am Sonntag mehrere Tausend deutsche Gläubige in den Petersdom. Langer Applaus brauste auf, als Martins zu Beginn der Messe den Apostolischen Brief des Papstes verlas und Kardinal von Galen offiziell in den Kreis der Seligen aufnahm. Gleichzeitig wurde ein großes Porträtbild von Galens enthüllt. Der Festtag des neuen Seligen wurde auf seinen Todestag, den 22. März, festlegt, wie Martins bekannt gab. welt.de

9 Ein Beispiel aus der Praxis Eine Zusammenfassung mit dem Reduktionsfaktor 40% und der XML-Datei fürs Deutsche ergibt: erhob der portugiesische Kurienkardinal Martins den NS-Gegner zu den Ehren der Altäre Der "Löwe von Münster": Kardinal Clemens August Graf von Galen ( ) Foto: dpa Vatikanstadt - Mit einem Festgottesdienst im Petersdom ist der frühere Bischof von Münster, Kardinal Clemens August Graf von Galen ( ), selig gesprochen worden. Langer Applaus brauste auf, als Martins zu Beginn der Messe den Apostolischen Brief des Papstes verlas und Kardinal von Galen offiziell in den Kreis der Seligen aufnahm.

10 Pros & Cons + robust und schnell + leicht für viele Sprachen zu erweitern, sofern Zeit und Liebe in die sprachspezifischen XML-Dateien und das Stemming investiert wird - keine Eleminierung inhaltlicher Redundanzen (dafür Satzfusion und Generalisierung nötig) - Kohärenz und Kohäsion bleiben eine Frage des Zufalls - koreferentielle Beziehungen zwischen Redeobjekten werden ignoriert, da Synoyme und Hyperonyme als unterschiedliche Terme aufgefasst und demenstprechend bewertet werden

11 Studienprojekt SumIt SumIt soll ein textzusammenfassendes System werden, das in Anlehnung an den OTS, Texte durch Satztilgung zusammenfasst. Als Bewertungsgrundlage dienen dabei lexikalische Ketten. Sie werden im Text mit Hilfe einer lexikalisch-semantischen Datenbank (WordNet) hergeleitet. Sie sollen die koreferentiellen Beziehungen zwischen den Termen abbilden, so dass Schiff und Frachter nicht als zwei verschiedene Terme in die Bewertung eingehen, sondern als eine lexikalische Kette.

12 Studienprojekt SumIt Damit wäre SumIt sehr viel abhängiger von einer Wissensbasis als der OTS und damit weniger robust. Macht das überhaupt Sinn? Ja. Denn der Zusammenfasser in Word zeigt, dass solche Tools vor allem in Umgebungen eingesetzt werden, wo die Existenz einer lexikalischen Datenbank nicht ungewöhnlich ist (z. B. WordNet und Thesauri). Darum ist es das Ziel von SumIt, es wenigstens einmal zu versuchen, mit einem wissensbasierten Ansatz bessere Ergebnisse zu erzielen.

13 Die Architektur von SumIt Segmentierer: ein robuster Satzsegmentierer wie vom OTS bekannt Tagger / NP-Parser: Mit Hilfe von Wordnet werden die Wörter der Sätze zunächst mit POS-Tags {def,indef,noun,pluralnoun,verb,adj,adverb,aux,ppn} versehen und (so gut es geht) lemmatisiert. Anschließend sucht ein endlicher Automat aus dem Tag-Output die Nominalphrasen.

14 Die Architektur von SumIt Der Kettenbilder: Das Herzstück bildet ein Algorithmus zur Bildung lexikalischer Ketten, wie wir ihn einem Hauptseminar bei Prof. Hellwig entwickelt haben. Wir wollen nicht wie bei bestehenen Ansätzen von Barzilay/Elahad und Brunn [et. al.] jedes mögliche Wortpaar auf eine lexikalisch-semantische Relation hin zu überprüfen, sondern bei der Kettenbildung das referentielle Phänomen der determinierte und nichtdeterminierte Nominalphrasen, Accessibility von Referenzobjekten und die thematische Fokussierung eines Redeobjektes im augenblicklichen Diskurs berücksichtigen.

15 Die Architektur von SumIt Der Grader: Ein Satz ist umso wichtiger, je länger die lexikalischen Ketten sind, zu denen seine Wörter gehören: Score = Score + (Länge der Kette, zu der das Wort gehört). Sätze, in denen eine lexikalische Kette beginnt, werden um den Faktor 1.6 pro Kette multipliziert (Faktor vom OTS übernommen); denn wo eine lexikalische Kette beginnt, wird ein neues Redeobjekt eingeführt und ist daher für die kohäsive Integrität des Textes umso wichtiger.

16 So könnte es aussehen... 1) Pope's attacker to be freed 2) Mehmet Ali Agca, who shot Pope John Paul 25 years ago, is to be released from prison. 3) A Turkish court ruled he had completed his sentence for other crimes committed in Turkey. 4) He was extradited in 2000 after serving almost 20 years in prison in Italy for shooting and wounding the pope in Rome. Lexikalische Ketten: 1) Pope (1) Pope John Paul (2) the pope (4); Länge 3 2) Mehmet Ali Agca (2) he (3) his sentence (3) - he (4) 3) years (2) years (4) 4) Turkish (3) Turkey (3) 5) attacker (1) prison (2) - crimes (3) prison (4) 6) prison (2) prison (4)

17 So könnte es aussehen... Pope's attacker to be freed (3 + 4 )* 1.6^2 = Mehmet Ali Agca, who shot Pope John Paul 25 years ago, is to be released from prison. ( ) * 1.6^3 = A Turkish court ruled he had completed his sentence for other crimes committed in Turkey. ( ) * 1.6 = 19.2 He was extradited in 2000 after serving almost 20 years in prison in Italy for shooting and wounding the pope in Rome. ( ) = 13

18 So könnte es aussehen... Mit einem Reduktionsfaktor von 50% würden die 50% Sätze mit den höchsten Scores ausgegeben, also Satz 2 (49.152) und Satz 3 (19.2): Mehmet Ali Agca, who shot Pope John Paul 25 years ago, is to be released from prison. A Turkish court ruled he had completed his sentence for other crimes committed in Turkey.

19 Und das hat der OTS daraus gemacht... Pope's attacker to be freed Mehmet Ali Agca, who shot Pope John Paul 25 years ago, is to be released from prison. He was extradited in 2000 after serving almost 20 years in prison in Italy for shooting and wounding the pope in Rome.

20 Aussichten Das Studienprojekt/System ist bislang nur in Teilen fertig gestellt. Der Kettenalgorithmus selbst wurde bereits im Rahmen einer Hausarbeit für das HS Maschinelle Textzusammenfassung bei Prof. Hellwig erfolgreich implementiert. Damals wurde noch mit Tagging-Output des Connexor-Parsers gearbeitet. Der Robustheit wegen soll davon abgekommen werden. Sobald das System im wesentlichen funktioniert, soll pronominale Anaphern-Resolution in Angriff genommen, der Tagger und das NP-Parsen verfeinert und das Grading besser ausgeklügelt werden.

21 Literatur Barzilay, Regina/ Elhadad, Michael (1997): Using Lexical Chains for Text Summarization, unter vom Brunn, Meru/ Chali, Yllias/ Pinchak, Christopher J. (2001): Text Summarization Using Lexical Chains, unter vom Hellwig, Peter (2004): HS Maschinelle Textzusammenfassung, unter vom Hellwig, Peter (2005): Automatische Texterschließung und Textzusammenfassung, unter vom

22 Literatur Kramer, Boris und Simon, Christian 2004: Automatische Referenzauflösung mit Lexikalischen Ketten [Hauptseminarsarbeit am Lehrstuhl für Computerlinguistik der Universität Heidelberg], Heidelberg, im Netz unter: vom Kramer, Boris und Simon, Christian 2005: Studienprojekt SumIt Die Spezifikation, Heidelberg, im Netz unter: vom Rotem, Nadav: Open Text Summarizer, im Netz unter: vom