Textmining Wissensrohstoff Text

Transkript

1 Textmining Wissensrohstoff Text Wintersemester 2008/09 Teil 5 Chunking und Parsing Uwe Quasthoff Universität Leipzig Institut für Informatik quasthoff@informatik.uni-leipzig.de

2 Zerlegung von Sätzen 1. Teil: Zerlegung in sinnvolle Wortgruppen: Konstituenten 2. Teil: Ermittlung der strukturellen Zusammenhänge U. Quasthoff Textmining Wissensrohstoff Text 2

3 Shallow Parsing Partition the input into a sequence of non-overlapping units, or chunks, each a sequence of words labelled with a syntactic category and possibly a marking to indicate which word is the head of the chunk How? Set of regular expressions over POS labels Training the chunker on manually marked up text U. Quasthoff Textmining Wissensrohstoff Text 3

4 Beispiel für Chunking Chunking: general chunking [I begin] [with an intuition]: [when I read] [a sentence], [I read it] [a chunk] [at a time]. (Abney) NP chunking [NP President Clinton] visitited [NP the Hermitage] in [NP Leningrad] U. Quasthoff Textmining Wissensrohstoff Text 4

5 Syntactic Parsing Syntax refers to the way words are arranged together and the relationship between them Parsing is the process of using a grammar to assign a syntactic analysis to a string of words Approaches: Shallow Parsing Dependency Parsing Context-Free Parsing U. Quasthoff Textmining Wissensrohstoff Text 5

6 Dependency Parsing Based on dependency grammars, where a syntactic analysis takes the form of a set of head-modifier dependency links between words, each link labelled with the grammatical function of the modifying word with respect to the head Parser first labels each word with all possible function types and then applies handwritten rules to introduce links between specific types and remove other function-type readings U. Quasthoff Textmining Wissensrohstoff Text 6

7 Context-Free (CF) Parsing CF parsing algorithms form the basis for almost all approaches to parsing that build hierarchical phrase structure CFG Example: S -> NP VP NP -> Det NOMINAL NOMINAL -> Noun VP -> Verb Det -> a Noun -> flight Verb -> left A derivation is a sequence of rules applied to a string that accounts for that string (derivation tree) Parsing is the process of taking a string and a grammar and returning one (more?) parse tree(s) for that string Treebanks = Parsed corpora in the form of trees U. Quasthoff Textmining Wissensrohstoff Text 7

8 Probabilistic CFGs Assigning probabilities to parse trees Attach probabilities to grammar rules The expansions for a given non-terminal sum to 1 A derivation (tree) consists of the set of grammar rules that are in the tree The probability of a tree is just the product of the probabilities of the rules in the derivation. Needed: grammar, dictionary with POS, parser Task is to find the max probability tree for an input U. Quasthoff Textmining Wissensrohstoff Text 8

9 Sie gehen gewagte Verbindungen und Risiken ein, versuchen ihre Möglichkeiten auszureizen. U. Quasthoff Textmining Wissensrohstoff Text 9

10 #BOS Sie PPER 3.Pl.*.Nom SB 504 gehen VVFIN 3.Pl.Pres.Ind HD 504 gewagte ADJA Pos.*.Akk.Pl.St NK 500 Verbindungen NN Fem.Akk.Pl.* NK 500 und KON -- CD 502 Risiken NN Neut.Akk.Pl.* CJ 502 ein PTKVZ -- SVP 504, $, versuchen VVFIN 3.Pl.Pres.Ind HD 505 ihre PPOSAT *.Akk.Pl NK 501 Möglichkeiten NN Fem.Akk.Pl.* NK 501 auszureizen VVIZU -- HD 503. $ #500 NP -- CJ 502 #501 NP -- OA 503 #502 CNP -- OA 504 #503 VP -- OC 505 #504 S -- CJ 506 #505 S -- CJ 506 #506 CS #EOS 2 Export Format: U. Quasthoff Textmining Wissensrohstoff Text 10

11 Konstituenten Konstituenten sind Teile einer (natürlichsprachigen) Aussage, die sich durch die folgenden Tests ermitteln lassen. Beispiel: Das Buch liegt auf dem Tisch im Wohnzimmer. Verschiebetest: Das Buch liegt im Wohnzimmer auf dem Tisch. Auf dem Tisch im Wohnzimmer liegt das Buch. Ersetzungstest: Die Zeitung liegt auf dem Tisch im Wohnzimmer. Das Buch liegt auf dem Tisch im Arbeitszimmer. Pronominalisierungstest: Es liegt auf dem Tisch im Wohnzimmer. Fragetest: Wo liegt das Buch? Auf welchem Tisch liegt das Buch? Weglasstest: Das Buch liegt im Wohnzimmer. Das Buch liegt auf dem Tisch. Ergebnis: Konstituenten sind: das Buch / auf dem Tisch / im Wohnzimmer. U. Quasthoff Textmining Wissensrohstoff Text 11

12 Eigenschaften von Konstituenten Stabilität: Bei allen Tests bleiben die Konstituenten stabil, sie werden gar nicht oder vollständig ersetzt. Kommutativität: Die Reihenfolge der Konstituenten ist relativ frei. Position: Die Position einer einzelnen Konstituenten ist nur wenig eingeschränkt, speziell können alle Konstituenten sowohl ganz am Anfang wie auch ganz am Ende stehen. Beobachtungen: Auch Verben können in Erst- und Letztstellung auftreten: Geht er heim? Ob er kommt? U. Quasthoff Textmining Wissensrohstoff Text 12

13 Chomsky-Grammatiken und variable Satzstellung Chomsky-Grammatiken eignen sich nicht gut, um Sprachen mit variabler Satzstellung zu beschreiben. Umgehung des Problems: Wir definieren eine Standard-Reihenfolge der Satzglieder (z.b. SPO) und schalten der Syntaxanalyse eine Transformation vor, die einen Eingabesatz zunächst in die Standard-Reihenfolge bringt. Die Beschreibung der Sprache erfolgt über Die Beschreibung der Sprache ohne freie Satzstellung mit einer Chomsky- Grammatik Die Angabe der möglichen Transformationen entsprechend der erlaubten Satzstellungen. U. Quasthoff Textmining Wissensrohstoff Text 13

14 Ausnutzung der Erst- und Letztstellung zur Ermittlung der Konstituenten Um die Information zu bewahren, ob ein Wort typischerweise in Erst- oder Letztstellung auftritt, werden an den Satz vorn und hinten das imanginäre Satzanfangswort %^% und Satzendewort %$% angefügt. Signifikante rechte Nachbarn von %^%: Die (963922), Der (496483), Das (387947), In (263497), Und (164318), Es (162895), Im (147833), Er (138100), Ein (137476), Mit (123722), Auch (123360), Nach (113786), Bei (108812), Sie (108740), Aber (106516), Doch (102054), Für (101547), Eine (97911), So (87674), Wenn (86223), Als (83994), Wir (76059), Ich (71696), Wie (69812), Auf (68845), Signifikante linke Nachbarn von %$%: ab (22777), lassen (21785), zurück (19972), machen (15868), geworden (9939), geben (9662), gewesen (8572), bringen (8341), gemacht (7342), müssen (6403), erhalten (6348), bleiben (6168), gegeben (6063), gekommen (5831), fest (5702), wollen (5380), bekommen(5309), kommen (5301), erreichen (4878), schaffen (4739), dar (4711), gebracht (4560), U. Quasthoff Textmining Wissensrohstoff Text 14

15 Signifikanzen zur Konstituentenbestimmung In einem Satz schreiben wir zwischen zwei Wörter A und B die Signifikanzwerte der Nachbarschaftskookkurrenzen sig nb (A,%^%), sig nb (A,B) und sig nb (%$%,B). Für eine Grenze zwischen Konstituenten sprechen: sig nb (A,%^%) und sig nb (%$%,B) groß, sig nb (A,B) klein. Für eine keine Grenze zwischen Konstituenten sprechen: sig nb (A,%^%) und sig nb (%$%,B) klein, sig nb (A,B) groß. Beispiel: In diesem Fall betreten wir absolutes Neuland. In -,74952,1440 diesem -,18089,- Fall -,-,- betreten 268,33,76059 wir -,-,14 absolutes -,146,- Neuland 50. Enthält die Datenbank keinen Signifikanzwert, ist ein eingetragen, wir rechnen hier mit 1 (wegen angenommener Unabhängigkeit) U. Quasthoff Textmining Wissensrohstoff Text 15

16 Berechnung des Trennwertes Zwischen zwei Wörtern A und B berechnen wir aus a = sig nb (A,%^%), c = sig nb (A,B) und b = sig nb (%$%,B) den Trennwert ab/c 2. Das ergibt im Beispiel: In -,74952,1440 diesem -,18089,- Fall -,-,- betreten 268,33,76059 wir -,-,14 absolutes -,146,- Neuland. A, B a, c, b ab/c 2 In diesem -,74952,1440 0, diesem Fall -,18089,- 0, Fall betreten -,-,- 1 betreten wir 268,33, wir absolutes -,-,14 14 absolutes Neuland -,146,- 0, U. Quasthoff Textmining Wissensrohstoff Text 16

17 Klassifikation nach Trennwert Grenze: Trennwert 1 Keine Grenze: Trennwert <1 Noch ein Beispiel: Dabei verteilt der Nikolaus im Zug Geschenke an die Kinder. A, B a, c, b ab/c 2 Dabei verteilt -,-,43 43 verteilt der 788,-, der Nikolaus -,27,348 0,48 Nikolaus im -,-, im Zug -,432,- 0, Zug Geschenke -,-,- 1 Geschenke an -,39, an die 10, 21404, ,021 die Kinder -,3944,42 0, U. Quasthoff Textmining Wissensrohstoff Text 17

18 Anwendung: Klassifikation von Nachbarschaftskookkurrenzen Nachbarschaftskookkurrenzen können verschiedene Relationen repräsentieren (Teile einer oder mehrerer Konstituenten, Redewendungen,...) Können wir das jetzt entscheiden? A, B a, c, b ab/c 2 laufen lassen 390, 634, 640 0,62 laufen derzeit 390, 208, ,2 laufen Sturm 390, 160, 4 0,06 laufen bereits 390, 134, laufen Gefahr 390, 82, - 0,058 laufen fehlerfrei 390, 4, laufen Hunde 390, 3, - 43,3 Hunde laufen -, 3, - 0,11 U. Quasthoff Textmining Wissensrohstoff Text 18

19 Kritische Beobachtung der Klassifikation nach Trennwert Klassifikation funktioniert besser bei häufigeren Wörtern. A, B a, c, b ab/c 2 Bundeskanzler Schröder -, 1403, 465 0,00024 Kanzler Schröder -, 847, 465 0,00065 warf Schröder -, 83, 465 0,067 betonte Schröder -, 60, 465 0,13 sagt Schröder -, 43, 465 0,25 Automann Schröder -, 15, 465 2,06 Auch Schröder -, 8, 465 7,27 Doch Schröder -, 8, 465 7,27 U. Quasthoff Textmining Wissensrohstoff Text 19

20 Der texanische Milliardär Ross Perot hat das politische Establishment in Washington aufgeschreckt.. hat Der texanische Milliardär Ross Perot das aufgeschreckt politische Establishment U. Quasthoff Textmining Wissensrohstoff Text 20 in Washington

21 Nach Meinungsumfragen liegt der parteilose Self-mademan gut im Rennen um den Chefsessel im Weißen Haus mit dem amtierenden Präsidenten George Bush und dem Demokraten Bill Clinton. Nach Meinungsumfragen liegt der parteilose Self-mademan gut im Rennen um den Chefsessel im Weißen Haus mit dem amtierenden Präsidenten George Bush und dem Demokraten U. Quasthoff Textmining Wissensrohstoff Bill Text 21 Clinton.

22 Und auch die Konzernchefs in den USA halten nicht viel von dem 62jährigen. Und halten auch die Konzernchefs in den USA nicht viel. von dem 62jährigen U. Quasthoff Textmining Wissensrohstoff Text 22