Text Mining Wissensrohstoff Text

Transkript

1 Text Mining Wissensrohstoff Text Gerhard Heyer, Stefan Bordag Universität Leipzig Institut für Informatik

2 Polysemie Problem und Lösungsansätze 2

3 1. Polysemie - Problem Mit Ambiguität wird die Eigenschaft von Ausdrücken natürlicher Sprache bezeichnet, denen mehrere Interpretationen zugeordnet werden können. Ambiguität dabei auf mehreren Ebenen: lexikalische Ebene: Ball Ball semantische Ebene (oder auch Strukturelle oder auch kompositionellsemantische): Jeder Mann tanzte mit einer Frau syntaktische Ebene: Mann mit dem Fernrohr sehen Phonemebene: Miene Mine morphologische Ebene: Staubecken Staubecken Der Ambiguität liegen etymologische Entwicklungen zugrunde, semantische Zusammenhänge und v. a. Durch Redundanz in Sprache und Kontext ist es für Menschen kein Problem, diese aufzulösen. 3

4 1.1. Paraphrasierungen Viele Möglichkeiten der Ambiguitätsbehandlung mit Grammatik hier aber lexikalische Ambiguität im Vordergrund Auflösung von A. im normalen Sprachgebrauch: Paraphrasierung lexikalische A.: Dieses Schloss hat mir sehr gut gefallen. Paraphrasiert: Dieses Herrschaftshaus hat mir sehr gut gefallen semantische A.: Jeder Mann tanzte mit einer Frau. -> Jeder Mann tanzte jeweils mit einer Frau. syntaktische A.: I saw mountains flying to New York. -> I saw mountains out of the window when flying to New York. Ambiguität im Text kein Problem durch genügend Kontext. Weitere Auflösungsmöglichkeiten: Grammatische Analyse Außersprachlicher Kontext 4

5 1.2. Polysemie Lösungen space WSI space1: planets space2: office space3: computer space? WSD The space shuttle launched today. This office offers 200 square feet of space. There is no space left on your hard disk. The Hamiltonian space and its properties. WSI Word Sense Induction: Finden der unterschiedlichen Bedeutungen eines Wortes WSD Word Sense Disambiguation: Entscheiden der konkreten Verwendung in einem Satz. 5

6 1.3. Bedeutungsdefinitionen Definitionen der einzelnen Bedeutungen eines Wortes können konstruktiv, beschreibend oder differenzierend sein Es gibt keine wirklich vollständigen konstruktiven Definitionen Beschreibende Definitionen: Der Begriff wird kurz, in ein einem oder zwei Sätzen für einen durchschnittlichen Menschen verständlich erläutert Differenzierende Definitionen: Es werden für jede Bedeutung soviele Begriffe gegeben, dass die konkrete Bedeutung klar von allen anderen abgrenzbar wird. Die Definitionen sind für verschiedene Zwecke ausgelegt: Beschreibende für den Menschen, als Nachschlagemöglichkeit. Differenzierende auch für Menschen nutzbar, aber besser für Algorithmen geeignet (Da Beschreibungen meist zu kurz). 6

7 1.4. Bsp. Bedeutungsdefinitionen lock WordNet (insgesamt 15): 1. [n] any wrestling hold in which some part of the opponent's body is twisted or pressured 2. [n] a fastener fitted to a door or drawer to keep it firmly closed 3. [n] a restraint incorporated into the ignition switch to prevent the use of a vehicle by persons who do not have the key 4. [n] enclosure consisting of a section of canal that can be closed to control the water level; used to raise or lower vessels that pass through it 5. [n] a mechanism that detonates the charge of a gun Webster A tuft of hair; a flock or small quantity of wool, hay, or other like substance 2. the fastening of a door (Hier 8 weitere Unterbedeutungen!) 3. to lock (6 weitere Unterbedeutungen) 7

8 1.5. Berechnung von Bedeutungsdefinitionen Berechnung von Beschreibungen soweit nicht bekannt, dazu müßten ungefähr folgende Komponenten existieren 1. Semantik, um zu beschreibenden Inhalt formalisieren zu können 2. Algorithmen, die Inhalte in diese Semantik bringen können 3. Algorithmen, die diese Inhalte in natürliche Sprache bringen können Andere, unzuverlässige und bislang ebenfalls nicht erprobte Methode wäre Auswahl von Sätzen mit Definitionen: 1. Clustere alle Sätze eines Wortes nach Bedeutungen 2. Wähle die Sätze/Satzteile aus, die wie Definitionen aussehen Schließlich Methode der Berechnung von Kookkurrenzen / Wortassoziationen und Clustering dieser für lediglich distinktive Definition von Bedeutungen 8

9 1.6. Supervised vs. Unsupervised Berechnung kann mit Kontrolle durch Menschen (supervised) oder völlig automatisch (unsupervised) ablaufen Angestrebt: unsupervised, weil am billigsten und am vielversprechendsten als Beitrag zum Verstehen von Sprache das Modell, was am besten funktioniert, ist evtl. auch am ähnlichsten zum tatsächlichen unbekannten Sprachmodell Supervised Methoden aber einfacher und liefern, je nach Menge der hineingesteckten Arbeit bessere Ergebnisse Eine der supervised Methoden ist von Yarowsky 95: Manuelle Zuweisung von Bedeutungen in einem kleinen Teil des gesamt verfügbaren Korpuses, was Ausgangsbasis für Iteratives weiterclustern von weiteren Sätzen ist. 9

10 2. Beispiel WSI Algorithmus WSI Clustering von Kookkurrenzen (Stefan Bordag) Ausgangspunkt: Statistische Kookkurrenzanalyse auf Satzebene am Projekt Deutscher Wortschatz Leipzig Ziel: Gruppierung der Kookkurrenzen eines Wortes entsprechend der Bedeutungen dieses Wortes 10

11 2.1. One sense per Collocation(triplet) feet square leased represented memory storage space spacecraft orbit satellite international MIR broadcast NASA manned shuttle pad planet mission flight radio railway subway police gas TV gasoline nearby station countdown Discovery Atlantis liftoff scheduled plans wheather delayed date next unmanned launch 11

12 2.2. Triplet-Based Clustering Erstelle Tripel vom Eingabewort w i und seiner Kookkurrenzen w 1 w n und bestimme Schnittmenge derer Kookkurrenzen c 1 w i w 1 w 2 c 1 c 2 c 3 c 4 2 w i w 1 w 3 c 2 c 4 c 5 c 6 k w i w 2 w 3 c 6 c 7 c 8 c 9 k +1 w i w 2 w 4 <Schnittmenge leer> m w i w n-1 w n c 10 c 11 c 12 Beim clustern einfach sowohl Schlüssel- (w1 wn) als auch Eigenschaftsmengen (c1 cn) mergen: 1 und 2 werden geclustert, weil c 2 und c 4 übereinstimmen Lösche 1 und 2, neues Element: m +1 w i w 1 (2) w 2 w 3 c 1 c 2 (2) c 3 c 4 (2) c 5 c 6 Resultierende Gruppen von Wörtern definieren (möglicherweise) Bedeutungen des Wortes 12

13 2.3. Bemerkungen zum Algorithmus Annahmen Drei beliebige Wörter entweder Identifizieren eindeutig ein bestimmtes Thema Oder habe gar nichts miteinander zu tun Kookkurrenzen helfen vor allem zwischen lexicalischen Bedeutungen zu unterscheiden, manchmal aber auch zwischen syntaktischen Probleme: Redewendungsverwendungen von Wörtern (zu wenige Kookkurrenzen) Speziell syntaktische Ambiguität resultiert nicht immer im Gebrauch unterschiedlicher lexikalischer Einheiten: to have a walk around my home, to walk home 13

14 2.4. Evaluierung Gold-standard Wenn ein Wörterbuch gegeben ist, könnte man versuchen, jede gefundene Bedeutungsunterscheidung mit den aus Wörterbuch abzugleichen Performanz des Verfahrens wäre dann eine direkte Funtion der Anzahl korrekt gefundener Bedeutungsunterscheidungen Selbstevaluierung Künstliche Elemente Vereinfacht: Polysemie ist, wenn zwei verschiedene Wörter die gleiche Wortform haben Allerdings gibt es auch überlappende Bedeutungen oder abgeleitete (Metaphern) Ist reproduzierbar: Zwei zufällig gewählte Wörter banana und door und ersetze alle Vorkommen mit bananadoor und rechne Kookkurrenzen neu aus 14

15 2.5. Zwei Wörter kombinieren Zwei Wörter werden kombiniert, indem ihre Kookkurrenzen kombiniert werden: banana: Chiquita, republic, fruit, slug, plantations, door: open, front, opened, next, cargo, through, Neues Wort: Bananadoor: open, front, opened, Chiquita, next, cargo, republic, Mögliches Resultat: Bananadoor1: open, front, Chiquita Bananadoor2: cargo, republic, fruit, plantations WSI soll dann die ursprünglichen Vektoren auseinanderdividieren: Ohne zu wissen, wieviele Bedeutungen überhaupt vermischt wurden Ohne zu wissen, ob das Wort überhaupt mehrdeutig ist Es können dann einzelne Fragen untersucht werden: Was passiert, wenn ein sehr frequentes mit einem sehr seltenen Wort vermischt wird? Was, wenn ein Substantiv mit einem Verb vermischt wird (syntaktische Ambiguität)? 15

16 2.6. Evaluierungsmaße Wiederhole den Test mehrere Tausend mal mit verschiedenen Wortpaaren: Eine Bedeutung gilt als korrekt wiederhergestellt, wenn wenigstens 25% der ursprünglichen Wörter wiederhergestellt wurden = retrieval recall (rr) Und wenn wenigstens 60% der gefundenen Wörter wirklich aus dem Originalvektor stammen = retrieval precision (rp) Schlimmste anzunehmende Fälle: (rf=35%): Von 200 Kookkurrenzen nur 50 gefunden, aber alle korrekt Oder 82 gefunden, aber nur 50 aus dem Originalvektor Oder 330 gefunden, aber nur 200 aus Originalvektor Globale Maße: Recall (R): Wie oft wurden die 2 ursprünglichen Bedeutungen gefunden? Precision (P): Wie oft wurden exakt die 2 ursprünglichen Bedeutungen gefunden? (statt 5, z.b.)? 16

17 2.7. Baseline rp und rr drücken die Qualität der Resultate aus P und R repräsentieren die Anzahl der Fälle, wo die word sense induction erfolgreich war (entsprechend den Regeln: (min rr=25% und min rp=60%) Zwei baselines: Gar nichts tun: Das Ergebnis ist dann eine Bedeutung, die nicht als korrekt gilt, daher: P=100%, R=0%, weil rp=50% und das ist unter den 60% für diese eine Bedeutung (rr=100%) Die Menge zufällig in zwei Mengen teilen: P=100%, R=0%, weil wiederum keines der senses den Regeln entspricht: für beide nämlich rp=50% und rr=50% (Falls nichts gefunden wurde, ist Precision definiert als 100%, nicht 0%) Baseline F-measure ist F=0% 17

18 2.8. Versuchsaufbau Um konkrete Fragestellungen zu untersuchen, wurden mehrere Testsets konstruiert: Drei Frequenzklassen von Wörtern (hoch, mittel(250), niedrig(50)) (je 15 Wörter), um zu bestimmen, ob die Frequenz einer Bedeutung Einfluss hat auf die Disambiguierung Drei Wortklassen (Substantive, Verben, Adjektive), um zu bestimmen, ob verschiedene Wortklassen unterschiedlich schwer zu disambiguieren sind Das ermöglicht die Untersuchung von vier Fragestellungen: 1. Ob es z.b. einfacher ist, Bedeutungen von Substantiven als von Verben zu unterscheiden 2. Ob konkrete syntaktische Wortklassen schwerer zu unterscheiden sind als lexikalische Unterscheidungen (to have a walk, to walk) 3. Ob zwei sehr frequente Bedeutungen einfacher zu unterscheiden sind (aber mehr Rauschen) als ein häufiges von einem seltenen (weniger Daten) 4. Ob Überrepräsentation einer Bedeutung über einer anderen das Finden dieser anderen erschwert 18

19 2.9. Die verwendeten Wörter Substantive: high-fr.: picture, average, blood, committee, economy med.-fr.: disintegration, substrate, emigration, thirst, saucepan low-fr.: paratuberculosis, gravitation, pharmacology, papillomavirus, sceptre Verben: high-fr.: avoid, accept, walk, agree, write med.-fr.: rend, confine, uphold, evoke, varnish low-fr.: immerse, disengage, memorize, typify, depute Adjektive: high-fr.: useful, deep, effective, considerable, traditional med.-fr.: ferocious, normative, phenomenal, vibrant, inactive low-fr.: astrological, crispy, unrepresented, homoclinic, bitchy 19

20 2.10. Test 1: Intrawortklassenkombinationen N hml (Wie oft es klappt) P R F 87% 87% 87% (Wie gut es klappt) rp rr rf 91% 64% 75% V hml 78% 64% 70% 80% 55% 65% Al hm 89% 71% 79% 88% 65% 74% Es ist viel schwerer Verbbedeutungen voneinander zu unterscheiden und die unterschiedenen Bedeutungen sind nicht so klar getrennt wie bei den Substantiven Vermutlich weil Verben deutlich weniger semantisch spezifisch sind und in verschiedenen Kontexten benutzt werden können Erfordert analyse von syntaktischen Patterns oder andere syntaktische Information, die nicht von Satzkookkurrenzen verfügbar ist Adjektive sind etwa in der Mitte zwischen Substantiven und Verben, wenn es um die Menge geht, Qualität ist gleich gut wie bei Substantiven 20

21 2.11. Test 2: Einfluss syntaktischer Klassen N/V (Wie oft es klappt) P R F 87% 77% 82% (Wie gut es klappt) rp rr rf 91% 62% 74% N/A 91% 78% 84% 90% 67% 77% V/A 81% 64% 72% 82% 61% 70% Die Performanz sinkt sobald Substantive mit ihren eindeutigen lexikalischen unterscheidungen die Gleichung verlassen Adjektive haben wieder spezifischere Kookkurrenzen, was zu bester Performance führt, wenn Verben gar nicht involviert sind 21

22 2.12. Test 3: Einfluss von Frequenz hoch (Wie oft es klappt) P R F 94% 78% 85% (Wie gut es klappt) rp rr rf 90% 81% 85% mitt 85% 85% 85% 90% 55% 70% nied 75% 50% 60% 71% 42% 52% Je höher die Frequenz, umso besser das Ergebnis Sehr niedrige Frequenz verschlechtert Ergebnisse drastisch data sparseness Höherer Recall für mittelfrequente Wörter im Vergleich zu hochfrequenten Wörtern wegen geringerer Precision (sie splitten häufiger, was es einfacher macht, akzeptable Unterscheidungen zu finden) 22

23 2.13. Test 4: Einfluss von Überrepresentierung h/m (Wie oft es klappt) P R F 86% 80% 83% (Wie gut es klappt) rp rr rf 93% 72% 81% h/n 91% 68% 78% 91% 75% 82% m/n 82% 74% 78% 85% 50% 63% Überrepresentierung einer Bedeutung über eine andere hat leicht verschlechternden Einfluss, der stärker wird, je seltener die kleinere Bedeutung Das erklärt auch, warum WSI Algorithmen nicht die Unterscheidungen in Wörterbüchern wiederfinden können Weil meiste Unterscheidungen extrem selten vorkommen Und hier ist der Einfluss schon sehr stark, obwohl die niedrigfrequenten Wörter immer noch eine vergleichsweise hohe Frequenz von 50 Vorkommen haben! 23

24 2.14. Gesamtresultate Gesamt gemessene Resultate: P=85% R=73% F=79% rp=87% rr=62% rf=72% Wenn Paare statt Tripel genutzt werden: P=91% R=60% F=72% rp=84% rr=63% rf=72% Insgesamt Resultate noch lange nicht perfekt Satzkookkurrenzen nützlich, um grobe Bedeutungsunterscheidungen zu finden, speziell wenn diese durch viele sehr spezifische Wörter ausgedrückt werden Feinere Unterscheidungen, speziell solche zwischen syntaktischen Wortklassen sind schwer zu finden mit Satzkookkurrenzen Syntaktische Patterns würden sehr wahrscheinlich helfen (mehr Forschung nötig) Alternative Ansätze wie Clusterung von Sätzen auch denkbar 24

25 2.15. Beispiele gefundener Unterscheidungen (BNC) sheet: beneath, blank, blanket, blotting, bottom, canvas, cardboard accounts, amount, amounts, asset, assets, attributable, balance line angle, argument, assembly, axis, bottom, boundary, cell, circle, column lines, link, locomotive, locomotives, loop, metres, mouth, north, parallel space astronaut, launch, launched, manned, mission, orbit, rocket, satellite air, allocated, atmosphere, blank, breathing, buildings, ceiling, confined 25

26 2.16. Weitere Verfahren Es gibt noch ChineseWhispers basierene Version von Christian Biemann Im Wesentlichen gleich gut wie WSI SIGIL Verfahren von Daniel B. Neill Basiert auf globalem Clustering aller Wörter Performanz unbekannt Unabhängigkeitsanalyse von R. Rapp Basiert auf Signaltrennung mittels independent component analysis (ICA) Funktioniert nur auf kleinen Datenmengen, Performanz unbekannt 26

27 3.1. Beispiel WSD Algorithmus Disambiguierung mittels sprachunabhängiger, kookkurrenzbasierter Algorithmen Bachelorarbeit Sven Reuter (Folien mit Erlaubnis adaptiert von Sven Reuter) Gegeben: Von WSI produzierte Daten Gesucht: Für jedes Wort entscheiden, welche Bedeutung in welchem Satz verwendet wurde 27

28 3.2. Verfahren (Vorbereitung) Für jedes Wort im Satz: Hole Nummer des Wortes wenn Wort nicht mehrdeutig Hole Kookkurrenzen sonst: Hole Nummern von Wort_0 Hole Kookkurrenzen zu Wort_0 weiter mit ~_1, usw. 28

29 3.3. Verfahren (Analyse) Maximale Bewertung ermitteln Für jedes mehrdeutige Wort: Für jede Bedeutung: Wie viele der anderen Satzwörter in Kookk.-Liste? (mit Faktor gewichten) Wie viele gemeinsame Kookk.-Elemente (akt. Kookk. mit jeder Kookk.- Liste aus Satz)? (mit Faktor gewichten) Bewertung (Summieren) in Output-String richtige Bedeutung setzen x 2 x 3 29

30 3.4. Evaluierung(Verfahren) Benutze Wortpaar, z. B. sitze und Haus Bilde Kunstwort sitzehaus mit den zwei Bedeutungen sitze und Haus Ersetze jedes Vorkommen von sitze / Haus durch sitzehaus Analyse sollte sitze disambiguieren Qualität = richtige Ersetzungen / alle Ersetzungen (WSI & WSD) 30

31 3.5. Evaluierung Verwendete Evaluations-Wörter: hochfrequent, mittelfreq., niedrigfreq. Je 15 Wörter => 3 *15 = Tests pro Auftreten gleich viele Evaluationssätze / Freq.klasse Evaluationsgruppen: 1. Kombinationen innerhalb Frequenzklasse 2. Kombination der Frequenzklassen, z. B. hoch-mittel 31

32 3.6. Evaluierung Warum? Abdeckung aller Klassen Aufzeigen, welchen Einfluss die einzelnen Klassen haben Wo gibt es Probleme und warum? Offensichtliche Probleme: Sinnnahe Wörter / Synonyme als Wortpaar Z. B. richtig & korrekt 32

33 3.7. Evaluierung Sprache: Englisch erstes Ergebnis: 63% nach Kalibrierung der Faktoren: 69% mit Beachtung des Abstands: 71% mit Beachtung des Ranges: 71% (aber: weniger Abweichung) Liegt 7 bis 17% unter der Qualität des WSI 33

34 3.8. Evaluierung mit Beachtung des Abstands: 71% h m l h 79% 83% 86% Qualität m 60% 66% 69% 71% l 62% 65% 65% mittlere Abw. 8% mit Beachtung des Ranges: 71% (aber: weniger Abweichung) h m l h 79% 82% 85% Qualität m 63% 67% 68% 71% l 63% 66% 67% mittlere Abw. 7% 34

35 4. Fazit Für das Problem der Polysemie existieren bereits sprachunabhängige Ansätze Ebenfalls Wissen darüber, welche spezifischen Unterscheidungen besser und welche weniger gut funktionieren Weitere Forschung noch nötig: Unterschiedung feinerer, syntaktischer oder Redewendungsverwendungen von Wörtern Evaluierung in welchen Applikationen bring es wie viel? 35