Distributionelle Semantik

Transkript

1 Distributionelle Semantik Vorlesung Computerlinguistische Techniken Alexander Koller 12. Januar 2016

2 Welt- und Wortwissen Semantische Inferenzen brauchen formalisiertes Wissen über die Welt und über Wortbedeutungen. Which genetically caused connective tissue disorder has severe symptoms and complications regarding the aorta and skeletal features, and, very characteristically, ophthalmologic subluxation? Marfan's is created by a defect of the gene that determines the structure of Fibrillin-11. One of the symptoms is displacement of one or both of the eyes' lenses. The most serious complications affect the cardiovascular system, especially heart valves and the aorta.

3 Der Wissens-Bottleneck Bedeutung von formalisiertem Wissen für CL- Anwendungen seit Jahrzehnten akzeptiert. z.b. Bar-Hillel 1960: Übersetzung von the box is in the pen? Breite Formalisierung impraktikabel. immerhin z.b. Cyc: mehrere Millionen Fakten Weltwissen sehr umfangreich Prädikatenlogik geeigneter Formalismus? Aktuelle Perspektive: lexikalisches Wissen von Hand oder automatisch formalisieren.

4 Query Expansion hiernach gesucht das gefunden

5 Lexikalische Semantik Relationen zwischen Bedeutung von Wörtern: z.b. Synonymie He's not pining! He's passed on! This parrot is no more! He has ceased to be! He's expired and gone to meet his maker! He's a stiff! Bereft of life, he rests in peace! His metabolic processes are now history! He's off the twig! He's kicked the bucket, he's shuffled off his mortal coil, run down the curtain and joined the bleedin' choir invisible!! THIS IS AN EX-PARROT!!

6 Semantische Relationen Lexikalische Semantik beschreibt mögliche semantische Relationen zwischen Wörtern: Synonymie: Wörter bedeuten das gleiche. Apfelsine/Orange; Bildschirm/Monitor; etc. Hyponymie: Ein Wort ist Oberbegriff des anderen. Auto/Fahrzeug; Blume/Pflanze; etc. Antonymie: Wörter beschreiben das Gegenteil. gewinnen/verlieren; heiß/kalt; etc.

7 WordNet entity physical object artifact structure building complex plant#1, works, industrial plant living thing organism plant#2, flora, plant life = Hyponymie gleicher Knoten = Synonymie

8 Lexikalische Ambiguitäten Polysemie: Wort hat zwei verschiedene Bedeutungen, die miteinander verwandt sind. Schule #1: Institution, in der Schüler lernen Schule #2: Gebäude, in dem Schule #1 arbeitet Homonymie: Wort hat zwei verschiedene Bedeutungen, die nicht verwandt sind. Bank #1: Geldinstitut Bank #2: Sitzgelegenheit

9 Word sense disambiguation Word sense disambiguation ist das Problem, jedes Wort-Token mit seinem Wortsinn zu taggen. Accuracy von WSD hängt vom Bedeutungs-Inventar ab. Stand der Kunst: 90% auf grobkörnigen Senses. Typische Techniken machen überwachtes Training auf kleineren Datenmengen und erweitern Modell mit unüberwachten Methoden.

10 Problem Handgeschriebene Thesauri sind viel zu klein. Englisches Wordnet: Synsets GermaNet: Synsets Anzahl von englischen Wörtern im englischen Googlen-Gramm-Korpus > 1 Million. Damit lösen wir das Query-Expansion-Problem nicht. Semantische Relationen automatisch lernen?

11 Experiment 1 (nach Folien von Katrin Erk)

12 Experiment 1 Doc 1: Guantanamo USA Verschlüsselung Yahoo Enthüllungen rechtsstaatliche (nach Folien von Katrin Erk)

13 Experiment 1 spiegel.de zu PRISM Doc 1: Guantanamo USA Verschlüsselung Yahoo Enthüllungen rechtsstaatliche (nach Folien von Katrin Erk)

14 Experiment 1 spiegel.de zu PRISM Doc 1: Guantanamo USA Verschlüsselung Yahoo Enthüllungen rechtsstaatliche Doc 2: Raumschiff Macht Imperator Todesstern Vater (nach Folien von Katrin Erk)

15 Experiment 1 spiegel.de zu PRISM Doc 1: Guantanamo USA Verschlüsselung Yahoo Enthüllungen rechtsstaatliche Wikipedia zu Star Wars Doc 2: Raumschiff Macht Imperator Todesstern Vater (nach Folien von Katrin Erk)

16 Experiment 1 spiegel.de zu PRISM Doc 1: Guantanamo USA Verschlüsselung Yahoo Enthüllungen rechtsstaatliche Wikipedia zu Star Wars Doc 2: Raumschiff Macht Imperator Todesstern Vater Doc 3: kontext-freie Algorithmus dynamische Tabelle Chomsky-Normalform (nach Folien von Katrin Erk)

17 Experiment 1 spiegel.de zu PRISM Doc 1: Guantanamo USA Verschlüsselung Yahoo Enthüllungen rechtsstaatliche Wikipedia zu Star Wars Doc 2: Raumschiff Macht Imperator Todesstern Vater Wikipedia zum CKY-Parser Doc 3: kontext-freie Algorithmus dynamische Tabelle Chomsky-Normalform (nach Folien von Katrin Erk)

18 Experiment 1 spiegel.de zu PRISM Doc 1: Guantanamo USA Verschlüsselung Yahoo Enthüllungen rechtsstaatliche Wikipedia zu Star Wars Doc 2: Raumschiff Macht Imperator Todesstern Vater Wikipedia zum CKY-Parser Doc 3: kontext-freie Algorithmus dynamische Tabelle Chomsky-Normalform Doc 4: Erntebemühungen Anbaufläche Sie Gurken Pflänzchen Zentimeter (nach Folien von Katrin Erk)

19 Experiment 1 spiegel.de zu PRISM Doc 1: Guantanamo USA Verschlüsselung Yahoo Enthüllungen rechtsstaatliche Wikipedia zu Star Wars Doc 2: Raumschiff Macht Imperator Todesstern Vater Wikipedia zum CKY-Parser Doc 3: kontext-freie Algorithmus dynamische Tabelle Chomsky-Normalform Doc 4: Erntebemühungen Anbaufläche Sie Gurken Pflänzchen Zentimeter (nach Folien von Katrin Erk)

20 Experiment 2 (Stefan Evert, Tutorial bei NAACL 2010)

21 Experiment 2 Was ist bardiwac? Im Korpus finden Sie: (Stefan Evert, Tutorial bei NAACL 2010)

22 Experiment 2 Was ist bardiwac? Im Korpus finden Sie: He handed her a glass of bardiwac. (Stefan Evert, Tutorial bei NAACL 2010)

23 Experiment 2 Was ist bardiwac? Im Korpus finden Sie: He handed her a glass of bardiwac. Nigel staggered to his feet, face flushed from too much bardiwac. (Stefan Evert, Tutorial bei NAACL 2010)

24 Experiment 2 Was ist bardiwac? Im Korpus finden Sie: He handed her a glass of bardiwac. Nigel staggered to his feet, face flushed from too much bardiwac. Malbec, one of the lesser-known bardiwac grapes, responds well to Australia s sunshine. (Stefan Evert, Tutorial bei NAACL 2010)

25 Experiment 2 Was ist bardiwac? Im Korpus finden Sie: He handed her a glass of bardiwac. Nigel staggered to his feet, face flushed from too much bardiwac. Malbec, one of the lesser-known bardiwac grapes, responds well to Australia s sunshine. The drinks were delicious: blood-red bardiwac as well as light, sweet Rhenish. (Stefan Evert, Tutorial bei NAACL 2010)

26 Experiment 2 Was ist bardiwac? Im Korpus finden Sie: He handed her a glass of bardiwac. Nigel staggered to his feet, face flushed from too much bardiwac. Malbec, one of the lesser-known bardiwac grapes, responds well to Australia s sunshine. The drinks were delicious: blood-red bardiwac as well as light, sweet Rhenish. Bardiwac ist ein Rotwein. (Stefan Evert, Tutorial bei NAACL 2010)

27 Distributionelle Semantik Ansatz, um semantische Ähnlichkeit von Wörtern aus unannotierten Daten zu lernen. Ähnlichkeit als Approximation von Synonymie Lexikon kann automatisch beliebig groß werden Bedeutung eines Worts Verteilung der anderen Wörter, die mit ihm zusammen auftreten. Grundidee aus den 1950ern (Harris 1951): You shall know a word by the company it keeps. (Zitat ist von Firth)

28 Kookkurrenz Was bedeutet es, dass zwei Wörtern zusammen auftreten? Einfachster Ansatz: Zähle im Korpus ab, wie oft Wort w 1 in k-wort-fenster um Wort w 2 auftritt. see who can grow the biggest flower. Can we buy some fibre, please Abu Dhabi grow like a hot-house flower, but decided themselves to follow the as a physical level. The Bach Flower Remedies are prepared from non-poisonous wild a seed from which a strong tree will grow. This is the finest (k = 6, British National Corpus)

29 Kookkurrenz see who can grow the biggest flower. Can we buy some fibre, please Abu Dhabi grow like a hot-house flower, but decided themselves to follow the as a physical level. The Bach Flower Remedies are prepared from non-poisonous wild a seed from which a strong tree will grow. This is the finest (Kontext-Wörter) factory flower tree plant water fork grow garden worker production wild Kookkurrenz-Matrix für BNC, aus Koller & Pinkal 12 Figure 108.4: Some co-occurrence vectors from the British National Corpus.

30 factory Vektorraum-Modell flower tree plant water fork grow garden worker production wild : Some co-occurrence vectors from the British National Corpus. factory flower tree plant water grow garden1 Dimension 5 pro 200Kontextwort worker(hier: Dimensionen) production wild Bild vereinfacht zu 2 35 Dimensionen, ist nur schematisch. Figure 108.4: Some co-occurrence vectors from the British factory plant Vektoren in hochdimensionalem tree Vektorraum flower ure 108.5: Graphical illustration of co-occurrence vectors. factory flower plant tree

31 Ähnlichkeit factory flower Aus Vektorraum-Modell kann man jetzt Ähnlichkeit zwischen Wörtern ableiten. tree plant water fork grow garden worker production Versuch: ähnlich = euklidische Distanz ist klein wild re 108.4: Some co-occurrence vectors from the British National Corpus. factory plant dist(~v, ~w) = v ux t n (v i w i ) 2 i=1 flower tree nicht besonders sinnvoll Figure 108.5: Graphical illustration of co-occurrence vectors.

32 Kosinus-Ähnlichkeit 2. Versuch: ähnlich = Winkel ist klein. factory ignoriert Länge von Vektoren = absolute Worthäufigkeiten (das ist gut) flower tree plant water Kontextwörter kommen proportional ähnlich oft vor Leicht zu berechnen ist Kosinus des Winkels: fork grow garden worker production wild cos = 1 heißt Winkel = 0, d.h. sehr ähnlich 08.4: Some co-occurrence vectors from the British National Corpus. cos = 0 heißt Winkel = 90, d.h. sehr unähnlich factory plant cos(~v, ~w) = P n i=1 v i w i pp n i=1 v2 i pp n i=1 w2 i flower tree cos(tree, flower) = 0.75, i.e. 40 cos(tree, factory) = 0.05, i.e. 85

33 Was haben wir erreicht? Maß für semantische Ähnlichkeit Kookkurrenzmatrix für alle Wortpaare aus unannotertem Text berechnen. Auf dieser Grundlage Ähnlichkeitsmaß, z.b. Kosinus. Für beliebig große Textmengen leicht zu berechnen. Mögliche Erweiterungen: Komplexere Features und Feature-Gewichte Dimensionsreduktion Kompositionalität

34 Uninformative Dimensionen Nicht alle Kontextwörter gleich informativ. Kookkurrenz mit grow vs. mit the Einfachster Ansatz: Bestimmte häufige Wörter von Hand angeben und bei der Berechnung von Ähnlichkeit ignorieren. Solche Wörter heißen im Information Retrieval Stop-Wörter. Allgemeiner: Gewichtung von Dimensionen automatisch lernen.

35 Komplexere Features Kookkurrenz von Wörtern überschätzt gemeinsames Auftreten. the Qataris had watched Abu Dhabi grow like a hot-house flower, but decided Lösungsansatz: Komplexere Features, die syntaktische Relationen zwischen Wörtern mit erfassen (Lin 98). zähle nicht mehr: tritt flower in I Fenster row vector x dog von 7 Wörtern um Abu Dhabi auf? sondern: tritt flower als Subjekt von grow auf? Geometric interpretation describes usage of word dog in the corpus I can be seen as coordinates of point in n-dimensional Euclidean space I illustrated for two dimensions: get and use I x dog =(115, 10) use (use, obj) Introduction The distributional hypothesis Two dimensions of English V Obj DSM knife cat boat dog (get, obj) get

36 mu e he p pi mo s scre te Ergebnis eagle swan pig duck owl penguin mushroom cat cherry lion cow elephant dog peacock turtle onion Semantic map (V Obj from BNC) chicken lettuce ship snail banana potato corn pear pineapple boat car motorcycle truck helicopter rocket kettle cup bowl telephone chisel bottle hammer scissors spoon knife pencil screwdriver bird groundanimal fruittree green tool vehicle pen (Evert, NAACL Tutorial 2010)

37 Ergebnisse hope (N): optimism 0.141, chance 0.137, expectation 0.136, prospect 0.126, dream 0.119, desire 0.118, fear 0.116, effort 0.111, confidence 0.109, promise hope(v): would like 0.158, wish 0.140, plan 0.139, say 0.137, believe 0.135, think 0.133, agree 0.130, wonder 0.130, try 0.127, decide brief (N): legal brief 0.139, affidavit 0.103, filing 0.098, petition 0.086, document 0.083, argument 0.083, letter 0.079, rebuttal 0.078, memo 0.077, article brief (A): lengthy 0.256, hour-long 0.191, short 0.173, extended 0.163, frequent 0.162, recent 0.158, short-lived 0.155, prolonged 0.149, week-long 0.149, occasional (Ergebnisse von Lin 98, aus J&M)

38 Probleme Ähnlichkeit = Synonymie? Synonyme sind distributionell sehr ähnlich. Aber auch Antonyme und (in geringerem Maß) Hyponyme distributionell sehr ähnlich. brief (A): lengthy 0.256, hour-long 0.191, short 0.173, extended 0.163, frequent 0.162, recent 0.158, short-lived 0.155, prolonged 0.149, week-long 0.149, occasional Distributionelle Ähnlichkeit ist nicht referentielle Ähnlichkeit. Erkennung von Antonymen notorisch schweres Problem.

39 Kompositionelle distrib Semantik Aktueller Trend: kompositionelle Berechnung von größeren Phrasen aus distributionellen Repräsentationen von Wörtern. Z.B. Mitchell & Lapata 08: berechne Kookk-Vektor für Phrase durch Addition der Wortvektoren. Erscheint linguistisch zweifelhaft, korreliert aber mit menschlichen Bewertungen von Ähnlichkeit.

40 Am. territory black hand quick Kompositionelle distrib Am. source black Semantik (n) little cost green N historical N mental N green (n) historical mental activity red road hist. event mental experience green colour hist. content mental energy necessary N nice N young N Baroni & Zamparelli (2010): necessary Nouns nice are vectors, youthful adjectives are matrices (= Funktionen). necessary degree good bit young doctor sufficient nice break young staff Table 1: Nearest 3 neighbors of centroids of ANs that lernt Matrizen für Adjektive, share so the dass samea* adjective. N den Kookk- Vektor von A N approximiert (für alle N) Cf. Anwendung von Adjektiven auf Nomen in Montague-Grammatik. How about the neighbors of specific ANs? Table 2 reports the nearest 3 neighbors of 9 randomly selected ANs involving different adjectives (we inspected a larger random set, coming to similar conclusions to the ones emerging from this table). bad electronic historical luck communication map bad elec. storage topographical bad weekend elec. transmission atlas good spirit purpose hist. material important route nice girl little war important transport good girl great war important road big girl major war major road guy small war red cover special collection young husband black cover general collection small son hardback small collection small daughter red label archives mistress Table 2: Nearest 3 neighbors of specific ANs. not be tuition vector most i come corpus the do specifi the bu vector 6 St Havin tors w their c tations the co struct mation the co very d genera ANs l of this sess th setting paraph tors lo ite me genera they sh

41 Zusammenfassung Knowledge bottleneck ist ein sehr ernstes Problem in der semantischen Verarbeitung. Wichtiges Thema in aktueller Forschung: distributionelle Methoden für semantische Ähnlichkeit von Wörtern. Aktueller Trend: Kombination mit kompositionellen Methoden.