Semantische Technologien (M-TANI)

Transkript

1 Aktuelle Themen der Angewandten Informatik Semantische Technologien (M-TANI) Christian Chiarcos Angewandte Computerlinguistik 16. Mai 2013

2 Wortsemantik grammatische Klassifikation von Worten Parts of Speech lexikalisch-semantische Klassifikation von Worten WordNet Word Sense Disambiguation wissensbasiert

3 Wortarten (Parts of Speech [POS]) Klassifikation von Einzelworten nach grammatischen Merkmalen (i.d.r.) Morphosyntax kontextabhängig es existieren mehrere Klassifikationen Standardisierung nur auf Ebene von Einzelsprachen phosyntacticcategory

4 Parts-of-Speech (English) Open class (lexical) words Nouns Verbs Adjectives yellow Proper Common Main Adverbs slowly IBM cat / cats see Italy snow registered Numbers more 122,312 Closed class (functional) Modals one Determiners the some can Prepositions to with Conjunctions and or had Particles off up Pronouns he its more

5 POS, Annotationsschemata für das Deutsche Stuttgart-Tübingen Tag-Set (STTS) pdf Protégé: für das Englische Penn Treebank Tagset (PTB) penn_treebank_pos.html Protégé:

6 POS Tagging Input: the lead paint is unsafe POS: determiner noun noun verb adjective Output: the/dt lead/nn paint/nn is/vb unsafe/jj Anwendungen: text-to-speech (Aussprache von lead) kategorielle Suche mit regexps: (Det) Adj* N+ Vorverarbeitung für Syntax grob-semantische Klassifikation (einige) grammatische Kategorien zeigen semantische Prototypen an; dazu später mehr

7 POS Tagging überwachte Klassifikation das Korpus ist manuell annotiert, wir nutzen die POS Tags als Zielklassifikation unüberwacht das Korpus ist nicht annotiert, wir klassifizieren Einzelworte nach ihrem Kontext und fassen sie zusammen schwach überwacht das Korpus ist nicht annotiert, aber wir haben ein Wörterbuch mit allen möglichen Tags für jedes Wort

8 Performance Input: the lead paint is unsafe Output: the/dt lead/nn paint/nn is/vb unsafe/jj Evaluation: Accuracy (# correct tags) approx. 97% für Englisch und Deutsch Aber: Baseline ~ 90% Tagge jedes Wort mit dem für es häufigsten Tag Tagge unbekannte Worte als Substantive

9 Ambiguität VBD VB VBN VBZ VBP VBZ NNP NNS NN NNS CD NN Fed raises interest rates 0.5 percent Primäre Entscheidungshilfen Kontext Wortidentität

10 Faktorensuche correct tags PN Verb Det Noun Prep Noun Prep Det Noun Bill directed a cortege of autos through the dunes PN Adj Det Noun Prep Noun Prep Det Noun Verb Verb Noun Verb Adj some possible tags for Prep each word (maybe more)? Tags hängen ab vom (a) Wort, (b) vorangehenden/nachfolgenden Tag => kennen wir nicht!

11 Faktorensuche correct tags PN Verb Det Noun Prep Noun Prep Det Noun Bill directed a cortege of autos through the dunes PN Adj Det Noun Prep Noun Prep Det Noun Verb Verb Noun Verb Adj some possible tags for Prep each word (maybe more)? Tags hängen ab vom (a) Wort, (b) vorangehenden/nachfolgenden Tag => kennen wir nicht!

12 Faktorensuche correct tags PN Verb Det Noun Prep Noun Prep Det Noun Bill directed a cortege of autos through the dunes PN Adj Det Noun Prep Noun Prep Det Noun Verb Verb Noun Verb Adj some possible tags for Prep each word (maybe more)? Tags hängen ab vom (a) Wort, (b) vorangehenden/nachfolgenden Tag => kennen wir nicht!

13 Hidden Markov Models (HMM) einfacher Formalismus zur Prozessmodellierung sequence classification wir behandeln nur den einfachsten möglichen Fall Bigrams jedes Wort wird aufgrund des vorangehenden Wortes klassifiziert mehr gibt es in Texttechnologie

14 POS-Tagging Gesucht Folge von POS tags t für eine Folge von Worten w t = argmax t P t w) über alle möglichen Sequenzen t und die beobachtete Wortfolge w

15 POS-Tagging Gesucht Folge von POS tags t für eine Folge von Worten w t = argmax t P t w) Bayes P t w) = P w t) P(t) P(w)

16 POS-Tagging Gesucht t = argmax t P w t) P(t) P(w) = argmax t P w t) P(t)

17 POS-Tagging Gesucht t = argmax t P w t) P(t) P(w) = argmax t P w t) P(t)

18 POS-Tagging Gesucht likelihood prior t = argmax t P w t) P(t) Hidden-Markov-Modellierung Jeder Tag t i hängt nur vom vorangehenden Tag t i 1 ab Jedes Wort w i hängt nur vom Tag t i ab

19 Markov-Modelle Zustände und (wahrscheinlichkeitsbedingte) Zustandsübergänge gewichteter endlicher Automat Prozesse werden als Pfade (Trajektorien) im Möglichkeitsraum modelliert s b s a s c sd Modell

20 Markov-Modelle Zustände s 1,, s N wahrscheinlichkeitsinitialisierter Anfangszustand t 1 *s 1,, s N + Sequenz von Zustandsübergängen t = (t 1,, t M ) mit t i s 1,, s N Übergangswahrscheinlichkeiten P t j t i P s k s l für t j s k und t i s l s b s b s a s c t 1 s c sd sd Modell Zustandsfolge t 1

21 Markov-Modelle Zustände s 1,, s N wahrscheinlichkeitsinitialisierter Anfangszustand t 1 *s 1,, s N + Sequenz von Zustandsübergängen t = (t 1,, t M ) mit t i s 1,, s N Übergangswahrscheinlichkeiten P t j t i P s k s l für t j s k und t i s l s b t 2 s a s c t 1 s c sd sd Modell Zustandsfolge t 1, t 2

22 Markov-Modelle Zustände s 1,, s N wahrscheinlichkeitsinitialisierter Anfangszustand t 1 *s 1,, s N + Sequenz von Zustandsübergängen t = (t 1,, t M ) mit t i s 1,, s N Übergangswahrscheinlichkeiten P t j t i P s k s l für t j s k und t i s l s b t 2 t 3 s a s c t 1 sd sd Modell Zustandsfolge t 1, t 2, t 3

23 Markov-Modelle Zustände s 1,, s N wahrscheinlichkeitsinitialisierter Anfangszustand t 1 *s 1,, s N + Sequenz von Zustandsübergängen t = (t 1,, t M ) mit t i s 1,, s N Übergangswahrscheinlichkeiten P t j t i P s k s l für t j s k und t i s l s b t 2 t 3 s a s c t 4 sd sd Modell Zustandsfolge t 1, t 2, t 3, t 4

24 Hidden-Markov-Modelle (HMMs) versteckte Zustände s 1,, s N sind nicht direkt beobachtbar Sequenz von Zustandsübergängen t = (t 1,, t M ) mit t i s 1,, s N Übergangswahrscheinlichkeiten P t j t i P s k s l für t j s k und t i s l Menge von möglichen Beobachtungen w 1,, w M haben keinen Einfluss auf Zustandsübergänge hängen nur vom aktuellen Zustand ab Emissionswahrscheinlichkeiten P w k t i = P(w k s l ) für t i s l

25 HMMs Zustände sind POS Tags, Beobachtungen sind Worte t 1 t 2 t 3 t n w 1 w 2 w n likelihood prior t = argmax t P w t) P(t) P w t ~ P(w i t i ) i P t ~ P(t i t i 1 ) i

26 HMMs: Beispiel Brown corpus ages/corpora/brown.zip Maximum Likelihood Estimation P NN DT ~ #(DT,NN) #(DT) = 0,49 #(DT) (determiner): #(DT,NN) (determiner-common noun): P is VBZ ~ #(VBZ,is) #(VBZ) = 0,47 #(VBZ) (3 rd person finite indicative verb): #(VBZ,is): 10073

27 HMM-Inferenz Decoding Optimierungsproblem gesucht ist die optimale Sequenz, aber deren Zahl wächst exponential zur Länge

28 HMM-Inferenz, exakt Standard-Lösung: Dynamische Programmierung Viterbi-Algorithmus Jurafsky & Martin, 5.5.3

29 HMM-Inferenz, approximativ Too many trajectories (state sequences) to list Option 2: Beam Search <> Fed:NNP Fed:VBN Fed:VBD Fed:NNP raises:nns Fed:NNP raises:vbz Fed:VBN raises:nns Fed:VBN raises:vbz Beam: Menge von Teilhypothesen (Trajektorien, Zustandsfolgen) Starte mit leerer Hypothesenmenge In jedem Ableitungsschritt: Betrachte alle möglichen Fortsetzungen aktuellen Hypothesen Behalte die k besten, verwirf den Rest Iteration

30 POS Tagging: State of the Art POS Tagging ist ein im wesentlichen gelöstes Problem Ausbaupotential bei morphologisch reichen Sprachen Reiche Morphologie begrenzt die Wiederholungsrate Ausbaupotential bei der Entwicklung von POS Tagsets für Sprachen jenseits des Standard Average European Englisch oder Lateinisch geprägte Kategorien passen nicht notwendigerweise

31 POS Tags und Semantik POS Tags beinhalten teilweise semantische Aspekte Proper Name vs. Common Name Numerals Quantifiers

32 POS Tags und Semantik Einige (ältere) Tagsets beinhalten reiche semantische Subtaxonomien Susanne (Sampson 1996, Die Performanz von klassischen POS-Taggern für diese war unzureichend, so dass sie aus den Schemata gestrichen wurden, um die Evaluationsergebnisse zu verbessern.

33 POS Tags und Semantik Grammatik ist frozen semantics (Dixon 1993) grammatische Kategorien entstammen semantischen Prototypen diese Beziehung ist nicht immer offenkundig, kann aber als allgemeine Faustregel gelten

34 POS Tags und Semantik Substantiv / Name ~ Entitäten Personalpronomen ~ Variablen Artikel / Indefinitpronomen ~ Quantoren Adjektive / intransitive Verben ~ unäre Prädikate Präpositionen / transitive Verben ~ binäre Prädikate, Relationen Adverbien ~ Prädikate zweiter Ordnung

35 POS Tags und Semantik Numerus, Genus und Klassifikatoren formalisieren bestimmte semantische Klassifikationen Women, fire and dangerous things (Lakoff 1987) Aspekt, Tempus und Modus definieren zeitliche und konditionale Gültigkeitsräume der Satzaussagen diese Information ist teilweise schon von POS- Tagsets erfasst

36 POS Tags und Semantik Grammatik ist frozen semantics (Dixon 1993) grammatische Kategorien entstammen semantischen Prototypen diese Beziehung ist nicht immer offenkundig, kann aber als allgemeine Faustregel gelten Daher sind Wortnetze nach POS-Klassen strukturiert

37 WordNet Umfangreiche lexikalische Datenbank, elektronisches Wörterbuch Enthält die meisten englischen Nomen, Verben, Adjective, und Adverbien In diversen NLP-Anwendungen genutzt (information retrieval, text mining, question answering, machine translation, AI/reasoning,...) WordNets für mehrere Sprachen:

38 What s special about WordNet? WordNet ist nach Bedeutungsrelationen strukturiert nicht alphabetisch, wie Wörterbücher menschen- und maschinenlesbar, browseable somewhat like in a hyperdimensional thesaurus geeignet zu Bestimmung von Bedeutungsähnlichkeit sowie der Art der Beziehung zwischen zwei Worten

39 Vorgeschichte: KI Frage der Künstliche Intelligenz (der 1980er): Wie speichern und ermitteln Menschen konzentionelles Wissen? Hypothese: Bedeutungsrelationen verknüpfen Konzepte miteinander Frames, Schemas, Scripts Wissen über Konzepte ist umfangreich muss effizient und ökonomisch strukturiert sein

40 Vorgeschichte: KI Konzeptuelles Wissen wird on the fly generiert durch Rückgriff auf allgemeinere Konzepte z.b. canaries fly <= birds fly und canaries are a kind of bird

41 Vorgeschichte: KI Vererbung animal (animate, breathes, has heart,...) bird (has feathers, flies,..) canary (yellow, sings nicely,..)

42 Psycholinguistischer Hintergrund Hypothese: Wissen wird am höchsten Knoten gespeichert und durch abhängige (spezifischere) Konzepte vererbt nicht mehrfach gespeichert Collins & Quillian (1969): Reaktionszeitexperimente zur Verteilung von Wissen über unterschiedliche Spezifizitätsebenen

43 Psycholinguistischer Hintergrund Do birds fly? --kurze Reaktionszeit Do canaries fly? --lange Reaktionszeit Do canaries have a heart? --sehr lange Reaktionszeit

44 Psycholinguistischer Hintergrund Evidenz für Bedeutungsrelationen zwischen Konzepten: Zugriff auf ein Konzept aktiviert benachbarte Konzepte ( Spreading activation ) Bridging Priming

45 Psycholinguistischer Hintergrund Hierarchische und relationale Bedeutungsrelationen Forschungsfrage (1986): Kann das menschliche Lexikon als semantisches Netz (Graph mit getypten Kanten) repräsentiert werden, in dem Worte durch Bedeutungsrelationen verknüpft sind? WordNet ist der Versuch, ein solches semantisches Netz zu implementieren

46 Psycholinguistischer Hintergrund Hierarchische und relationale Bedeutungsrelationen Forschungsfrage (1986): Kann das menschliche Lexikon als semantisches Netz (Graph mit getypten Kanten) repräsentiert werden, in dem Worte durch Bedeutungsrelationen verknüpft sind? Welche Relationen?

47 Welche Relationen? Assoziationstests Stimulus: hand Antwort: finger, arm Aristotelische Ontologie IS-A (maple-tree) HAS-A (maple-leaves) Kollokationen in Texten meaningfully related words are used together)

48 Relationen: Synonymie Ein Koncept kann durch unterschiedliche Worte ausgedrückt werden: {beat, hit, strike} {car, motorcar, auto, automobile} { big, large} Synonymy = 1:n-Mapping von Bedeutung und Form

49 Synonymy in WordNet Synset ungeordnete Menge von Synonymen, d.h., Worten die in ihrer Denotation (grob) äquivalent sind {hit, beat, strike} {big, large} {queue, line} Jedes Synset repräsentiert eine gesonderte Bedeutung/ein Konzept

50 Polysemie Wortformen haben mehrere Bedeutungen Polysemie = 1:m-Mapping von Form und Bedeutung {table, tabular_array} {table, piece_of_furniture} {table, mesa} {table, postpone} Das gilt vor allem für häufige Worte

51 Polysemie in WordNet Beispiel: 4-fache Polysemie {table, tabular_array} {table, piece_of_furniture} {table, mesa} {table, postpone} table hat 4 mögliche Sinne

52 Netzwerk Synsets elementare Grundbestandteile (Knoten) Relationen verbinden Synsets Kanten entsprechen semantischen Beziehungen Für jede Relation ist auch deren Inverse in WordNet Gerichteter gelabelter Graph

53 Nouns: Hyponymy Relates more/less general concepts Creates hierarchies, or trees {vehicle} / \ {car, automobile} {bicycle, bike} / \ \ {convertible} {SUV} {mountain bike} A car is is a kind of vehicle <=> The class of vehicles includes cars, bikes Hierarchies can have up to 16 levels

54 Nouns: Hyponymy Transitiver Abschluss A car is a kind of vehicle An SUV is a kind of car => An SUV is a kind of vehicle

55 Nouns: Meronymy/holonymy ( relation (part-whole {car, automobile} {engine} / \ {spark plug} {cylinder} An engine has spark plugs Spark plus and cylinders are parts of an engine Werden bei Hyponymie vererbt: chair has legs => armchair has legs

56 Nouns: WordNet-Relationen {conveyance; transport} hyperonym {vehicle} hyperonym {motor vehicle; automotive vehicle} meronym hyperonym {car window} {car; auto; automobile; machine; motorcar} meronym hyperonym hyperonym {cruiser; squad car; patrol car; police car; prowl car} {cab; taxi; hack; taxicab; } {bumper} {car door} {car mirror} meronym meronym {hinge; flexible joint} {doorlock} {armrest}

57 Weitere WordNet-Relationen troponym (Verb -> Verb) zunehmende Spezialisierung communicate -> talk -> whisper (Dimension: Lautstärke) move -> jog -> run (Dimension: Geschwindigkeit) entailment (Verb -> Verb) ein Event impliziert zwangsläufig ein anderes buy -> pay, succeed -> try

58 Weitere WordNet-Relationen pertainym (Adjektiv -> Nomen) bezieht sich auf, relationale Adjektive beziehen sich auf dasjenige, von dem sie morphologisch abgeleitet sind criminal -> crime antonymy (Adjektiv <-> Adjektiv) Gegenteil wet <-> dry

59 Weitere WordNet-Relationen morphosemantische Links zwischen unterschiedlichen POS-Kategorien semantisch ähnliche Worte, die vom selben Stamm abgeleitet sind observe, observant, observation, observatory semantische Rollen (Noun -> Verb) Subklasse von morphosemantischen Links, sind nach der Art der Beziehung (semantischer Rolle) gelabelt paint ->[AGENT] painter, paint ->[RESULT] painting

60 WordNet im WWW Datenbankinterface s=word&sub=search+wordnet&o2=&o0=1&o8= 1&o1=1&o7=&o5=&o9=&o6=&o3=&o4=&h= SPARQL version SELECT * WHERE {?s rdfs:label?o FILTER regex(str(?s),"synset"). } LIMIT 10

61 WordNet und Linked Open Data WordNet wurde früh von der Semantic-Web- Gemeinde adaptiert und nach RDF/OWL konvertiert multilinguale WordNets wurden und werden laufend nach RDF konvertiert und können dadurch miteinander und anderen Wissensquellen verknüpft werden

62 WordNet und Linked Open Data Dient z.b. als Grundlage von YAGO dort mit Wikipedia-Information verbunden GeoWordNet mit GeoNames verknüpft Cornetto niederländisches WordNet, mit einem englischen WordNet verlinkt OpenCyc enthält Links auf das englische WordNet

63

64 Linking und Propagation Durch die Verknüpfung mit WordNet kann die WordNet-Struktur auf andere Wissensbasen projiziert werden Wenn diese auf einfacheren Strukturen (z.b. Info Boxes) beruhen, ist es prinzipiell möglich, Regeln abzuleiten, um WordNet-Strukturen vorauszusagen Wenn diese andere Sprachen beinhalten (z.b. Wiktionary), kann die WordNet-Struktur auf die Zielsprache projiziert werden Sukzessive Anreicherung von Wissen in der LOD Cloud

65 Laufende RDF-Konvertierungen Uby verknüpft WordNet mit GermaNet (dt. WordNet), Wiktionary, FrameNet, VerbNet u.a.m. Konvertierung läuft gerade Linguistic LOD cloud

66 WordNet for Natural Language Processing Challenge: get a computer to understand language Information retrieval Text mining Document sorting Machine translation

67 Natural Language Processing Stemming, parsing currently at >90% accuracy level Word sense discrimination (lexical disambiguation) still a major hurdle for successful NLP Which sense is intended by the writer (relative to a dictionary)? Best systems: ~60% precision, ~60% recall (but human inter-annotator agreement isn t perfect, either!)

68 Word Sense Disambiguation wissensbasierte WSD Lesk-Algorithmus

69 Simplified Lesk Algorithmus function SENSES(word) returns all senses of word function WORDS(sense) returns all non-stopword words in gloss and examples of sense function SIMPLIFIED LESK(word,sentence) returns best sense of word result = most frequent sense for word max-overlap = 0 context = all words in sentence (no stop words)* for each sense in SENSES(word) do overlap = WORDS(sense) context if overlap > max-overlap then max-overlap = overlap result = sense end return result * das ist die Vereinfachung (wie auch die folgenden Beispiele nach Jurafsky & Martin, 2009, S. 646f)

70 Simplified Lesk, Beispiel The bank can guarantee deposits will eventually cover future tuition costs because it invests in adjustable-rate mortage securities. bank_1 a financial institution that accepts deposits and channels the money into lending activities e.g., he cashed a check at the bank, that bank holds the mortage on my home

71 Simplified Lesk, Beispiel The bank can guarantee deposits will eventually cover future tuition costs because it invests in adjustable-rate mortage securities. bank_2 sloping land (especially the slope beside a body of water) e.g., they pulled the canoe up on the bank, he sat in the bank of the river and watched the currents

72 Corpus Lesk bei SENSEVAL/SEMEVAL als baseline genutzt Kilgarriff & Rosenzweig (2000) modifizierte overlap-berechnung Worte im overlap zusätzlich gewichtet nach inverse document frequency (IDF) #doc idf i = log #doc i #doc Zahl der Dokumente, #doc i Dokumente mit Wort i IDF von Stopwords ist gering, daher ist keine Stopwortfilterung notwendig

73 Extended Lesk erweiterte overlap-berechnung Banerjee and Pedersen (2003) berechne overlap nicht nur zwischen Sense- Definitionen, sondern berücksichtige deren Kontext, z.b. similarity(a,b)= overlap(gloss(a), gloss(b)) + overlap(gloss(hypo(a)), gloss(hypo(b))) + overlap(gloss(hypo(a), gloss(b)) + overlap(gloss(a), gloss(hypo(b))

74 Extended Lesk erweiterte overlap-berechnung Banerjee and Pedersen (2003) berechne overlap nicht nur zwischen Sense- Definitionen, sondern berücksichtige deren Kontext sim elesk c 1, c 2 = overlap(gloss(r r,q RELS c 1 ), gloss(q c 2 )) wobei RELS die Relationen der lexikalischsemantischen Ressource sind

75 Weitere Modifikationen Selektionspräferenzen die Definition des Kontextes kann um syntaktische Information erweitert/besschränkt werden für ein Nomen z.b. um das Verb, mit dem es auftritt und die (grammatische) Rolle ihrer Beziehung

76 Weitere Modifikationen Ähnlichkeit zweiter Ordnung bislang haben wir nur ein Wort in seinem beobachteten Kontext mit Worten eines möglichen Wortsinnes verglichen alternativ kann der Kontext eines Wortes auch durch eine Kombination aller möglichen Worte aus seinem (beobachteten) Kontext definiert werden (Ähnlichkeit zweiter Ordnung)

77 Nächste Woche beide Erweiterungen wurden im Zsg. mit distributionellen Modellen der Wortsemantik weiter entwickelt und werden nächste Woche diskutiert des weiteren: Hausaufgabe wird ausgegeben manuell Annotation von Word Senses

78 Referenzen Zum Nachlesen Jurafsky & Martin (2009), 5.3, 5.5, 19.1, 20.4, 20.6 Folien POS-Tagging-Folien basieren teilweise auf Präsentationen von Roger Levy, Dan Klein, Chris Manning, Jason Eisner WordNet-Folien basieren teilweise auf einer Präsentation von Christiane Fellbaum