Kompositionalität & DSM

Transkript

1 & DSM 7. Dezember 2011

2 Mitchell & Lapata (2008) I Evaluation verschiedener Kompositionsmodi: additiv gewichtet additiv (Kintsch, 2001) multiplikativ gemischt p = u + v Vektoraddition p = α u + β v Vektoraddition + Skalare Multiplikation p = α u + β v + n n m Vektoraddition inkl. Nachbarn des Prädikats p i = u i v i punktweises Produkt p i = αu i + βv i + γu i v i gewichtete Summe aus gewichtet additiv und multiplikativ Ergebnis: multiplikativ ist besser

3 Mitchell & Lapata (2008) II Diskussion (s. z.b. Grefenstette, 2010): additives und multiplikatives Modell sind kommutativ was Gewichte genau besagen und wie man sie bestimmt ist unklar

4 Erk & Padó (2008) I A Structured Vector Space Model for Word Meaning in Context Selektionsrestriktionen/-präferenzen werden mittels zusätzlicher Vektoren kodiert: w = ( v, R, R 1 ), R, R 1 : {subj, obj, comp,...} D

5 Erk & Padó (2008) II Vektorkomposition basiert auf einfachem Kompositionsmodus von z.b. Mitchell & Lapata (2008) Eigentliche Komposition mit den Selektionsvektoren: a = ( v a R 1 b (r), R a {r}, R 1 a ) b = ( v b R a (r), R b, R 1 b {r})

6 Erk & Padó (2008) III Bestimmung der Selektionsvektoren aus Korpus: Semantischer Raum: BNC, höchstfrequente Worte als Dimensionen, Frequenzen in Fenster der Größe 10 Dependenz-Parsing zur Bestimmung der grammatischen Relationen: f (a, r, b) Frequenz mit der a in Relation r zu b im Korpus vorkommt Bestimmung der Selektionsfunktionen: R b (r) 0 = f (a, r, b) v a R b (r) cut = a:f (a,r,b)>0 a:f (a,r,b)>θ R b (r) pow = (R b (r) 0 ) n f (a, r, b) v a bzgl. punktweiser Multiplikation

7 Erk & Padó (2008) IV Diskussion (s. z.b. Grefenstette, 2010): syntaktische Information steuert die Komposition keine rekursive Komposition (der groß schwere rote Ball) keine echte Komposition, sondern eher Disambiguierung

8 Baroni & Zamparelli (2010) Nouns are vectors, adjectives are matrices: Representing adjective-noun constructions in semantic space Idee: Adjektive sind lineare VR-Abbildungen V V, dh. dargestellt durch Matrizen Ergebnis der Komposition eines Adjektivs A mit einem Nomen v ist A v Adjektivbedeutungen werden aus Korpus anhand von Adjektiv-Nomen-Paaren gelernt Diskussion: Was hat die gelernte Adjektivbedeutung A mit dem entsprechenden Vektor zu tun? Separate Bedeutung eines Adjektivs je Verwendungsweise (prädikativ vs. modifizierend)

9 Clark & Pulman (2007) I Definition (Tensorprodukt über Vektorräumen) Seien V ein n-dimensionaler VR mit Basis (v 1,..., v n ) und W ein m-dimensionaler VR mit Basis (w 1,..., w m ). Dann ist das Tensorprodukt V W dieser Räume der n m-dimensionale Vektorraum mit Basis (v i w j ) i=1,...,n;j=1,...,m. Das Tensorprodukt zweier Vektoren v = n i=1 a iv i V und v = m i=1 b iw i W ist gegeben durch v w = n i=1 m a i b j (v i w j ) j=1 Man stelle sich vor, im kartesischen Produkt V W zu rechnen, wobei man (v i w j ) mit (v i, w j ) identifiziert (aber Vorsicht, diese Analogie hat enge Grenzen; vgl. R 2 als R-VR mit R R)

10 Clark & Pulman (2007) II Combining symbolic and distributional models of meaning John drinks strong beer quickly Eigene Vektoren für grammatische Relationen {subj, obj, adj, adv,...} die orthonormal sind Repräsentation: drinks subj John obj ( beer adj strong) adv quickly

11 Clark & Pulman (2007) III Satz Sei V ein Innenproduktraum. Dann ist V V ein Innenproduktraum mit (v 1 v 2 ), (v 1 v 2) = v 1, v 1 v 2, v 2, v i, v i V Damit einfacher Vergleich von Ausdrücken mit gleicher Struktur: John drinks beer vs. Mary drinks wine Diskussion (s. z.b. Grefenstette, 2010): das Tensorprodukt ist nicht kommutativ das Resultat der Komposition ist in einem anderen VR als die Ausgangsvektoren Sätze unterschiedlicher Länge liegen in verschiedenen Räumen und sind nicht vergleichbar

12 Vergleich DSM-Anspruch: Ein Kompositionsmodus f : V V V für einen Typ von semantischem Objekt Vergleich zur Montague-Semantik: Im Prinzip auch nur zwei Kompositionsmodi: Funktionalapplikation: FA(ϕ, ψ) = ϕ ( ψ ) Intersektive Modifikation: IM(ϕ, ψ) = λx.ϕ(x) ψ(x) (IM ist sogar kommutativ!) ABER: extrem reiches Typeninventar: dog/red/sleep see give a former e, t e, e, t e, e, e, t e, t, e, t, t e, t, e, t

13 Zusammenfassung Komposition Nur einen Kompositionsmodus bei einem semantischen Typ zu verlangen ist unrealistisch Kommutativität eines einzelnen Kompositionsmodus ist kein grundlegendes Problem

14 Literatur M. Baroni and R. Zamparelli Nouns are vectors, adjectives are matrices: Representing adjective-noun constructions in semantic space. In Proceedings of the Conference on Empirical Methods in Natural Language Processing (EMNLP 2010), East Stroudsburg PA: ACL, pages S. Clark and S. Pulman Combining symbolic and distributional models of meaning. In Proceedings of the AAAI Spring Symposium on Quantum Interaction, pages 52 55, Stanford, CA. D. Clarke. submitted. A Context-theoretic Framework for Computational Semantics. Submitted to Computational Linguistics for review K. Erk and S. Padó A structured vector space model for word meaning in context. In Proceedings of EMNLP, pages E. Grefenstette Compositionality in Distributional Semantics Models: A Critical Overview of Current Literature. unpublished Ms. E. Grefenstette, M. Sadrzadeh, S. Clark, B. Coecke and S. Pulman Concrete sentence spaces for compositional distributional models of meaning. Proceedings of the 9th International Conference on Computational Semantics (IWCS 2011). W. Kintsch Predication. Cognitive Science, 25(2): J. Mitchell and M. Lapata Vector-based models of semantic composition. In Proceedings of ACL, pages P. Smolensky Tensor product variable binding and the representation of symbolic structures in connectionist systems. Artificial Intelligence, 46(1 2): , November.