Bedeutung als Vektor? Überlegungen zur Distributionellen Semantik

Transkript

1 Bedeutung als Vektor? Überlegungen zur Distributionellen Semantik Christine Engelmann Germanistische Sprachwissenschaft (Friedrich-Schiller-Universität Jena)

2 Forschungsbereich innerhalb der Computerlinguistik automatische Methoden zur Gewinnung und Verwendung von Wissen über die sprachliche Bedeutung Verfahren aus dem mathematischen Gebiet der linearen Algebra

3 (Quantifizierung der) Bedeutungsähnlichkeit zwischen sprachlichen Ausdrücken Katze Hund vs. Katze Auto

4 (Quantifizierung der) Bedeutungsähnlichkeit zwischen sprachlichen Ausdrücken Grundlage ist die statistische Verteilung von Wörtern in umfangreichen Korpora

5 Distributionelle Hypothese: Wörter, die in ähnlichen sprachlichen Kontexten vorkommen, ähneln sich auch in ihrer Bedeutung [ ] if we consider words or morphemes A and B to be more different in meaning than A and C, then we will often find that the distributions of A and B are more different than the distributions of A and C. In other words, difference of meaning correlates with difference of distribution. (Harris, 1954, S.43)

6 Bedeutung und Kontext (Lin, 1998): Eine Flasche Tezgüino steht auf dem Tisch. Jeder mag Tezgüino. Tezgüino macht dich betrunken. Wir stellen Tezgüino aus Mais her. Eine Flasche Bier steht auf dem Tisch. Jeder mag Bier. Bier macht dich betrunken.

7 Arten von Kontexten: Dokument Verfahren aus dem Bereich des Information Retrieval (Stichwort Suchmaschinen)

8 Dokument 1 Dokument 2 Dokument 3 Die Äpfel (Malus) bilden eine Pflanzengattung der Kernobstgewächse (Pyrinae) aus der Familie der Rosengewächse (Rosaceae). [ ] Die Arten der Gattung Äpfel (Malus) sind sommergrüne Bäume oder Sträucher. [...] Gemeinhin bekannt sind die mehr oder minder rundlichen, essbaren Früchte. Birnenhonig, auch Birnenkraut, Birnendicksaft, Birähung oder Birnenkonzentrat genannt, ist ein opaker, dickflüssiger, brauner bis schwarzbrauner, eingedickter Fruchtsaft aus Birnen manchmal werden dafür auch Äpfel verwendet der hauptsächlich in der Zentralschweiz vorkommt. [ ] Bei der Produktion ist zu beachten, dass man den richtigen Zeitpunkt, nämlich wenn die Birnen kernteig sind, auswählt. In einer Glühlampe lässt man einen elektrischen Strom durch einen dünnen, aus einem leitenden Material (Leiter) (meist ein Metall) bestehenden Faden fließen. [ ] Die aufgenommene elektrische Leistung wird jedoch nur zu einem geringeren Teil in Form von sichtbarem Licht abgestrahlt. [ ] sodass ab Oktober 2016 nur noch Birnen mit unter 15 Watt Leistung erlaubt seien. Artikelfragmente aus de.wikipedia.org

9 Aufbau einer Term-Dokument-Matrix Dokument 1 Dokument 2 Dokument 3 Äpfel Birnen Bäume Früchte Strom Licht 0 0 1

10 Aufbau einer Term-Dokument-Matrix Dokument 1 Dokument 2 Dokument 3 Äpfel Birnen Bäume Früchte Strom Licht Repräsentation der Wortbedeutung als Vektor, der die statistische Verteilung des Wortes über die verschiedenen Kontexte erfasst

11 Berechnung der Ähnlichkeit zwischen Vektoren Maß für semantische Ähnlichkeit zwischen Wörtern häufiges Ähnlichkeitsmaß: Kosinus des Winkels zwischen den Vektoren cos( a, b) a a b b

12 Semantischer Vektorraum Äpfel Früchte Licht

13 Kosinusähnlichkeiten zwischen Wortpaaren Äpfel Birnen Bäume Früchte Strom Licht Äpfel Birnen Bäume Früchte Strom Licht

14 Arten von Kontexten: Dokument, Absatz, Satz, Phrase Wortfenster

15 Kookkurrenzen in Wortfenstern Die Äpfel (Malus) bilden eine Pflanzengattung der Kernobstgewächse (Pyrinae) aus der Familie der Rosengewächse (Rosaceae). [ ] Die Arten der Gattung Äpfel (Malus) sind sommergrüne Bäume oder Sträucher. [...] Gemeinhin bekannt sind die mehr oder minder rundlichen, essbaren Früchte.

16 Kookkurrenzen in Wortfenstern Die Äpfel (Malus) bilden eine Pflanzengattung der Kernobstgewächse (Pyrinae) aus der Familie der Rosengewächse (Rosaceae). [ ] Die Arten der Gattung Äpfel (Malus) sind sommergrüne Bäume oder Sträucher. [...] Gemeinhin bekannt sind die mehr oder minder rundlichen, essbaren Früchte.

17 Aufbau einer Wort-Kontext-Matrix Die Äpfel (Malus) bilden eine Pflanzengattung der Kernobstgewächse (Pyrinae) aus der Familie der Rosengewächse (Rosaceae). [ ] Die Arten der Gattung Äpfel (Malus) sind sommergrüne Bäume oder Sträucher. [...] Gemeinhin bekannt sind die mehr oder minder rundlichen, essbaren Früchte. bilden Gattung Bäume Malus Äpfel Bäume

18 Suche: semantisch ähnlichste Wörter zu Deutschland :deutschland :belgien :italien :großbritannien :england :spanien :frankreich :österreich :dänemark :irland :schweden :portugal :griechenland :luxemburg :finnland :schottland

19 Suche: semantisch ähnlichste Wörter zu Bürger 1.0:bürger :arbeiter :nahrungsmittelsicherheit :arbeitnehmer :forscher :völker :umwelt :verbraucher :renten :städte :wettbewerbsfähigkeit :kompetenzen :wirtschaft :energiesicherheit :meinungsfreiheit :politiken

20 Arten von Kontexten: Dokument, Absatz, Satz, Phrase Wortfenster syntaktische Beziehungen spezifische Muster mögliche Anwendung: (automatische) Interpretation von Nominalkomposita?

21 Nominalkomposita Schokoladenkuchen Apfelbaum Haarnadel Holzhütte

22 Nominalkomposita Schokoladenkuchen semantische Relationen zwischen den Komponenten: Beschreibung anhand eines festgelegten Inventars abstrakter Kategorien Schokoladenkuchen (MATERIAL) Paraphrasierung Schokoladenkuchen (Y besteht aus X)

23 Nominalkomposita Holzhütte?

24 Latent Relational Analysis (Turney, 2004): Messung der Ähnlichkeit zwischen Relationen Suche nach Analogien Steinmetz : Stein Zimmermann : Holz Repräsentation der Relation im Wortpaar als Vektor, der die statistische Verteilung dieser Wörter über bestimmte sprachliche Muster erfasst... X bearbeitet Y X verwendet Y... Steinmetz:Stein Zimmermann:Holz

25 Latent Relational Analysis: Nominalkomposita? Y besteht aus X X ist in Y Holz:Hütte Geschirr:Schrank Schnee:Haufen 19 0

26 Latent Relational Analysis: Output? Liste sprachlicher Muster, in denen Komponenten vorkommen Paraphrasierungsmöglichkeiten für Nominalkomposita zusammen mit Frequenzangabe aus dem Korpus Maß für relationale Ähnlichkeit zu bereits klassifizierten Nominalkomposita Klassifizierungsmöglichkeiten für Nominalkomposita Holzhütte Schneehaufen (MATERIAL) Holzhütte Geschirrschrank (LOKAL)

27 Überlegungen zu den Komposita: Nomen-Nomen-Komposita endozentrische Determinativkomposita semantisch transparente Komposita nicht-lexikalisierte Komposita

28 Fragen Anknüpfungspunkte zu semantischen Theorien innerhalb der Linguistik? Weitere Möglichkeiten der Anwendung im linguistischen Bereich?

29 Girju, R., Moldovan, D., Tatu, M. & Antohe, D. (2005): On the semantics of noun compounds. Computer Speech and Language, 19, Harris, Zellig (1954): Distributional Structure. Word, 10, Jänich, K. (2004): Lineare Algebra. Berlin (u.a.) : Springer. Lenci, A. (2008): Distributional semantics in linguistic and cognitive research. A foreword. Italian Journal of Linguistics, 20 (1), Levi, J.N. (1987): The syntax and semantics of complex nominals. New York: Academic Press. Lin, D. (1998): Automatic Retrieval and Clustering of Similar Words, Proceedings of the 36th Annual Meeting of the Association for Computational Linguistics and the 17th International Conference on Computational Linguistics (COLING-ACL 98), Sahlgren, M. (2008): The Distributional Hypothesis. Italian Journal of Linguistics, 20 (1), Turney, P.D. (2004): Human-level performance on word analogy questions by latent relational analysis. Technical Report ERB-1118, NRC Widdows, D. (2004): Geometry and Meaning. Stanford: CSLI Publications.

30 Außerdem: