Semantisches Gedächtnis HAL-Modell Experimente Fazit Literatur HAL. Hyperspace Analogue to Language. Mandy Neumann. 30. April 2012

Transkript

1 HAL Hyperspace Analogue to Language Mandy Neumann 30. April 2012

2 Inhalt Semantisches Gedächtnis HAL-Modell Experimente Fazit

3 Gedächtnisstruktur Prozedurales (implizites) Gedächtnis

4 Gedächtnisstruktur Prozedurales (implizites) Gedächtnis Deklaratives (explizites) Gedächtnis Episodisches Gedächtnis persönliche Erlebnisse

5 Gedächtnisstruktur Prozedurales (implizites) Gedächtnis Deklaratives (explizites) Gedächtnis Episodisches Gedächtnis persönliche Erlebnisse Semantisches Gedächtnis Bedeutungen, Begriffe, Fakten Allgemeinwissen über die Welt

6 Semantisches Gedächtnis zum Auffinden der Bedeutung von Wörtern und Sätzen Inhalte sind nicht an bestimmte Erlebnisse gebunden abstrakte Struktur beschreibt kategorische und funktionale Beziehung zwischen Konzepten vermutlich aufgebaut über allgemeine Erfahrungen mit der Welt inkrementelle Anhäufung von Informationen über die Bedeutung von Konzepten

7 Modelle des semantischen Gedächtnisses sollten beschreiben wie die Repräsentation dieser abstrakten Struktur aussieht wie diese aus Erfahrungen gewonnen wird

8 Modelle des semantischen Gedächtnisses sollten beschreiben wie die Repräsentation dieser abstrakten Struktur aussieht wie diese aus Erfahrungen gewonnen wird verschiedene Ansätze Netzwerkmodelle Merkmalsmodelle Assoziativmodelle statistische Modelle HAL

9 Das Modell entwickelt von Curt Burgess und Kevin Lund (ab ca. 1995) Zielsetzung: Charakterisierung des Erwerbs semantischer Information als eine Form der statistischen Inferenz aus verschiedenen Erfahrungen Erfahrungen = Kontexte Entwicklung einer unüberwachten automatisierten Methode, die auch auf verrauschtem Input funktioniert

10 Das Modell entwickelt von Curt Burgess und Kevin Lund (ab ca. 1995) Zielsetzung: Charakterisierung des Erwerbs semantischer Information als eine Form der statistischen Inferenz aus verschiedenen Erfahrungen Erfahrungen = Kontexte Entwicklung einer unüberwachten automatisierten Methode, die auch auf verrauschtem Input funktioniert Vorgehen: Speicherung von Wörtern oder Konzepten in einem hochdimensionalen semantischen Raum (Vektorraum) Quantifizierung von Beziehungen zwischen Wörtern oder Konzepten durch Anwendung von Distanzmetriken

11 Methode Korpus: Textinhalt aus dem Usenet - ca. 160 Millionen Wörter Kontextfenster läuft schrittweise über den Text Aufzeichnung von Kookkurenzwerten Werte invers proportional zum Wortabstand im Fenster Speichern der Werte in einer Kookkurenzmatrix Achsen = Vokabular für jedes Wort je eine Zeile und eine Spalte mit relevanten Werten Bildung von Vektoren für jedes Wort durch Konkatenation von Zeile und Spalte aus einer n n-matrix werden n Vektoren der Länge 2n Kürzen der Vektoren Durchführen von Berechnungen auf den Punkten im mehrdimensionalen Raum

12 barn fell horse past raced the PERIOD barn fell horse past raced the Tabelle: Beispielmatrix für The horse raced past the barn fell (Fensterbreite 5)

13 Distanzberechnung Distanzberechnung im mehrdimensionalen Raum mittels Minkowski-Distanzmetrik distance = r ( xi y i ) r r = 2: Euklidische Distanz distance = ( xi y i ) 2 r = 1: Cityblock-Distanz distance = ( x i y i )

14 Experiment 1 Idee: in Vektoren kodierte Wortbedeutung sollte über Distanzmessung deutlich werden ähnlichere Vektoren für ähnlichere Wörter Methode: Berechnung der Distanzen von jedem Wortvektor zu allen anderen Vektoren Vokabular: häufigste Wörter aus dem Korpus Zielwörter: 20 willkürlich aus dem mittleren Frequenzbereich ausgewählt Distanzmaß: Euklidische Distanz Sortieren der Nachbarn aufsteigend nach Distanzen

15 Experiment 1 Idee: in Vektoren kodierte Wortbedeutung sollte über Distanzmessung deutlich werden ähnlichere Vektoren für ähnlichere Wörter Methode: Berechnung der Distanzen von jedem Wortvektor zu allen anderen Vektoren Vokabular: häufigste Wörter aus dem Korpus Zielwörter: 20 willkürlich aus dem mittleren Frequenzbereich ausgewählt Distanzmaß: Euklidische Distanz Sortieren der Nachbarn aufsteigend nach Distanzen Ergebnis: die je nächsten Nachbarn eines Zielwortes teilen Bedeutung (semantisch und assoziativ) die Nachbarschaft eines Wortes bildet ein semantisches Feld

16 Target n1 n2 n3 n4 n5 jugs juice butter vinegar bottles cans leningrad rome iran dresden azerbaijan tibet lipstick lace pink cream purple soft triumph beauty prime grand former rolling cardboard plastic rubber glass thin tiny monopoly threat huge moral gun large Tabelle: Die jeweils 5 nächsten Nachbarn für Zielworte aus Experiment 1

17 Experiment 2 Fragestellung: Tragen die Vektoren kategoriale Information? Methode: multidimensionale Skalierung auf dem semantischen Raum Zielwörter: aus 3 Kategorien ausgewählt

18 Experiment 2 Fragestellung: Tragen die Vektoren kategoriale Information? Methode: multidimensionale Skalierung auf dem semantischen Raum Zielwörter: aus 3 Kategorien ausgewählt Ergebnis: visuell klar abgetrennte Kategorien mit kleineren Überschneidungen (semantische Nähe) Validierung der Methode

19 Abbildung: Multidimensionale Skalierung der Kookkurenzvektoren aus Experiment 2

20 Experiment 3 Idee: Erweiterung der Ergebnisse aus Experiment 2 Untersuchung der Korrelation zwischen Vektordistanz und Reaktionszeit bei Bahnungseffekten Methode: Vokabular: Paare semantisch ähnlicher Worte aus früherer Studie; unähnliche Wortpaare zur Kontrolle Fensterbreite: variiert von 1 bis 10 Distanzmaße: Minkowski-Metriken mit r=1, r=1.5 und r=2 Berechnung der Korrelationen zwischen Distanz und Reaktionszeit für gleiche Wortpaare

21 Experiment 3 Idee: Erweiterung der Ergebnisse aus Experiment 2 Untersuchung der Korrelation zwischen Vektordistanz und Reaktionszeit bei Bahnungseffekten Methode: Vokabular: Paare semantisch ähnlicher Worte aus früherer Studie; unähnliche Wortpaare zur Kontrolle Fensterbreite: variiert von 1 bis 10 Distanzmaße: Minkowski-Metriken mit r=1, r=1.5 und r=2 Berechnung der Korrelationen zwischen Distanz und Reaktionszeit für gleiche Wortpaare Ergebnis: alle Korrelationen signifikant je kleiner r, desto besser (Optimum: r=1) optimale Fensterbreite: 8 Modell spiegelt kognitive Effekte wider

22 Abbildung: Korrelationen zwischen Vektordistanzen und menschlichen Reaktionszeiten für verschiedene Distanzmetriken

23 Fazit Information über Wortbedeutung kann aus automatischer, unüberwachter Textanalyse gewonnen werden Rolle des Kontext: 2 Wörter sind semantisch verwandt, wenn sie dazu tendieren, im gleichen Kontext aufzutreten auch wenn sie nie zusammen vorkommen! Modell auch auf verrauschtem, konversationsähnlichem Input ohne Vorverarbeitung erfolgreich Modell ist theoretische Erklärung für den Aufbau des semantischen Gedächtnisses

24 Lund, K. and Burgess, C. (1996). Producing high-dimensional semantic spaces from lexical co-occurence. Behavior Research Methods, Instruments, and Computers, 28(2): Lund, K., Burgess, C., and Atchley, R. A. (1995). Semantic and associative priming in high-dimensional semantic space. Cognitive Science Proceedings (LEA), pages