Verb-, Objekt- und Kontextinformation bei der Rezeption von Handlungsanweisungen Petra Weiß, Bernd Hildebrandt, Hans-Jürgen Eikmeyer & Gert Rickheit Universität Bielefeld, SFB 360, Postfach 10 01 31, 33501 Bielefeld petra.weiss@uni-bielefeld.de Abstract. Für die Rezeption von Handlungsanweisungen sind Verben von besonderer Bedeutung. Im SFB 360 spielen vor allem Handlungsverben für Konstruktionsaufgaben eine Rolle. Um eine Instruktion angemessen zu verstehen, muß neben der Verbsemantik auch der situative Objektkontext beachtet werden. Es werden zwei Experimente vorgestellt, in denen (i) der Beitrag der sprachlich-semantischen Faktoren Verbspezifität und Spezifität der Benennung eines Zielobjektes in Interaktion mit den visuellen Kontextfaktoren referentielle Eindeutigkeit bzw. Ambiguität der Farbe und Funktion des Zielobjektes sowie (ii) die Position der Verben in den Anweisungen in Interaktion mit diesen Kontextfaktoren untersucht wurden. Es zeigt sich, daß die Rezeption von Anweisungen zur Manipulation von Objekten sowohl durch die sprachlich gegebene als auch durch die visuell verfügbare Information determiniert wird. Es wird dabei jeweils die Information zur Referenzauflösung herangezogen, die dafür besonders gut geeignet ist, und zwar unabhängig davon, aus welchem Sinneskanal sie stammt. Einführung Damit eine Anweisung verstanden und die vom Sprecher intendierte Handlung gelingen kann, müssen neben der Verbsemantik auch die jeweils gegebenen situativen Rahmenbedingungen beachtet werden. Es werden zwei Experimente vorgestellt, in denen der Einfluß der sprachlich-semantischen Faktoren Verbspezifität und Spezifität der Objektbenennung in Interaktion mit dem situativ-visuellen Objektkontext sowie die Position der Verben in den Anweisungen untersucht wurden (vgl. Weiß, Hildebrandt & Rickheit, in Druck). Experiment 1: Verbspezifität, Spezifität der Objektbenennung und Objektkontext Die Menge möglicher Handlungen, die durch ein Verb beschrieben wird, kann unterschiedlich groß sein. Sie ist bei einem unspezifischen Handlungsverb ( verbinden ) größer als bei einem spezifischen ( verschrauben ). Spezifische Verben haben einen 238
höheren Informationsgehalt und schränken die Handlungsmöglichkeiten eines Rezipienten stärker ein als unspezifische (Fellbaum & Kegl, 1989). Die Unterteilung von Verben nach ihrem Spezifitätsgrad beruht auf einer Übertragung der semantischen Relation der Hyponymie, die zur Beschreibung der Struktur des Lexikons für Nomina verwendet wird. Da diese Relation für das Verblexikon jedoch dahingehend modifiziert wurde, daß bei der Angabe der Beziehung zwischen zwei Verben auch die Art und Weise angegeben wird ( verschrauben heißt auf eine bestimmte Art zu verbinden ), wurde für den Bereich der Verben der Begriff der Troponymie eingeführt (Fellbaum, 1998). Auch Troponymie führt ähnlich der Hierarchiestruktur der Nomina zu einer hierarchischen Verbstruktur. Da es sich bei der Unterscheidung von Verben nach ihrem Spezifitätsgrad um eine relative Unterscheidung handelt, d.h. ein Verb ist immer nur spezifischer als ein anderes, müssen geeignete Verbpaare gefunden werden, um diesen Faktor experimentell variieren zu können. In den folgenden Experimenten wurden dem SFB-Basisszenario gemäß nur solche Handlungsverben verwendet, mit denen die konkrete Manipulation von Objekten beschrieben werden kann. Es wird angenommen, daß Verbinformation zur Auflösung von Referenzproblemen beiträgt. Rickheit et al. (1996) konnten zeigen, daß die Relevanz der Verbinformation kontextabhängig variiert. Insbesondere in kontextuell ambigen Situationen sollte Verbinformation zur Referenzauflösung genutzt werden, d.h. vor allem dann begünstigt spezifischere Information die Verarbeitung entsprechender Anweisungen. Analog wird für die Benennung eines Zielobjektes erwartet, daß eine spezifische Bezeichnung vor allem in kontextuell ambigen Situationen aufgrund des höheren Informationsgehalts zu einer schnelleren Identifikation führt als eine allgemeine (vgl. Mangold-Allwinn et al., 1995). Die Faktoren Verbspezifität und Spezifität der Objektbenennung wurden zweistufig als spezifisch und unspezifisch variiert. Bei der Benennung des Zielobjektes wurde im allgemeinen Fall die Bezeichnung Teil und im spezifischen Fall eine Bezeichnung auf Basisebene gewählt (z.b. Schraube ). Als Kontextvariablen wurden Farbe und Funktion des Zielobjektes im Vergleich zu zwei Kontextobjekten als referentiell eindeutig versus referentiell ambig variiert. Die Verben wurden in den Anweisungen am Satzende positioniert: Mit dem grünen Teil sollst Du das rote Teil/die rote Schraube verbinden/verschrauben. Damit sollte erreicht werden, daß zunächst die Information über Farbe und Funktion der Objekte und erst dann die aufgrund der Annahmen vor allem in ambigen Situationen relevante Verbinformation verarbeitet wird. Nach der Präsentation des Zielobjektes und der beiden Kontextobjekte auf einem Computerbildschirm wurde die entsprechende Handlungsanweisung akustisch dargeboten. Zeitgleich erschien ein viertes Objekt auf dem Monitor, an dem das Zielobjekt in der je nach Verb geforderten Art und Weise zu montieren war. Die Versuchspersonen hatten die Aufgabe, eines der drei zuerst dargebotenen Objekte als Zielobjekt auszuwählen. Die Reaktionszeiten für die Auswahl sowie die Anzahl der richtigen und falschen Reaktionen wurden erhoben. Insgesamt machten die Versuchspersonen sehr wenige Fehler. Eine Varianzanalyse ergab, daß die Reaktionen bei spezifischen Verben signifikant schneller erfolgen als 239
bei unspezifischen, und zwar sowohl bei eindeutigem als auch bei ambigem Objektkontext (Abb. 1). Entgegen der Erwartung wird jedoch bei unspezifischer Benennung des Zielobjektes eine signifikant schnellere Auswahl getroffen als bei spezifischer (Abb. 2). Bei referentiell eindeutiger Farbe des Zielobjektes wird dieses signifikant schneller ausgewählt als bei referentiell ambiger (Abb. 1 u. 2). Außerdem besteht eine statistisch bedeutsame Interaktion zwischen Farbe und Objektbenennung (Abb. 2). Bei eindeutiger Farbe ist der Effekt der schnelleren Verarbeitung der unspezifischen Benennung besonders deutlich. Bei referentiell eindeutiger Funktion des Zielobjektes sind die Zeiten für die Objektauswahl dagegen signifikant länger als bei referentiell ambiger (Abb. 1). 3000 2950 2900 2850 2800 Farbe eindeutig/funktion eindeutig Farbe eindeutig/funktion ambig Farbe ambig/funktion eindeutig Farbe ambig/funktion ambig 2750 Verb unspez. Verb spez. Abb. 1. Durchschnittliche Reaktionszeiten für die Wahl des Zielobjektes in ms Spezifische Verben erleichtern die Verarbeitung der Anweisungen. Der erwartete Interaktionseffekt zwischen Verbspezifität und Kontextinformation tritt dagegen nicht auf. Die sprachliche Information, die durch das jeweilige Handlungsverb vermittelt wird, scheint für die Verarbeitung ausschlaggebend zu sein. Entgegen der Erwartung wird bei unspezifischer Benennung des Zielobjektes schneller reagiert als bei spezifischer. Es kann daher nicht von einer vollständigen Abhängigkeit der konzeptuellen Verarbeitung von sprachlich vermittelter Information ausgegangen werden. Vielmehr werden Informationen aus dem visuellen und sprachlichen Kanal herangezogen, für eine gewisse Zeit unabhängig voneinander verarbeitet und erst später integriert. Dies wird auch durch die Betrachtung der Referenzauflösung in eindeutigen versus ambigen Kontexten unterstützt. Die bedeutend schnellere Auswahl des Zielobjektes bei referentiell eindeutiger Farbe zeigt, daß Farbinformation eine besondere Rolle bei der Referenzauflösung spielt. Die unerwarteten Ergebnisse zur Rolle der Funktion sowie zur Spezifität der Objektbenennung deuten darauf hin, daß Information, die sich in der gegebenen Situation unter Umständen als redundant (spezifische Objektbenennung) oder schwer zugänglich erweist (Funktion), erschwerend auf den Aufbau einer angemessenen Situationsrepräsentation und somit auch auf 240
die Rezeption entsprechender Anweisungen auswirken kann (vgl. Mangold-Allwinn et al., 1995). 3100 3000 2900 2800 2700 ZO unsp./teil ZO sp./objektname 2600 Farbe eindeutig Farbe ambig Abb. 2. Durchschnittliche Reaktionszeiten für die Wahl des Zielobjektes in ms: Interaktion von Farbe und Spezifität der Benennung des Zielobjektes Experiment 2: Verbposition und Objektkontext In diesem Experiment wurden die Position des Handlungsverbs in den Anweisungen (vorne mitte hinten), die Verbspezifität sowie Farbe und Funktion des Zielobjektes wie in Experiment 1 variiert. Neben einer Bestätigung der Effekte aus Experiment 1 wird erwartet, daß vor allem bei referentiell ambigem Kontext Verbendstellung zu langen (da die Verbinformation abgewartet werden muß) und Verberststellung zu kurzen Verarbeitungszeiten führt (da die Verbinformation bereits vor der Kontextinformation vorliegt). Auch in diesem Experiment machten die Versuchspersonen insgesamt nur sehr wenige Fehler. Eine Varianzanalyse ergab weitgehend die erwartete Bestätigung der Ergebnisse aus dem ersten Experiment: Die Reaktionen erfolgen bei spezifischen Verben signifikant schneller als bei unspezifischen. Bei referentiell eindeutiger Farbe des Zielobjektes wird signifikant schneller reagiert als bei referentiell ambiger (Abb. 3). Es zeigt sich kein statistisch bedeutsamer Effekt für die Funktion des Zielobjektes. Insgesamt sind die Reaktionszeiten abweichend von Experiment 1 bei referentiell eindeutiger Funktion kürzer als bei referentiell ambiger (Abb. 4). Betrachtet man aber die tendenziell signifikante Interaktion zwischen Verbposition und Funktion, zeigt sich, daß dieser Effekt nur bei Verberst- und -mittelstellung auftritt (Abb. 4). Bei Verbendstellung sind wie im ersten Experiment die Zeiten bei ambiger Funktion kürzer als bei eindeutiger. Insgesamt betrachtet, hat die Verbposition keinen statistisch bedeutsamen Effekt, sie interagiert aber signifikant mit der Farbe (Abb. 3). 241
Wie erwartet werden bei referentiell eindeutiger Farbe Anweisungen mit Verbendstellung am schnellsten, solche mit Verberststellung am langsamsten verarbeitet. Bei ambiger Farbe zeigt sich ein besonders deutlicher Reaktionszeitanstieg bei Anweisungen mit Verbendstellung. 2700 2650 2600 2550 2500 2450 Farbe eindeutig Farbe ambig 2400 Verb vorne Verb mitte Verb hinten Abb. 3. Durchschnittliche Reaktionszeiten für die Wahl des Zielobjektes in ms: Interaktion von Farbe und Verbposition 2700 2650 2600 2550 2500 2450 2400 Verb vorne Verb mitte Verb hinten Funktion eindeutig Funktion ambig Abb. 4. Durchschnittliche Reaktionszeiten für die Wahl des Zielobjektes in ms: Interaktion von Funktion und Verbposition Mit diesem Experiment wurden zum einen die Resultate aus dem ersten Experiment bestätigt. So zeigt sich wiederum deutlich der Einfluß des sprachlich-semantischen Faktors Verbspezifität sowie des Kontextfaktors Farbe. Zum anderen können die zu den Ergebnissen des ersten Experiments angestellten Überlegungen zur Interaktion und Integration sprachlicher und visueller Information nun dahingehend präzisiert 242
werden, daß diese multi-modale Information zeitlich nicht unmittelbar integriert wird, sondern daß die Integration erst nach einer Phase uni-modaler Verarbeitung erfolgt. Dabei wird nach möglichst eindeutiger Information gesucht und zur Verarbeitung herangezogen, unabhängig davon, aus welchem Sinneskanal sie stammmt. Dies zeigt sich vor allem darin, daß besonders bei Verbendstellung und der damit verbundenen früheren Verfügbarkeit der Information über die Farbe des Zielobjektes bei eindeutiger Farbe besonders schnell und bei ambiger Farbe besonders langsam reagiert wird. Im ersten Fall kann bereits bei Vorliegen der Farbinformation reagiert werden, im zweiten Fall muß das jeweilige Handlungsverb abgewartet werden, um eine Entscheidung treffen zu können. Fazit und Ausblick Die Experimente zeigen, daß die Rezeption von Anweisungen zur Manipulation und Konstruktion von Objekten nicht nur durch die sprachlich gegebene Information, sondern auch durch die visuell in einer Situation verfügbare Information determiniert wird. Dabei wird jeweils die Information zur Referenzauflösung herangezogen, die die Verarbeitung möglichst gut erleichtert. Sie zeigen außerdem, daß es sich bei den für die Satzverarbeitung relevanten Einheiten um kognitiv bedeutsame Inkremente handelt, die entweder sprachlich vermittelt oder visuell verfügbar sein können (Weiß et al., 1999). Um welche Einheiten es sich dabei handelt, soll in weiteren Experimenten untersucht werden, in denen auch der zeitliche Verlauf bei der Verarbeitung akustisch dargebotener Handlungsanweisungen in Interaktion mit dem Objektkontext genauer analysiert wird. Die Ergebnisse dieser und der vorliegenden Experimente werden in einem Rezeptionsmodell berücksichtigt, das Teil eines Sprachverstehenssystems des SFB 360 ist und zu dem eine qualitative Computersimulation durchgeführt wird. Literatur Fellbaum, C. (1998). A semantic network of English verbs. In C. Fellbaum (Ed.), WordNet: An electronic lexical database (pp. 69-104). Cambridge, MA: MIT Press. Fellbaum, C. & Kegl., J. (1989). Taxonomic structures and cross-category linking in the lexicon. In K. de Jong & Y. No (Eds.), ESCOL 89: Proceedings of the Sixth Eastern State Conference on Linguistics (pp. 93-104). Columbus, Ohio: Ohio State University. Mangold-Allwinn, R., Barattelli, S., Kiefer, M. & Koelbing, H. G. (1995). Wörter für Dinge: Von flexiblen Konzepten zu variablen Benennungen. Opladen: Westdeutscher Verlag. Rickheit, G., Eikmeyer, H.-J. & Kessler, K. (1996). Integration von Verb- und Argumentinformation beim Satzverstehen (Abschlußbericht). Bielefeld: Universität Bielefeld. Weiß, P., Kessler, K., Hildebrandt, B. & Eikmeyer, H.-J. (1999). Konzeptualisierung in inkrementell-integrativer Sprachverarbeitung. Kognitionswissenschaft, 8(3), 108-114. Weiß, P., Hildebrandt, B. & Rickheit, G. (in Druck). Empirische Untersuchungen zur Rezeption von Handlungsanweisungen: der Einfluß semantischer und kontextueller Faktoren. Sprache & Kognition. 243