Erstellung eines systematischen Wortschatzes für die automatische Gebärdenspracherkennung

Transkript

1 Forschungsberichte des Instituts für Phonetik und Sprachliche Kommunikation der Universität München (FIPKM) 37 (2001) Erstellung eines systematischen Wortschatzes für die automatische Gebärdenspracherkennung Anke Hannig Institut für Phonetik und Sprachliche Kommunikation Ludwig-Maximilians-Universität, München Schellingstr. 3 D Munich, Germany ankeh@phonetik.uni-muenchen.de ABSTRACT Development of a systematic vocabulary for sign language recognition A database including sign language gestures, itemised according to sublexical constituents (handshape, orientation of palm, location, movement, oral elements, non-manual elements) will be generated as a basis for the development of an automatic system for sign language recognition. The vocabulary consisting of these signs will then be combined to form sentences with varying degrees of difficulty according to criteria still to be determined and recorded on video as a sample. For a more effective approach, this project aims at enabling sign language recognition to function on the basis of a recognition of sublexical elements using the database as an interface instead of working with individual signs as a whole. 65

2 1 EINLEITUNG Die automatische Spracherkennung ist ein wichtiges und interdisziplinäres Arbeitsfeld. Unter automatischer Spracherkennung versteht man im weitesten Sinne die Simulation der menschlichen Spracherkennung durch Maschinen; mit einem automatischen Spracherkenner wird also versucht, das menschliche Sprachverstehen nachzuahmen. Bereits seit vielen Jahren wird intensive Forschung betrieben, um für die Praxis einsetzbare Spracherkennungssysteme zu entwickeln, dabei ist die Forschung in der Regel aber auf die Entwicklung von Erkennungssystemen für die Lautsprache konzentriert. Die Automatische Gebärdenspracherkennung ist ein neues Forschungsgebiet, bei dem analog zur Lautspracherkennung gebärdete Äußerungen automatisch erfasst und in geschriebene oder gesprochene Sprache umgewandelt werden. Bei der Entwicklung von Gebärdenspracherkennungssystemen gibt es zwei Arbeitsmethoden. Zum einen wird mit Datenhandschuhen gearbeitet. Dies ist jedoch für die Praxis nicht sehr vorteilhaft, weil die Handschuhe die Handmotorik und die natürliche Bewegung behindern und weil ein Erkennungssystem in der Zukunft auch ohne aufwendige am Körper angebrachte Technik funktionieren soll. Bei der zweiten Methode wird videobasierte Erkennung in Kombination mit Hidden-Markov-Modellen eingesetzt, stochastischen Modellen zur Berechnung von Wahrscheinlichkeiten, die auch in vielen modernen Lautspracherkennungssystemen und in zahlreichen Verfahren statistischer Analyse von Sprache Anwendung finden. In Deutschland beschäftigt sich der Lehrstuhl für Technische Informatik der RWTH Aachen mit videobasierten Systemen. Dort geht man von der Erkennung ganzer Gebärdensprachworte aus, die nicht mehr in ihre Einzelteile zerlegt werden, das heißt für jedes Lexem wird ein eigenes Hidden- Markov-Modell erstellt und trainiert. Das Ziel des hier dargestellten Promotionsprojektes Erstellung eines systematischen Wortschatzes für die automatische Gebärdenspracherkennung ist es, als Grundlage für die Entwicklung eines automatischen Gebärdenspracherkennungssystems eine Datenbank mit Gebärden zu erstellen, die in ihre sublexikalischen Elemente aufgeschlüsselt sind. Damit soll eine Ansatzmöglichkeit für die Erkennung der Deutschen Gebärdensprache geboten werden, bei der die segmentierten und in die Datenbank eingearbeiteten Gebärden nicht jeweils als geschlossene Einheit erkannt werden müssen, sondern aus der Analyse und Addition der einzelnen Bestandteile eine Identifikation der Gebärde möglich wird. 66

3 2 GRUNDLAGEN 2.1 Die Deutsche Gebärdensprache Gebärdensprache ist als konventionelles Zeichensystem zu definieren, dessen Elemente eine bestimmte Struktur aufweisen, nach bestimmten Regeln miteinander verknüpft werden und im Sinne der symbolischen Interaktion der zwischenmenschlichen und intrapersonellen Verständigung dienen (WISCH 1990: 155). Der Begriff der Deutschen Gebärdensprache, einer von Linguisten als vollwertig anerkannten eigenständigen Sprache mit eigener Struktur, umfassendem Lexikon und komplexer Grammatik, bezieht sich auf die Gebärdensprache, die innerhalb der deutschen Gehörlosengemeinschaft verwendet wird (vgl. Prillwitz 1985: 8). Unter Gehörlosengemeinschaft ist wiederum die Gruppe der Gehörlosen zu verstehen, die in ihrer Gemeinschaft in Gebärdensprache kommunizieren, denn erst die Gebärdensprache macht aus einer Anzahl gehörloser Menschen eine soziale Gemeinschaft (EBBINGHAUS und HESSMANN 1989: 27). In meinen Ausführungen beziehe ich mich explizit auf die Deutsche Gebärdensprache in Abgrenzung zu Mischformen wie den verschiedenen Formen der lautsprachbegleitenden Gebärden, die sich in ihrer Grammatik an den Lautsprachen orientieren und damit keine eigenständige Sprache sind, oder dem Fingeralphabet, bei dem für jeden Buchstaben des Alphabets eine Handform existiert, und das zum Buchstabieren von Namen, Fremdwörtern u.ä. verwendet wird. Der Amerikaner WILLIAM STOKOE erforschte ab 1960 als erster die Amerikanische Gebärdensprache (ASL) als eigenständige Sprache und untergliederte dabei die Gebärdenzeichen in kleinste bedeutungsunterscheidende Einheiten, die er analog zu den Phonemen als Chereme bezeichnete. Als Chereme der Gebärdenzeichen unterschied er Ausführungsstelle, Handform und Bewegung (STOKOE 1960, zitiert nach BECKER 1997: 9). Später wurde auf der Basis der Arbeit STOKOEs die Amerikanische Gebärdensprache weiter erforscht. BATTISON (1974) legte als zusätzlichen Parameter der Amerikanischen Gebärdensprache die Handstellung ( orientation of palm ) fest. Aus verschiedenen Gründen begann die Erforschung der Deutschen Gebärdensprache erst weitaus später; 1985 legte PRILLWITZ die Skizzen einer Grammatik der Deutschen Gebärdensprache vor. PRILLWITZ bestimmte analog zu STOKOE und BATTISON als Dimensionen der Deutschen Gebärdensprache Handform, Handstellung, Ausführungsstelle und Bewegung (PRILLWITZ 1985). In diesem Zusammenhang ist es nicht möglich, im einzelnen auf den Aufbau und die Grammatik der Deutschen Gebärdensprache einzugehen. Ein Gesichtspunkt der visuellen Struktur der Gebärdensprache, der auch in Zusammenhang mit den Gebärdensprachparametern von großer Bedeutung sein wird, soll hier jedoch besondere Erwähnung finden: Die Simultanität. Lautsprachen sind phonologisch und morphologisch sequentiell strukturiert, Laute als Bestandteile von Wörtern und Wörter als Bestandteile von Sätzen folgen stets in einer linearen Abfolge aufeinander. 67

4 STOKOE (1960, zitiert nach BECKER 1997: 9) postulierte, dass das maßgebliche Prinzip der Organisation der Gebärdensprachparameter im Gegensatz dazu die Simultanität sei: Das Produktionstempo für eine Äußerung der Gebärdensprache und der Lautsprache ist ungefähr gleich, die Bildung einer Einzelgebärde dauert jedoch durchschnittlich um einiges länger als die Produktion eines Wortes. Dieser scheinbare Widerspruch kann teilweise dadurch erklärt werden, dass eine Einzelgebärde mehr Informationen beinhaltet als ein lautsprachlich gebildetes Wort, denn über den visuellen Kanal kann linguistische Information simultan übertragen werden. Die Parameter der Gebärden können gleichzeitig wahrgenommen und einzeln und unabhängig voneinander produziert werden. In der gesprochenen Sprache werden dagegen die linguistischen Formen sukzessive aneinandergereiht (BOYES BRAEM 1995: 46 ff). LIDDELL (1984) wies jedoch nach, dass die Gebärdensprache auch auf sequentiellen Repräsentationen beruht, dies kommt beispielsweise bei Handstellungswechsel, Wechsel des Kontaktbereichs, Wechsel der Ausführungsstelle in einer Gebärde, Richtungsgebärden u.ä. zum Ausdruck. 2.2 Terminologie Sowohl der Begriff der Phonologie, der Lehre, die sich mit den bedeutungsunterscheidenden Sprachlauten befasst, als auch der des Phonems, der kleinsten bedeutungsunterscheidenden Einheit lassen sich vom griechischen Wort phonos (Laut) herleiten. Diese Begrifflichkeit scheint für die Gebärdensprachen jedoch eher unpassend. Auch die Gebärden lassen sich, wie bereits im kurzen Abriß zur Geschichte der Gebärdensprachforschung erwähnt, in kleinste Einheiten aufteilen. Es stellt sich die Frage, wie diese Einheiten zu benennen sind. STOKOE (1995: 239) leitete seinen Begriff des Cherems für die kleinste bedeutungsunterscheidende Einheit von griechisch cher = Hand ab. Allgemein rückt man in der Gebärdensprachforschung methodisch und terminologisch in der Regel nicht allzu weit von der Lautsprachlinguistik ab und arbeitet trotz der begrifflichen Fragwürdigkeit mit den Termini Phonologie und Phonem, der Ausdruck der Phonologie muss damit in Anlehnung an eine Definition von RAMERS und VATER (1991) anders bestimmt werden: Phonologie als Teilbereich der Sprachwissenschaft, der sich mit den minimalen Einheiten der Sprache beschäftigt. Da die Elemente der Deutschen Gebärdensprache nicht nur bedeutungunterscheidende, sondern auch bedeutungstragende Funktion haben können und diese Funktionen mitunter nicht getrennt werden können, spreche ich im folgenden allgemein von den Parametern der Deutschen Gebärdensprache. 68

5 3 PARAMETER DER DEUTSCHEN GEBÄRDENSPRACHE Die einzelnen Gebärden der Gebärdensprache lassen sich in sublexikalische Elemente zerlegen, die bedeutungsunterscheidend oder bedeutungstragend sein können. Damit können sie Phonem- oder Morphemcharakter haben (BECKER 1997: 25). Nach BECKER (1997: 28) setzt sich eine gebärdensprachliche Äußerung aus den Parametern: Handkonfiguration (Form und Stellung der Hände, Kontaktbereich), Bewegung (Aktivitäten der Hände und Arme), Ausführungsstelle (Orte im Gebärdenraum und am Körper, in denen die Bewegung ausgeführt wird), nonmanuelle Elemente (Bewegung des Kopfes und Oberkörpers, Blickrichtung, Lippenbewegung, Gesichtsausdruck, falls diese an dem Zustandekommen der Bedeutung des Zeichens beteiligt sind) und orale Elemente (lautloses Artikulieren deutscher Wörter oder von Teilen deutscher Wörter) zusammen. Die bedeutungsunterscheidende Funktion der einzelnen Parameter kann anhand von Minimalpaaren nachgewiesen werden. Minimalpaare sind Ausdrücken verschiedener Bedeutung, die sich nur durch eine miminale Einheit unterscheiden, z.b. dt. List vs. Lust. 3.1 Handkonfiguration Handform Der Begriff der Handform umfasst nach PAPASPYROU (1990: 46) Daumenstellung, Beugung und Abwinkelung der Finger. Gebärdensprache ist keine international einheitliche Sprache, jedes Land, in dem sich Gehörlose zu einer Gemeinschaft zusammenfinden, verfügt über eine eigene nationale Gebärdensprache mit eigenem Wortschatz und eigener Grammatik, und so verfügt jede Gebärdensprache auch über ein individuell begrenztes Handformeninventar. Handformen, die in einer Gebärdensprache Anwendung finden können in anderen Gebärdensprachen unbekannt sein. 69

6 PAPASPYROU (1990: 64) verzeichnet 34 Handformen der Deutschen Gebärdensprache, aus denen die Gebärden der Deutschen Gebärdensprache gebildet werden. Abb. 1 Handformen der Deutschen Gebärdensprache aus PAPASPYROU (1990: 64) Ungefähr 20 dieser Handformen wirken bedeutungsunterscheidend, einige auch bedeutungstragend (PRILLWITZ 1985: 12). Auf die bedeutungstragende Funktion der Handformen wird in Zusammenhang mit Klassifikatoren näher eingegangen. Nach BOYES BRAEM (1995: 22) gibt es 6 Grundhandformen, die als erste erworben, am häufigsten genutzt werden und in allen bekannten Gebärdensprachen vorkommen. Abb. 2 Die sechs Grundhandformen aus BOYES BRAEM (1995: 22) 70

7 Zusätzlich zu den oben genannten Handformen können auch Zeichen des Fingeralphabets Teil von Gebärden sein, wobei in der Regel auf den ersten Buchstaben der lautsprachlichen Übersetzung des gebärdeten Begriffs Bezug genommen wird. FRIEDMANN (1977: 25) bezeichnet derartig gebildete Gebärden als Lehnphone, die nur in Lehnwörtern aus der entsprechenden Lautsprache Verwendung finden. Dem wird jedoch von BECKER widersprochen: Offensichtlich ist die Verknüpfung eines Elements des Fingeralphabets, das dem Anfangsbuchstaben eines geschriebenen Wortes entspricht, mit anderen Komponenten ein produktives Mittel der Deutschen Gebärdensprache zur Schaffung neuer Gebärden. Dabei wird die ursprüngliche Handform des Fingeralphabets zu einem bedeutungsunterscheidenden Element der Deutschen Gebärdensprache und geht in das produktive Lexikon ein (BECKER 1997: 38). Ein Beispiel für die bedeutungsunterscheidende Funktion der Handform sind die Gebärden MUTTER und ALT. Die Handformen dieser Gebärden sind unterschiedlich, wohingegen Handstellung, Ausführungsstelle und Bewegung identisch sind. Die Handform muss während der Ausführung eines Gebärdenzeichens nicht statisch bleiben, sondern kann dynamisch variieren. Dabei können sich sowohl die Handform, als auch Stellung und Orientierung verändern. Dies bezeichnet man als Handformenwechsel Handstellung Abb. 3 MUTTER und ALT aus BECKER (1997: 37) Die Handstellung nimmt nach PAPASPYROU (1990: 46) Bezug auf Handflächenorientierung und Fingerrichtung, wobei unter Fingerrichtung die gerade Verlängerung der Linie Handrücken- Fingeransatz zu verstehen ist (PRILLWITZ et al., 1989: 14). Der Vorteil der Einteilung in Handflächenorientierung und Fingeransatzrichtung besteht darin, daß so Gebärden mit Objektinkorporation einfach dargestellt werden können. So wird z.b. in der Gebärden BEOBACHTEN (...) je nach Fingerrichtung das anvisierte Objekt bestimmt. Berichtet der Erzähler, daß eine dritte Person etwas beobachtet, so weist der 71

8 Handrücken in die Richtung der zuvor im Gebärdenraum lokalisierten Person und die Finger auf den zu beobachtenden Gegenstand (BECKER 1997: 41). Ein Minimalpaar für die distinktive Funktion der Handstellung sind die Gebärden für TREFFEN und GLEICH: Kontaktbereich Abb. 4 TREFFEN und GLEICH aus BOYES BRAEM (1995: 23) Der Kontaktbereich beschreibt den Teil der aktiven Hand, die Kontakt zum Körper hat (PAPASPYROU 1990: 46). FRIEDMANN (1977: 48 f) führt für die Amerikanische Gebärdensprache Fingerspitze, Daumenspitze, Handfläche, Seite und Handrücken als Kontaktbereiche auf und unterscheidet Gebärden grundsätzlich nach contact signs und noncontact signs. Die bedeutungsunterscheidende Funktion des Kontaktbereichs kann z.b. durch das Minimalpaar ENTSCHULDIGUNG und SALBE dokumentiert werden: Abb. 5 ENTSCHULDIGUNG und SALBE aus BECKER (1997: 42) 72

9 3.1.4 Besonderheiten der Handkonfiguration Zweihandgebärden Es gibt eine Vielzahl von Gebärden, die mit beiden Händen realisiert werden. Bei den so genannten Zweihandgebärden sind jeweils die dominante oder die aktive Hand (bei Rechtshändern die rechte, bei Linkshändern die linke Hand) und die nichtdominante oder die passive Hand zu unterscheiden. PRILLWITZ (1985: 15) bestimmt drei Kategorien zweihändiger Gebärdenzeichen: 1. Symmetrie-Form: Handkonfiguration und Bewegung sind identisch oder verhalten sich spiegelbildlich. 2. Mittel-Form Die Handformen beider Hände sind gleich, die Handstellung kann unterschiedlich sein; es bewegt sich nur eine der beiden Hände. 3. Dominanz-Form Die Handkonfigurationen beider Hände sind unterschiedlich, und es bewegt sich ausschließlich die dominante Hand. Die passive Hand nimmt eine der sechs Grundhandformen ein. Für das Zusammenspiel der Hände innerhalb einer Gebärde gibt es gewisse Regeln, die bei allen bisher bekannten Gebärdensprachen übereinstimmen: Nach der Regel der Symmetrie müssen beide Hände, wenn sie sich gleichzeitig bewegen, auch die gleiche Handform aufweisen. Die Regel der Dominanz legt fest, dass dann, wenn beide Hände unterschiedliche Handformen aufweisen, nur die dominante Hand bewegt werden darf (BATTISON 1978) Klassifikatoren Die Parameter der Deutschen Gebärdensprache haben bedeutungsunterscheidende und bedeutungstragende Funktion. Ein Beispiel für Parameter mit Morphemcharakter sind die sogenannten Klassifikatorgebärden, bedeutungstragende Handkonfigurationen, die verschiedene Klassen von Substantiven repräsentieren (BOYES BRAEM 1995: 77). BOYES BRAEM (1995: 78 ff) beschreibt Handformen, die Größe und Form von Objekten klassifizieren, z. B. eine klassifizierende Handform für Objekte mit gerader, breiter Oberfläche, eine Handform für die Klasse der kleinen, eckigen Objekte oder eine Handform für die Klasse der kleinen, dünnen, leichten Objekte. Darüber hinaus legt sie Gegenstandsklassen fest, so zum Beispiel die Handform für die Klasse Fahrzeuge oder die Handform für die Klasse Zweibeinbewegung. 73

10 Abb. 6 Handform für die Klasse der kleinen, dünnen, leichten Objekte aus BOYES BRAEM (1995: 84) Abb. 7 Handform für die Klasse Zweibeinbewegung aus BOYES BRAEM (1995: 88) Da Klassifikatoren sich auf Klassen von Substantiven beziehen, muss bei ihrer Verwendung zunächst deutlich gemacht werden, auf welchen Referenten konkret Bezug genommen wird. Anschließend tritt die Klassifikatorhandform in Kombination mit der meist ebenfalls konventionalisierten Form eines Bewegungsmorphems auf, wobei die Bewegungsmuster simultan oder sukzessive miteinander kombiniert werden können (vgl. BOYES BRAEM (1995: 88f) unter Bezug auf SUPALLA 1982). 3.2 Ausführungsstelle Die Ausführungsstelle bezeichnet den Ort im Gebärdenraum, an dem die Gebärde ausgeführt wird. Gebärden können in Kontakt, in der Nähe oder weit entfernt vom Körper ausgeführt werden, die passive Hand kann die Ausführungsstelle der aktiven Hand werden. Es gilt zunächst, zu definieren, was unter dem Begriff Gebärdenraum zu verstehen ist: Bei der Pantomime darf der Mime den ganzen Raum in Anspruch nehmen, in der Gebärdensprache hingegen werden die Gebärden in einem begrenzten Raum, dem so genannten Gebärdenraum gebildet, der kaum verlassen wird. Der Gebärdenraum (...) ist jener körpernahe Bereich zwischen Kopf und Bauch, den Arme und Hände eines Menschen bequem erreichen können und der in das Blickfeld eines Gegenübers fällt, ohne dass jener seinen Blick vom Gesicht des Sprechers abwenden müßte (EBBINGHAUS und HESSMANN 1989: 82). Abb. 8 Der Gebärdenraum aus BOYES BRAEM (1995: 23) 74

11 Bei der Kommunikation mittels Gebärdensprache werden nicht unablässig die Bewegungen der Hände verfolgt, sondern das Gegenüber blickt in das Gesicht und die Augen des Gebärdenden, so dass Bewegungen in der Nähe des Gesichtes besser wahrgenommen werden können als weiter entfernt gebildete Gebärden. Hieraus folgt, dass der Gebärdenraum in Zusammenhang mit den Zonen der relativen Sehschärfe steht (BOYES BRAEM 1995: 25). Abb. 9 Zonen der relativen Sehschärfe aus BOYES BRAEM (1995: 25) Es besteht die Möglichkeit, analog zum Flüstern oder Schreien in der Lautsprache, die Gebärden einer bestimmten Situation oder Intention anzupassen. Wird in einem großen Raum gebärdet, in dem auch weiter entfernt sitzende Personen beispielsweise einem Vortrag folgen können sollen, so werden große, den Gebärdenraum überschreitende Gebärden verwendet; soll nur der Gesprächspartner und nicht die Umstehenden die Gebärden verstehen, wird mit sehr kleinen Gebärden geflüstert. Auch bei Müdigkeit oder Unkonzentriertheit ist es möglich, dass der Gebärdenraum verkleinert wird. Es ist denkbar, dass Gebärden verrutschen, aber trotzdem erkannt werden. Möglicherweise lassen sich diese Variationen der Ausführungsstelle als unterschiedliche Realisierungen eines Phonems und damit als Allophone betrachten. Gegebenenfalls sind sie auch lediglich die Folge eines gebärdensprachlichen Nuschelns (BECKER 1997: 59). EBBINGHAUS und HESSMANN (1989: 104) weisen darauf hin, dass der Gebärdensprache eine visuelle Struktur zugrunde liegt, wobei im Gebärdenraum ein übersichtliches und in sich stimmiges Szenario aufgebaut wird. BECKER beschreibt diese Eigenschaft des Gebärdenraumes näher: Der Gebärdenraum bzw. die Ausführungsstelle hat vor allem grammatische Bedeutung. (...) Die Ausführungsstelle spielt vor allem bei der Verortung der einzelnen Referenten (...) innerhalb des Gebärdenraumes eine Rolle. Sind diese Referenten durch verschiedene Zeichen benannt, kann der Gebärdende sich auf diese beziehen, indem er auf die jeweilige Ausführungsstelle bzw. auf den dort plazierten imaginären Körper des Referenten verweist. Dies kann (...) durch Zeigen mit einem Finger geschehen (Deiktik) oder durch das 75

12 Aufnehmen der Ausführungsstelle in Richtungsgebärden (Inkorporation von Objekt und Subjekt) (...). In dieser Funktion hat die Ausführungsstelle Morphemcharakter (BECKER 1997: 60 f). Die Ausführungsstelle kann aber auch bedeutungsunterscheidend wirken, wie der untenstehenden Abbildung zu entnehmen ist: 3.3 Bewegung Abb. 10 PAPA und HERBST aus BOYES BRAEM (1995: 25) Die Bewegung ist der wichtigste Parameter für die Analyse der Gebärdensprache. Eine Studie, die die Bedeutung der Bewegung klar zum Ausdruck bringt, stammt von POIZNER, BELLUGI, LUTES-DRISCOLL (1981). Die Forscher fixierten kleine Lichtquellen an fünf Stellen des Körpers (Kopf, Schultern, Ellbogen, Handgelenk und Spitze des Zeigefingers) und nahmen Gebärden im Dunkeln per Video auf, so dass man nur die Bewegung der Gebärden sehen konnte. Die Gehörlosen waren im Stande, 86% der Gebärden allein vom Bewegungsablauf her zu bestimmen. WISCH (1990: 162) unterscheidet als Bewegungskomponenten Bewegungstypen (geradlinige, gewölbte Bewegung, Kreisbewegung, Spiralbewegung, Einzelgelenkbewegung, Fingerbewegung) und Ausführungsarten (Tempo, Intensität, Größe, Wiederholung). Hierzu muss nach PRILLWITZ et al. (1989: 34) noch die Bewegungsrichtung ergänzt werden. Bei den Parametern Handform, Handstellung und Ausführungsstelle handelt es sich um obligatorische Merkmale von Gebärden, denn ohne diese Parameter könnte keine Gebärde gebildet werden, die Bewegungskomponente dagegen ist fakultativ, da es auch statische Gebärdenzeichen gibt, in denen keine Bewegung auftritt (WISCH 1990: 62). Die Bewegung kann in der Gebärde bedeutungstragende Funktion haben, so läßt sich zum Beispiel durch die Wiederholung einer Bewegung der Plural kennzeichnen, durch eine schleifenartige Bewegung, kombiniert mit Kopfschütteln, eine Verneinung oder durch die höhere Intensität der Bewegung eine Verstärkung (BECKER 1997: 49 ff). 76

13 Die distinktive Funktion der Bewegung lässt sich mit dem Minimalpaar MUT und ANGST zeigen, wobei bei beiden Gebärde auch die Mimik Bedeutung vermittelt: Abb. 11 MUT und ANGST aus BECKER (1997: 52) Bewegungen, die einen Weg zwischen zwei Ausführungsstellen beschreiben, werden in der Literatur zur Amerikanischen Gebärdensprache als Pfadbewegung (path movement) (SANDLER 1990: 16) beschrieben, Bewegungen der Finger oder des Handgelenks als interne Bewegung (internal movement) (SANDLER 1989: 55). Es sind auch Kombinationen zwischen diesen beiden Varianten möglich. 3.4 Nonmanuelle Elemente Nonmanuelle Elemente umfassen Bewegungen von Augen, Gesicht, Kopf und Oberkörper, die lexikalische, grammatische und syntaktische Funktion aufweisen. Die nichtmanuelle Markierung kann Bestandteil des Lexikoneintrags sein. Nonmanuelle Elemente laufen in der Regel gleichzeitig mit den Bewegungen der Arme und Hände ab. Außerdem besteht die Möglichkeit, dass sie zeitlich koordiniert mit einzelnen Elementen der Parameter der Bewegung oder der Handkonfiguration erfolgen (BECKER 1997: 66). Gebärden können auf lexikalischer Ebene durch bestimmte Gesichtsausdrücke modifiziert werden, so dass sich die Bedeutung der ursprünglichen Gebärde verändert. Dabei fungiert die nichtmanuelle Markierung als unabhängiges Morphem mit z.b. adjektivischer oder adverbialer Bedeutung (BECKER 1997: 64). Linguistische Mimik ist von der affektiver Mimik zu unterscheiden. Affektive Mimik wird außerhalb der Sprachstruktur von Gebärdenden und Sprechern mehr oder weniger bewußt verwendet (...), um Informationen über den eigenen emotionalen Zustand, die Einstellung und vieles mehr zu vermitteln (BECKER 1997: 64). BOYES BRAEM (1995: 99 ff) unterscheidet für die schweizerdeutsche Gebärdensprache verschiedene nichtmanuelle Modifikationen, die durch die deutschen Wörter intensiv, leicht/normal, unaufmerksam, nah/gerade, groß/viel/sehr, mit Staunen, heimlich, verständnislos und mit Überzeugung beschrieben werden können. 77

14 Die einzelnen Satztypen werden auf syntaktischer Ebene vor allem durch unterschiedliche Mimik und Kopfhaltung unterschieden (BECKER 1997: 65). BOYES BRAEM (1995: 105 ff) beschreibt die nichtmanuellen Ausdrucksformen für verschiedene Satztypen folgendermaßen: Ja/Nein-Fragesätze Der Kopf wird leicht nach vorne geneigt, die Augenbrauen angehoben, die Augen weit geöffnet. W-Fragen Diese Fragen werden in Gebärdensprachen durch eine Kombination nichtmanueller Ausdrucksmittel angezeigt, wie das Zusammenziehen der Augenbrauen und ein leichtes Zurückneigen des Kopfes. Bejahung Um eine Frage zu bejahen, besteht zum einen die Möglichkeit, ja zu gebärden, zum anderen kann der Satz mit Kopfnicken wiederholt werden. Außer bei der Bejahung von Fragen kann diese nichtmanuelle Ausdrucksform auch als Zeichen zur Bekräftigung dessen, das gerade gesagt wird, verwendet werden. Verneinung Neben manueller Verneinung kann die Verneinung eines Satzes auch nur durch Kopfschütteln oder das Runzeln der Stirn, oft mit zusätzlichem Naserümpfen, ausgedrückt werden. Konditionalsätze Konditionalsätze verlangen als gesondertes, nichtmanuelles Signal zur Begleitung des Konditional-Satzteil einen geneigten Kopf mit leichtem Vorstoßen und erhobene Augenbrauen. Vor dem resultierenden Satzteil wird pausiert. Dieser Satzteil wird von einer Änderung des nichtmanuellen Ausdrucks, meistens eine Änderung der Kopfstellung und des Oberkörpers, begleitet. Relativsätze In der schweizerdeutschen Gebärdensprache wird der Nebensatz nicht durch die Wortstellung oder ein manuelles Signal als Nebensatz angezeigt, sondern durch ein begleitendes, nichtmanuelles Signal. 3.5 Orale Elemente Die gebärdensprachliche Kommunikation ist von der sie umgebenden Lautsprache nicht vollkommen unabhängig: Orale Elemente, die meist in engem Zusammenhang mit Gebärden auftreten, können die Artikulation deutscher Wörter oder von Teilen deutscher Wörter umfassen. Abzugrenzen von den Mundbildern ist die so genannte Mundgestik, die den nonmanuellen Bestandteilen der Gebärdensprache zuzuordnen ist und Mundbewegungen als Teile der Mimik bezeichnet. Lautlos produzierte Wörter der deutschen Lautsprache werden herangezogen, um die Bedeutung von Gebärden abzusichern, zu spezifizieren oder zu ergänzen (BECKER 1997: 73). Lediglich 30% des Gesprochenen kann eindeutig von den Lippen abgesehen werden, deshalb ist die (...) die Auswahl und die Artikulation [der Ableseworte] in besonderem Maße von den Gesetzmäßigkeiten des Lippenlesens abhängig (...) (BECKER 1997: 70). Ablesewörter erscheinen meist isoliert und nicht in einer Abfolge. Sie können in reduzierter Fom auftreten. EBBINGHAUS und 78

15 HESSMANN (1995: 56) konstatieren, dass vor allem stammorientiert und unter Weglassung der Flexionen artikuliert wird. In der Deutschen Gebärdensprache kommen viele Gebärdenpaare vor, in denen der manuelle Bestandteil gleich bleibt, aber der orale differiert (BECKER 1997: 72). Nach BOYES BRAEM (1995: 117) sind Mundbilder in diesem Zusammenhang bedeutungsunterscheidend. Dem widerpricht BECKER (1997: 71), die die Meinung vertritt, dass das orale Element nicht als kleinste bedeutungsunterscheidende Einheit betrachtet werden kann, weil es möglich ist, das Absehwort an sich schon zu verstehen. Dieses würde damit auf lexikalische, bedeutungstragende Einheiten verweisen: Zusammenfassend läßt sich sagen, daß orale Elemente zwar fester Bestandteil der Struktur der DGS sind, nicht aber als Phoneme fungieren. Vielmehr agieren in gebärdensprachlichen Äußerungen zwei Zeichensysteme miteinander, was durch die Fähigkeit des Menschen, auf visueller Ebene simutan wahrnehmen zu können, ermöglicht wird (BECKER 1997: 73). Zu der Fragestellung, ob Mundbilder bedeutungsunterscheidende oder bedeutungstragende Funktion haben, konnte noch kein wissenschaftlicher Konsens erzielt werden. 79

16 4 ERSTELLUNG DER DATENBANK Die Gebärden der Deutschen Gebärdensprache setzen sich aus den Parametern Handform, Handstellung, Ausführungsstelle, Bewegung, nonmanuelle Elemente und orale Elemente zusammen. Als Grundlage für die automatische Gebärdenspracherkennung soll im Rahmen eines Promotionsprojektes eine Datenbank programmiert und dort die in ihre Parameter aufgeschlüsselten Gebärden der Deutschen Gebärdensprache eingearbeitet werden. Damit bietet sich die Möglichkeit, dass im automatischen Erkennungsverfahren nach der Analyse und Erkennung einzelner Parameter eine Identifikation der Gebärde durch Vergleiche innerhalb dieser Datenbank möglich werden. 4.1 Arbeitsmittel Das Hamburger Notationssystem Um eine Gebärdensprach-Datenbank zu erstellen, muss eine Möglichkeit der schriftlichen Fixierung der Deutschen Gebärdensprache gefunden werden. Zur Zeit existiert noch kein allgemein gebräuchliches Verschriftungssystem, es wurden jedoch bereits verschiedene Versuche mit unterschiedlichen Zielsetzungen unternommen, Notationssysteme zu entwickeln. Für die geplante Datenbank erweist sich das vom Institut für Deutsche Gebärdensprache in Hamburg entwickelte Hamburger Notationssystem (HamNoSys) als gut geeignet, denn hierbei handelt es sich um ein phonetisches Transkriptionssystem für Gebärden, mit dem die phonetischen Details der Gebärden festgehalten werden können. Ein weiterer Vorteil besteht darin, dass HamNoSys als Computer-Zeichensatz verfügbar ist und wie eine Schrift verwendet werden kann Die Firma Bei Die Firma handelt es sich um einen von Christiane METZGER, Rolf SCHULMEISTER und Heiko ZIENERT entwickelten multimedialen Gebärdensprachkurs auf CD-ROM mit einem umfangreichen, aus einzelnen Quicktime-Filmen bestehenden Grundwortschatz der Deutschen Gebärdensprache. Dieses aus ca. 650 Gebärden bestehende Vokabular wird, transkribiert in das Hamburger Notationssystem, in die Datenbank eingearbeitet Notation der nonmanuellen und oralen Elemente Das Hamburger Notationssystem ermöglicht eine zuverlässige Notation der Parameter Handform, Handstellung, Ausführungsstelle und Bewegung. Nonmanuelle Elemente lassen sich jedoch nur partiell darstellen und die Verschriftung der oralen Elemente befindet sich im Aufbau. Für die Notation der nonmanuellen Elemente, also der Bewegungen von Augen, Gesicht, Kopf und Oberkörper mit lexikalischer, grammatischer oder syntaktischer Funktion, werde ich ein System entwickeln, in dem das Zusammenspiel der nichtmanuellen Modifikationen dargestellt werden kann. 80

17 Um die oralen Elemente zu erfassen, wird, soweit ohne Stimme gebärdet wird, die visuell wahrnehmbare Lippenbewegung verschriftet. Bei Gebärden mit Stimme wird die Lautgestalt notiert. 4.2 Sätze in gestuften Schwierigkeiten Die in der Datenbank aufgeschlüsselten Gebärden werden nach noch festzulegenden Kriterien in gestuften Schwierigkeiten zu Sätzen in der Grammatik der Deutschen Gebärdensprache zusammengefügt, damit die Gebärden nicht nur isoliert, sondern in verschiedenen grammatikalischen Kontexten betrachtet werden können. Die gestuften Schwierigkeiten der Gebärdensprachsätze beziehen sich auf deren Analysierbarkeit im Rahmen der automatischen, videobasierten Gebärdenspracherkennung. Parameter und Parameterkombinationen, die für die automatische Erkennung, aus unterschiedlichen Gründen schwierig analysierbar sind, werden erst in späteren Analyse-Stufen eingesetzt. Dazu gehören beispielsweise mimisch markierte Adjektive, Adverbien und Satztypen, da eine genaue Analyse der Mimik eine ausdifferenzierte Technik und Software erfordert und trotzdem noch nicht zufriedenstellend möglich ist. Um die Analyse für die automatische Gebärdenspracherkennung zu vereinfachen, werden im Rahmen der Gebärdensprachsätze in Bezug auf die so genannten Übereinstimmungsverben, bei denen der Ausgangspunkt der Bewegung mit dem Subjekt, der Endpunkt mit dem Objekt der Tätigkeit übereinstimmt, bei der Etablierung von Referenzpunkten im Gebärdenraum nur drei genau definierte Referenzpunkte zugelassen. Die so erstellten Sätze werden nochmals von Gehörlosen gebärdet, auf Video aufgenommen und transkribiert. 4.3 Transitionen und Koartikulation In den aufgenommenen Sätzen lassen sich neben den grammatikalischen Zusammenhängen auch Transitionen und Koartikulation beobachten und beschreiben, denn diese Zwischenbewegungen und gegenseitigen Beeinflussungen der Gebärden im Gebärdenfluss haben selbstverständlich Einfluss auf die automatische Analyse. Transitionen gehören zum Bereich Bewegung. Bei der Realisierung von Gebärden begeben sich die Hände und Arme in eine Position, aus der heraus sie mit der Ausführung der Gebärde beginnen können. Dadurch entstehen zwischen zwei Gebärden Bewegungen, die nicht am Zustandekommen der Bedeutung der einzelnen Gebärden teil haben. Es kann zwar vorausgesagt werden, dass eine Transition zwischen zwei Gebärden erfolgen muss, die Form ist jedoch nicht vorhersehbar, da sie individuell unterschiedlich ausfallen kann (BECKER 1997: 56). Sequentielle Koartikulation ist zu beschreiben als die Wechselwirkung der Produktionskomponenten aufgrund ihres unmittelbaren Übergangs im Zeitverlauf (DOTTER und HOLZINGER 1995: 335). Das Muster, nach dem Gebärden produziert werden, wird durch die Position der Gebärde im Gebärdenfluss verändert. Sie wird etwa höher oder tiefer im 81

18 Gebärdenraum ausgeführt oder die Handkonfiguration kann durch die vorhergehende Konfiguration beinflußt werden (BRIEN und BRENNAN 1994: 334). Simultane Koartikulation gilt auch für Gebärdensprachen, allerdings kann sie hier nicht auf eindeutig bloß bedeutungsunterscheidende Komponenten ein und derselben Gebärde bezogen werden. (...) Hauptsächlich aufgrund der Kanaleigenschaften kann aber (...) simultane Koartikulation auch zwischen bedeutungstragenden Einheiten auftreten (DOTTER und HOLZINGER 1995: 335). 82

19 5 AUSBLICK Die Gebärden der Deutschen Gebärdensprache lassen sich in die oben dargestellten Parameter aufschlüsseln, allgemein jedoch phonologisch nur schwer erfassen. Neben konventionellen Zeichen werden in der Deutschen Gebärdensprache die ikonischen Mittel Modellierung (Modifikation von Gebärden hinsichtlich des Subjekts, des Numerus, verschiedener Objekt-Eigenschaften, des Aspektes, des Ortes), Verortung (Anordnung von Referenten im Gebärdenraum, die vorher durch Mundbilder oder Gebärden bezeichnet wurden und auf die damit immer wieder Bezug genommen werden kann) und realkörperliche Inszenierung verwendet, die sich nicht regelhaft analysieren und kaum in eine Datenbank fassen lassen. Dies ist wohl der Grund dafür, dass noch keine zufrieden stellende Lösung für die automatische Gebärdenspracherkennung entwickelt werden konnte, was jedoch nicht bedeutet, dass die automatische Gebärdenspracherkennung unmöglich zu realisieren ist. Die Gebärden eines frei gebärdenden Gehörlosen automatisch zu erkennen ist nach gegenwärtigem Wissensstand wohl nur schwer realisierbar, innerhalb gewisser Einschränkungen funktioniert die Erkennung jedoch bereits. Die Aufgabe der Forschung besteht darin, eine fundierte und systematische Basis bereitzustellen, die gemäß der Forschungsfortschritte erweiterbar und den Gegebenheiten anpassbar ist. 83

20 6 LITERATUR BATTISON, Robbin M., Phonological Deletion in American Sign Language. Sign Language Studies 5; 1-9. BATTISON, Robbin M., Lexical Borrowing in American Sign Language. Silver Spring, MD: Linstok Press. BECKER, Claudia, Zur Struktur der Deutschen Gebärdensprache. Trier: WVT Wissenschaftlicher Verlag Trier (= Fokus Linguistisch-Philologische Studien Band 20). BELLUGI, Ursula / KLIMA, Edward S., The Signs of Language. Cambridge MA./London: Harvard University Press. BOYES BRAEM, Penny, Einführung in die Deutsche Gebärdensprache. Hamburg: Signum (= Internationale Arbeiten zur Gebärdensprache und Kommunikation Gehörloser 11). BRIEN, D. / BRENNAN, M., Gebärdensprach-Wörterbücher Probleme und Entwicklungen. Das Zeichen 33; DOTTER, Franz / HOLZINGER, Daniel, Typologie und Gebärdensprache: Sequentialität und Simultanität. Sprachtypologie und Universalienforschung; EBBINGHAUS, Horst / HESSMANN, Jens, Gehörlose Gebärdensprache Dolmetschen. Chancen der Integration einer sprachlichen Minderheit. Hamburg: Signum (= Internationale Arbeiten zur Gebärdensprache und Kommunikation Gehörloser 7). EBBINGHAUS, Horst / HESSMANN, Jens, Gebärdensprachen Gehörloser als Gegenstand der Semiotik Von den Grenzen der Nützlichkeit linguistischer Beschreibungsmodelle. Das Zeichen 15; EBBINGHAUS, Horst / HESSMANN, Jens, Formen und Funktionen von Ablesewörtern in gebärdensprachlichen Äußerungen (Teil 1). Das Zeichen 30; EBBINGHAUS, Horst / HESSMANN, Jens, Formen und Funktionen von Ablesewörtern in gebärdensprachlichen Äußerungen (Teil 2). Das Zeichen 31; FRIEDMANN, Lynn A., On the other Hand. New perspectives on American Sign Language. New York / San Francisco / London: Academic Press. LIDDELL, Scott K., THINK and BELIEVE: Sequentiality in ASL. Language. Journal of the Linguistic Society of American 60 (2); LIDDELL, Scott K., American Sign Language Syntax. Den Haag: Mouton. 84

21 PAPASPYROU, Chrissotomos, Gebärdensprache und universelle Sprachtheorie. Versuch einer vergleichenden, generativ-transformationellen Interpretation von Gebärden- und Lautsprache sowie der Entwurf einer Gebärdenschrift. Hamburg: Signum (= Internationale Arbeiten zur Gebärdensprache und Kommunikation Gehörloser 8). POIZNER, Howard / BELLUGI, Ursula / LUTES-DRISCOLL, V., Perception of American Sign-Language in dynamic point-light displays. IN: Journal of Experimantal Psychology: Human Perception and Performance 7; PRILLWITZ, Siegmund, Skizzen zu einer Grammatik der Deutschen Gebärdensprache. Hamburg: Signum. PRILLWITZ, Siegmund et al., HamNoSys. Version 2.0. Hamburger Notationssystem für Gebärdensprachen. Eine Einführung. Hamburg: Signum (= Internationale Arbeiten zur Gebärdensprache und Kommunikation Gehörloser 6). RAMERS, Karl-Heinz / VATER Heinz, Einführung in die Phonologie. Hürth-Efferen: Gabel (= Klage Kölner linguistische Arbeiten Germanistik 16). SANDLER, Wendy, Phonological Representation of the Sign. Linearity and Nonlinearity in American Sign Language. Dordrecht-Holland: Foris Publications. SANDLER, Wendy, Temporal Aspects and ASL Phonology. IN: Susan D. Fischer / Patricia Siple (eds.). Theoretical Issues in Sign Language Research. Volume I: Linguistics. Chicago/London: The University of Chicago Press; STOKOE, William C., Sign Language Structure: An Outline of the Visual Communication Systems of the American Deaf. Studies in Linguistics. Occasional Papers No. 8. Buffalo/New York: Department of Anthropology and Linguistics University of Buffalo. STOKOE, William C. / CASTERLINE Dorothy C. / CRONENBERG Carl G., 1976 (rev.), Introduction to A Dictionary of American Sign Language. Silverspring, MD: Linstok Press. IN: C. Vally, C. Lucas (eds.). Linguistics of American Sign Language. An Introduction. Washington D.C: Gallaudet University press; SUPALLA, Ted., Structure and aquisition of verbs of motion and location in American Sign Language. Unveröff. Dissertation. University of California and San Diego. WISCH, Fritz-Helmut, Lautsprache UND Gebärdensprache. Die Wende zur Zweisprachigkeit in Erziehung und Bildung Gehörloser. Hamburg: Signum. 85

22 86