IKP-Kolloquium, Sommersemester 2005

Transkript

1 IKP-Kolloquium, Sommersemester 2005 IKP-Arbeitsbericht NF 13 Hans-Christian Schmitz (Hrsg.) Der Arbeitsbericht enthält die Folien zu allen Vorträgen, die während des Sommersemsters 2005 im Rahmen des IKP-Kolloquiums gehalten wurden. Die Folien stehen in der Reihenfolge der Vorträge. 1 Programm des IKP Kolloquiums im Wintersemester 04/ : E-Learning (a) Felicitas Haas (IKP): MiLCA Erfahrungen aus dem Einsatz eines Web-Based-Trainings (b) Stefan Schwiebert (SIV, Universität Köln): VML Design und Präsentation einer offenen Lernplattform : Projekte und laufende Arbeiten am IKP (3) (a) Julia Abresch: Englische Phone in deutscher Sprache (b) Charlotte Wollermann: Evaluation der audiovisuellen Kongruenz bei der multimodalen Sprachsynthese : Mi los law Frey (FGAN): Connectionist Categorization of Concepts : Markus Klann (Fraunhofer FIT): Wearable Computing für Rettungskräfte Kontextsensitive Kommunikations- und Kollaborationsunterstützung : Paul Iverson (UCL): Perceptual plasticity and speech recognition : Philipp Wichardt (Wirtschaftswissenschaftlicher Fachbereich, Universität Bonn): Kurze Einführung in die Spieltheorie aus der Perspektive eines Ökonomen

2 IKP-Arbeitsbericht NF : Projekte und laufende Arbeiten am ZfKM (1) (a) Franka Fleischhack: Erfahrungen mit ecampus (b) Bernd Rößle: Generadio Die Suche nach einem gemeinsamen Nenner der Generationen beim Radiohören

3 MiLCA Erfahrungen aus dem Einsatz eines Web-Based-Trainings Felicitas Haas Institut für Kommunikationsforschung und Phonetik, Universität Bonn

4 Gliederung Didaktisches Szenario Codierung Einsatz multimedialer Elemente Nutzung in der Lehre Evaluation und Erfahrungen IKP, Uni Bonn MiLCA Erfahrungen aus dem Einsatz eines Web-Based-Trainings 2

5 Didaktisches Szenario Aufbereitung als Web Based Training Zeit- und Ortsunabhängigkeit Individuelle Lerngeschwindigkeit und Lernziele IKP, Uni Bonn MiLCA Erfahrungen aus dem Einsatz eines Web-Based-Trainings 3

6 Individuelle Lernpfade Einteilung der Kursinhalte in Lerneinheiten Lernpfade: Überspringen Zusammenfassung Intensivkurs IKP, Uni Bonn MiLCA Erfahrungen aus dem Einsatz eines Web-Based-Trainings 4

7 Elemente des WBT Kursinhalte (online) Math. Grundlagen, Formelsammlung Glossar, Literaturverzeichnis Übungen Kommunikation: Mail, Diskussionsforen (über Lernplattform ILIAS) IKP, Uni Bonn MiLCA Erfahrungen aus dem Einsatz eines Web-Based-Trainings 5

8 Codierung XML-Codierung der Kursinhalte mittels der LOM-basierten MiLCA-DTD Unicode MathML Umsetzung in XHTML durch projektspezifisches XSLT-Skript und CSS IKP, Uni Bonn MiLCA Erfahrungen aus dem Einsatz eines Web-Based-Trainings 6

9 Beispiel für MathML IKP, Uni Bonn MiLCA Erfahrungen aus dem Einsatz eines Web-Based-Trainings 7

10 Didaktische Methoden Darstellung komplexer Sachverhalte mithilfe mehrerer Medien: Text, Audio, Grafik, Animation, Simulation Visuelle und auditive Hilfen zum besseren Verständnis physikalisch-akustischer Grundgrößen und Zusammenhänge: z.b. Erklärung von Grundbegriffen durch Hörbarmachung von (Sprach-)Signalen IKP, Uni Bonn MiLCA Erfahrungen aus dem Einsatz eines Web-Based-Trainings 8

11 Multimediale Elemente Darstellung physikalisch-akustischer Abläufe oder Prozesse in der Signalverarbeitung mithilfe von: Flash-Animationen Java-Applets Demonstrationsprogrammen IKP, Uni Bonn MiLCA Erfahrungen aus dem Einsatz eines Web-Based-Trainings 9

12 Nutzung (1) Nutzungsszenarien in der Lehre: als eigenständige virtuelle Lehrveranstaltung (Ersatz für Präsenzvorlesung) als begleitende Ergänzung zu einer Vorlesung / Seminar als Repetitorium IKP, Uni Bonn MiLCA Erfahrungen aus dem Einsatz eines Web-Based-Trainings 10

13 Nutzung (2) Vernetzungsmöglichkeiten durch Standardisierung und Modulstruktur Einbindung verschiedener Zielgruppen Austausch von Lehrmodulen unter Projektpartnern Zukünftig: Angebot an Universitäten und Bildungseinrichtungen IKP, Uni Bonn MiLCA Erfahrungen aus dem Einsatz eines Web-Based-Trainings 11

14 Evaluation (1) Messinstrumente: Interviews, Fragebögen (vorher/nachher), inhaltliche Leistungsdaten, Serverprotokoll Hohe Gesamtmotivation Gute Gesamtbeurteilung, insb. positive Bewertung der eingesetzten Medien Deutlicher Wissenszuwachs IKP, Uni Bonn MiLCA Erfahrungen aus dem Einsatz eines Web-Based-Trainings 12

15 Evaluation (2) Ø 90% der Materialien wurden bearbeitet Sehr starke Varianz der Studierzeit Intensive Nutzung computergestützten Lernens (Selbstkontrollfragen, Hyperlinks) Geringe Nutzung der Kommunikationskanäle IKP, Uni Bonn MiLCA Erfahrungen aus dem Einsatz eines Web-Based-Trainings 13

16 Erfahrungen Kaum Kommunikation unter Studierenden Kommunikation mit Dozenten bei konkreten Übungsaufgaben oder organisatorischen Fragen Sporadisch inhaltliche Fragen per Mail IKP, Uni Bonn MiLCA Erfahrungen aus dem Einsatz eines Web-Based-Trainings 14

17 Erfahrungen Hoher Entwicklungsaufwand Betreuungsaufwand ähnlich dem von Präsenzveranstaltungen Individuelles Feedback Detaillierte Auswertung der Übungsaufgaben IKP, Uni Bonn MiLCA Erfahrungen aus dem Einsatz eines Web-Based-Trainings 15

18 IKP, Uni Bonn MiLCA Erfahrungen aus dem Einsatz eines Web-Based-Trainings 16

19 Informationen im WWW MiLCA-Projekt: MiLCA-Teilprojekt in Bonn: phonetik/milca/ IKP, Uni Bonn MiLCA Erfahrungen aus dem Einsatz eines Web-Based-Trainings 17

20 VML Design einer offenen Lernplattform Stephan Schwiebert Sprachliche Informationsverarbeitung Universität zu Köln

21 Konzepte Trennung von Layout und Content Strukturierung des Contents nach dem Modell der Objektorientierung Trennung von Fachsystematik und Fachdidaktik Codierung der Courseware in Standardformaten Offene Architektur für die Anbindung weiterer Fachbereiche

22 Komponenten Editor zur Erzeugung von Inhalten Content-Management-System zur Verwaltung von Fachsystematiken Interaktionsgenerator Lernrouten-Generator Anwender-Plattform

23 VML 1.0 Egrillion: Java-Editor zur Erzeugung von layoutunabhängigen XML-Dokumenten Ogrillion: Eigenständiges, RDF- und XTM-kompatibles CMS-System zur Verwaltung beliebiger Dokumente.

24 Egrillion

25 Ogrillion

26 Lernrouten Interaktive Lernrouten Benutzereingaben werden ausgewertet und in einem dynamischen Lernpfad umgesetzt So kann das System auf Stärken und Schwächen des Benutzers reagieren.

27 Nachteile von VML 1.0 Implementation eines eigenen Frameworks: hoher Zeitaufwand Entwicklung eines eigenen Editors: Hoher Zeitaufwand für Standard -Funktionen (Undo, DnD), fehlende Kompatibilität mit existierenden Dateiformaten. Erweiterbarkeit: Erweiterungen sind vom Entwickler- Team zu implementieren, Erweiterungen durch Dritte sind nicht zu erwarten.

28 Erstes Fazit Nur durch die Integration bestehender, bereits etablierter und aktiv weiterentwickelter Software hat ein System mit Ansprüchen wie VML eine Zukunft.

29 Konsequenz Integration von OpenOffice als leistungsfähige Textverarbeitung, die zugleich kostenlos und kompatibel mit zahlreichen weiteren Dateiformaten ist (z.b. Microsoft Word). Umstieg auf das Framework Eclipse.

30 Eclipse Für mehr als 40 Millionen Dollar entwickeltes Framework, von IBM als OpenSource-Projekt weitergegeben. Plattform für alles Mögliche und nichts im Besonderen : Offenes, gut konzipiertes und dokumentiertes Plugin- Konzept ermöglicht die schnelle Integration eigener Komponenten. Große Akzeptanz unter Entwicklern: Täglich werden neue Plugins veröffentlicht, so dass die Fähigkeiten der Plattform immer besser den eigenen Anforderungen angepasst werden können.

31 Eclipse als IDE

32 Eclipse-Plugins Editoren für verschiedenste Daten (Java-Sourcecode, SVG-Grafiken, UML- Diagramme, LaTeX) Anbindungen an Datenbanken (über JDBC, XML:DB) Verschiedene Plugins zur Vereinfachung von Projekt-Arbeiten: CVS, Subversion, Chat-Systeme Tetris!

33 Eclipse und VML Eclipse Overview DB-Tools Browser- Plugin Eclipse Platform Batik SVG- Editor CVS- Plugin Open- Office- Wrapper Java- Editor, Compiler, etc. VML- Converter Eclipse Project Meta- daten- Editor Lern- routen- Editor

34 OpenOffice Leistungsfähige, kostenlose Bürosoftware Integrierter Formel-Editor Exportiert in PDF Bietet eine sehr komplexe, sprachunabhängige API: Zugriff auf die Dokumentstruktur von außen möglich.

35 VML in Eclipse

36 Durch Integration Fazit von und in andere Projekte werden Kosten reduziert die Entwicklung wird beschleunigt, gleichzeitig profitieren andere Projekte von VML. Die neue Daten-Kompatibilität senkt den Arbeitsaufwand für die Benutzer des Systems, da Dokumente nicht neu geschrieben werden müssen. Innerhalb von vier Monaten konnte die Umstellung auf das neue Framework durchgeführt werden in zwei bis vier Wochen kann die interne Testphase anlaufen.

37 Überblick Englische Phone in deutscher Sprache IKP-Kolloquium, 3. Mai 2005 Julia Abresch 1. Motivation und Einleitung 2. Das deutsche und englische Lautsystem im Vergleich 3. Das Korpus: Auswahl der Stimuli Probanden Durchführung der Sprachaufnahmen 4. Ergebnisse 5. Zusammenfassung und Ausblick 2 Motivation Motivation Ein Korpus zur Aussprache von Anglizismen und englischen Eigennamen warum? Englisch als Gebersprache: Zahl der Anglizismen ist in der 2. Hälfte des 20. Jahrhunderts und besonders in den 1990er Jahren stark angestiegen (English in Europe, Görlach 2002). Studien zu Verbreitung und Gebrauch sind recht zahlreich, solche zur Aussprache nicht.! Es fehlt an einem aktuellen Korpus zur Aussprache von Anglizismen im Deutschen. Ausgangspunkt Sprachsynthese: Wie sollen fremdsprachliche Wörter und Eigennamen transkribiert und synthetisiert werden? Für die Sprachsynthese müssen wir uns für eine Variante entscheiden, während in der Spracherkennung die verschiedenen Aussprachevarianten von Bedeutung sind. Um entscheiden zu können, welche Variante wir auswählen, müssen wir zunächst wissen, welche englischen Laute wie realisiert werden.! Da auf Wörterbücher (z.b. Duden Aussprachewörterbuch) hier kein Verlass ist, soll ein eigenes Korpus erstellt werden, das die aktuelle Sprechrealität von verschiedenen Sprechergruppen widerspiegelt. 3 4 Fragestellungen Das deutsche und englische Lautsystem im Vergleich - Konsonanten Wie sprechen deutsche Muttersprachler englische Phone in Entlehnungen aus dem Englischen aus? Unterscheidet sich diese Aussprache von der in englischen Eigennamen? Konsonanten, die im deutschen Lautinventar nicht vorkommen: ZC\+ ZS\+ Zv\+ Z \+ Z4\+ ZcY\ Konsonanten, die in bestimmten Positionen nicht vorkommen: Zu\+ Zy\+ Za\+ Zc\+ Zf\ in der Koda Zr\+ Zrs\+ Zro\ im Onset 5 6 1

38 Das deutsche und englische Lautsystem im Vergleich - Monophthonge Das deutsche und englische Lautsystem im Vergleich steigende Diphthonge z 29 5 N9 U dh?t `H `T NH 7 8 Das deutsche und englische Lautsystem im Vergleich zentrierende Diphthonge im Deutschen: Langvokal + a- Schwa z.b. [h95\+ Zt95\+ Zd95\ d? H? T? 9 Das Korpus Auswahl der Stimuli Anglizismen und englische Eigennamen, möglichst jeweils mindestens drei pro zu untersuchendem Laut (nicht immer möglich, da einige Laute in Lehnwörtern sehr selten sind). Anglizismen sollen nicht zu stark integriert sein, so dass eine englische Lautung zumindest noch möglich erscheint. Trägersätze wurden aus dem Online-Korpus des Wortschatz Deutsch -Projektes der Uni Leipzig gewonnen ( Beispiele: Keine andere Urlaubsform hat solch einen rasanten Aufstieg genommen wie All-inclusive - und keine andere beschert den Veranstaltern solche satten Umsatzzuwächse. Percy, der zu seinem Vater schon länger keinen Kontakt mehr haben soll, hat keinen festen Wohnsitz. 10 Das Korpus Auswahl der Stimuli II In einem Wort können mehrere relevante Laute vorkommen. In einem Satz können mehrere Stimuli vorkommen. Wörter, die in gleicher oder ähnlicher Schreibweise auch im Deutschen vorkommen (z.b. Latinismen) wurden weitestgehend vermieden. 274 relevante Laute in 85 Wörtern, davon 42 Anglizismen und 43 Eigennamen. Da die Eigennamen im Durchschnitt kürzer sind, entfallen 57,3 % (157) der relevanten Laute auf die Anglizismen. 11 Das Korpus Beispielwörter Laut Zz\ Z@9\ ZP\ ZU\ Z29\ ZN9\ Z4\ Zq\ Zv\ ZS\ ZC\ ZcY\ ZdH\ Z?T\ ZH?+ T?+ d?\ Zr+ rs+ ro\ Za+ c+ f+ u+ y\ Anglizismus oder Eigenname Stan rs!zm Aftershave!@9e-s?-RdHu Russel!U-r?4 Running Gag!U-mHM-f$zf Workshop v!29j-rpo Baldwin a!n94c-vhm !h9-ldH4 Reardon!H?-c?m Wellness v!d4-m?r Thelma S!D4-l? Motherboard l!u-c?-an9c Justin cy!ur-shm Webpage v!da-odhcy Jones cy!?tmy Spears ro!h?y Stalking rs!n9-jhm Curtis j!29-shy 12 2

39 Das Korpus die Probanden Das Korpus die Sprachaufnahmen 40 Probanden im Alter von 16 bis 82 Jahren, 18 Männer und 22 Frauen. Englischkenntnisse variieren stark. Mittels eines Fragebogens wurden nach den Aufnahmen die Englischkenntnisse der Sprecher (Selbsteinschätzung), die Dauer des Englischunterrichts etc. erhoben. Die Aufnahmen wurden hauptsächlich bei den Probanden zu Hause durchgeführt. Die Probanden wurden vor den Aufnahmen nicht über deren Zweck informiert. Nach jedem vorgelesenen Satz sollte angekreuzt werden, aus welcher von drei vorgegebenen Zeitungen der Satz stammen könnte Ergebnisse Überblick Die folgenden britischen Laute werden häufig durch andere (deutsche) substituiert: Zz\+ ZP\+ ZU\+ Z29\+ ZN9\+ Z4\ sowie stimmhafte Obstruenten im Auslaut, zentrierende Diphthonge und Vokalanlaute ohne Glottalverschluss. Britisches Z \+ Zv\+ ZS\+ ZC\+ ZcY\+ ZdH\ sowie Zr\+ Zrs\ und Zro\ im Anlaut werden häufiger im Original verwendet als durch deutsche Laute ersetzt. Der Laut Z?T\ stellt einen Sonderfall dar, er wird in über 46 % der Fälle durch eher amerikanisches ZnT\ substituiert. Ergebnisse Einzellaute 11,25% 2,86% 73,21% Realisierter Laut?E <BE> a E E: Andere Realisierungen von Zz\ Ergebnisse Einzellaute II 17,5% 10,75% Realisierter Laut <BE> s t Andere Ergebnisse Einzellaute III 46,11% 7,5% 11,94% Realisierter Laut?o: au o O o: ou Andere 70,25% 26,67% Realisierungen von ZS\ Realisierungen von Z?T\

40 Einfluss der Englischkenntnisse Der Einfluss der Englischkenntnisse auf die Realisierung der Laute ist bei den verschiedenen Lauten unterschiedlich stark. Laute, die insgesamt nur selten englisch realisiert werden, werden auch von Probanden mit guten oder sehr guten Englischkenntnissen meist substituiert. Laute, die insgesamt häufiger englisch realisiert werden, werden von Probanden mit geringen Englischkenntnissen wesentlich häufiger substituiert als von solchen mit guten Kenntnissen. Einfluss der Englischkenntnisse 72,73% 0,41% 7,23%3,93% gering 18,18% gut 88,43% 4,55% 4,55% Grundkenntnisse 45,83% 1,14% sehr gut 17,27% 53,03% 82,73% Realisierter Laut <BE> <DEL> d R w Kreise zeigen Prozent Realisierungen von Z \ Einfluss des Alters Einfluss des Stimulus ,00% 7,27% 0,91% 16,84% 80,91% 76,84% Realisierter Laut <BE> D f s t ts z z_0 Kreise zeigen Prozent Absolute Werte Realisierter Laut <BE> d d_} D_0 s t T z z_0 20,00% 10 46,00% 30,00% 0 1,00% Realisierungen von ZS\ Witherspoon Queen Mother On the rocks Motherboard Heather Big Brother Beckwith Realisierungen von ZC\ Zusammenfassung Es wurde ein Korpus zur Erfassung der Aussprachevarianten von Anglizismen und englischen Eigennamen erstellt. Es lassen sich Gruppen von englischen Lauten bilden, die mehr oder weniger häufig durch deutsche substituiert werden. Diese Substitutionen hängen u.a. von Englischkenntnissen und Alter der Probanden sowie, weniger stark ausgeprägt, vom Stimulus selbst ab. Einige englische Laute sind im Deutschen bereits weit verbreitet und werden auch von Probanden mit geringen Englischkenntnissen verwendet. Ausblick Ein verkürzter Aussprachetest in der bisherigen Form in Kombination mit einem englischen Text soll Auskunft darüber geben, ob die Probanden ihre Aussprache an die Situation anpassen. Es soll auf der Grundlage der Produktionsdaten ein Präferenztest erstellt werden, bei dem die Probanden zwischen verschieden stark nativisierten Varianten auswählen müssen. Diese Präferenzen sollen Auskunft darüber geben, welche Laute beispielsweise in ein TTS-System integriert werden sollten, und welche durch deutsche Laute ersetzt werden können

41 Evaluation der audiovisuellen Kongruenz bei der multimodalen Sprachsynthese IKP-Kolloquium Charlotte Wollermann Übersicht 1. Einleitung 2. Material 3. Methode 4. Ergebnisse 5. Zusammenfassung und Diskussion 6. Literatur Einleitung Bei der natürlichsprachlichen Interaktion werden nicht nur akustische Informationen gebraucht, sondern auch Kopf- und Lippengesten. (Massaro 1998) 1. Einleitung Multimodale Sprachtechnologie in Form von Talking Heads: Verkaufsassistenten, Sprachtutoren, Auskunftssysteme, Akteure in Computerspielen Modellbasierte vs. datenbasierte Talking Heads Gebrauch von visueller Information, um Verständlichkeit bei der multimodalen Sprachsynthese zu erhöhen. 3 Abbildung 1: URBAN (Edlund, Beskow, Nordstrand 2002) Abbildung 2: MARY 101 (Ezzat, Geiger, Poggio 2002) Quelle: Quelle: Einleitung Verständlichkeitstests Kann ein Talking Head die Verständlichkeit für Hörgeschädigte bei einer Telefonkonversation verbessern (Beskow et al. 1997; Siciliano et al. 2003)? 1. Einleitung Verständlichkeitstests sinnvoll bei Systemen in lauter Umgebung, z.b. an Bahnhöfen, Flughäfen, in Museen, Einkaufszentren Abbildung 3: The intended teleface demonstrator (Beskow et al. 1997) Quelle: 5 6

42 1. Einleitung Zentrale Fragestellungen des vorliegenden Experiments: Erhöht die Kongruenz zwischen der akustischen und der visuellen Information die Verständlichkeit bei der multimodalen Sprachsynthese? Werden Äußerungen mit kongruenter Kopfbewegung als verständlicher wahrgenommen als Äußerungen ohne Kopfbewegung? 7 1. Einleitung Wirkt sich diese Kongruenz zudem positiv auf die persuasive Kraft eines solchen Systems aus? Wirken Äußerungen mit kongruenter Kopfbewegung überzeugender als Äußerungen ohne bzw. mit inkongruenter Kopfbewegung? 8 2. Material Audio- und Videoaufnahmen einer 21-jährigen Sprecherin Äußerungen: /ja/ bzw. /nein/ ohne, mit kongruenter und inkongruenter Kopfbewegung 2. Material + Ersetzen der natürlichen Stimme durch eine Synthetische mit BOSS (Klabbers et al. 2001) Simulieren eines Dialogs zwischen Benutzer und geografischem Expertensystem: Ist Tanna eine Insel im Indischen Ozean? 9 Abbildung 4: /ja/ ohne Kopfbewegung, mit Kopfnicken und mit Kopfschütteln Abbildung 5: /nein/ ohne Kopfbewegung, mit Kopfschütteln und mit Kopfnicken Methode Versuchspersonen: 20 Studenten der Universität Bonn im Alter von 20 bis 40 Jahren Kein spezielles Wissen zum Thema audiovisuelle Systeme 3. Methode Prozedur: Versuchspersonen werden einzeln getestet, sitzen mit Kopfhörern vor Bildschirm in ruhigem Raum. Stimuli werden in zufälliger Reihenfolge gezeigt. Nehmen unentgeltlich am Experiment teil 11 Versuchspersonen sollen auf je einer Skala von 1 bis 5 (1=positiv, 5=negativ) angeben, wie Ihnen die Antwort gefällt, wie verständlich und überzeugend sie ist. 12

43 3. Methode Statistische Auswertung mittels Mann- Whitney-U Test: Beurteilungen der Äußerungen werden paarweise verglichen (/ja/ ohne Kopfbewegung - /ja/ mit Kopfnicken, /ja/ mit Kopfnicken - /ja/ mit Kopfschütteln, /ja/ ohne Kopfbewegung - /ja/ mit Kopfschütteln; /nein/ ohne Kopfbewegung - /nein/ mit Kopfschütteln, /nein/ mit Kopfschütteln - /nein/ mit Kopfnicken, /nein/ ohne Kopfbewegung - /nein/ mit Kopfnicken) 3. Methode Nullhypothese (H0) : Die Rezipientenurteile hinsichtlich der Äußerungen ohne kongruente und mit (in)kongruenter Kopfbewegung unterscheiden sich nicht. Alternativhypothese (H1): Die Rezipientenurteile sind abhängig von der fehlenden bzw. (in)kongruenten Kopfbewegung. Signifikanzniveau: 5% Ergebnisse 4. Ergebnisse Frage Antworten, deren Beurteilungen verglichen werden empirischer z-wert p geltende Hypothese Wie gefällt Ihnen die Antw ort? Wie gefällt Ihnen die Antwort? /ja/ ohne Kopfbewegung - /ja/ mit Kopfnicken 2,36 <0,05 H 1 Wie verständlich finden Sie die Antw ort? /ja/ mit Kopfnicken - /ja/ mit Kopfschütteln 4,63 <0,05 H 1 Wie überzeugend finden Sie die Antw ort? /ja/ ohne Kopfbewegung - /ja/ mit Kopfschütteln /nein/ ohne Kopfbewegung - /nein/ mit Kopfschütteln 4,54 1,24 <0,05 >0,05 H 1 H 0 5 /nein/ mit Kopfschütteln - /nein/ mit Kopfnicken 4,96 <0,05 H 1 Median Wie verständlich finden Sie die Antwort? /nein/ ohne Kopfbewegung - /nein/ mit Kopfnicken /ja/ ohne Kopfbewegung - /ja/ mit Kopfnicken /ja/ mit Kopfnicken - /ja/ mit Kopfschütteln /ja/ ohne Kopfbewegung - /ja/ mit Kopfschütteln 4,72 1,28 4,73 4,54 <0,05 >0,05 <0,05 <0,05 H 1 H 0 H 1 H 1 1 /nein/ ohne Kopfbewegung - /nein/ mit Kopfschütteln 1,28 >0,05 H 0 0 /nein/ mit Kopfschütteln - /nein/ mit Kopfnicken 4,58 <0,05 H 1 /ja/ ohne /ja/ mit /ja/ mit /nein/ ohne /nein/ mit /nein/ mit /nein/ ohne Kopfbewegung - /nein/ mit Kopfnicken 4,32 <0,05 H 1 Kopfbewegung Kopfnicken Kopfschütteln Kopfbewegung Kopschütteln Kopnicken Wie überzeugend finden Sie die Antwort? /ja/ ohne Kopfbewegung - /ja/ mit Kopfnicken 0,43 >0,05 H 0 Antw ort /ja/ mit Kopfnicken - /ja/ mit Kopfschütteln 5,09 <0,05 H 1 Abbildung 6: Darstellung der Mediane für die Bewertungen der Antworten /ja/ ohne Kopfbewegung - /ja/ mit Kopfschütteln /nein/ ohne Kopfbewegung - /nein/ mit Kopfschütteln /nein/ mit Kopfschütteln - /nein/ mit Kopfnicken 4,81 1,49 5,28 <0,05 >0,05 <0,05 H 1 H 0 H 1 /nein/ ohne Kopfbewegung - /nein/ mit Kopfnicken 5,17 <0,05 H 1 15 Abbildung 7: Ergebnisse des paarweisen Vergleichs der Bewertungen der Äußerungen (Mann-Whitney-U-Test: zweiseitig, α = 0,05, kritischer z-wert = 1,96) Zusammenfassung und Diskussion Ergebnisse: In den meisten Fällen erhöht die zusätzliche visuelle Information im Vergleich zur Fehlenden entgegen der Erwartung weder signifikant die Verständlichkeit noch die Überzeugungskraft. Aber: /ja/ mit Kopfnicken wird im Vergleich zu /ja/ ohne Kopfbewegung als maßgeblich hilfreicher wahrgenommen. 5. Zusammenfassung und Diskussion Inkongruente Äußerungen werden vergleichsweise negativ beurteilt in Bezug auf Verständlichkeit und Überzeugungskraft. Offene Fragen: Wie wird ein subtileres Kopfschütteln in Zusammenhang mit einer negativen Äußerung wahrgenommen? 17 18

44 5. Zusammenfassung und Diskussion Welche Bedeutung hat die kongruente Kopfbewegung in unterschiedlichen Kontexten? Welche visuellen Informationen sind darüber hinaus für die multimodale Sprachsynthese von Bedeutung? 6. Literatur Beskow, J., Dahlquist, M., Granström, B., Lundeberg, M., Spens, K.E., Öhman, T. (1997). The teleface project: Multimodal speech communication for the hearing impaired. In Proceedings of the 5th European Conference on Speech Communication and Technology (EUROSPEECH 97). Rhodos, Greece. Beskow, J. (2003). Talking Heads Models and Applications for Multimodal Speech Synthesis. Doctoral Dissertation, KTH, Stockholm, Sweden. Cohen, M., Massaro, D. (1993). Modelling Coarticulation in Synthetic Visual Speech. In Magnenat- Thalmann, N., Thalmann, D. (Eds.). Models and Techniques in Computer Animation (pp ). Tokyo: Springer Verlag. Edlund, J., Beskow, J., Nordstrand, M.(2002). GESOM - A Model for Describing and generating MultimodalOutput. In Proceedings of ISCA Workshop Multi-Modal Dialogue in Mobile Environments, Kloster Irsee, Germany, June Ezzat, T., Geiger, G., Poggio, T. (2002).Trainable Videorealistic Speech Animation. In Proceedings of Siggraph 2002, San Antonio, Texas. Klabbers, E., Stöber, K., Veldhuis, R., Wagner, P., Breuer, S. (2001). Speech synthesis development made easy: The Bonn Open Synthesis System. In Proceedings of EUROSPEECH. Aalborg, Danemark Massaro, D. W. (1998). Perceiving Talking Faces. Cambridge, MA: MIT Press. Parke, F. (1982). Parameterized models for facial animation. IEEE Computer Graphics,2 (9), Siciliano, C., Williams, G., Beskow, J., Faulkner, A. (2003). Evaluation of a multilingualsynthetic talking face as a communication aid for the hearing impaired. In Proceedings of the 15th International Congress of Phonetic Sciences. Barcelona, Spain. 20

45 Connectionist Categorization of Concepts Miloslaw Frey FGAN FKIE Informationstechnik und Führungssysteme Forschungsinstitut für Kommunikation, Informationsverarbeitung und Ergonomie FGAN Informationstechnik und Führungssysteme KIE Overview Categorization What, how and why Models of categorization Connectionism Concept Distributed vs. localist My model More on connectionism Working idea Experiments & simulations Preliminary experiments Fuzzy categorization simulation (Labov, 1974) Asymmetric category learning (Quinn, Eimas, Rosenkrantz, 1993) Summary Model properties General summary Forschungsinstitut für Kommunikation, Informationsverarbeitung und Ergonomie FGAN Informationstechnik und Führungssysteme KIE Categorization: basics WHAT? Categorization is a process in which ideas and objects are recognized and understood. WHAT FOR? Creates a framework for the interpretation of experiences. Without categorization the world would seem constantly changing and thus impossible to explore. HOW? Groups individual entities by neglecting subtle differences in individual experiences when they are not necessary. Forschungsinstitut für Kommunikation, Informationsverarbeitung und Ergonomie FGAN Informationstechnik und Führungssysteme KIE Categorization: idea WHERE FROM? The categories are not completely arbitrary. One can find many clues in world that give the basis for categorization. The world is structured because real-world attributes do not occur independently of each other. ( ) That is, combinations of attributes of real objects do not occur uniformly. Some pairs, triples, or ntuples are quite probable, appearing in combination sometimes with one, sometimes with another attribute; others are rare; others logically cannot or empirically do not occur. (Rosch et al. 1976) Forschungsinstitut für Kommunikation, Informationsverarbeitung und Ergonomie FGAN Informationstechnik und Führungssysteme KIE Categorization: models 1 Classical model Roots in works of Aristotle Based on binary features and necessary and jointly sufficient conditions (rules) Sharp and exclusive categories Well defined category membership Problem: doesn t fit most cases of real-world categorization (cf. games category - Wittgenstein, 1971) Categorization: models 2.1 Psychologically based models Standard prototype model (Rosch 1975,76) item Principles: cognitive economy and perceived world structure Horizontal dimension: prototype Vertical dimension: basic level objects Problems: utilizes inclusion relation, which needs a trait of classical categorization doesn t describe all kinds of categories equally well lack of formalism to describe this theory house furniture tool table chair bed stool wooden chair electric chair Forschungsinstitut für Kommunikation, Informationsverarbeitung und Ergonomie FGAN Informationstechnik und Führungssysteme KIE Forschungsinstitut für Kommunikation, Informationsverarbeitung und Ergonomie FGAN Informationstechnik und Führungssysteme KIE

46 A B I C E D K category A A C B D F E G B F C C F G F G z y u v z x y category B z x y u v w u v w Categorization: models 2.2 Categorization: models 2.3 Psychologically based models Family resemblance (Lakoff, 1987) Principles: the relation between category members is a family resemblance relation Prototypicality as a surface effect Change from radial category structure to the distributed one Psychologically based models Exemplar model (Brooks, 1978; Schaffer, 1978) Principles: people remember all objects encountered during the life No abstract category representation Parallel searches Big problem: lack of possibility to abstract from exemplars and create general category description Forschungsinstitut für Kommunikation, Informationsverarbeitung und Ergonomie FGAN Informationstechnik und Führungssysteme KIE Forschungsinstitut für Kommunikation, Informationsverarbeitung und Ergonomie FGAN Informationstechnik und Führungssysteme KIE Connectionism: basics Nodes + connections = network The general principle says that several phenomena can be described by a set of interconnected units (called nodes). The form and meaning of nodes and connections varies with the domain described by a given model. Spreading activation A mechanism to distribute the information within a connectionist network: the state of each node is a function of the state of other units and, usually, of time. Forschungsinstitut für Kommunikation, Informationsverarbeitung und Ergonomie FGAN Informationstechnik und Führungssysteme KIE Connectionism: flavors Differentiating between connectionist models bases mainly on the type of data representation: Distributed connectionism (Rumelhart et.al, 1986) The state of the network is defined by the activation pattern of all nodes: a single node has no concrete meaning Localist connectionism Each single node s state can be interpreted independently from other nodes Mixed models e.g. microfeatures : the macro state is defined by local states of several units representing features Forschungsinstitut für Kommunikation, Informationsverarbeitung und Ergonomie FGAN Informationstechnik und Führungssysteme KIE My model: comments on connectionism Why localist data representation? No catastrophic forgetting Clear interpretation of the network and node state Constructivism (Quartz & Sejnowski,1997) Biologically inspired restructuring of the network The network grows with data: no problems with storage space for knowledge No need for guessing the network architecture Forschungsinstitut für Kommunikation, Informationsverarbeitung und Ergonomie FGAN Informationstechnik und Führungssysteme KIE My model: idea from squashing to parent classes (threshold) parent classes activation function Internal structure of a node WINNER buffer from TAKE to child classes ALL child classes Spreading activation The node s state depend on the other nodes activations, connections weights and time: each node defines a point in the multidimensional space described by features Learning (Sowa, 2002) Rote learning Connection weights change Restructuring Generalization Improves the taxonomy Allows for classification of unknown objects Forschungsinstitut für Kommunikation, Informationsverarbeitung und Ergonomie FGAN Informationstechnik und Führungssysteme KIE

47 ELLIPSES ellipse_0 ellipse_1 ellipse_2 ellipse_5 ellipse_6 ellipse_3 ellipse_4 ELLIPSES ellipse_0 ellipse_1 ellipse_2 ellipse_5 ellipse_6 ellipse_3 ellipse_4 Experiments & simulations: preliminary experiments Simple experiments conducted in order to investigate working mechanisms Creating a taxonomy Autoassociation Step 1: data One-dimensional example: 7 ellipses differentiated in the ratio of axes. Preliminary experiments: creating a taxonomy 1 Object ellipse_0 ellipse_1 ellipse_2 ellipse_3 ellipse_4 ellipse_5 ellipse_6 Ratio Forschungsinstitut für Kommunikation, Informationsverarbeitung und Ergonomie FGAN Informationstechnik und Führungssysteme KIE Forschungsinstitut für Kommunikation, Informationsverarbeitung und Ergonomie FGAN Informationstechnik und Führungssysteme KIE Step 2: raw taxonomy Step 3: full taxonomy Preliminary experiments: creating a taxonomy 2 ELLIPSES ellipse_0 ellipse_1 ellipse_2 ellipse_3 ellipse_4 ellipse_5 ellipse_6 Data for autoassociation Preliminary experiments: autoassociation 1 Binary features describing some military equipment. Object LEOPARD_2 JAGUAR_1 JAGUAR_2 FH_70 Features armour tracked selfprop tank armour tracked selfprop antitank hot armour tracked selfprop antitank tow towed howitzer PzH2000 armour tracked selfprop howitzer Forschungsinstitut für Kommunikation, Informationsverarbeitung und Ergonomie FGAN Informationstechnik und Führungssysteme KIE Forschungsinstitut für Kommunikation, Informationsverarbeitung und Ergonomie FGAN Informationstechnik und Führungssysteme KIE Autoassociation process hot antitank tank armour selfprop tank tracked tracked armour armour selfprop tracked Preliminary experiments: autoassociation 2 selfprop armour howitzer selfprop tracked howitzer howitzer towed FH_70 towed tow hot antitank tank armour selfprop tank tracked tracked armour armour selfprop tracked selfprop armour howitzer selfprop tracked howitzer howitzer towed FH_70 towed tow Experiments & simulations: further experimentations Experiments conducted in order to compare model s predictions against real-world data Fuzzy categorization Asymmetric category learning LEOPARD_2 antitank armour selfprop tracked PzH2000 LEOPARD_2 antitank armour selfprop tracked PzH2000 antitank armour hot selfprop tracked antitank armour selfprop tow tracked antitank armour hot selfprop tracked antitank armour selfprop tow tracked JAGUAR_1 JAGUAR_2 JAGUAR_1 JAGUAR_2 Forschungsinstitut für Kommunikation, Informationsverarbeitung und Ergonomie FGAN Informationstechnik und Führungssysteme KIE Forschungsinstitut für Kommunikation, Informationsverarbeitung und Ergonomie FGAN Informationstechnik und Führungssysteme KIE

48 cups (neutral) cups (food) bowls (neutral) bowls (food) 1 1,2 1,4 1,6 1,8 2 2,2 2,4 0,12 0,1 0,08 0,06 0,04 0,02 0 trained on cats trained on dogs 1 2 Experiments & simulations: fuzzy categorization Labov s experiment (1974) Goal: to investigate the boundaries of words meaning (naming task) Subjects: several dozens of English-speakers Data: Series of cup-like objects Experiments & simulations: fuzzy categorization Simulation Subject: 500 networks Data: Series of cup-like objects; noise added for learning Results: categories boundaries are fuzzy; categorization process is not deterministic; context driven priming in categorization exists Results: categories boundaries are fuzzy; categorization process is not deterministic; context driven priming can be simulated Category assigning probability probability [%] Forschungsinstitut für Kommunikation, Informationsverarbeitung und Ergonomie FGAN Informationstechnik und Führungssysteme KIE width ratio Forschungsinstitut für Kommunikation, Informationsverarbeitung und Ergonomie FGAN Informationstechnik und Führungssysteme KIE Experiments & simulations: asymmetric category learning Original experiment (Quinn, Eimas & Rosenkrantz, 1993) Goal: investigate category learning by infants Subjects: 3-4 months old infants Data: photographic pictures of dogs and cats Results: asymmetry in acquiring categories of dogs and cats ( cats could be dogs ) measured by a looking time Experiments & simulations: asymmetric category learning Simulation Subjects: a network Data: measurements of pictures of dogs and cats (from Mareschal et al., 2000) Results: asymmetry in acquiring categories of dogs and cats, Network response on novel exemplars measured by a mean square error MSE Forschungsinstitut für Kommunikation, Informationsverarbeitung und Ergonomie FGAN Informationstechnik und Führungssysteme KIE training conditions Forschungsinstitut für Kommunikation, Informationsverarbeitung und Ergonomie FGAN Informationstechnik und Führungssysteme KIE Summary Automatic, unsupervised creation of a taxonomy Autoassociation (e.g. modeling lexical items) Generalization (e.g. categorizing unknown objects) Cognitive properties: Fuzzy categorization and priming Asymmetric category learning Biological inspiration Forschungsinstitut für Kommunikation, Informationsverarbeitung und Ergonomie FGAN Informationstechnik und Führungssysteme KIE References 1. Robert M. French. Catastrophic forgetting in connectionist networks: causes, consequences and solutions. Trends in Cognitive Sciences, 3(4): , C. Koch, T. Poggio, and V. Torre. Nonlinear interactions in a dendritic tree: Localization, timing and role in information processing. Proceedings of the National Academy of Sciences of the United States of America, 80: , William Labov. The boundaries of words and their meanings. In C.-J. Bailey and R. Shuy, editors, New Ways of Analyzing Variation in English., pages Georgetown U. Press., Washington, DC, Denis Mareschal, Robert M. French, and Paul Quinn. A connectionist account of asymmetric category learning in early infancy. Developmental Psychology, 36(5): , B. W. Mel. Information processing in dendritic trees. Neural Computation, 6: , Mike Page. Connectionist modelling in psychology: A localist manifesto. Behavioral and Brain Sciences, 23: , Steven R. Quartz and Terrence J. Sejnowski. The neural basis of cognitive development: A constructivist manifesto. Behavioral & Brain Sciences, 20(4): , Paul Quinn, Peter D. Eimas, and Stacey L. Rosenkrantz. Evidence for representations of perceptually similar natural categories by 3-month-old and 4-month-old infants. Perception, 22: , Eleanor Rosch. Family resemblance: Studies in the internal structure of categories. Cognitive Psychology, 7: , Eleanor Rosch, Carolyn Mervis, Wayne Gray, David Johnson, and Penny Boyes-Braem. Basic objects in natural categories. Cognitive Psychology, 8: , David E. Rumelhart, James L. McClelland, and the PDP Research Group. Parallel Distributed Processing: Explorations in the Microstructure of Cognition, Volumes 1 and 2. MIT Press, Cambridge, John. F. Sowa. Semantic Networks Ludwig Wittgenstein. Philosophische Untersuchungen. Suhrkamp, Frankfurt am Main, Forschungsinstitut für Kommunikation, Informationsverarbeitung und Ergonomie FGAN Informationstechnik und Führungssysteme KIE

49 1 Project overview 2 Empowering the mobile worker by wearable computing IP within FP6 6/ /2008 (4,5 years) 36 partners from industry and academia 23.7 Mio. Euros of budget 14.6 Mio. Euros of funding Four application fields: automobile production aircraft maintenance health emergency response Dipl.-Inform. Markus Klann markus.klann@fit.fraunhofer.de Fraunhofer Institute for Applied Information Technology Dipl.-Inform. Markus Klann markus.klann@fit.fraunhofer.de Fraunhofer Institute for Applied Information Technology Wearable Computing 3 Contribution by Fraunhofer FIT 4 Technologies Belt-mounted computer from ETH Zürich Head-mounted displays from Carl Zeiss and Lumus Vision Sensors integrated in clothing and equipment Wireless ad-hoc connectivity Services Application-specific support of work-processes Context-sensitive support for information processes collaboration processes Hands-free interaction (e.g. speech) Integration with other IT systems (e.g. smart tools) One of the three main authors of the proposal Member in the management board and exploitation board Leader for the project s user-centred design approach Advancement of UCD methodologies and techniques UCD Portal for operational support Requirements Engineering, incl. scenario-based design Lead partner of the Paris Fire Brigade for the user-centred design empirical research within BSPP (see next slide) System development for BSPP Leader of activity field Mobile Collaboration context-sensitive mobile collaboration services integration with information management systems Dipl.-Inform. Markus Klann markus.klann@fit.fraunhofer.de Fraunhofer Institute for Applied Information Technology Dipl.-Inform. Markus Klann markus.klann@fit.fraunhofer.de Fraunhofer Institute for Applied Information Technology UCD following ISO UCD Activities 6 D E V E L O P M E N T R E Q U I R E M E N T S E L I C I T A T I O N R E S E A R C H Design Proposal Design Proposal Workplace Study Workplace Study Workshop 1 Workshop 2 1 (mock-up) 2 (prototype) Usability Pre-Test Design Proposal Workshop 3 (prototype) Evaluation UCD I M P R O V E M E N T Dipl.-Inform. Markus Klann markus.klann@fit.fraunhofer.de Fraunhofer Institute for Applied Information Technology Dipl.-Inform. Markus Klann markus.klann@fit.fraunhofer.de Fraunhofer Institute for Applied Information Technology

50 Action research 7 Systems development 8 Support for operational, tactical and strategical tasks Personal Fire Fighter Assistant Interviews throughout the BSPP (tactical, operational and strategic level) Immersion in fire stations: observation and participation in activities Reconnaissance training NRBC training COS training Wearable computing for sensing, processing and communication PDA or tablet-based system for group leaders Tactical Intervention Management System Command Vehicle with interactive large-screen display and broadband comm. E.g. identification of appropriate remote experts during ABC interventions Strategic Intervention Management System Command Center with interactive large-screen display and broadband comm. Access to auxiliary information sources Pre- and post-operation support Training Debriefing Experience Repository Dipl.-Inform. Markus Klann markus.klann@fit.fraunhofer.de Fraunhofer Institute for Applied Information Technology Dipl.-Inform. Markus Klann markus.klann@fit.fraunhofer.de Fraunhofer Institute for Applied Information Technology

51 Overview Perceptual interference and speech recognition Cross-language tests of /r/-/l/ American, Japanese, German adults American babies Training Japanese adults Cross-language tests of /w/-/v/ Paul Iverson University College London Native Sinhalese, German, and English speakers /t/-/d/ by cochlear implant patients Background: How does language experience affect phonetic processing? The old view: Feature detectors (Eimas) Infants have an innate ability to detect the phonetic features used in all of the world s languages Feature detectors atrophy if not used The current view The feature detectors are auditory rather than linguistic Auditory processing is actively changed by linguistic experience Background: Different Current Views Perceptual Assimilation Model (Best) Perception changes due to phonemic categorization L2 phonemes are hard to learn because L1 categories make them sound the same Perceptual Interference (Iverson) Phonemic categorization is affected by auditory perception The problem is due to warpings of perception rather than to a lack of sensitivity Study 1: Perception of /r/ and /l/ American English-speaking adults Tested in Seattle, in collaboration with Pat Kuhl /r/ and /l/ in native language Japanese adults Synthetic Stimuli: /ra/-/la/ /ra/ Tested in Tokyo, in collaboration with Reiko Yamada No native phonemes identical to /r/ and /l/ Very difficult for adults to acquire /r/ and /l/ German adults /la/ Tested in Berlin, in collaboration with Eugen Diesch /l/ is native, /r/ is not Little difficulty for adults to acquire /r/ and /l/

52 Synthetic Stimuli: /ra/-/la/ Three Tasks Second Formant Third Formant Phoneme identification Native-language phonemes Goodness judgments Native-language phonemes Similarity scaling Ratings for stimulus pairs Analysis using Multidimensional Scaling Multidimensional Scaling Example Multidimensional Scaling Example Birmingham Bristol Edinburgh... Birmingham 0... Bristol Edinburgh Multidimensional Scaling Example Birmingham Bristol Edinburgh... Birmingham 0... Bristol Edinburgh Glasgow Bristol Manchester Edinburgh Birmingham Newcastle London

53 American Goodness and Identification Results Second Formant /r/ /l/ Third Formant American MDS Solution Japanese MDS Solution Second Formant /r/ Third Formant /l/ Physical Spacing of Stimuli Second Formant Third Formant German MDS Solution AX Discrimination Second Formant Third Formant

54 The Perceptual Interference Account The Perceptual Interference Account American German Japanese Auditory processing limits the adaptability and formation of higher-level linguistic categories Categorization will be difficult if within-category perceptual sensitivity is increased, or betweencategory perceptual sensitivity is decreased. Higher-level linguistic processing and auditory processing can both be changed during adulthood, when learning a second language. Perceptual changes are self-reinforcing, limiting plasticity Individuals become neurally committed to a particular network structure, because previous perceptual changes interact with new experience Question 1: The Head-Turn Technique How do babies perceive the acoustic dimensions of /r/ and /l/? The Head-Turn Technique Infant /r/-/l/ Stimuli /r/ High F2 /l/ Standard /r/ Standard /l/ Low F2

55 65 60 Percent Correct 55 Infant Results Question 2: What happens to Japanese adults perception of /r/ and /l/ after training? 50 Standard F2 Only F3 Only Training Japanese adults on English /r/-/l/ Subjects: 68 Japanese adults Tested in Kochi and London High Variability Phonetic Training (Pisoni et al) with multiple talkers and words Secondary Cue Tests Identification of natural stimuli Percentage Correct Identification tests with signal processed stimuli Short and long closure durations Short and long transition durations High and low F2 frequencies In collaboration with Valerie Hazan and Kerry Bannister Median improvement of 15 percentage points Some reduction in Perceptual Interference But increase in Category Assimilation Long Closures Long Transitions Short Closures Short Transitions High F2 Percentage Correct Percentage Correct

56 Perception of /w/ and /v/ Question 3: How well does this account explain other phonetic contrasts? British English speakers /w/ and /v/ in native language Sinhalese speakers A single native v phoneme that is between English /w/ and /v/ Very difficult for adults to acquire these phonemes German speakers A single /v/ that is similar to the English /v/ Somewhat difficult for adults to learn English /w/-/v/ In collaboration with Dulika Ekanayake, Anke Sennema, and Silke Hamann Identification of natural /w/-/v/ stimuli Synthetic Stimuli: /awa/-/ava/ Proportion Correct Manner (F1,AF,duration) German Sinhalese Place (F2) Native English Speakers MDS Solutions Subjects with ID <65% and strong spoken accent Sinhalese German Question 4: Subjects with ID >65% and/or a weaker accent Sinhalese German Do these ideas extend to hearingimpaired listeners?

57 Cochlear Implant Cochlear Implants Poor spectral resolution Limited number of channels Good temporal resolution Can be as good as with normal hearing Electrical stimulation is in general very different from normal hearing Large individual differences is speech recognition Experimental Tasks Speech Recognition Measures 100 Speech Recognition (natural speech) Open-set word recognition Forced-choice consonant recognition (T vs. D) Discrimination (/t/-/d/ continuum) Identification (/t/-/d/ continuum) Percentage Correct Can discrimination and identification performance account for word recognition abilities? 20 0 Words Target Phonemes Target Voicing Word Recognition Consonant Identification Discrimination Results Discrimination Results Just Noticeable Difference (VOT) Average Normal Hearing Just Noticeable Difference (VOT) Average Normal Hearing /d/ Voice Onset Time Continuum /t/ /d/ Voice Onset Time Continuum /t/ 120

58 Discrimination Results Discrimination Results Example Cochlear 60 Implant Example Cochlear Implant Just Noticeable Difference (VOT) Average Normal Hearing Just Noticeable Difference (VOT) Average Normal Hearing /d/ Voice Onset Time Continuum /t/ /d/ Voice Onset Time Continuum /t/ 120 Discrimination Results Sensitivity Peak Location Normal Hearing 60 Just Noticeable Difference (VOT) Average Normal Hearing Cochlear Implant /d/ Voice Onset Time Continuum /t/ 120 Example Cochlear Implant /d/ Voice Onset Time /t/ Word Recognition Vs. Sensitivity Peak Location (CI Users) 60 Word Recognition Vs. Sensitivity Peak Location (CI Users) Word Recognition Percentage Correct Word Recognition Percentage Correct /d/ Voice Onset Time Continuum /t/ /d/ Voice Onset Time Continuum /t/

59 Word Recognition Vs. Sensitivity Peak Location (CI Users) Word Recognition Vs. Sensitivity Peak Location (CI Users) /d/ /t/ /d/ /t/ Word Recognition Percentage Correct Word Recognition Percentage Correct /d/ Voice Onset Time Continuum /t/ /d/ Voice Onset Time Continuum /t/ Word Recognition Vs. Distance Between Peak And Boundary Word Recognition Percentage Correct r = Phoneme Identification Are the locations of sensitivity peaks caused by higher-level phonetic categorization? Distance Between Peak And Boundary (VOT) Word Recognition Vs. Identification Boundary (CI Users) General Conclusions Convergence of cross-language and cochlear implant results The Perceptual Interference Account Word Recognition Percentage Correct High auditory sensitivity within phonetic categories impedes linguistic categorization High auditory sensitivity between phonetic categories facilitates linguistic categorization /d/ Identification Boundary Location (VOT) /t/

60 Game Theory in Economics An Introduction / Overview Philipp C. Wichardt Bonn Graduate School of Economics, University of Bonn Game Theory in EconomicsAn Introduction / Overview p. 1/2

61 Outline Game Theory in EconomicsAn Introduction / Overview p. 2/2

62 Outline What GT is about Modelling Equilibrium The Desire for Uniqueness The Rationality Problem Behavioural Game Theory Modelling Bounded Rationality Others/Literature Conclusion / Outlook Game Theory in EconomicsAn Introduction / Overview p. 2/2

63 What Game Theory is About Game Theory in EconomicsAn Introduction / Overview p. 3/2

64 What Game Theory is About Modelling strategic interaction of rational (Bayesian) Decision Makers. Auctions, Elections, Contracts, Market Interaction (Bargaining, Pricing, Entry,...),... Game Theory in EconomicsAn Introduction / Overview p. 3/2

65 Two Types of Games Game Theory in EconomicsAn Introduction / Overview p. 4/2

66 Two Types of Games Normal Form Games all decisions at one go Extensive Form Games sequential play Game Theory in EconomicsAn Introduction / Overview p. 4/2

67 Normal/Strategic Form Games Game Theory in EconomicsAn Introduction / Overview p. 5/2

68 Normal/Strategic Form Games G =< N, {S i } i N, {u i } i N > N = finite set of players S i = player i s available actions u i = player i s payoff function Game Theory in EconomicsAn Introduction / Overview p. 5/2

69 Normal Form Games - Example Game Theory in EconomicsAn Introduction / Overview p. 6/2

70 Normal Form Games - Example C Player 2 D Player 1 C D 3, 3-1, 4 4,-1 1, 1 Figure 2: The Prisoner s Dilemma Game Theory in EconomicsAn Introduction / Overview p. 6/2

71 Extensive Form Games Game Theory in EconomicsAn Introduction / Overview p. 7/2

72 Extensive Form Games Depiction of Sequential Play - (rooted) Tree Structure 1 starting point - origin decision nodes - connecting branches partition of decision nodes according to who to move branches = available actions information partition - different nodes a player cannot distinguish in one set Game Theory in EconomicsAn Introduction / Overview p. 7/2

73 Extensive Form Games - Example Game Theory in EconomicsAn Introduction / Overview p. 8/2

74 Extensive Form Games - Example player 1 x 1 L R x 2 x 3 l r l r player 2 player 2 0,0 4,1 1,3 7,0 Figure 4: A Game Tree Game Theory in EconomicsAn Introduction / Overview p. 8/2

75 Typical Assumptions / Terminology Game Theory in EconomicsAn Introduction / Overview p. 9/2

76 Typical Assumptions / Terminology Common Knowledge Perfect Recall / Perfect Information Complete Information Game Theory in EconomicsAn Introduction / Overview p. 9/2

77 Strategies Game Theory in EconomicsAn Introduction / Overview p. 10/2

78 Strategies pure strategies S i = {s 1,s 2 } mixed strategies S i = {σ σ = λs 1 + (1 λ)s 2, 0 λ 0} simplex behavioural strategies σ hi A i (h i ) complete contingent plan Game Theory in EconomicsAn Introduction / Overview p. 10/2

79 Nash Equilibrium Game Theory in EconomicsAn Introduction / Overview p. 11/2

80 Nash Equilibrium G =< N,S i,u i > a normal form game. σ = (σ i ) i N S := S i is a Nash equilibrium of G iff i N, σ i S i : u i (σ i,σ i ) u i (σ i,σ i ). mutual best responses Game Theory in EconomicsAn Introduction / Overview p. 11/2

81 Examples Game Theory in EconomicsAn Introduction / Overview p. 12/2

82 Examples C Player 2 D Player 1 C D 3, 3-1, 4 4,-1 1, 1 Figure 6: The Prisoner s Dilemma Game Theory in EconomicsAn Introduction / Overview p. 12/2

83 Examples player 1 x 1 L R x 2 x 3 player 2 player 2 l r l r 0,0 4,1 1,3 7,0 Figure 7: An Extensive Game Game Theory in EconomicsAn Introduction / Overview p. 13/2

84 Examples player 1 x 1 L R x 2 x 3 player 2 player 2 l r l r 0,0 4,1 1,3 7,0 Figure 8: An Extensive Game Game Theory in EconomicsAn Introduction / Overview p. 13/2

85 Desire for Uniqueness Game Theory in EconomicsAn Introduction / Overview p. 14/2

86 Desire for Uniqueness Problem: Multiple Equilibria Question: Can we refine the EQ concept? subgame perfection perfect/sequential equilibria stable equilibria highly complex methods - no clear cut result Game Theory in EconomicsAn Introduction / Overview p. 14/2

87 Problem Rationality Game Theory in EconomicsAn Introduction / Overview p. 15/2

88 Problem Rationality Observed Behaviour often does not match the game theoretic predictions. Guessing Game Game Theory in EconomicsAn Introduction / Overview p. 15/2

89 Other Examples Game Theory in EconomicsAn Introduction / Overview p. 16/2

90 Other Examples Ultimatum Game Dictator Game Market Games (better?!) Game Theory in EconomicsAn Introduction / Overview p. 16/2

91 Behavioural Game Theory Game Theory in EconomicsAn Introduction / Overview p. 17/2

92 Behavioural Game Theory Attempt to capture the observed effects fairness reciprocity... (Camerer, 2003) Game Theory in EconomicsAn Introduction / Overview p. 17/2

93 Modelling Bounded Rationality Game Theory in EconomicsAn Introduction / Overview p. 18/2

94 Modelling Bounded Rationality More rigorous/technical models but still very tentative automata limited foresight modelling knowledge... (Rubinstein, 1998) Game Theory in EconomicsAn Introduction / Overview p. 18/2

95 Others: Evolutionary GT Game Theory in EconomicsAn Introduction / Overview p. 19/2

96 Others: Evolutionary GT Modelling the evolution of repeated interactions with the tools of GT stability against mutations (within specified strategies) Game Theory in EconomicsAn Introduction / Overview p. 19/2

97 Some Literature Game Theory in EconomicsAn Introduction / Overview p. 20/2

98 Some Literature Fudenberg, Tirole, 1991: Game Theory Osborne, Rubinstein, 1994: A Course in GT Binmore: Fun and Games; Gibbons: A primer in GT Camerer, 2003: Behavioral Game Theory Rubinstein, 1998: Modeling Bounded Rationality Sammuelson, 1997: Evolutionary Game Theory Weibul, 1995: Evolutionary Game Theory Young, 2001: Individ. Strategy and Social Structure Game Theory in EconomicsAn Introduction / Overview p. 20/2

99 Conclusion / Outlook Game Theory in EconomicsAn Introduction / Overview p. 21/2

100 Conclusion / Outlook Brief Superficial Overview over GT Concepts, Tools, Problems Game Theory in EconomicsAn Introduction / Overview p. 21/2

101 Conclusion / Outlook Brief Superficial Overview over GT Concepts, Tools, Problems There are more details to all of that! Game Theory in EconomicsAn Introduction / Overview p. 21/2

102 Grenzen & Möglichkeiten Zusammenarbeit mittels einer Lernplattform 1. Interkulturelle Zusammenarbeit 1.1 Interkulturelles Lernen Interkulturelle Wahrnehmung Interkulturelle Kommunikation Verbale Kommunikation Paraverbale Kommunikation Nonverbale Kommunikation Kommunikative Stile Lernersprachliche Beschränkungen 1.2 Interkulturelle Kompetenz (lt. BOLTEN) Fachkompetenz Soziale Kompetenz Interkulturelle Kompetenz Strategische Kompetenz Metakommunikationsfähigkeit, ik Lernbereitschaft, Belastbarkeit, Ambiguitätstoleranz, Rollendistanz, Polyzentrismus Individuelle Kompetenz 2. Netzbasierte Zusammenarbeit 2.1 Kollaboratives Lernen in einer netzbasierten Umgebung (lt. REINMANN-ROTHMEIER & MANDL) Kollaborative Situation Kollaborative Interaktion Kommunikationsprozesse Koordinationsprozesse Aushandlungsprozesse Emotional- motivationale Prozesse Medienkompetenz (lt. MAYRING; HURST) 3. Interkulturelle netzbasierte Zusammenarbeit Kritischreflexive K. Emotionale Komp. Sozialkommunikative Komp. Inhaltlich-kognitive Komp. Entwicklung Instrumentell- technische Kompetenzen Anwendung Bsp.: Hyperwave elearning Suite 6

103 4. Zusammenfassung und Ausblick eCampus 5.1. Vorteile Schnelleinstieg Unterstützung des Kursleiters Profit für Studierende Nachteile zeitlicher Mehraufwand höhere Anforderungen an Kursleiter Frage der Benutzerfreundlichkeit 5.3 = Werkzeug? Quellen: F. Fleischhack: Gestaltungsansätze für eine interkulturelle netzbasierte Zusammenarbeit in (Interculture-Online, 9/2004). URL: Medienkompetenz (!) neue Anforderungen an Kursleiter/ Studierende