A Concurrent, Distributed, and Incremental Spoken Dialogue Architecture

Transkript

1 A Concurrent, Distributed, and Incremental Spoken Dialogue Architecture Timo Baumann Universität Hamburg

2 A Concurrent, Distributed, and Incremental Spoken Dialogue Architecture Eine nebenläufige und verteilte Systemarchitektur für inkrementelle Sprachdialogverarbeitung... prototypisch genutzt für responsive Interaktion Folie 2

3 A Concurrent, Distributed, and Incremental Spoken Dialogue Architecture Eine nebenläufige und verteilte Systemarchitektur für inkrementelle Sprachdialogverarbeitung... prototypisch genutzt für responsive Interaktion Folie 3

4 A Concurrent, Distributed, and Incremental Spoken Dialogue Architecture Folie 4

5 A Concurrent, Distributed, and Incremental Spoken Dialogue Architecture Eine nebenläufige und verteilte Systemarchitektur für inkrementelle Sprachdialogverarbeitung... zur Ermöglichung responsiver Interaktion Folie 5

6 Beispiel Folie 6

7 Beispiel Navigationsgerät: Biegen Sie rechts in 60 Metern ab. Folie 7

8 Beispiel 60 m? Navigationsgerät: Biegen Sie rechts in 60 Metern ab. Folie 8

9 Beispiel 60 m? 60 m? Navigationsgerät: Biegen Sie rechts in 60 Metern ab. Folie 9

10 Beispiel 60 m? 60 m? Navigationsgerät: Biegen Sie rechts in 60 Metern ab. ca. 2,5 Sekunden 35 m Folie 10

11 Beispiel Folie 11

12 Beispiel Sprache entwickelt sich über die Zeit Herausforderung und Lösung in einem Folie 12

13 Menschen sprechen responsiv. ein guter Beifahrer reagiert und passt sich an: vorne rechts musst... du abbiegen. Folie 13

14 Menschen sprechen responsiv. 1. internes Umplanen ein guter Beifahrer reagiert und passt sich an: vorne rechts... Folie 14

15 Menschen sprechen responsiv. 1. internes Umplanen ein guter Beifahrer reagiert und passt sich an: vorne rechts... gradeaus quasi. also die zweite. Folie 15

16 Menschen sprechen responsiv. ein guter Beifahrer reagiert und passt sich an: vorne rechts... Folie 16

17 Menschen sprechen responsiv. 2. externe Ereignisse ein guter Beifahrer reagiert und passt sich an: vorne rechts... Folie 17

18 Menschen sprechen responsiv. 2. externe Ereignisse ein guter Beifahrer reagiert und passt sich an: vorne rechts... dem blauen Golf hinterher. Folie 18

19 Menschen sprechen responsiv. ein guter Beifahrer reagiert und passt sich an: vorne rechts... Folie 19

20 Menschen sprechen responsiv. 3. angepasst an den Zuhörer a) Verhalten ein guter Beifahrer reagiert und passt sich an: vorne rechts... Folie 20

21 Menschen sprechen responsiv. 3. angepasst an den Zuhörer a) Verhalten ein guter Beifahrer reagiert und passt sich an: vorne rechts... äh, erst davorne, die zweite. <bremst ab> Folie 21

22 Menschen sprechen responsiv. 3. angepasst an den Zuhörer b) sprachliche Äußerungen ein guter Beifahrer reagiert und passt sich an: vorne rechts... Folie 22

23 Menschen sprechen responsiv. 3. angepasst an den Zuhörer b) sprachliche Äußerungen ein guter Beifahrer reagiert und passt sich an: vorne rechts... genau, die zweite. die zweite? Folie 23

24 weitere Szenarien maschinelles Simultandolmetschen v.a. internes Umplanen Dialoginteraktion Mensch Roboter v.a. externe Ereignisse Interaktion mit konversationalen Dialogsystemen v.a. Anpassung an Nutzerfeedback praktisch jegliche Sprachinteraktion profitiert von responsivem Verhalten Folie 24

25 Zwischenfazit zur Sprachinteraktion 1. Sprache entwickelt sich über die Zeit 2. die Welt ändert sich, während wir sprechen Lösung: Sprachplan im Redefluss adaptieren was gesagt wird wie es gesagt wird (Sprechmelodie, Pausen, Dehnungen,...) Computersysteme sind dazu bisher nicht* fähig * bzw. nur sehr eingeschränkt (Baumann 2013 Diss, Baumann&Schlangen 2013,...) Folie 25

26 vorherrschende Form der Mensch-Maschine-Sprachinteraktion Ping - Pong Folie 26

27 vorherrschende Form der Mensch-Maschine-Sprachinteraktion Ping - Pong Folie 27

28 Sprachdialogsysteme sind modular Dialog Manager Domain History information state Language Understanding Speech Recognition Language Generation Speech Synthesis Folie 28

29 Sprachdialogsysteme sind modular Dialog Manager Domain History Language Understanding wo rd s information state Language Generation speech Speech Recognition Speech Synthesis Folie 29

30 Sprachdialogsysteme sind modular Dialog Manager Domain History data Language Understanding Speech Recognition information state Language Generation Speech Synthesis Folie 30

31 Sprachdialogsysteme sind modular Dialog Manager History da ta Language Understanding Speech Recognition Domain information state Language Generation Speech Synthesis Folie 31

32 Sprachdialogsysteme sind modular data Dialog Manager Domain History information state Language Understanding Speech Recognition Language Generation Speech Synthesis Folie 32

33 Sprachdialogsysteme sind modular Dialog Manager da ta History Domain information state Language Understanding Speech Recognition Language Generation Speech Synthesis Folie 33

34 Sprachdialogsysteme sind modular Dialog Manager Domain History information state Language Understanding Speech Recognition data Language Generation Speech Synthesis Folie 34

35 Sprachdialogsysteme sind modular Dialog Manager Domain History information state Language Understanding Speech Recognition wo rd s Language Generation speech Speech Synthesis Folie 35

36 Sprachdialogsysteme sind modular Dialog Manager Domain History Language Understanding wo rd s information state speech Speech Recognition wo rd s Language Generation speech Speech Synthesis vielfältige Verarbeitungskomponenten klassischerweise: Verarbeitungsschritte nacheinander nur ein Modul zur Zeit Ping-Pong-Interaktion Folie 36

37 erwünschte Systemfähigkeiten speech information state wo wo rd s Language Understanding da ta data Speech Recognition Domain da ta da ta History data Dialog Manager data rd da s Language Generation ta speech Speech Synthesis Folie 37

38 erwünschte Systemfähigkeiten speech Speech Recognition information state wo wo rd s Language Understanding da ta data Domain da ta da ta History data Dialog Manager data rd da s Language Generation ta speech Speech Synthesis Module verarbeiten nebenläufig (parallel) und kooperativ Fähigkeit zur gleichzeitigen Bearbeitung von Datenstrukturen Folie 38

39 Beispiel Umwelt Autosensorik Nutzertracking Biegen Sie rechts in 60 Metern ab. System Folie 39

40 Beispiel Umwelt Autosensorik Nutzertracking Biegen Sie rechts in 60 Metern ab. System Folie 40

41 Beispiel Auto aus Gefahr außer Reichweite UmweltQuerstr. Warnen? Autosensorik Nutzertracking Fuß vom Gas Fahrer schaut rechts Golf biegt auch ab! Kupplung Fahrer schaut gradeaus Bremse Bremse gelöst Fahrer schaut rechts (erwartbar) Biegen Sie rechts in 60 Metern ab. dem Golf folgend ab. Achtung System Warnung vorbereiten: lauter werden, Text ändern doch nicht, Text wie gehabt. will der etwa hier schon abbiegen? Korrigieren: anderen Bezugspunkt geben! Folie 41

42 konkrete Projektziele und -schritte Erweiterung der Dialogarchitektur InproTK (Baumann 2013) Module arbeiten in Transaktionen Transaktionsmanagement damit die Verarbeitungsmodule den Systemzustand kooperativ und nebenläufig fortentwickeln Systemzustand ist eine verteilte Datenstruktur (potentiell über mehrere Computer/Roboter) verteilte Datenbanken Fortschreibung des Systemzustands ist zeitkritisch Erweiterung ggü. Datenbanken z.b. bei Konflikten: welche Transaktion abbrechen, gegeben dass sehr bald gesprochen werden muss? Folie 42

43 Prototypische Anwendung Fokus auf Responsivität der Prosodie Ziel: verzögerungsfreie Sprechmelodieanpassungen Sprechmelodie, Lautheit, Dehnungen,... zentral für natürliche Interaktion anwendbar auf jegliche Arten der Sprachinteraktion zeitgleich über mehrere Abstraktionsebenen und durch nebenläufige Module Feedbackäußerungen (Nicken, hmm,...) beim Sprechen berücksichtigen und damit Kooperativität verdeutlichen konkreter Nutzen zum Beispiel für Vorlesesoftware, etc. Folie 43

44 Zusammenfassung responsives Verhalten ist notwendig für / erleichtert erfolgreiche Sprachdialoginteraktion Responsivität erfordert Nebenläufigkeit und Kooperation der Sprachdialogverarbeitungskomponenten Zusammenspiel ist zeitkritisch, was durch herkömmliches Transaktionsmanagement nicht unterstützt wird Projektziel: Verarbeitungsarchitektur und prototypische Anwendung für responsive Interaktion Folie 44

45 Vielen Dank. Folie 45

46 Vergleich zu Blackboard-Architekturen existierende Blackboard-Architekturen erlauben Datenteilung aber unterstützen keine Inkrementalität und beherrschen keine Transaktionen durch Anwendung festgelegte Ausführungsreihenfolgen vollständiger Informationsaustausch zwischen Modulen ist in meinem Ansatz zwar möglich, aber nicht angestrebt, insbesondere nicht über mehrere Modulgrenzen hinweg Informationsaustausch schränkt Modularität ein Ziel: bessere Abwägung zwischen Modularität, Flexibilität und erreichbarem Gesamtverhalten systemtheoretische Fragestellungen Folie 46

47 Verarbeitung in einem fließband-basierten inkrementellen Sprachdialogsystem W ör te r DA Dialog Manager Sprachverstehen DA W ör te r Sprachgenerierung Signal Signal Spracherkennung Sprachsynthese kontinuierliches Verhalten wird durch synchrone Parallelität möglich Pipeline erlaubt keine Rückkopplung zwischen Modulen Folie 47

48 Verarbeitung in einem fließband-basierten inkrementellen Sprachdialogsystem W ör te r DA Dialog Manager Sprachverstehen DA W ör te r Sprachgenerierung Signal Signal Spracherkennung Sprachsynthese kontinuierliches Verhalten wird durch synchrone Parallelität möglich Pipeline erlaubt keine Rückkopplung zwischen Modulen Folie 48

49 Gründe für inkrementelle Verarbeitung Folie 49

50 Gründe für inkrementelle Verarbeitung Menschen produzieren Sprache inkrementell (Levelt 1989) nehmen Sprache inkrementell wahr (Tanenhaus et al. 1995) kollaborieren inkrementell im Dialog (Clark 1996) bisherige Dialogsysteme funktionieren auch ohne inkrementelle Verarbeitung erleichtert Mensch-Maschine-Interaktion (Aist et al. 2007) Interaktivität in SDS ist ein Usabilityproblem (Ward et al. 2005) Folie 50

51 Ward et al. (2005): Root causes of lost time and user stress 7 Ursachen für Ineffizienz und Unbehagen in Mensch-Computer-Dialogen 3 davon lassen sich direkt auf Ping-Pong-Interaktion und mangelnde Interaktivität zurückführen: Time-outs, Responsivität, Feedback diese machen Mensch-Computer-Dialoge unnatürlich Inkrementalität in SDS könnte also helfen, ein tatsächlich drängendes Problem zu lösen Inkrementalität erfordert in einem modularen System nebenläufige Verarbeitung und dafür ein unterstützendes Transaktionsmanagement Folie 51

52 Turn-taking in dialogue what we think our turn-taking behaviour is: A: B: what it actually looks like: A: B:

53 Turn-taking in dialogue what we think our turn-taking behaviour is: A: B: what it actually looks like: A: B:

54 Turn-taking in dialogue what we think our turn-taking behaviour is: A: B: what it actually looks like: A: B:

55 Turn-taking in dialogue what we think our turn-taking behaviour is: A: B: what it actually looks like: A: B: Dialogue interaction is an intricate dance. Nigel Ward

56 Warum verteilte Datenstruktur? System über mehrere Computer verteilen Beispiel sprechender Roboter: Teile des Systems auf PC... auf mobiler Plattform... auf angebautem Roboterarm Beispiel Webanwendung: Ein-/Ausgabekomponenten clientseitig anspruchsvolle Verarbeitung (Verstehen, Planung) serverseitig Folie 56

57 Datenbanken: ACID, CAP,... Transaktionen verhindern Inkonsistenzen im Datenbestand mein System wird als Objektdatenbank realisiert (nicht, wie für Datenbanken üblich, als relationale DB) mein System ist über mehrere Rechenknoten verteilt (Lokalität der Daten, Modularität, praktische Vorteile, psycholinguistische Plausibilität) nicht alle Transaktionseigenschaften (ACID) lassen sich gleichzeitig in verteilten DBs realisieren (CAP-Theorem) Ziel ist also, die richtige Auswahl zu treffen, wobei das Anforderungsprofil von üblichen verteilten DBs abweicht Folie 57

58 Prosodie Sprechmelodie Prosodie: Stimmhöhe, Dauer, Intensität, Lautheit,... wird zwar nicht geschrieben, ist dennoch sehr wichtig Wortbedeutung, Informationsstruktur, Dialogführung wird lokal und flexibel bestimmt Dialogue interaction is an intricate dance. Nigel Ward Computer bestimmen die Aussprache eines ganzen Satzes im vorhinein und ohne jegliche Flexibilität Folie 58

59 Arbeitspakete verteilten Datenbank-Ansatz für inkrementelle Sprachverarbeitung entwerfen und entwickeln inkrementelles und strukturiertes Prosodiemodell entwerfen, datenbasiert Verhalten trainieren Prototypen / Meilensteine: 1. verzögerungsfreies prosodisch korrektes Mitsprechen 2. responsives Verhalten in Vorlesesituationen Experimente zum Nutzen des responsiven Verhaltens Folie 59

60 Arbeitsplan 1st year 2nd year Project management Inpr otk maintenance Reformulate as DBMS Literature study Devise and discuss model Present to DBMS group Implement Test and re-work Cross-network/OS distribution Low-latency prosody model Literature study Study corpus (Switchboard) Higher-level model Back-Channel (BC) handling Prototype: low-latency prosody Prototype: precisely-aligned BCs Experimentation Measure model-latency Evaluate BC production Dissemination of results Low-latency model (for IS?) BC evaluation (for SigDial?) Conclusive journal article Folie 60

61 Budget Infra: 1. Jahr 2. Jahr Gesamt Was Notebook-Computer, Bildschirm, etc., Audio-Equipment Korpuslizenzen von ELRA und LDC Konferenzreisen (ICASSP, SpeechProsody, SigDial) 18 Hiwi-Monate (40h/Monat, je 500 ) Einladungen an Gastredner für Vorträge und Diskussionen Besuch anderer Forschungsgruppen in Deutschland Virtual Server Hosting Konferenzreisen (Interspeech, SigDial,???) 18 Hiwi-Monate (40h/Monat, je 500 ) Versuchspersonen (75, je 15 ) Virtual Server Hosting Organisation eines Abschlussworkshops Euro Folie 61

62 Budget concluding Was Euro workshop Infra: Notebook-Computer, Bildschirm, etc., Audio-Equipment Korpuslizenzen von ELRA und LDC experiments Jahr Konferenzreisen (ICASSP, SpeechProsody, SigDial) Hiwi-Monate (40h/Monat, 9000 hard & software 17%je 500 ) 2% Einladungen an Gastredner für Vorträge und Diskussionen Besuch anderer Forschungsgruppen in Deutschland % Virtual Server Hosting Jahr Konferenzreisen (Interspeech, SigDial,???) Hiwi-Monate (40h/Monat, je 500 ) Versuchspersonen (75, je 15 ) % 18% Virtual Server Hosting Organisation eines Abschlussworkshops 6750 Gesamt student travelling assistants Folie 62

63 InproTK Ergebnis meines Promitionsprojekts im Emmy-Noether-Projekt von David Schlangen zu Incrementality and Projection in Dialogue Open-Source Software-Toolkit in Java von mehreren Gruppen international in Gebrauch: international veröffentlicht Universitäten Hamburg, Bielefeld, Potsdam (in Forschung und Lehre) Honda-Research-Institute, Japan University of Texas at El Paso, USA weitere unregelmäßige Nutzer (Indien, D, UK, F,...) viele Systeme&Veröffentlichungen auf Basis von InproTK Folie 63

64 Hiwis zwei Personen für 2 Jahre allerdings veranschlage ich einige Zeit bis ich jemanden finde grobe Aufgabenteilung: Hiwi A: primär softwaretechnische Unterstützung, Release-Management,... Hiwi B: primär Datenanalyse und -annotation, sowie Experimentunterstützung Folie 64

65 ACCSDS-Workshop 25 Teilnehmer überwiegend Konzept der Un-Conference: Arbeitsgruppen mit von den Teilnehmern bestimmten Themen wurde inhaltlich sehr gut aufgenommen Körber-Förderung über 8500 eingeladene (Nachwuchs-)Wissenschaftlicher aus D und EU Keynote von Kristinn Thorisson angebotene Reisekostenübernahme wurde teilweise abgelehnt ließe sich also auch mit weniger Geld realisieren Vorteile durch Networking, Gegeneinladungen sowie konkrete gemeinsame Projekte mit einigen Teilnehmern Folie 65

66 zukünftige Anknüpfungspunkte zuverlässige Systemarchitektur erlaubt einfachere Implementierung von responsiven Prototypen Hypothesen testen, Interaktionsvarianten (automatisiert) probieren Integration von weiteren Modalitäten Roboter mit der Sicherheit, dass alle Varianten funktionsfähig sind, immer ohne Hacks die nur jeweils einmal klappen Anwendung der responsiven Prosodie auf maschinelles Simultandolmetschen (in Zusammenarbeit mit AT&T) Echtzeit-Manipulationen von Nutzersprache? bisher nur ohne Beachtung linguistischer Struktur möglich Folie 66

67 What if? Kritische Punkte im antizipierten Rückblick Fehler bei Verständnis und Umsetzung der Datenbanktechnologie nicht absehbare aufgabeninhärente Probleme zuwenig Gemeinsamkeiten über alle Verarbeitungsebenen kein generelles Verhalten modellierbar Umsetzung komputational zu aufwendig zu langsames System, viele Transaktionsabbrüche, schlechtes Systemverhalten ungünstiger Experimentausgang Deadlocks, Livelocks, Verhaltensblockaden zwischen Modulen Zeitkritikalität ohne zentralen Arbiter nicht auflösbar Zeitkritikalität zu bestimmen ist nicht-trivial nicht signifikante Ergebnisse Software-Fehler des Systems divergierende (und unsystematische) Präferenzen zwischen Teilnehmern zu spät bemerkt Schwierigkeit gute Hiwis zu finden, knappe Ablehnung bei Konferenzen/Journals,... Folie 67

68 Diskussion. Folie 68

69 Sprache als System über Computeranwendungen hinaus möchte ich auch mehr über Sprache an sich lernen: alles hängt mit allem zusammen ist zu platt gedacht sind alle Komponenten direkt oder evtl. nur indirekt verbunden? welcher Art ist die Verbindung, der Informationsaustausch zwischen Komponenten? Was tut die Morphologie wenn ich radiohöre und gleichzeitig ne Postkarte schreibe? -- was müsste sie tun? Folie 69

70 Raum für Notizen Folie 70