Dialogsysteme und VoiceXML Christoph Ringlstetter/Prof. Klaus U. Schulz Seminar im WS 2004/05

Transkript

1 Dialogsysteme und VoiceXML Christoph Ringlstetter/Prof. Klaus U. Schulz Seminar im WS 2004/05

2 Sitzung IV ( ) Einführung in VoiceXML I (Christoph Ringlstetter) Literatur: C. Ringlstetter: Tutorial zu VoiceXML (2004)(P) Pavel Cenek: Elvira a VoiceXML Platform for Research (2003)(P) Michael F. Mc Tear: Spoken Dialogue Technology (2004), Kap 9, S (P)

3 Ziele der Sitzung Was ist VoiceXML Architektur und Anwendungsszenarien Zentrale VoiceXML-Konzepte im Überblick Dialog-Konstrukte

4 Was ist VoiceXML XML-Dialekt zur "deklarativen" Implementierung von interaktiven Dialogsystemen Formale Spezifikation liegt beim W3C als DTD(Document Type Definition) vor intendierter Hauptanwendungsbereich: interaktive Webanfragen per Telefon, inzwischen in den Call-Center-Bereich expandiert + Standalone Systeme zu Forschungszwecken Charakteristik : deklarativ: Der Entwickler muss den Dialog lediglich spezifizieren, die Dialogkontrolle ist implizit FIA(FormularInterpretationsAlgorithmus) prozedural: EMCA-Skript (= Java-Skript) kann zum beschreiben von Variablen benutzt werden, es gibt die Bedingungskonstrukte wie <if>,<elseif> und <else> event-driven: es existiert ein Eventmodell <noinput>, <nomatch> objektorientiert: vgl. etwa die Existenz von Shadowvarialblen für Feldvariable, die den Benutzerinput, Konfidenzwerte etc. enthalten und über Punktnotation zugänglich sind

5 Motivation Aus einer Machbarkeitsstudie am Lehrstuhl für Wirtschaftsinformatik in der Universität Regensburg: "Ziel dieser Arbeit war es, durch die gewonnenen Erfahrungen beurteilen zu können, ob die Entwicklung von Sprachanwendungen mit der Dialogmodellierungssprache VoiceXML auch für Neulinge im Bereich der Sprachtechnologie möglich ist. Diese Frage kann eindeutig mit "Ja" beantwortet werden." (aus Eva-Maria Spranger: VoiceXML Technologiebewertung und praktische Erprobung, 2003, S. 73)

6 VoiceXML: Historie Beginn der Initiative 1994: Markup-Idee von AT&T und IBM, Gründung von Nuance und Speechworks (Universitäts-Spinoffs USA) 1999 Gründung des VoiceXML-Forums durch AT&T, Lucent und Motorolla und anschließend IBM. Inzwischen 600 Mitgliedsfirmen März 2000: Spezifikation 1.0 April 2002: Spezifikation 2.0 Dokumente: Voice Extensible Markup Language (VoiceXML) Version 2.0 W3C Recommendation 2004 Speech Recognition Grammar Specification W3C Recommendation 2004 Semantic Interpretation for Speech Recognition W3C Working Draft 2003 Speech Synthesis Markup Language Recommendation 2004

7 VoiceXML Dokumente: Charakteristik Ein VoiceXML-Dokument ist eine Kollektion von Dialogen (= XML- Beschreibungen möglicher Dialoge) Dialoge: Formulare (<form> - Element) präsentieren Informationen und sammeln Benutzereingaben Menüs (<menu> - Element) bieten Auswahlmöglichkeiten, die nachfolgende Schritte steuern Grammatiken: Mit jedem Dialog können eine oder mehrere Grammatiken die die zulässigen Benutzereingaben spezifizieren und semantisch einordnen Events: Mit Formularen und Menüs werden normale Dialogverläufe abgewickelt. Events behandeln Abweichungen vom Standardverlauf. keine Benutzerantwort <noinput> unverständliche Benutzerantwort <nomatch> Hilfeanfrage <help> Links: Unterstützen Mixed Initiative. Links haben eine Grammatik mit "Hot- Words" und können auch selbstimplementierte Events auslösen

8 Definitionen Session: Beginn:Der Anrufer wählt sich in das System ein. Ende:Der Anrufer hat aufgelegt oder das System hat die physische Verbindung unterbrochen <disconect> Applikation("Gespräch"): Beginn: Das Wurzeldokument der Anwendung wird geladen. Ende: implizites exit - der FIA beendet die Anwendung da kein unausgefülltes Formular mehr erreichbar ist - oder explizites <exit>- Element, das die Applikation beendet. Dokument: Eine Datei, die mit dem <vxml> - Tag beginnt und mit </vxml> endet Dialog: Eine Interaktion die in einem Formular <form> - Element oder einem Menü <menu> - Element stattfindet (=sehr technische Definition des Begriffs Dialog in VoiceXML)

9 Der VoiceXML Gateway aus McTear: Spoken Dialogue Technology

10 Das erste VoiceXML Dokument "HELLO WORLD" 1: <?xml version="1.0" encoding="iso "?> 2: <vxml version="2.0" xmlns=" 3: <form> 4: <block> 5: <prompt>herzlich Willkommen bei der Fahrplanauskunft 6: der deutschen Bundesbahn! 7: </prompt> 8: </block> 9: </form> 10: </vxml>

11 Erklärung zum Programm: "Hello World" Allgemein: Tags müssen konform zur XML-Syntax immer einen schließenden Tag besitzen. Bachelor-Tags sind zulässig 1: Headerzeile, die VoiceXML als XML-basierte Sprache spezifiziert. Optional mit Link zur VoiceXML DTD 2: Wurzeltag der zugleich die VoiceXML Version spezifiziert 3: Eröffnung eines Dialogelements: <form> 4:<block>- Element: Container von nicht-interaktivem ausführbarem Code. Hat ein name - Attribut das Ziel einer <goto>-anweisung sein kann. Erwartet keine Benutzereingabe. 5:<prompt> - Element: Gibt den eingeschlossenen Text über TTS aus Da kein Nachfolgedialog angegeben ist endet die Applikation automatisch nach der Ausgabe

12 Dialogkonstrukte Dialogkonstrukte in VoiceXML: Formulare: <form> - Element Menüs: <menu> - Element Zusätzlich: Initierung von Subdialogen über ein Kindelement von <form>: das <subdialog> - Element

13 Formulare (<form>) Formulare enthalten: Folge von Formular-Items, die bei der Interpretation des Formulars (top-down) besucht werden: teilen sich auf in Input-Items die mit Benutzereingaben gefüllt werden und Kontroll-Items. Deklarationen von "non-form-item" Variablen <var> Event-Handler <noinput> <nomatch> <help> Filled-Aktionen (<filled>): Blöcke mit prozeduralem Inhalt, die ausgeführt werden, wenn alle oder einige Input-Items mit Werten belegt worden sind. Innerhalb des <filled> Elements können dann je nach Belegung der Input-Items (<field>) Aktionen ausgelöst werden.

14 Attribute des Formular-Elements id: Name des Formulars scope: Skopus der Grammatiken des Formulars: Kann mit "dialog" belegt werden, dann sind die Grammatiken nur im Formular selbst aktiv oder kann "document" sein, dann sind sie im ganzen Dokument aktiv. Wenn das Dokument das Wurzeldokument einer Anwendung ist, so ist eine "document" gesetzte Grammatik auch in allen Blattdokumenten aktiv. Wird ein scope-attribut innerhalb der Grammatik selbst (<grammar scope="wert"> gesetzt, so überschreibt dieses das scope-attribut im Formular, das <grammar>-attribut scope ist also stärker.

15 Formulare: Input-Items Input-Items spezifizieren eine Input-Item-Variable, für die der Benutzer einen Wert angeben soll. Können als Kind-Elemente <prompt> für Systemausgaben und <grammar> für zulässige Benutzereingaben. Werte können im <filled> Element weiterverarbeitet werden <field>: Die Item-Variable wird durch Rückgaben der Spracherkennung oder durch DMTF (Dual Multi Tone Frequency oder touch tone) belegt. (In Optimtalk durch das Keyboard simuliert) <record>: Werte sind vom Benutzer aufgenommene Audio Clips: z.b. Voic -Nachricht <transfer>: Leitet den Benutzer an eine andere Telefonnummer weiter Sonderklasse - ohne <grammar> Kindelement: <object>: Aktiviert ein plattformspezifisches Objekt: in W3C Spezifikation offen. Damit ist mit VoiceXML "alles" möglich <subdialog>: Aktiviert einen Subdialog. Es wird ein ECMA(European Computer Manufacturer's Association)-Objekt als Resultat zurückgeliefert

16 Formulare: Kontroll-Items <block>: Folge prozeduraler Elemente zur Ausgabe von Prompts und für Berechnungen. Das <block>-kontroll-item hat eine implizite Form-Item-Variable, die unmittelbar vor Ausführung auf "true" gesetzt wird. <initial>: Kontrolliert initiale Aktionen v. a. in "mixed-initiative" Formularen. Alle zugehörigen prompts werden unmittelbar beim ersten Betreten des Formulars durch die Hauptschleife des FIA ausgeführt. Das <initial>-element hat im Gegensatz zu Feld-Items keine Grammatiken und keine <filled>-aktionen

17 Formular-Item-Variablen und Guards Formular-Item-Variable: Jedes Formular-Item hat eine zugeordnete Variable, die per default auf "undefined" steht und deren Name der des Items ist. Nach Benutzereingabe enthält die Variable die Benutzereingabe als Wert Guard-Bedingung: Sie bestimmt ob der FIA das Formular-Item besucht. Default: FIA testet ob die Formular-Item-Variable schon einen Wert hat

18 wichtige Attribute von Formular-Items name: Name des Formular-Items expr: Initialer Wert der Formular-Item- Variable: defaultwert: undefined cond: zusätzlich möglicher Ausdruck der zusammen mit dem Test der Formular-Item- Variablen evaluiert wird. Falls er nicht definiert ist steht er auf true

19 Wiederholung: Der Formularinterpretationsalgorithmus (FIA) Hauptschleife mit 3 Phasen: select: Top-Down im aktiven VoiceXML Dokument wird das erste nicht ausgefüllte Formular ausgewählt, dessen guard- Bedingung offen ist (Ausnahme: es gab eine goto- Sprunganweisung) collect: Das ausgewählte Formular wird besucht. Der nachfolgende Promtausgabealgorithmus wird auf die Prompts (=Systemäußerungen) des Formulars angewendet, die Eingabegrammatik des Formulars wird aktiviert. Der Algorithmus wartet auf Eingaben des Benutzers process: Eingabeauswertung indem die Felder des Formulars gemäß der aktiven Grammatik gefüllt werden. Gefüllte Elemente werden beispielsweise zur Eingabevalidierung aufgerufen. Die process-phase endet, wenn keine Items mehr augewählt werden können oder ein <goto> erreicht wird.

20 Auswahl der <prompt>-elemente im FIA während der collect Phase Als "prompt-queue" wird eine Liste aller prompts in der Reihenfolge ihres Auftretens im Formular angelegt Alle prompts deren guard Bedingung geschlossen ist werden aus der Queue gestrichen Vergleich der count Werte der einzelnen prompts (wie oft kann ein prompt ausgeführt werden) mit dem Formular count (wie oft wurde das Formular ausgeführt ) Abspielen der übrig gebliebenen prompts Top- Down nach dem Auftreten im Formular

21 Nochmal:Formular-Interpretation Ablauf Auswahl und Ausführung eines Prompts Sammeln von Benutzereingaben (collect-phase) Interpretation der Benutzereingabe im <filled>-block (process-phase) Die Interpretation des Formulars endet durch: Kontroll-Transfer-Statement <goto> Kontroll-Transfer-Statement <submit> wenn keine Items mehr auswählbar sind: die Guard- Bedingungen sind sämtlich erfüllt (ungenauer: "Alle Felder des Formulars sind gefüllt")

22 Beispiel 1 zu <form> <?xml version="1.0"> <vxml version="2.0"> <form id="hauptmenue"> <field name="auswahl"> <grammar type="application/x-jsfg> Grundstudium Hauptstudium </grammar> <prompt> Willkommen zur CIS Webseite. Sie können zwischen Hauptstudium und Grundstudium wählen </prompt> </field> </form> <filled> <prompt> Sie interessieren sich also für das <value expr="auswahl">!</prompt> </filled> </vxml>

23 Beispiel 2 zu <form> <form id="zugauskunft"> <field name="abfahrtsbahnhof> <grammar> Muenchen Regensburg</grammar> <prompt>nennen Sie den Abfahrtsbahnhof </prompt> </field> <field name="confirm" type="boolean"> <prompt> Sie wollen von <value expr="abfahrtsbahnhof" /> abfahren? </prompt> <filled> <if cond="confirm"> <goto nextitem="ankunftsbahnhof"/> <else/> <prompt>wir probieren es nocheinmal!</prompt> <clear namelist="abfahrtsbahnhof"> </if> </filled> </field> <field name="ankunftsbahnhof>... </field> </form>

24 Events I: <noinput> und <nomatch> Events wie <noinput> und <nomatch> sind Built-In-Events. Sie werden von der VoiceXML-Plattform geworfen. Über das count Attribut kann unterschiedliches Verhalten je nach Vorkommenshäufigkeit des Events implementiert werden.

25 Beispiel zu <noinput> und <nomatch> <field name="abfahrtsbahnhof"> <prompt> Wo wollen Sie abfahren?</prompt> <grammar> Muenchen Regensburg </grammar> <noinput count="1"> <prompt> Ich habe nichts verstanden. Sprechen sie lauter </prompt> </noinput> <noinput count="2"> <prompt> Ich habe immer noch nichts verstanden. Sprechen sie noch lauter </prompt> </noinput> <nomatch count="1"> <prompt> Ich habe ihre Eingabe nicht verstanden. Wählen Sie Regensburg oder München </prompt> </nomatch> <nomatch count="2"> <prompt> Ich habe ihre Eingabe immer noch nicht verstanden. Auf wiederhoeren!</prompt> <exit/> </nomatch> <field>

26 Menüs: <menu>-element Menüs sind eine Kurzform von Formularen. Sie haben nur ein Feld, das den Benutzer auffordert (<prompt>) eine Auswahl zwischen mehreren Menüpunkten zu Treffen: Kindelement <choice>. Diese Auswahl kann durch <enumerate> im Prompt aufgezählt werden. Über die Benutzerauswahl wird dann innerhalb der Applikation z.b. ein Übergang zu einem anderen Formular realisiert

27 Attribute von <menu> id: Menü-Name der Target für eine <goto> oder eine <submit> - Anweisung sein kann scope: Grammatikskopus der Menügrammatiken: "dialog": Nur im Menü "document": Im ganzen Dokument und falls dieses die Wurzel ist: In allen Blättern dtmf: Falls "true": Die ersten neun choices können mit 1-9 belegt werden accept: Falls auf "approximate" gesetzt, werden auch nur approximativ erkannte Benutzereingaben akzeptiert. Der Grad der Approximativität hängt vom VoiceXML- Gateway ab.

28 Menüs: Kindelement <choice> Für das <choice>-element kann eine Sprachgrammatik mit dem <grammar>-element spezifiziert werden, oder eine dtmf-grammatik. Es wird eine URI(Unique Ressource Identification) angegeben die angesteuert wird wenn der Benutzer das <choice>-element auswählt. Die durch die <choice>elemente angegebenen Optionen können im <menu>- Elternelement mit <enumerate/> automatisch ausgegeben werden

29 Attribute von <choice> dtmf: Für dieses Auswahlfeld wird eine DTMF-Folge angegeben Bsp.: "123#" accept: Überschreibt die globale accept-vereinbahrung des Menüs für diesen choice-punkt next: Navigationsanweisung: URI des nächsten Dialogs oder Dokuments event: auszuführender Event statt URI-Weiterverzweigung expr: ECMA-Script-Ausdruck, der einen anzusteuernden URI auswertetführenden Event liefert eventexpr: Wertet einen auszuführenden Event aus message: String der zusätzliche Information zum auszu... Obligation: Eines der Attribute "next", "expr", "event" oder "eventexpr" muss definiert sein

30 Programmbeispiel zu <menu> <menu> <prompt>wählen Sie eines der Schlüsselwörter <enumerate/> </prompt> <choice next=" Ueberweisung </choice> <choice next=" Pin aendern </choice> <noinput><prompt> Sie haben nichts gesagt </prompt> </noinput> </menu>

31 Subdialoge: <subdialog> Definition: Eine neue Interaktion (Dialog), die innerhalb eines laufenden Dialogs gestartet wird. Ein Austausch von Werten in beide Richtungen ist möglich Vorteil: alle Variablen und Grammatiken, - also der ganze Dialogzustand - werden gespeichert und stehen nach Rückkehr aus dem Subdialog unverändert zur Verfügung Grund: der Subdialog wird in einem eigenen Kontext ausgeführt (Namespace) Ist der Subdialog abgeschlossen so kehrt man über <return> zum Aufrufer zurück. Der Kontext des Subdialogs wird gelöscht Das Element <subdialog> initiert den Subdialog, der selbst ein Formular <form> ist Die Schachtelung mehrerer Subdialoge ist erlaubt (= Subdialoge, die selbst wieder Subdialoge aufrufen)

32 Subdialoge: Werttransfer vom Subdialog zum Aufrufer <form id="haupt_menue"> <block> <prompt>willkommen bei der Platzreservierung der DB</prompt> </block>... <subdialog name="sitzplatzspezifikation" src="#auswahldialog/> <block> <prompt> Sie wollen also einen <value expr = "sitzplatzspezifikation.rauchen" /> Sitzplatz <value expr = "sitzplatzspezifikation.mobilfunk"/> Mobilfunk. </prompt> </block> </form>

33 Subdialoge: Werttransfer vom Subdialog zum Aufrufer <!-- subdialog --> <form id="sitzplatzspezifikation">.<field name="rauchen"> <grammar> <one_of> <item>raucher</item> <item>nicht Raucher </item> </one_of> </grammar> <prompt> Möchten Sie einen Raucherplatz oder einen Nichtraucherplatz? </prompt> </field> <field name="mobilfunk">... </field> <filled> <return namelist="rauchen mobilfunk"/> </filled> </form>

34 Subdialoge: Werttransfer vom Subdialog zum Aufrufer Programminterpretation: der Subdialog "sitzplatzspezifikation" wird über das <subdialog> Element initiert. Zurückgegebe Variablen können dann mit Hilfe der "Punkt-Notation" unter dem Namen des Subdialogs im aufrufenden Dialog abgefragt werden Der Subdialog selbst ist ein Formular, das wiederum Feld-Items enthalten kann Die Variablenabfrage erfolgt mit dem <value> Element, das eine Auswertung vornimmt und den erhaltenen Wert ausgibt

35 Subdialoge: Werttransfer vom Aufrufer zum Subdialog Das <param> Element wird benutzt um Werte vom aufrufenden Dialog an den Subdialog zu übergeben. Programmfragment: <field name="abfahrtsbahnhof"> <subdialog name="resultat" src="#validierung"> <param name="bahnhof" expr="abfahrtsbahnhof"> </subdialog> <field> <form id="validierung"> <var bahnhof="bahnhof">... </form> <param> übergibt den Wert der Feldvariablen "abfahrtsbahnhof" an den subdialog. Achtung: Übergebene Parameter müssen im Subdialog auf eine eigene Variable geschrieben werden (Achtung: merkwürdige Deklarationssyntax ist so richtig. Sonst werden Variablen mit Attributen name und expr deklariert, über expr erfolgt dann die Wertzuweisung.

36 Eine VoiceXML Multi-Dokument- Applikation Eine VoiceXML-Applikation besteht normalerweise aus mehreren Dokumenten, die wiederum einzelne "Dialoge" <form>, <menu> und über <subdialog> initierte Subdialoge enthalten. Die Dialoge (<form>) können mehrere Felder enthalten. Eine solche "Multi-Dokument-Applikation" ermöglicht "Modularisierung" in beschränktem Umfang Ein Dokument muss dann als Wurzeldokument ausgezeichnet sein (implizite "Auszeichnung": application-attribut bleibt leer) Die Blattdokumente geben das Wurzeldokument mit dem Attribut application ="... " Ergebnis: "Zweiebenenarchitektur" Variablen des Wurzeldokuments sind in den Blattdokumenten verfügbar: mit dem Blattdokument wird auch das zugehörige Wurzeldokument geladen <catch> Elemente des Wurzeldokuments können zum Eventhandling in den Blatt-Dokumenten verwendet werden Wird ein neues Wurzeldokument geladen so wird der Kontext des vorhergehenden (Grammatiken, globale Variablen) gelöscht

37 Navigation innerhalb einer VoiceXML- Applikation In VoiceXML werden explizite Übergänge, über <goto>, <choice>, <link> <subdialog> oder <submit> kodiert. Innerhalb dieser Elemente wird per Attribut angegeben bei welchem Dialog die Applikation fortgesetzt werden soll: Bsp.: <goto> hat das Attribut nextitem das mit einem URI als Wert belegt wird implizit werden Übergänge zwischen Formularen oder innerhalb von Formularen zwischen deren Feldern durch den FIA gesteuert.

38 Navigation mit <goto> Mit <goto> wird ein neuer Dialog innerhalb des aktiven Dokuments oder in einem anderen Dokument angesteuert. <if cond="auswahl == 'Studenten'"> <goto next="studenten.vxml"/> <elseif cond="auswahl == 'Kurse'"/> <goto next="kurse.vxml"/> <else/> <goto next="hauptmenue.vxml/"> </if> Soll zu einem bestimmten Dialog im neuen VXML-Dokument navigiert werden, so wird "#" benutzt: <goto next kurse.vxml#uebersicht/> Soll zu einem anderen Item im aktiven Dokument navigiert werden so benutzt man das Attribut nextitem <goto nextitem="matrikelnummer"/> Achtung: Wird mit <goto> zu einem anderen Dokument oder Dialog navigiert so gehen alle "alten" Variablen verloren.

39 Variablen in VoiceXML Neben den Form-Item-Variablen wie z.b. den Feldvariablen können in VoiceXML auch "freie" Variable deklariert werden. <var name="praesident"/>: deklariert eine Variable mit dem Namen "praesident" <assign name="praesident" expr="'bush'"/> (Achtung: innere 'Quotes' spezifizieren Inhalt als String) Variablenwert ausgeben: <prompt> Der neue Präsident ist <value expr="praesident"> </prompt>

40 Variablen-Skopus Session: hier gibt es read-only Variablen die vom Interpreter selbst gesetzt werden z. B.: session.telephone.ani: Die Telefonnummer des Anrufers Applikation: Durch <var> deklarierte Variablen, die Kinder des Wurzeldokuments der Applikation sind: Sie sind im Wurzeldokument und allen Blattdokumenten sichtbar: "globale Variable" Dialog: Jeder "Dialog" (<form>,<menu>) hat einen eigenen Skopus. Variablen sind innerhalb des Dialogs in dem sie deklariert wurden sichtbar. Anonym: Variablen die in einem <block>, <filled> oder <catch> Element deklariert werden, sind nur innerhalb dieses Elementes sichtbar Konflikte: Es ist "Verschattung" implementiert. D. h. gibt es zwei Variablen gleichen Typs so wird diejenige mit engerem Skopus benutzt.

41 "Unser" Gateway: Der VoiceXML Interpreter OptimTalk(früher Elvira) Selbstbezeichnung: One of the most complete implementations of W3C Speech Interface Framework available today VoiceXML 2.0 weitgehend implementiert Speech Recognition Grammar Specification (SRGS) implementiert: W3C Grammatikformat Semantic Interpretation for Speech Recognition Specification implementiert Speech Synthesis Markup Language (SSML) implementiert Call Control Markup Language (CCML) implementiert

42 Mütter von OptimTalk Web Adresse: Beteiligte: - Laboratory of Speech and Dialogue University of Brno Tschechien: Pavel Cenek - Norut IT, unabhängiges Forschungsinstitut der Universität Troms

43 Vorteile von Optimtalk für Ausbildungszwecke Läuft auf einem Einzelplatzrechner ohne ständige Netzanbindung wie andere Torsoversionen Ist äußerst kompakt: 1.7 MB Ist äußerst einfach zu installieren und zu bedienen Verfügt über StdIn StdOut Schnittstellen, so dass Programme ohne Spracherkennung und Synthese entwickelt werden können Ist für Windows32 und Linux verfügbar Kann in Applikationen eingebunden werden Unterstützt externe Events die in die interne Eventqueue eingefügt werden können Implementiert ein plattformspezifisches <object> Element mit dem externe Programme aufgerufen werden können. Zusätzlich gibt es eine ECMA-Skript-Erweiterung, die es erlaubt Objekte durch jeden ECMA Ausdruck aufzurufen. Damit sind experimentelle Erweiterungen der VoiceXML Funktionalität möglich. Frei erhältlich für nicht-kommerziellen Gebrauch

44 Systemkomponenten von Optimtalk Dialogmanager: Interpretiert VoiceXML und kontrolliert die anderen Komponenten. Ressourcenmanagement, input/output Management, timeout und bargein Management. event queue Management Inputkomponente: Sammelt die Benutzereingaben die aus verschiedenen Quellen kommen können, wie z. B. Telefon, Mikrophon, Keybord und andere. Eine Komponente für multimodalen Input ist vorgesehen Grammatikkomponenten: Optimtalk unterstützt die beiden W3C Formate: ABNF und SRGF XML, das Java Speech Grammar Format (JSGF) und das Microsoft Speech API Grammatikformat Outputkomponente: Optimtalk erzeugt im Dialogmanager die prompts und sendet sie an die Outputkomponente, wo sie z. B. synthetisiert und in die Telefoniekomponente oder als Textausgabe an die Konsole übertragen wird. Telefoniekomponente: Mit dieser Komponente wird ein Layer zur Verfügung gestellt, der es erlaubt, den Dialog über das Telefon zu starten, Übermittlungen von der Outputkomponente weiterzuleiten und bestimmte telefoniespezifische Events zu verarbeiten

45 Übungssystem optimaltalk_test mit optimtalk_test wird ein Übungssystem aufgerufen das über die Input-Komponente Keyboard und die Output-Komponente Konsole kommuniziert Aufruf in einer Shell: OptimTalkVerzeichnis/bin/optimtalk_test mit dem jeweiligen VoiceXML_File als Argument Bei Linux muss der Pfad mit folgender Anweisung in der.bashrc gesetzt werden: export LD_LIBRARY_PATH="$LD_LIBRARY_PATH":<homeve rzeichnis>/optimtalk/bin vgl.: auch Installationsanweisung auf Optimtalk- Webseite, Punkt "Test-Application"

46 Aufgabe 4.1: Variablenbelegung Das Programm soll den Benutzer verabschieden und begrüßen. Es sollen zwei Formulare zur Begrüßung und zur Verabschiedung deklariert werden. Zur Navigation kann das <goto> - Element verwendet werden / oder man kann den FIA ausnutzen. Statt einem reinen Prompt soll eine Variable "hallo" deklariert werden, die mit einem Begrüßungsstring belegt wird und später im Grußformular ausgegeben werden soll.

47 Aufgabe 4.2: Navigation Es sollen zwei unterschiedliche VoiceXML-Dokumente angelegt werden: beispiel4.2a.vxml und beispiel 4.2b.vxml. Das erste Formular soll drei Formulare haben: "start", "mitte" und "end". Die jeweils dem Benutzer ausgeben, wo er sich befindet "Sie sind in 4.2a, Start..." Das Formular "start" soll die Blöcke (<block> - Element) rot, gruen und gelb besitzen. Jeder Block soll wiederum einen Prompt ausgeben, der meldet, dass er besucht wird. Folgende Applikation soll implementiert werden: Beginn im Formular "start" Besuche rot, belege gruen zunächst so dass es nicht besucht wird: mit <assign> expr auf "true" setzen Dann wird über die natürliche Abarbeitung des FIA "gelb" besucht. Dort wird <block name="gruen"> auf "undefined" gesetzt (mit Hilfe des clear-elements). In gruen soll mit Hilfe eines <goto> Elementes "mitte" übersprungen werden und das Formular "ende" besucht werden. Aus "ende" soll auf das zweite VXML-Dokument verzweigt werden, das die Applikation mit <exit> beenden soll.

48 Verwendung von <block> In <block> werden prozedurale Statements ausgeführt. Es wird keine Benutzereingabe erwartet Attribute: name: definiert den Variablennamen des Blocks als Form- Item-Variable expr: der initiale Wert (default) einer Variable ist undefined cond: definiert einen Ausdruck der auf true auswerten muss damit auf das Item zugegriffen wird <clear namelist="var1 var2..." />: Mit clear wird der Wert von Variablen auf "undefined" gesetzt. Die entsprechenden Items werden also vom FIA wieder besucht.

49 Einführung in VoiceXML II Grammatiken <grammar> Eigene Events <catch> Links <link> EMCA-Skript Datenbankzugang dynamisches VoiceXML