Autos, Pillen, Kameras und Weinflaschen als multimodale Dialogpartner

Transkript

1 Vortrag anläßlich des 60. Geburtstages von Herrn Prof. Dr. Thomas Christaller Schloss Birlinghoven, St. Augustin Autos, Pillen, Kameras und Weinflaschen als multimodale Dialogpartner Prof. Dr. Dr. h.c. mult. Wolfgang Wahlster Deutsches Forschungszentrum für Künstliche Intelligenz GmbH Berlin/Bremen/Kaiserslautern/Saarbrücken WWW:

2 Die Komplexität des Sprachverstehens Schlussfolgern Wissensrepräsentation Aktionsplanung Lernen Automatisches Sprachverstehen Problemlösen ist KI-vollständig Bildverstehen

3

4 Vier Dekaden der Forschung zur Sprachtechnologie in Deutschland Elektronische Sprachforschung" SFB 100 Multimodale Antwortmaschinen und anthropomorphe Mensch- Umgebungskommunikation Frage-Antwort- Systeme für Miniwelten Textverstehen, Benutzermodellierung, Sprachliche Bildbeschreibung Dialogübersetzung & Multimodalität HAM-RPM, HAM-ANS, WISBER LILOG, KIT, NAOS, VITRA Verbmobil, SmartKom SmartWeb, Virtual Human Theseus, Carmina

5 Künstliche Intelligenz Wie können die für das Sprachverstehen benötigten kognitiven Leistungen maschinell verfügbar gemacht werden? INFORMATIK Psycholinguistik Wie wird Sprache von Menschen verstanden und generiert? Sprachverarbeitung Linguistik Wie können Sprachstrukturen mathematisch-logisch beschrieben werden? KOGNITIONS- WISSENSCHAFT Sprachtechnologie Wie können effiziente, sprachverarbeitende und generierende Softwaresysteme erstellt werden?

6 HAM-RPM: Performanzbeispiele in Kurzform 1. (STEH- D- BRAUN- FEST- KAPUTT- TISCH AUF D- BODEN? (ES GIBT KEIN- BRAUN UND KAPUTT TISCH) 2. (WAS IST IN D- WEISS- HEIL- SCHRANK?) (NICHTS) 3. (KOENN- DU E- GLAS NICHT AUF E- TISCH STELL-?) (DOCH) 4. (WELCH- MOEBEL SIND FEST?) (JED- MOEBEL IST FEST) 5. (KOENN- DU D- GLAS TRINK-?) (NEIN) 6. (WARUM?) (D- GLAS IST NICHT FLUESSIG!) 7. (SEH- DU E- FLUESSIG- TISCH?) (E-TISCH IST NIE FLUESSIG) 8. (IST D- GEGENSTAND KAPUTT?) (WELCH- GEGENSTAND?) (D- STUHL) (WELCH-STUHL?) (D- ROT STUHL) (NEIN) 9. (WELCH- STUHL IST KAPUTT?) (D- WEISS STUHL) 10. (WELCH- FARBE HAB- D- HEIL- STUHL?) (ROT)

7 HAM-ANS MitarbeiterInnen: Mal nicht beim Forschen

8 Softwaretechnologie für die Sprachverarbeitung: ATN- Werkbank: Editor, Interpreter und Compiler

9 HAM-ANS auf der IJCAI-83 in Karlsruhe mit drei Papieren

10 Präsentation von HAM-ANS auf der IJCAI-83 in Karlsruhe Thomas Christaller Thomas Christaller Thomas Christaller

11 Drei Stufen der Sprachverarbeitung Gesprochene Eingabe Akustische Sprachanalyse Wortlisten Grammatik Wortbedeutungen Gesprächs- Kontext Wissen über das Gesprächsthema DFKI GmbH Spracherkennung Sprachanalyse Sprachanalyse Was will der Sprecher? Eindeutiges Verstehen im Gesprächszusammenhang Sprachverstehen Was hat der Sprecher gesagt? 100 Alternativen Was hat der Sprecher gemeint? 10 Alternativen Reduktion von Unsicherheit

12 Synergien durch die Verzahnung von Modalitäten Graphik Sprache Gestik Multimodale Kooperation Biometrie Mimik Aktion

13 Ideengeschichte planbasierter Ansätze der multimodalen Dialogführung Handlungsplanung für Roboter Sprechakttheorie Künstliche Intelligenz Sprachphilosophie / Linguistik Graphische Akte Semiotik / Kommunikationstheorie Planbasierte Mensch-Maschine Dialoge Computerlinguistik / Künstliche Intelligenz Gestische/Mimische Akte Semiotik / Kommunikationstheorie Planbasierte Methoden der Multimodalen Dialogführung Computerlinguistik / Künstliche Intelligenz

14 Die Fusion multimodaler Eingaben Multiple Modalitäten erhöhen die Interpretationsunsicherheit Spracherkennung Prosodieerkennung Gestikerkennung Mimikerkennung???? Unsicherheiten bei der Signalinterpretation in perzeptiven Benutzerschnittstellen

15 Die Fusion multimodaler Eingaben Multiple Modalitäten erhöhen die Interpretationsunsicherheit aber: die semantische Fusion multipler Modalitäten macht die Interpretation im Kontext eindeutig Spracherkennung Prosodieerkennung Gestikerkennung Mimikerkennung Fusion mit wechselseitiger Reduktion der Unsicherheiten durch Ausschluß unsinniger Kombinationen Dialogkontext

16 Trends im Bereich der intelligenten Benutzerschnittstellen Übergang von unimodaler Kommunikation zu multimodaler Kommunikation Übergang von Mensch-Maschine-Interaktion zu Mensch-Umgebungskommunikation Übergang vom Dialog zur Mehrpersonenkommunikation mit mehr als zwei Teilnehmern Von der Server-basierten Sprachverarbeitung zur eingebetteten Sprachverarbeitung auf mobilen Endgeräten

17 Sprachtechnologie im Alltag Einen Capuccino in 10 Minuten bitte! Sprachgesteuerte Kaffeemaschine Bitte in die Winterbergstraße in Saarbrücken! Sprachdialog mit Fahrzeugelektronik Ich würde gerne Mozarts Klavierkonzert Nummer 3 hören! Sprachbasierte Musikauswahl Sende folgende an Meyer: Sehr geehrter Herr Meyer. Bitte senden Sie dringend die Agenda für Montag. Diktat von s

18 Sprachtechnologie im Alltag Zeige mir alle Beiträge der Tagesschau, in denen über den G8-Gipfel berichtet wird Sprachgesteuerte Suche in digitalen Fernseharchiven Was hat mein Vater vor 30 Jahren zu mir gesagt, als ich ihm mein gerade erworbenes Abiturzeugnis zeigte? Inhaltliche Suche in privaten Audioarchiven Ich möchte gerne einen Termin mit Herrn Kuremastu nächste Woche in Kyoto ausmachen! Dialogübersetzung

19 Sprachtechnologie: Der Retter in der Not DFKI GmbH

20 Verbmobil: Ein Durchbruch im Dialogdolmetschen von Spontansprache in der Reisedomäne

21 Automatisches Verstehen und Korrigieren von Versprechern in spontanen Telefondialogen Wir treffen uns in Mannheim, äh, in Saarbrücken. Deutsch Englisch We are meeting in Saarbruecken.

22 Carmina: Multimodale Interaktion mit dem Auto und seinen Komfortfunktionen

23 Automatische Erinnerung an Entnahme von Medikamenten aus individuellem Wochenblister Ausschnitt aus ARD-Bericht zum Start der Innovationsallianz SemProM durch Ministerin Schavan

24 Automatischer Preisvergleich ausgelöst durch multimodale Interaktion Fusion von Sprache, Gestik und physischer Aktion (Intra- und Extragestik)

25 Sprechende Weinflaschen im intelligenten Regal des IRL im DFKI

26 Anthropomorphe Objekte: Sprechende Produkte

27 Sprachdialog mit einem iphone in TEXO-Theseus zur Selektion von Webdiensten

28 VirtualHuman ZAMB Szenario: Multi-Party Dialog zwischen 5 Agenten Virtueller Moderator Virtuelles TV Studio 2 Virtuelle Experten 2 menschliche Kandidaten

29 VirtualHuman: Mehrpersonenkommunikation mit komplexen Rednerwechselstrategien

30 Blindtest durch den Zuwendungsgeber: Dr. Jansen, Leiter des Referats 524 beim BMBF

31 SmartWeb kann sehr komplexe Anfragen verstehen und beantworten Wer hat bei den Salzburger Festspielen letztes Jahr in der Premiere von La Traviata gesungen? Anna Netrebko Wer war 1954 Weltmeister

32 Emotionalisierte Virtuelle Dialogpartner

33 Sprachbasierte Adaption an die Altersklasse des Benutzers Versteifung des Stimmlippengewebes im Alter Jitter und Shimmer Erkennung des biologischen Alters der Stimme durch akustische Merkmale Jesuitenkirche Jitter und Shimmer Jesuitenkirche

34 Adaption einer automatischen Kinoauskunft an Alter und Geschlecht: T-Labs und DFKI

35 Entwicklung der Grundfrequenz der Stimme im Alter Thomas: Deine Stimme klingt wie mit 30. Hz (idealisiert) Männer Frauen Thomas: Wir wollen Dich noch mit 170 Hz hören!!! Alter in Jahren

36 Vielen Dank für Ihre Aufmerksamkeit 2009 DFKI Design by R.O.