Multimodale Systeme für das Auto der Zukunft

Transkript

1 Das 100% sichere Automobil Brüssel, Vertretung des Saarlandes, Multimodale Systeme für das Auto der Zukunft Dr. Anselm Blocher Deutsches Forschungszentrum für Künstliche Intelligenz GmbH Stuhlsatzenhausweg 3, Geb Saarbrücken Tel.: (0681) /5262 Fax: (0681) / WWW: Deutscher Zukunftspreis 2001 Preis des Bundespräsidenten für Technik und Innovation für Sprachverstehende Computer 1

2 Grand Challenges in the Evolution of the Information Society ISTAG Members in the Working Group: H. Bourlard (Switzerland), M. Hermenegildo (Spain), V. Kucera (Czech), L. Reinhart (France), W. Wahlster (Germany, Chair) External Experts in the Working Group: W. Weigel (Siemens), E. Sandewall (Sweden), Th. Lengauer (MPI, Germany), G. Gross (Switzerland), J. Mariani (France) Using Results of Similar Groups in Europe: - Partners for Innovation - Feldafing Circle for Megatrends in IT - Dagstuhl Committee: Computer Science 10 years ahead - Grand Challenges Committees of the UK/France The 100% Safe Car The Multilingual Companion The Ultra-light Aerial Transport Agent The Intelligent Retail Store 11 Grand Challenges for Information Society Technologies The Service Robot Companion The Self-Monitoring and Self-Repairing Computer The Internet Police Agent The Everywhere Visualiser The Pervasive Communication Jacket Augmented Personal Memories The Cell-based Disease and Drug Simulator 2

3 Gliederung Das DFKI im Überblick Schritte zum sicheren Auto Multimodale Interaktion in SmartKom Multimodaler Zugang zum Semantic Web Peer-to-Peer-Kommunikation im Verkehr Ausblick Die DFKI GmbH hat zwei Standorte Standort Kaiserslautern DFKI GmbH Erwin-Schrödinger-Straße D Kaiserslautern Tel.: Fax.: Standort Saarbrücken DFKI GmbH Stuhlsatzenhausweg 3 D Saarbrücken Tel.: Fax.: info@dfki.de 3

4 Intelligente Assistenzsysteme für die maschinelle Wissensverarbeitung Wissen erzeugen, lernen und lehren Wissen wiederfinden, bewerten, verknüpfen und anwenden Wissensverarbeitung Wissen repräsentieren und archivieren Wissen strukturieren, präsentieren und verteilen Die sechs Forschungsbereiche der DFKI GmbH Bildverstehen und Mustererkennung Intelligente Visualisierungsund Simulations- Systeme Wissensmanagement Sprachtechnologie Deduktionsund Multiagentensysteme Intelligente Benutzerschnittstellen 4

5 Das DFKI deckt die gesamte Kette von der Grundlagen-forschung bis zur innovativen Produktfunktion in kurzer Zykluszeit ab Vermarktung/ Anwendungnutzung Erkenntnisorientierte Grundlagenforschung Angewandte Forschung & Entwicklung Anwendungsorientierte Grundlagenforschung Transferprojekte Gesellschafter DFKI- Projekte für BMBF, EU DFKI- Projekte für Länder, Gesellschafter, Externe Kunden Lehrstühle Sonderforschungsbereiche Graduiertenkollegs DFKI- Projekte für Externe Kunden, Gesellschafter Spin-Off Firmen mit DFKI- Beteiligung DFKI Externe Kunden Die Gesellschafter der DFKI GmbH Deutschland GmbH arvato in der Bertelsmann AG 5

6 Die Kernkompetenzen der DFKI-Wissenschaftler decken KI-Technologien mit starkem Anwendungspotential auf höchstem europäischen Niveau ab. Sprachanalyse, Sprachgenerierung, Multilinguale Systeme Dokument- Analyse, Informationsextraktion Semantisches Web Life-like Characters E-Learning Benutzermodellierung Multi-Agenten- Systeme, Sozionik Intelligente Visualisierung und Simulation E-Recruitment Intelligente UMTS-Dienste Mobiles Internet Internet- Agenten, Smart Labels Formale Entwicklung beweisbar korrekter Software Graphische Menschmodellierung und VR Multimodale Dialogsysteme, Mensch-Technik- Interaktion Wissensmanagement Systeme Intelligente Call Center und E-Government Der Erfolg des DFKI basiert auf dem exzellenten wissenschaftlichen Umfeld Kaiserslautern Fachbereich Informatik Sonderforschungsbereiche Graduiertenkollegs Saarbrücken Fachbereich Informatik Ingenieurwissenschaften Geisteswissenschaften FhG, IESE Institut für Experimentelle Softwareentwicklung Max-Planck-Institut für Softwaresysteme IBFI Schloß Dagstuhl Max-Planck-Institut für informatik MPI Informatik Max-Planck-Institut für Softwaresysteme 6

7 Das DFKI verfügt über keinerlei Grundfinanzierung 9,8 Mio Drittelmodell Im Wettbewerb frei akquirierte Aufträge aus Wirtschaft, BMBF und EU Finanzierungskorridore 2,6 Mio 2,6 Mio nur bei positiv begutachteten Einzelprojektanträgen Industrie - Gesellschafter Bundesländer: Rheinland-Pfalz / Saarland 2,6 Mio BMBF Eine Auswahl wichtiger nationaler Kunden und Auftraggeber der DFKI GmbH BSI Bundesamt für Sicherheit in der Informationstechnik Competence Center Informatik Verlagsgruppe Georg von Holzbrinck BASF Aktiengesellschaft European Media Lab Bundesministerium für Wirtschaft u. Arbeit Saarländische Polizei 7

8 Das DFKI ist in 8 europäischen Networks of Excellence an zentraler Stelle eingebunden AgentLink III European Network of Excellence for Agent-Based Computing Network of Networks of Excellence CoLogNET Network of Excellence In Computational Logic Elsnet IV European Network of Excellence in Language and Speech Convivio Network of Excellence for People-Centered Design of Interactive Systems HUMAINE Human-Machine Interaction Network on Emotions PRO LEARN InterOP Interoperability Research for Networked Enterprises and Software Network of Excellence Professional Learning 20 laufende EU-Projekte mit DFKI-Beteiligung Durch 39 Firmengründungen und den Aufbau neuer Abteilungen in bestehenden Unternehmen sind aus den Arbeitsgruppen von DFKI-Professoren und deren Lehrstühlen bereits über 679 zusätzliche Hightech-Arbeitsplätze geschaffen worden 400 neue Arbeitsplätze in der Region Kaiserslautern-Saarbrücken acrolinx Ascella b4 value.net brainbot Camelot IDPro CELI Clemens Odendahl Consulting DACOS DeepWeb DHC electronic business institute prof. dr. dieter steinmann empolis EYELED GRIPS HRW Consulting Imago imc InnoP Insiders Information Management GmbH Inter Active Software Solutions GmbH INTERNET FX Informations- und TechnologieManagement Beratungsgesellschaft Joker Tech Systems Media Nova Software GmbH net sector mineway Plansoft ProCAEss SEMANTICEDGE SIEDA Sirrix AG sonicson softgarden HR e-recruiting hr.softgarden.de spring TNM Soft TransCat VOLCANA GmbH X-aitment XtraMind Mit den meisten dieser Firmen unterhält die DFKI GmbH Geschäftsbeziehungen. 8

9 Das DFKI als Innovationspartner der Automobilindustrie (ca. 6 Mio. Euro Aufträge) Das 100% sichere Auto durch KI-Technologien Passive Sicherheit Aktive Sicherheit Situationserkennung rund ums Auto Airbag Sicherheitsgurt Crash-Zelle Crash Schadensbegrenzung ESP ABS Unfallvermeidung durch Hilfe in riskanten Situationen Neue KI- Technologien Unfallverhütung durch Vermeidung riskanter Situationen 9

10 Sicherheit durch IT-gestützte Sensorauswertung Nahbereichsradar für die Rundumsicht 24 GHz Parkhilfe Toter Winkel Erkennung Parkhilfe Stop & Go für ACC Precrash Toter Winkel Erkennung Spurwechselassistenz Kollissionswarnung Kollissionswarnung Kollissionsdämpfung 8 Sensoren: vier vorne und vier hinten Der telematische Horizont des Fahrers im Internet-Fahrzeug Einfache Sensoren: Schlechter als der Fahrer Komplexe Sensoren: So gut wie der Fahrer Telematik: Besser als der Fahrer 10

11 M2M-Anwendungen: Eingebettete Systeme kommunizieren via Internet Fahrerassistenz: Nach 2 km Eisbildung! Fahrerassistenz: Achtung nicht überholen! Gegenverkehr hinter Kurve Interaktion Fahrzeug/Umwelt - Fahrzeug! Fahrerassistenz: Fahrbahnarbeiten nach 500 Metern! Fahrerassistenz: Fahrzeug von rechts hat Vorfahrt! UMTS - Anwendung: Sprachbasierte Musikauswahl und Download aus dem Internet DFKI Spin-off: Natural Language Music Search 11

12 Adaptierung der Informationausgabe abhängig von der aktuellen kognitiven Belastung des Fahrers Der Bedarf an mobilen multimodalen Dialogsystemen Ein breitbandiger mobiler Internetzugang via UMTS oder mobilen Hotspots ermöglicht eine Vielzahl neuartiger Mehrwertdienste. aber: der Benutzer muss mehr und komplexere Eingaben tätigen, um seine Informationswünsche zu spezifizieren. PDAs und Smartphones mit Minitastatur und Maus sind für den Mobileinsatz unbrauchbar. Multimodale Dialogsysteme für mobile Systeme 12

13 Deutsch Groß-Projekte im Bereich Mensch-Technik-Interaktion SME VR/AR Initiative Net. of Exc Morpha Service Robots Basic Research Patents: 11 Embassi Home Electronics Verbmobil Spin Off Products: 20 Smart- Kom Multimodal Interaction Spin Off Enterprises: 8 Invite Distributed Teamwork Map Mobile Interaction Arvika VR/AR Work Environment Lead Project Service Robotics Lead Project Smart Web Lead Projects Virtual Human Deutscher Zukunftspreis 2001 Artesas Angaben nach Dr. Reuse, BMBF Vom Sprachdialog zum Multimodalen Dialog Klassische Mobiltelephonie UMTS-Mobilgerät der dritten Generation Verbmobil Reine Sprache SmartKom Sprache, Graphik, Gestik 13

14 Das SmartKom-Konsortium Das Das Konsortium besteht aus aus international anerkannten Kompetenzzentren für für Mensch-Technik-Interaktion aus aus der der deutschen Wirtschaft und und Wissenschaft. MediaInterface European Media Lab IMS Institut für Maschinelle Sprachverarbeitung, Universität Stuttgart Ludwig-Maximilians- Universität München Struktur des des Konsortiums 3 KMUs KMUs (davon (davon ein ein KMU KMU aus aus den den neuen neuen Bundesländern) Bundesländern) 4 IT-Unternehmen IT-Unternehmen 2 Forschungseinrichtungen 3 Universitäten Universitäten Eckdaten zu SmartKom Zuwendungsbescheid vom: Laufzeit: Gesamtvolumen 25,5 Mio. davon Förderung 16 Mio. Mitarbeiterzahl: ca. 70 Erstes internes Startmeeting: in Stuttgart Konsortialführer: DFKI Wissenschaftlicher Gesamtprojektleiter: Professor Dr. Dr. h.c. mult. Wolfgang Wahlster (DFKI) Stellvertretender Gesamtprojektleiter: Dr. Ulrich U. Gärtner (DaimlerChrysler) Leiter Projektmanagement: Dr. Anselm Blocher (DFKI) 14

15 Synergien durch die Verzahnung von Modalitäten Graphik Sprache Gestik Multimodale Interaktion Biometrie Mimik Code, Medium und Modalität CODE (Symbolsysteme) Sprache Graphik Gestik Mimik MEDIUM (Physikalischer Informationsträger) Eingabekanäle Ausgabekanäle Visuell MODALITÄT (Menschliche Sinne) Akustisch System Speicherung Festplatte CD-ROM Taktil Benutzer Haptisch 15

16 Die drei SmartKom-Szenarien Modalitäten- Analyse Anwen- dungs- Management Modali- täten- Design Kern des SmartKom Interface Agenten SmartKom-Mobile: Handheld Kommunikations- Assistent Interaktions- Management SmartKom-Home/Office: Multimodales Portal zu Informationsdiensten SmartKom-Public: Multimodaler Kommunikations- Kiosk Die SDDP-Interaktionsmetapher SDDP = Situated Delegation-oriented Dialog Paradigm IT-Dienste Benutzer spezifiziert Wunsch delegiert Aufgabe Personalisierter Interaktionsagent Dienst 1 kooperieren bei Problemen Dienst 2 stellt Nachfragen präsentiert Resultate Dienst 3 16

17 Multimodale Interaktion mit einem animierten Agenten Für diesen Film möchte ich Karten reservieren. Wo möchten Sie sitzen? Ich möchte diese beiden Plätze. Benutzereingabe: Sprache und Geste Smartakus Ausgabe: Sprache, Gesten, Mimik Benutzereingabe : Sprache und Geste SmartKom realisiert erstmals eine symetrische Multimodalität Symmetrische Multimodalität bedeutet, dass alle Eingabemodalitäten auch für die Ausgabe verfügbar sind und umgekehrt. Benutzer Eingabe Sprache Gestik Mimik Multimodale Fusion Ausgabe Sprache Gestik Mimik Multimodale Fission Die Komponente zur Fission von Modalitäten stellt die inverse Funktionalität der Modalitätenfusion dar. SYSTEM Herausforderung: Ein Dialogsystem mit symmetrischer Multimodalität muss nicht nur die multimodale Eingabe seines Benutzers verstehen, sondern auch seine eigenen multimodalen Ausgaben. 17

18 Abschliessender Leistungsumfang von SmartKom 1. Home-Szenario Mittels multimodalen Dialog ansteuerbare Funktionen: Funktionen: EPG VCR Steuerung TV Steuerung Lean-Forward/Lean Backward 7 (Programm, Kanalauswahl, Senderanzeige, Info zu Sendung, Zeitangaben, Hilfe zu Genres, Genre-gesteuerte Auswahl) 6 (Aufnehmen, Abspielen, Pause, Vor- und Rücklauf, VCR Programmieren in Kombination mit EPG, Kalender) 2 (TV an, TV aus, Senderauswahl) 3 (Einschalten, Ausschalten, Modalitätsabhängige Präsentation) Summe 18 Abschliessender Leistungsumfang von SmartKom 2. Public-Szenario Telefonieren 4 (Manipulative Tastenfunktionalität, Audiohandling, Adressbuchsuche, Telefoniehandling) Handkonturbiometrie 3 (Adressbuchsuche (s.o), Anfrage nach Biometrietyp, Präsentation und Kamerasteuerung, Hand-Biometrie) Stimmbiometrie 2 (Adressbuchsuche (s.o), Anfrage nach Biometrietyp (s.o), Präsentation und Audiosteuerung, Sprach- Biometrie) Unterschriftbiometrie 2 (Präsentation und Tablettsteuerung, Signatur) Fax versenden 3 (Bereitstellung der Faxnummer, Präsentation, Dokumentenkamerasteuerung ) versenden 3 (Adressbuchsuche (s.o.), Bereitstellung der Mailadresse, Präsentation, Dokumentenkamerasteuerung (s.o), Handling) Kinoreservierung 4 (Programm, Filminfomation, Ort des Kinos, Reserviere) Summe 20 18

19 Abschliessender Leistungsumfang von SmartKom 3. Mobil-Szenario Mittels multimodalen Dialog ansteuerbare Funktionen Funktionen: Fahrzeugnavigation Fussgängernavigation Kartenmanipulation 5 (Auswahl Start und Zielstadt, Auswahl Routentyp, Auswahl/info Parkhäuser, Wegberechnung) 6 (Auswahl der Karte, Auswahl der Points-of-Interest, Information zu Points-Of-Interest, Auswahl Start und Zielort, Wegberechnung, Integrierte Wegplanung) 3 (Größe ändern, Ausschnitt ändern, Hilfe) Summe 14 Gesamt 52 unterschiedliche Funktionen können in SmartKom multimodal angesteuert werden SmartKom: Sprachdialoge mit mobilen Internet-Diensten Sprecherunabhängige Versionen von SmartKom: Deutsch und Englisch 19

20 Allgegenwärtige Navigationsassistenz Fußgängernavigation Gebäudenavigation, Mikronnavigation in Instrumentierten Räumen Autonavigation Routenvorbereitung Verknüpfung verschiedener Kontexte mit Hilfe des PDA. Fußgängernavigation SmartWeb-Konsortium Das Konsortium Gefördert im deutschen Futur Programm 13.7 Mio. Euro European Media Lab IMS Institut für Maschinelle Sprachverarbeitung, Universität Stuttgart Wissenschaftlicher Leiter: Wolfgang Wahlster Laufzeit: Ludwig-Maximilians- Universität München 20

21 SmartWeb: Das Nachfolge-Projekt von SmartKom Mobiles Breitband Internet UMTS/HotSpots Mobiler Multimodaler Dialog: Sprache, Haptik, Gestik Neu: Open Domain Semantic Web Neu: Question Answering Intranet mit automatischer semantischer Annotation Semantisch annotierte Webseiten Sprachtechnologie, Informationsextraktion Traditionelle HTML- Webseiten Grobarchitektur von SmartWeb für das Semantische Web Mobile Infrastruktur Mobile Breitbanddienste Mobile multimodale Mensch-Technik- Interaktion Ontologische Infrastruktur Top-level Ontologie Adhoc-Vernetzung von KFZ Peer-to-Peer Dienste Semantische Repräsentation der Benutzeranfrage Semantisch annotierte Informationsstrukturen und Medienobjekte Domänenspezifische Ontologien Ontologische Beschreibung von Webdiensten Roaming für ABC- Technologien Zugriffsdienste auf das Semantische Web Sprachorientierte Ontologien 21

22 SmartWeb als Mobile Guide für Besucher des FIFA World Cup 2006 SmartWeb kombiniert fünf Eingabemodalitäten Sprache über Bluetooth Headset Gesichts Kamera Stiftbasierte Gesteneingabe Bio-Signale Haptisches Feedback bei BMW- Motorradlenker 22

23 Mobile SmartWeb-Anwendungen für Autofahrer, Motorradfahrer und Fußgänger UMTS Smart Web UMTS DMB (Digital Video Broadcasting for Handhelds) W-LAN P2P BMW Bike SmartWeb- Client SmartWeb- Client SmartWeb- Client T-Mobile MDA III Mercedes Car Mobile Engeräte auf dem Motorrad? 23

24 SmartWeb: Integration mobiler Endgeräte Fahrzeug- Monitor & Bedienelemen t SmartWeb: Versuchsträger Motorrad Haptisches Eingabegerät 24

25 DFKI-Projekt SmartWeb mit BMW und DaimlerChrysler GPS: Pkw-Position Achtung, Aquaplaning in 100 Meter!!! GPS: Motorrad- Position Semantische Peer-to-Peer Verbindung Aquaplaning Sensor Ausblick: Semantic Web Service Fahrzeugkommunikation 25

26 Vielen Dank für Ihre Aufmerksamkeit 2005 DFKI Design by R.O. 26