Intelligente Fahrerassistenzsysteme

Transkript

1 Vorlesung im WS Januar 2014 Intelligente Fahrerassistenzsysteme Prof. Dr. rer. nat. Dr. h.c. mult. Wolfgang Wahlster Naturwissenschaftlich-Technische Fakultät I Fachrichtung 6.2 Informatik Lehrstuhl für Künstliche Intelligenz Universität des Saarlandes Campus E1 1 Postfach Saarbrücken

2 Das Auto als fahrender Computer Software steuert immer mehr Funktionen im Auto. Mehr als 100 Kleincomputer in einem Fahrzeug. Ein Software-Update wird zukünftig öfters vorkommen als ein Ölwechsel

3 Die Gesellschafter der DFKI GmbH Deutschland GmbH Saarland Rheinland-Pfalz Bremen

4 Das Auto der Zukunft: Vermeidung gefährlicher Situationen statt Schadensbegrenzung Passive Sicherheit Aktive Sicherheit Situationserkennung rund ums Auto Airbag Sicherheitsgurt Crash-Zelle Crash Schadensbegrenzung ESP ABS Unfallvermeidung durch Hilfe in riskanten Situationen Neue wissensbasierte Technologien Unfallverhütung durch Vermeidung riskanter Situationen Zukunft: Autos mit Umgebungsintelligenz und Selbsterhaltungstrieb

5 Car2X-basierte Fahrerassistenzsysteme transformieren das Fahrzeug in eine intelligente Umgebung Bremsassistent Kreuzungsassistent Engstellenassistent Notfallassistent Geisterfahrerassistent Garagenassistent Source: BMW

6 Fahrerassistenzfunktionen Nachtsichthilfen Einparkhilfe Abstandshilfen Spurassistent Erkennung des toten Winkels Adaptive Navigation Verkehrsschilderkennung

7 Drei Kilometer Kabel knüpfen das Bordnetz eines Autos 32 Kabelkanäle 30 Durchführungen 600 Steckverbinder Leitungen : Kontakte : Leitungslänge max.: 3000 m

8 Das Auto als intelligente Umgebung: Mehr als 200 Sensoren und Aktuatoren in modernen Fahrzeugen

9 Autos werden immer stärker mit Umgebungssensoren aufgerüstet Radar mit großer Reichweite Laserscanner Kamera Stereokamera Radar und Ultraschall mit kurzer Reichweite

10 Im Auto mit allen Sinnen ins Internet ohne Tastatur und Maus Graphik Sprache Gestik Multimodale Interaktion Biometrie: Blickbewegung A Physische Aktion Mimik

11 Das Auto als intelligente Umgebung Instrumentierung des Fahrzeugs GPS Gyrometer Ultraschallsensor Lasersensor Radarsensor Eis- / Regensensor NFC/RFID Leser Fahrgastbezogene Instrumentierung 4 Mikrophone Eye-tracker Gestikerkennung Biosensoren 4 Gewichtssensoren NFC-Lesegeräte 5 berührungsempfindliche Bildschirme Heads-up Display (HUD) in der Windschutzscheibe 5 Bildschirme LEDs Instrumententafel Dolby Surround Sound Fahrgastbezogene multimodale Ausgabe

12 CANSpeech: Das neue DFKI-Sprachinterface für den CAN Bus Schalte die Sitzheizung ein! Mir ist kalt. Wie warm ist es im Fahrzeug? Bitte schließe mein Fenster teilweise. Setze die Temperatur auf 22 Grad! Öffne alle Fenster!

13 Multimodale Sprachdialoge im Auto

14 Multimodale Interaktion im Fahrzeug: Sprache in Kombination mit physischen Schnittstellen Fenster vorne rechts Alle Fenster Hintere Sitzheizung Lautstärke Experimentelle Untersuchung zur Bestimmung des Einflusses von manueller vs. multimodaler Interaktion mit den Komfortfunktionen des Sprache bestimmt die Semantik des Dreh- Drück-Bedienfeldes Fahrzeugs auf den Grad der Ablenkung des Fahrers. Ablenkungsgrad des Fahrers 1,6 1,4 1,2 1 0,8 0,6 0,4 0,2 0 manual multimodal (Cao et al, IUI 2010) kognitive Last manuell multimodal

15 Twitter4Car: Kombination von Blickbewegungen und Sprache für den Zugriff auf Internet-Dienste

16 Multimodale Fusion: Kombination aus Sprache und Mikrogestik Hans Kreisgestik Wahlgeste mit dem Zeigefinger plus Spracheingabe Hans = Bitte verbinde mich mit Hans. Aktivierung einer speziellen automatischen Spracherkennungsgrammatik, die nur die Namen des Fahreradressbuches enthält, zur Verbesserung der Erkennungsleistung.

17 Die Ausrichtung des Kopfes als neue Eingabemodalität Öffne! Verwendung der Eingabe einer normalen Webkamera Was ist das? Bitte öffne das vordere linke Fenster. Welches Objekt sieht man durch das vordere rechte Fenster? Wechselseitige Disambiguierung der Kombination aus Sprache und Kopfausrichtung

18 Kombination von Sprache und Aktionskontext Schneller! Schneller! Interpretation und Disambiguierung von multimodalen Äußerungen: Auswahl der Scheibenwischergeschwindigkeit vs. wechseln der Tempomateinstellung

19 Rollenbasierte Interaktion mehrere Fahrzeuginsassen Mehrpersoneninteraktion Mir ist kalt. Schalte die Heizung bitte an. rollenbasiertes Rechtemodell Auswahl der relevanten Zone der 4-Bereichsklimaanlage Sprecheridentifikation und Lokalisierung

20 Mobile erweiterte Realität für Passagiere (AR in Seitenfenstern)

21 Pervasive Konnektivität: Das vernetzte Auto erzeugt verschachtelte intelligente Umgebungen. 3 Typen der Konnektivität Konnektivität innerhalb des Fahrzeugs Konnektivität zwischen Fahrzeugen und der Infrastruktur von Straßen und der Stadt Konnektivität zwischen Autos und Lebens- und Arbeitsumgebungen

22 All-IP Automobil: Ein Echtzeit-Ethernet Bus und 4 Rechner statt 5 Spezialbussystemen und 70 ECUs Firewall

23 Dezentrale Car2X-Kommunikation Drahlose ad-hoc Kommunikation X= andere Verkehrsteilnehmer oder Verkehrsinfrastruktur

24 ABC-Technologien (Always Best Connected): Stets verfügbare optimierte Internet-Konnektivität für Fahrer und Mitfahrer Sichere Verbindung WLAN WLAN Internet WLAN UMTS/LTE WiMAX Nahtloses Roaming zwischen Hotspots und zellulärer Mobilfunk- Kommunikation

25 Car2X-Kommunikation: Das Auto als fahrender Sensor- Knoten, mobiler Computer und mobiler Internet-Knoten 1. Mehr Sicherheit 2. Weniger CO2 3. Bessere Effizienz 4. Bessere Kommunikation

26 M2M-Anwendungen: Eingebettete Systeme kommunizieren via Internet Fahrerassistenz: Nach 2 km Eisbildung! Fahrerassistenz: Achtung nicht überholen! Gegenverkehr hinter Kurve! Fahrerassistenz: Fahrbahnarbeiten nach 500 Metern! Fahrerassistenz: Fahrzeug von rechts hat Vorfahrt!

27 Lokale Gefahrenwarnung über Car2X- Kommunikation

28 Informationsaustausch zwischen Fahrzeugen über drahtloses Internet

29 Kreuzungsassistenz

30 Geschwindigkeitsassistent für grüne Ampelphasen

31 Anfahrtassistenz vor roter Ampel

32 Baustellenassistenz

33 Einsatzfahrzeugasssistenz

34 Ampelassistent: WLAN-Kommunikation zwischen Fahrzeug und Ampelanlage

35 Ampelassistent: Notfallbremsung basierend auf Car2X-Kommunikation Source: W. BMW Wahlster

36 Peer-to-Peer Austausch von Sensorischer Information Achtung, Aquaplaning in 100 Meter!!! GPS: Geodaten GPS: Geodaten Semantische Peer-to-Peer Verbindung Sensorik

37 Bordcomputer kommunizieren untereinander und lassen Fahrzeuge in Gefahrensituationen autonom reagieren. Autonomes Blinken und Hupen des Motorrads zur Erhöhung der Aufmerksamkeit eines kreuzenden Autofahrers

38 Das Pull-Paradigma für Car2X-Systeme Informationsquelle Ad-Hoc Netz Auto Fahrer Push Broadcast Relevanzfilter Präsentation Pull Information gefunden Antwort Informationssuche Auffinden des anfragenden Fahrzeugs Anfrage Präsentation

39 Verwendung voncar2x PADE des DFKI (Dissertation S. Castronovo 2013) 36 Präsentationsmodelle im weltweit größten Feldtest sim TD 400 Testfahrer mit Autos von 6 Marken 2 OEMs (VW, Opel): haben ihr Firmendesign über PADE gelegt Vor dem Feldtest 1 ½ Jahre Vortests auf einer Teststrecke

40 Bidirektionale Car2X-Kommunikation mit IEEE p und Multi-Hop-Suche

41 Intelligente Kreuzungsassistenz: Andere Autos können mit Car2X als mobile Sensoren verwendet 2 1 Als mobiler Sensor verwendetes Auto Auto fordert aus dem Netz Information über Querverkehr an

42 Freie Fahrt trotz verdeckter Sicht mit Car2X 2 1 Smart hat WebCam im Netz freigeschaltett Auto will ohne Halt in die Vorfahrtsstrasse einfahren

43 BMW-Testfahrzeug des DFKI mit Car2X

44 Drei Car2X-Testfelder zur experimentellen Evaluation der Car2X-Technologien des DFKI SIM-TD Teststrecke PMC Teststrecke Car2Saar Teststrecke lang, im Raum Frankfurt, für 400 Autos unterschiedlicher Hersteller mittel, im Raum Bremen für die DFKI-eigene Elektroautoflotte kurz, hochentwickelt auf dem Campus der UdS

45 SIM-TD: In Deutschland gab es weltweit größten Feldtest der Car2X-Technologie Weltgrößte Datenerhebung 450 Fahrer Fahrstunden km

46 Notfallassistenz aus dem SmartSenior-Projekt. Übergang zum hochautomatisierten Fahren

47 Das softwaredefinierte Auto: Anpassen der Fahrzeugfunktionalität durch Apps Android Markt App Store Apps für das Motormanagement Apps für die Fahrerassistenz Apps als Intelligente Benutzerschnittstellen Apps für umweltfreundliches Fahren

48 BMW Apps: Integration der neuesten Webdienste in die Fahrzeugumgebung Source: BMW

49 SemProM: Das semantische Produktgedächtnis speichert ein Tagebuch des Fahrzeugs (Wahlster et al 2010) Sensoren Multimodale Interaktion & Browsing Black Box Ereignisspeicher Semantisches Gedächtnis des Fahrzeugs Aktuatoren Das sprechende Fahrzeug erzählt die Geschichte seines Lebens Der Smart Car überwacht sich selbst und seine Umgebung.

50 Das digitale Fahrzeuggedächtnis SemProM unterstützt auch die Wartung: Digitale Ersatzteilund Serviceinformationen im Fahrzeug. Das Fahrzeug prüft Ersatzteile und Flüssigkeiten auf Kompatibilität und gewährleistet deren korrekten Einsatz. Echtheit der Ersatzteile kann so geprüft werden.

51 Erfassung der Waren im PKW und Mehrwertdienste auf der Basis der Einkaufsliste

52 Zugriff auf das Produktgedächnis gekaufter Waren im PKW Einstellung der Klimaanlage hat Auswirkung auf die Fahrzeit zur Garantie der geschlossenen Kühlkette W. W. Wahlster

53 Innovationen in der Agrartechnologie: Cyber-physische Systeme ermöglichen autonome Landmaschinen

54 Moderne Maschinen können orts-basiert Erntemengen und Feuchtigkeitsgehalt von Feldfrüchten bestimmen. Feuchtigkeitssensor Durchflussmengensensor

55 Der Machine Connector ermöglicht herstellerübergreifenden Datenaustausch mit der Flotte Schnittstellen für den Datenaustausch zwischen Maschine und igreen Knoten Kombination von ISOXML & Semantischer Annotation Maschine Maschine, auch ohne verlässliche mobile Internet-Anbindung! Die Schnittstellen entstehen in herstellerübergreifender Zusammenarbeit John Deere, Claas, CCI (KRONE, Grimme, ) REST HTTP MachineConnector Gateway Vision: Alle Maschinen einer Flotte in einem synchronisierten Datenraum 2013 DFKI & igreen Consortium W. Wahlster

56 Anwendungsbeispiel: Flottenmanagement in der Ernte de/deere/jdmd de/claas/clmd de/testkunde/tractor WiFi GPRS de/igreen/rootserver Interne t de/testkunde/officecomputer 2013 DFKI & igreen Consortium W. Wahlster

57 Automatisches Fahren basiert auf schnellen mobilen Netzen und präziser Sensorauswertung

58 Cyber-Physische Systeme für Mobilitäts der Zukunft Das vernetzte und wandlungsfähige Elektromobil EO des DFKI

59 Soziale Mobilität: Verbindung von Netzwerken Rinspeed Identiface (von Daimler MBtech) Facebookeinträge, Neuigkeiten, Carpool-Angebote Verbindung von Sozialen Netzwerken mit Straßennetzwerken

60 Multimodale persuasive Intervention Wenn Sie so weiter fahren, verbrauchen Sie mehr Benzin als gestern! Achtung, es ist grün! Passen Sie besser auf den Verkehr auf. Bis später... Grüne Mobilität: Verhaltensbeeinflussung des Fahrers durch belehrendes Eingreifen Virtuelle emotionale Charaktere überzeugen den Fahrer treibstoffsparend zu fahren Virtuelle Charaktere erscheinen nur, wenn es die Verkehrssituation zuläßt (Parkplatz, rote Ampel, )

61 Soziale Mobilität: Personalisierung Filmore (Disney Pixar) erinnere dich daran mich bald zur Inspektion zu bringen Das Fahrzeug wird zu einem sozialen Partner / Handelnden

62 Intelligente Straßenbeleuchtung: Automatisches Einschalten oder Lichtkette durch E-Cars bei Näherung eines Fußgängers im Dunkeln All-IP, Always-On E-Cars: Parkende Fahrzeuge schalten bei Bedarf das Licht an

63 Intelligenter Straßenverkehr auf der Basis von C2X-Technologien EO bietet eine Plattform für neue Mobilitätskonzepte EO unterstützt die Umsetzung neuer intelligenter Mobilitätskonzepte. CarSharing, Car2Go, Integration verschiedener Verkehrsträger Selbststeuernder Verkehr: EO erprobt Schlüsseltechnologien Selbstlokalisation/Navigation Kollisionskontrolle Car2Car Kommunikation Car2Infrastructure Kommunikation Einbindung von Fahrzeugen in Intelligente Transportsysteme (IST) Fahren mit minimalem Abstand 0-Tote Autos Automatisches Fahren Echtzeitverarbeitung von BIG DATA

64 Ressource Auto: Durchbruchsinnovationen Aktuell meist Verbesserungsinnovationen des einzelnen Autos: Sicherer, Sparsamer, Sauberer - Elektromobilität Das Auto der Zukunft wird Ressourcengeber (Energie, Kommunikation, Wissen, Rohstoffe) nicht wie bisher nur Ressourcennehmer! Ganzheitliche Betrachtung der Gesamtheit aller Fahrzeuge und deren Wechselwirkungen in der Automobilgesellschaft.

65 Ressource Energie: Autos sammeln und speichern Energie (Energie-Puffer und Kraftwerk) Neue Generation von Batterien speichern überschüssige Windenergie in geparkten Autos im Sinne eines Smart Grid. Die Oberfläche hochentwickelter Autos wird durch neue photovoltaische Werkstoffe als Stromerzeuger genutzt werden.

66 Multiple Realität: Adaptive Windschutzscheibe Standardsicht Personalisierer Mehrkanalausgabe Individueller Kanal Schlüsselcode Konfiguration Multimodale Fissionstechnologie Profil des Fahrers

67 Multiple Realität: Personalisierte Anzeigen Diese Ausfahrt nehmen!

68 Konklusionen 1. Das Auto wird immer mehr zum mobilen Computer, Internet- Knoten und Sensornetz. 2. Autos werden zu kognitiven und sozialen Systemen, die untereinander kommunizieren und Unfälle ausschliessen. 3. Eine neue Generation von Elektroautos hängt ständig am Web, vernetzt sich selbst und bietet disruptive Dienste an. 4. Auto-Piloten und Fernsteuerung werden möglich, der Fahrer muss nur noch in außergewöhnlichen Situationen eingreifen. 5. Datenschutz und Sicherheit der Netze sind dabei essentiell lebenswichtig.

69 Danksagung dieser Vortrag basiert auf der Zusammenarbeit mit folgenden Mitarbeiter des DFKIs: Dr. Christian Müller, Dr. Sandro Castronovo, Dr. Michael Feld, Angela Mahr, Rafael Math, Monika Mitrevska, Mohammad Mehdi Moniri Die Arbeiten wird durch das Bundesministerium für Bildung und Forschung (BMBF) und die Firmen BMW, Daimler, Globus, Nuance und Intel gefördert.

70 Vielen Dank für Ihre Aufmerksamkeit