Embedded Systems Initiative Eingebettete Sensorik für Fahrerassistenzsysteme

Transkript

1 Eingebettete Sensorik für Fahrerassistenzsysteme Joachim Keinert, Michael Glaß, Klaus Taschka

2 Wer wir sind... Europaweit einzigartige interdisziplinäre Zusammenarbeit Universität Erlangen-Nürnberg (FAU): Grundlagenforschung bis angewandte Forschung: Wissenschaftliches Knowhow von 16 Lehrstühlen Fraunhofer IIS: Angewandte Forschung bis zur Produktentwicklung: Industrienahe Entwicklungsexpertise Ziele: Synergie-Effekte für Unternehmen nutzbar machen Fraunhofer Universität Industrie Grundlagenforschung Angewandte Forschung Produktentwicklung Produkteinführung Jahre 2

3 Struktur des ESI-Anwendungszentrums Austausch bei Querschnittsthemen => Kommunikation, Sensorik, Prozessoren & Systemen Anwendungsbezogener Input durch die Industrie 3

4 Sensoren für zuverlässige Fahrerassistenzsysteme im Fahrzeug am Fahrzeug ums Fahrzeug Effiziente Nutzung von Rechen- und Kommunikationsressourcen ECU Ethernet ECU ECU ECU FlexRay Gateway ECU ECU ECU ECU Fast CAN Toolgestützte System- und Zuverlässigkeitsoptimierung ECU ECU ECU Slow CAN ECU ECU 4

5 Beispielszenario 5

6 1. Tagbasierte Lokalisierung und Ortung Nutzen Selbstverortung, Verankerung Nutzung car-to-infrastructure Bakenkommunikation UWB p 5G Relativverortung Fahrerassistenz Fußgängerschutz Direkte Identifikation Quelle: Ko-TAG, 2013 car-to-car car-to-pedestrian UWB p x LTE/5G 6

7 Technischer Hintergrund verteilte Funksensoren synchronisierte Sensorik Multiträgersignale hochauflösende Algorithmik opportunistisch (z.b. Handy): relative Distanz und Winkel kooperativ (Infrastruktur): Ranging/Distanzmessung echtzeitfähige Positionsfusion für Präsentation, Alarm und Eingriff 7

8 2. Radar für Fußgängererkennung Hochauflösende Radarsysteme Nicht nur Detektion, sondern auch Klassifikation des Umfelds: Statische Ziele, z.b. parkende Autos, Pfosten Dynamische Ziele, z.b. fahrende Autos, Radfahrer, Fußgänger Nutzung des charakteristischen Dopplerspektrums als zusätzliche Information für Nachverarbeitung 8

9 Geschwindigkeit Embedded Systems Initiative Technischer Hintergrund Radarsystem nach dem FMCW-Prinzip mit Range-Doppler- Verarbeitung Ergebnisse der Radarbildgebung: Abstand + Geschwindigkeit Winkel (bei Mehrkanal-Auswertung) Laternenpfahl Statische Ziele Fußgänger Laternenpfahl Auto Fußgänger Pseudo-Range 9

10 3. Optische Umfelderfassung Neue flachbauende Sensorik zur Tiefenerfassung 10

11 Technischer Hintergrund 11

12 4. Fahrerbeobachtung Messung der Wahrnehmungsfähigkeit Aufmerksamkeit, Schläfrigkeit, Stress, etc

13 Technischer Hintergrund Erkennung sog. Action Unit Kombinationen aus Kameradaten Trivialbeispiel: Action Unit 12 (Lip corner puller) Soziales Lächeln Action Unit 6 (Cheek raiser) Automatische FACS AU Erkennung durch kombinierte Textur- und Geometrieklassifikation Duchenne-Lächeln Freude Inferenzsystem (Informatik + Psychologie) 13

14 5. Verarbeitung großer Datenmengen Optimale Nutzung von heterogenen Ressourcen Tegra K1 CPU: 4+1 ARM Cortex A15 cores GPU: GK20A (based on Kepler) 14

15 ms Embedded Systems Initiative Feature Erkennung (SURF) GTK 750 Ti Tegra K x x x450 Bildauflösung 15

16 6. Kompression der Daten Wann einsetzbar? Große Auswahl an verschiedenen Systemen Zentrale Eigenschaften Standardisiert oder anwendungsspezifisch Implementierungskosten Kompressionsraten Verlustleistung Durchsatz Latenz Zusätzlicher Speicherbedarf Cheap implementation 17

17 Technischer Hintergrund Vermeidung von unnötigen Operationen Kein Debayering in der Kamera Bessere Bildqualität Ethernet Debayering Kompr. Entpacken ECU Aufnahme Verarbeitung 18

18 7. Optimale Erfüllung der Anforderungen Technologien Sensoren Übertragung Berechnung Anforderungen Wärmeentwicklung Bauvolumen Gewicht Zuverlässigkeit Preis Präzision 19

19 Ganzheitlicher Entwurf Validierung und Analyse mittels Co-Simulation der Umgebung (z.b. in Matlab/Simulink oder Unity) und des Systems (z.b. in SystemC) cosimulation SystemC Behavioral OVP CPU arm 1 control ler 1 CPU arm 2 control 2 ler CPU planne r 3 bus 1 bus 2 bus 3 mem 1 mem 2 mem 3 bridge 1 bridge 2 bridge 3 Switc h 1 switc h 2 switc h 3 Matlab/Simulink oder Unity SystemC RTL 20

20 Ganzheitlicher Entwurf Validierung und Analyse mittels Co-Simulation der Umgebung (z.b. in Matlab/Simulink oder Unity) und des Systems (z.b. in SystemC) Aktor-basiertes SystemC Co-Simulation Framework (C#, C++, S-function) DSE Synthese Virtueller Prototyp 21

21 Zusammenfassung Herausforderung: Präzise Erfassung des Umfeldes und des Fahrzeuginnenraumes Erfordert optimale Kombination neuer Technologien Neue Sensoren Effiziente Verarbeitung Ganzheitliche Optimierung Fraunhofer Universität Industrie Grundlagenforschung Angewandte Forschung Produktentwicklung Produkteinführung Jahre 22

22 Herzlichen Dank für ihre Aufmerksamkeit 1. Evaluierung Anforderungsanalyse Machbarkeitsstudie 2. Systementwicklung Prototyp-Entwicklung Testläufe 3. Implementierung Überführung in die Produktion Einweisung in die Technik