Augmented Reality mit der R-Car Familie ELEKTRONIK

Transkript

1 ELEKTRONIK Der Schlüssel zum Erfolg für zukünftige, auf mehreren Kameras basierende Surround-View-Parksysteme ist eine Kombination aus leistungsfähiger 3DGrafik, hoher Bildverarbeitungsleistung und optimierter Bilderfassung in einer Einzelchip-SoC-Lösung. Die zweite Generation R-Car von Renesas verfügt über diese Fähigkeiten, um fortschrittliche 3D-Surround-View-Anwendungen zu er- Augmented Reality mit der R-Car Familie möglichen, die dem Fahrer ein umfassendes und sicheres Fahrerlebnis bieten. 10 HANSER automotive 11 / 2014 Carl Hanser Verlag, München

2 Alle Bilder: Renesas Bild 1: SfM-Algorithmen implementiert auf dem R-Car H2: Ergebnis des SfM-Algorithmus mit einer Kamera (oben), und 3D-Modell der Umgebung, basierend auf dem SfM-Prozess (unten). Rundumsicht-Systeme als Teil eines Einparksystems werden immer mehr zur Standardfunktion in Fahrzeugen. Ursprünglich ein Nischenmarkt, getrieben von asiatischen Automobilherstellern, werden diese Systeme nun eine Option für die Mehrheit der Automobilhersteller mit höheren Anforderungen an Fahrerlebnis und Skalierbarkeit. Renesas, Hersteller von System-on-Chip-Lösungen für Infotainment und ADAS, ist von Beginn an auch im Bereich von Surround- View-Systemen aktiv. Nun stellt das Unternehmen eine neue innovative und skalierbare SoC-Generation für den globalen Automotive-Markt vor. Surround View ELEKTRONIK Surround-View-Systeme liefern ein Panoramabild der nahen Fahrzeugumgebung. Dieses 360 -Bild mit einer 2D-Perspektive eines Betrachters von oben, auch als Bird View oder Top View bekannt, wird durch eine genaue Anordnung der Kameras aus unterschiedlichen Ansichten zusammengefügt. Helligkeit und Farbe der unterschiedlichen Kameras werden dabei für eine harmonische Darstellung der Rundumsicht entsprechend modifiziert [1] [2]. Nichtsdestotrotz bietet eine solche Darstellung dem Fahrer noch keine wirkliche Hilfe beim Einparkprozess. Deshalb werden zusätzliche Informationen als 2D-Overlays oder Rückfahrsicht eingeblendet [1]. Ein anderer Ansatz ist es, dem Fahrer mit einer 3D-Darstellung des Autoumfelds eine bessere Einschätzung von Entfernungen zu ermöglichen. Diese 3D-Darstellung wird aus dem 2D-Bildmaterial von rund um das Fahrzeug angebrachten Kameras berechnet, mit einem 3D-Modell des eigenen Fahrzeugs als perspektivische Referenz. Die Entfernungen zu naheliegenden Objekten wie Fahrzeugen oder Gebäuden, aber auch zu Fußgängern müssen hierbei realistisch dargestellt werden. Zudem sollte die 3D-Perspektive dynamisch auf Fahrzeugbewegungen reagieren, d. h. das dargestellte Modell des Fahrzeugs muss exakt in die Szenerie mit Licht und Schatten integriert werden [2]. R-Car Gen2 Familie Eine derart komplexe Applikation benötigt daher eine hohe 3D-Grafik- und Rechenleistung in einer Automotive-Embedded-Plattform. Die neue SoC-Familie mit der Bezeichnung R- Car von Renesas adressiert solche Applikationen. Die zweite Generation dieser Familie wurde offiziell im März 2013 vorgestellt und unterstützt eine Vielzahl von Fahrzeuganwendungen wie Konnektivität, Entertainment und ADAS. Zwei Bausteine aus dieser Familie, R-Car H2 und R-Car V2H, unterstützen Surround-View-Systeme und besitzen sehr hohe Rechenleistung bei geringem Leisungsbedarf [3]. Der Baustein R-Car H2 wurde speziell für die Integration in Instrumentencluster entwickelt. 3D-Immersiverlebnis mit R-Car H2 Bei der Entwicklung solcher Systeme ist die benötigte 3D- Grafikleistung zu beachten. Vor allem zwei Punkte sind dabei wichtig: Das Texture-Mapping der 2D-Kamerabilder (also die dreidimensionalen Oberflächenmodelle mit 2D-Bildern zu versehen) und die Fahrzeugdarstellung in 3D. Die Anzahl der Polygone einer Szene hängt von der Formung der 3D-Kugel und den Rendering-Effekten des Fahrzeugmodells ab. Für ein besseres Rendering muss daher der Grafikprozessor die Polygone in einer kürzeren Zeit bearbeiten können. Außerdem sollte, falls die Applikation unterschiedliche Shader-Programme für eine Szene nutzt, die Grafik Engine (GPU) eine ent-» HANSER automotive 11 /

3 ELEKTRONIK sprechende Shader-Verarbeitung enthalten. Solche Leistungsanforderungen müssen durch eine hohe GPU-Frequenz zur schnellen Verarbeitung der Daten sichergestellt werden. Deshalb hat Renesas in seinem Baustein R-Car H2 eine entsprechende GPU integriert, die sogar das erste ipad Air von Apple in der Grafikleistung übertrifft. Bild 2: Videopfad des Surround View auf einem R-Car V2H mit Ethernet-Eingang. Bild 3: Vergleich der Latenzzeiten von LVDS und Ethernet für Videosignalübertragung und geometrische Transformation. Auf dem Weg zur Augmented Reality Die Erfassung der 3D-Szene ist ein weiterer wichtiger Aspekt. Dies kann über zwei Methoden erfolgen: Zum einen über eine Stereoaufnahme, die jedoch auch eine zweite Kamera und den entsprechenden Integrationsaufwand erfordert. Die andere Option ist, ein Stereobild mit einer Kamera über SfM (Structure from the Motion) zu erzeugen, also ein Stereobild durch mehrmaliges Aufnehmen der Szene über die Zeit. Renesas hat dafür einen Hardware-Beschleuniger in- tegriert, der diesen Algorithmus für vier Kameras in Echtzeit ausführt, und zwar mit niedrigem Leistungsverbrauch. SfM-Algorithmen erstellen eine Liste von Bewegungsvektoren, die die Bewegung des Fahrzeugs und der umgebenden Objekte repräsentieren. Aus dieser Liste (Matrix) werden dann dynamische und statische Objekte herausgefiltert. Statische Objekt-Bewegungsvektoren stellen invers-proportional zur Vektorlänge die Entfernung zum Objekt dar. Bild 1 (oben) zeigt ein Beispiel, das auf dem R-Car H2 läuft. Die Kreise repräsentieren das statische Merkmal als Ausgabe der Strukturberechnung. Die Farben korrespondieren mit den gruppierten Objekten, die dann an die Modellformung weitergegeben werden. Diese können dann für die 3D-Darstellung in Echtzeit genutzt werden, wie in Bild 1 (unten) dargestellt. Anschließend wird eine realistische Darstellung der Fahrzeugumgebung basierend auf diesen Daten von der GPU durchgeführt. Flexibilität mit Ethernet- Netzwerk in R-CAR V2H Die R-Car-Familie enthält einen besonderen Videopfad, von der Videoaufnahme der Kamera über das Ethernet- Netzwerk bis hin zum Display-Interface. In Bild 2 ist dieser spezielle Videopfad des R-Car V2H dargestellt. Dieser Baustein ist im August 2014 der Öffentlichkeit vorgestellt worden. R-Car V2H ist speziell für ADAS- Applikationen entworfen worden und integriert die wichtigen Features für ein ASIL-B-System. Seine Videopipeline vereinfacht nicht nur die Anforderungen an das restliche System (z. B. Latenzzeiten, Speicherbandbreite, und CPU-Zugriff), sondern reduziert auch den Software-Entwicklungsaufwand der Systemhersteller. Die Videoprozessierung benötigt keinen externen Speicherzugriff vom De-Multiplexen der vier Kameras bis zur Geometrietransformierung mit IMR-LSX3. Jedem Video von den Kameras wird dabei ein eigener HW-Beschleuniger zugeordnet. 12 HANSER automotive 11 / 2014 Carl Hanser Verlag, München

4 ELEKTRONIK Dank dieses Ansatzes benötigt der R-Car V2H nur sehr wenig Speicherbandbreite für 3D-Surround-View. Die Reduzierung der Systemkosten ist ein weiterer wichtiger Aspekt, um die Akzeptanz der Rundumsicht-Systeme im Markt zu erhöhen. Besonders die Verkabelung ist dabei nicht zu vernachlässigen. Als Ersatz für LVDS sind derzeit zwei Technologien in der Diskussion [4]: Ethernet über UTP (Unshielded Twisted Pair) und eine Weiterentwicklung von LVDS für Koaxial-Kabel. Beide Lösungen führen in etwa zu gleichen Systemkosten, die Ethernet-Lösung ist darüber hinaus aber auch für zukünftige Anwendungen im Automobil geeignet, wie z. B. in Drive-Recordern, die Mehrkanal-Simultan- Videoaufnahmen erfordern und das zu niedrigen Kosten. Ein weiterer Vorteil von Ethernet ist die Standardisierung durch die AVnu Alliance (auf MAC Ebene) und der Open Alliance (auf PHY-Level). Latenzoptimierter Videopfad Wichtig ist in solchen Kamerasystemen die Latenzzeit, und zwar sowohl beim Komprimieren und Dekomprimieren als auch beim Prozessieren. Dabei sollte die gesamte Latenzzeit von der Bildaufnahme in der Kamera bis zur Darstellung im Display 100 ms nicht überschreiten. Andernfalls wird die Akzeptanz beim Endkunden leiden. Kameras arbeiten normalerweise mit Bildraten von 30 Bildern/s. Wird ein gemeinsamer Verschluss eingesetzt, werden die Sensorzellen während der Belichtungszeit alle zur selben Zeit geladen. Dann beginnt der Imager mit der pixelweisen Ausgabe. Folglich wird das letzte Pixel etwa ein Bild (33 ms) nach der Aufnahme verschickt. Dies ist der erste Frame-Delay, der nicht reduziert werden kann. Der andere Delay stammt von der Übertragung zum Display, etwa 33 ms. Schließlich verbleiben noch etwa 33 ms, um die restlichen Aufgaben abzuarbeiten, wie in Bild 3 dargestellt. Der erste Teil der Signalkette ist der Datentransport. Das Ethernet-Protokoll unterstützt keine speziellen Mechanismen für niedrige Latenz und Kamerasynchronisierung. Deshalb hat Renesas in die R-Car-Familie einen Gigabit-Ethernet- MAC mit optimiertem AVB-HW-Support integriert [5]. Diese Implementierung wird durch Hardware unterstützt, um die CPU-Last zu reduzieren und den Empfang des gesamten komprimierten Videos zu optimieren. Multi-View-Kameraapplikationen sind auch Teil des AVB-Automotive-Profils der AVnu Alliance, das einen schnellen Start und niedrige Latenz (maximal 2 ms) für Kameravideos beschreibt [6]. Die ersten Multi-Kamerasysteme mit Ethernet nutzten noch MJPEG-Komprimierung mit niedriger Latenz, wie man es von Digitalkameras her kennt. Trotzdem könnte hier die Videoqualität die Bildverarbeitungsleistung begrenzen [7].»

5 ELEKTRONIK Bild 4: Darstellung des 3D Surround View mit einem R-Car V2H mit Fußgängererkennung. Deshalb setzt Renesas auf die H.264-Kompressionstechnologie als die beste Lösung für Videoübertragung [8]. Sie unterstützt ein gutes Kompressionsverhältnis für die Bildverarbeitung [7] [9]. Renesas stellte mit dem Automotive-SoC R- Car V2H den ersten Mehrkanal-H.264-Decoder mit niedriger Latenz vor. Der wichtigste Schritt ist jedoch, die Latenzzeit direkt im Verarbeitungsteil zu reduzieren. Herkömmliche DSP-basierte Systeme benötigen ein doppeltes Zwischenspeichern der Aufnahme. Der R-Car V2H dagegen enthält eine spezielle Einheit für einen geometrischen Bildtransformationsprozess on the fly, das sogenannte IMR-LSX3. Damit lassen sich aufgrund des direkten Pfads bis zu fünf Low-Latency-Videodecoder direkt streamen. So reduziert sich die gesamte Latenz in einem Ethernet-Netzwerk im Vergleich zu einem LVDS-Ansatz, wie in Bild 3 dargestellt. Darstellung & Erkennung Die IMR kann Blickwinkel-Transformationen von 2D- oder 3D-Surround-View-Darstellungen in Echtzeit mithilfe einer Look-up-Table (LUT) ändern. Der Blickwinkel kann für jeden Frame verändert werden, was animierte Übergänge zwischen Benutzerblickwinkeln ermöglicht. Integrierte bilineare Filter ergeben exzellente Bildqualität. R-Car V2H enthält die gleiche Bildverarbeitungshardware wie der R-Car H2. Somit ist hier ebenfalls die Ausführung von SfM-Algorithmen oder sogar Fußgängererkennung möglich. Fußgänger können mit allen vier Kameras parallel erkannt werden, dank Histogram of Gradient - und Support Vector Machine -Klassifizierung. Dieses Feature wurde letzten September auf der Renesas Developer Conference in Japan mit R-Car V2H demonstriert. Bild 4 zeigt den Screenshot des Videoausgangs des Bausteins [10]. Die erkannten Fußgänger sind mit roten Rechtecken gekennzeichnet. Diese Rechtecke sind in eine 3D-Perspektive integriert und werden korrekt über den Videos positioniert. Dieses Beispiel zeigt die Fähigkeit des R-Car V2H, zwei 3D-Perspektiven parallel zu erzeugen aus vier Kameras mit Fußgängererkennung und Darstellung. Fazit Aufgezeigt wurde der Trend hin zu Multikamera-Systemen für 3D-Rundumsicht in Einparksystemen. Dafür wurde die skalierbare Automotive SoC-Familie R-Car präsentiert, die darauf zugeschnitten ist, solche komplexen Applikationen zu unterstützen. Der R-Car H2 kann eine realistische und umfassende 3D-Darstellung der fahrzeugnahen Umgebung erzeugen, um Parksituationen zu vereinfachen. Ein direkter Ethernet-Videopfad im R-Car V2H zusammen mit einem Ethernet-AVB-MAC und einem Mehrkanal-H.264-Dekoder führen zu einer extremen niedrigen Latenz und Reduzierung der Speicherbandbreite. Renesas hat ebenfalls wichtige Features für ein ASIL-B-System integriert, falls eine solche Applikation als Teil eines autonomen Einparksystems eingesetzt wird. W (oe)»» Referenzen [1] Mengmeng Yu and Guanglin Ma, Delphi Automotive 360 Surround View System with Parking Guidance, May 2014 [2] M. Friebe, J. Petzold, Visualisation Functions in Advanced Camera- Based Surround View Systems, 2014 [3] Peter Fiedler, Mehr Power, weniger Leistungsaufnahme, February 2014 [4] N. Noebauer, Is Ethernet the rising star for in-vehicle networks?, September 2011 [5] S. Oudin, N. Kitajima, Das zukünftige Ethernet-AVB Netwerk, November 2012 [6] AVnu Alliance White Paper AVB for Automotive Use, October 2014 [7] J. Forster, X. Jiang and A. Terzis, The Effect of Image Compression on Automotive Optical Flow Algorithms, 2011 [8] T. Wiegand, G. J. Sullivan, G. Bjøntegaard, and A. Luthra, Overview of the H.264/AVC Video Coding Standard, Juli 2003 [9] T. Nguyen, D. Marpe, Performance analysis of HEVC-based intra coding for still image compression, May [10] September 2014 Dipl.-Ing. Simon Oudin ist Marketing Ingenieur für Surround View Applikationen in der neu geschaffenen Global ADAS Solution Group bei der Renesas Electronics Europe GmbH. 14 HANSER automotive 11 / 2014 Carl Hanser Verlag, München

6