EXPLORATION VON GEOSPATIALEN AUTOMOTIVE-DATEN VISUALISIERUNG VON FAHRZEUG-SENSORDATEN

Transkript

1 Isabella Eckel, BMW Group Dr. Christian Winkler, mgm technology partners GmbH EXPLORATION VON GEOSPATIALEN AUTOMOTIVE-DATEN VISUALISIERUNG VON FAHRZEUG-SENSORDATEN

2 WISSENSEXTRAKTION AUS FAHRZEUG-SENSORDATEN Anwendung von gelernten Informationen aus Flottendaten Gesteigerter Automatisierungsgrad von Fahrerassistenzsystemen stellt hohe Anforderungen an Funktionsentwicklung Mehrfache Befahrung derselben Strecke liefert Daten, die durch statistische Auswertung Rückschlüsse auf das Systemverhalten erlauben

3 GROßE DATENMENGEN AUS MESSUNGEN VON ERPROBUNGSFAHRTEN Fahrzeugsensoren als Datenquelle Umfelderfassung durch Fahrzeugflotte Rain, Light, Sight sensors Up to six cameras incl. stereo, color Long and short range radar Lane detection Object detection and classification Ultra sonic sensors Blind spot object detection Night vision w/ pedestrian detection Street surface detection Exterior temperature Air quality sensors Odometry, GPS heading, speed Inertial sensors steering angle torque sensor Fuel / charging status, range, vehicle diagnosis status stability control

4 EINBLICK IN INFORMATIONSGEHALT GEOSPATIALER DATEN Datenexploration Zusammenhänge und Muster erkennen, um Einflussfaktoren auf Systemverhalten zu verstehen Hypothesen über das Systemverhalten bewerten, als Vorstufe zu prädiktiver Datenanalyse

5 LÖSUNGSKONZEPT: BACKENDGESTÜTZES TOOL ZUR DATENEXPLORATION Interaktives Tool zum intutiven Einblick in gesammelte Daten Frontend als Web Anwendung Datenverarbeitung im Backend Generisches Tool für unterschiedliche Nachrichtentypen Schnelle Interaktion Filterung nach Zeit, Ort, Wert Kombination von Meldungstypen Berechnung statistischer Kenngrößen Kartenbezug

6 Gesamtkontext Vorhandene Tools können Anforderungen nicht abbilden Datenmenge Ca. 100 Millionen Datensätze bereits vorhanden Starkes Wachstum erwartet Überblick und Details Aggregierte Werte müssen ermittelt werden Details dürfen nicht verloren gehen Filter müssen berücksichtigt werden Darstellung Unterschiedliche Detaillierungsgrade sind notwendig Interaktivität mit konsistenten Filterkriterien Möglichst geringe Latenzen 6

7 Lösung: Visualisierung Datenarten übersichtlich auf Karten darstellen Kartendarstellung Zoom Cluster OpenStreetMap als Kartenprovider Heatmap Histogramme Details mit Einzelwerten Sehr einfach erweiterbar Orchestrierung Backend-Kommunikation Ablauflogik Layout für unterschiedliche Geräte 7

8 Lösung: Selektion/Aggregation Konsolidierte Daten und Einzelwerte für Geobereiche ermitteln Nutzung von Apache Solr zur Datenhaltung Suchmaschine u.a. für Online-Shops Verwendung hier: Analytisch Indizierung der wesentlichen Felder (Geschwindigkeit, Richtung, Schilder) Überblick durch Geohashes Verschiedene Auflösungsstufen Unterschiedliche Feldtypen möglich Zahlen, Strings usw. Keine Anpassungen notwendig 8

9 Aggregate Details Software-Stack Open Source Software schafft Freiraum für individuelle Lösungen Browser HTTPS Web-Applikation Leaflet D3.js AngularJS Auswahl Auswahl Sensordaten Import Apache Solr 9

10 Demonstration Geschwindigkeit und Interaktivität sind wesentliche Komfortfaktoren 10

11 Weiterentwicklung Größere Datenmenge erfordert asynchrone Datenvorbereitung Datenmenge Milliarden von Datensätzen Skalierbarkeit Aggregation ist am schwierigsten Sensordaten Vorverarbeitung Import Apache Solr Vorverarbeitung Berechnung von Aggregaten Integration in Suchindex Optimierung auf interaktive Verarbeitung Interaktion Aggregation Suche Suche Primary Key Lookup 11

12 AUSBLICK Zusammenfassung Apache Solr als Schlüsseltechnologie für effiziente Datenhaltung Hohe Akzeptanz von Big Data durch Erlebbarkeit von Daten Ausblick Visualisierung als Teil einer Cloud Plattform Datenexploration als erster Schritt von Wissensextraktion Datenanalyse Datenerfassung Ablage von Sensordaten Datenexploration Wissen Fahrzeugfunktion