3D Goes Mobile. Verarbeitung von semantischen 3D- Gebäudemodellen auf Smartphones. Christoph Blut

Transkript

1 3D Goes Mobile Verarbeitung von semantischen 3D- Gebäudemodellen auf Smartphones RWTH Aachen University Geodätisches Institut Lehrstuhl für Bauinformatik & Geoinformationssysteme

2 INHALT MOTIVATION MOBILE 3D UMSETZUNG VIDEO-DEMO 2

3 3D STADTMODELLE AKTUELL 3

4 3D STADTMODELLE AKTUELL 4

5 TREND VR Hersteller Sony Microsoft Samsung Google Realwelt-Position unberücksichtigt 5

6 TREND MOBILE AR 6

7 DESKTOP VS. MOBILE Fokus Desktoprechner Übersicht Analyse Fokus Mobilgerät Fokussiert auf Einzelobjekte Spontan Positionsabhängig 7

8 MOBILE AR-SYSTEM - ANWENDUNG Semantische digitale Bauwerksmodelle Visualisierung geplanter / historischer Bauwerke Abruf von Semantik / Topologie Typ: Wohnhaus 8

9 MOBILE AR-SYSTEM - ANWENDUNG Semantische digitale Bauwerksmodelle (Innenraum) Visualisierung verdeckter Objekte (X-Ray) Abruf von Objektinformationen Raum: 23 Raum: 24 Rigips 220 Volt 9

10 AR-SYSTEM Anforderungen an ein AR-System Allgemein Kostengünstig Flexibel Unabhängig Technisch Erfassung der realen Welt Visualisierung der Real-Welt und virtuellen Welt Sensoren zur Bestimmung der Position und Orientierung des Gerätes (Tracking) 10

11 SMARTPHONES Vorteile Kostengünstig ~ Hohe Verfügbarkeit 1.2 Milliarden 2014 verkauft Mobilität Nachteile Kleine Displays Begrenzte Hardwareressourcen Low-Cost Sensoren 11

12 TESTGERÄT Nexus 5 (Google/LG) Android 6.0 Marshmallow Full-HD Display 8 MP Kamera mit optischer Bildstabilisierung 32 GB interner Speicher 2 GB RAM Sensoren GPS Gyroskop Beschleunigungsmesser Kompass Barometer 12

13 MOBILE AR-SYSTEM - DATEN City Geography Markup Language (CityGML) Mehrskalige Visualisierung durch Level of Detail (LoD) System Semantik\Topologie Georeferenziert <bldg:wallsurface gml:id= WallSurface_1">... <bldg:lod4multisurface> <gml:multisurface> <gml:surfacemember> <gml:polygon> <gml:exterior> <gml:linearring> <gml:poslist count="5" srsdimension="3"> </gml:poslist> </gml:linearring> </gml:exterior> 13

14 MOBILE AR-SYSTEM - PROBLEMATIK 14

15 MOBILE AR-SYSTEM - PROBLEMATIK StädteRegion Aachen CityGML (LoD2) 8 Städte und 2 Gemeinden 707,1 km² ~ Gebäude und ~ Gebäudeteile ~3,8GB! 15

16 MOBILE AR-SYSTEM - PROBLEMATIK Berlin CityGML (LoD2) ~890 km² ~ Gebäude ~20 GB (CityGML) + ~17 GB Texturen! 16

17 ÜBERSICHT Komponenten des AR-Systems Datenverarbeitung Datenimport Datenspeicherung Datenabfrage Datenvisualisierung Datenaufbereitung Rendering Tracking Tracking im realen 3D-Raum Positionierung und Ausrichtung im virtuellen 3D- Raum 17

18 ÜBERSICHT Komponenten des AR-Systems Datenverarbeitung Datenimport Datenspeicherung Datenabfrage Datenvisualisierung Datenaufbereitung Rendering Tracking Tracking im realen 3D-Raum Positionierung und Ausrichtung im virtuellen 3D- Raum 18

19 DATENVERARBEITUNG SERVER-CLIENT Vorteile Verlagerung von Speicherort und komplexen Berechnungen auf Server 3DCityDB Nachteile Netzverbindung notwendig Nicht Unabhängig Hohes Datenvolumen Hohe Kosten Oracle Spatial + 3DCityDB + CityGML-Daten 19

20 DATENVERARBEITUNG - LOKAL Datenimport CityGML-Parser (Android Pull-XML-Parser) Sequentielle Verarbeitung der CityGML-Daten Datenspeicherung SpatiaLite-DB Datenabfrage Verwendung von SQL für positionsabhängige Datenabfragen Abruf von Geometrien Abruf von ergänzenden Objektinformationen CityGML-Daten Android Pull- XML-Parser SpatiaLite-DB SQL Virtuelle Welt 20

21 SPATIALITE SpatiaLite Erweiterung von SQLite Serverlose, transaktionale SQL-Datenbankengine Einzelne Datenbankdatei Einfaches Sichern, Austauschen und Weitergeben Einlesen der CityGML-Datei auf mobilem Gerät Einlesen der CityGML-Datei auf Desktop-Rechner und anschließende Kopie auf mobilem Gerät Vollständig in Anwendung integrierbar Unterstützung von Geometrietypen wie Punkte, Linien und Polygonen und komplexeren Typen wie multiplen Polygonen, im 2D, als auch im 3D- Raum 21

22 SPATIALITE - PROBLEMATIK SpatiaLite Keine echten 3D Operationen möglich (2.5D) Beispiel Hochhaus: Abfrage ob Punkt in Raum, liefert auch alle Räume oberhalb und unterhalb des Punktes Vergleich Oracle Spatial Unterstützung einiger echter 3D Operationen SDO_ANYINTERACT SDO_FILTER SDO_INSIDE (nur Solids) SDO_NN SDO_WITHIN_DISTANCE 22

23 OPTIMIERUNG Selektion im Umkreis (Begrenzung der Objekte) Nur (notwendige) Objekte in unmittelbarer Nähe laden Weitere Filterung Außenposition Vollständige Gebäudehüllen ohne innere Objekte nach definiertem Radius Innenposition Vollständiger Raum mit enthaltenen Objekten ohne äußere Objekte Dynamisches Nachladen\Löschen von CityGML-Daten Konfigurierbare Distanz zum Nachladen Konfigurierbare Distanz zum Löschen Quelle: Kolbe, TU München 23

24 ÜBERSICHT Komponenten des AR-Systems Datenverarbeitung Datenimport Datenspeicherung Datenabfrage Datenvisualisierung Datenaufbereitung Rendering Tracking Tracking im realen 3D-Raum Positionierung und Ausrichtung im virtuellen 3D- Raum 24

25 TRIANGULATION GML Geometrien sind über Punkte definiert Graphics Processing Unit (GPU) ist auf die Verarbeitung von Dreiecken optimiert Polygone müssen daher trianguliert werden Ziel: Möglichst wenige Vertices Implementierung angepasster Triangulations- Algorithmus 25

26 RENDERING Visualisierung Open Graphics Library for Embedded Systems (OpenGL ES) Vereinfachte Version der OpenGL-Spezifikation Platzieren der triangulierten Polygone in virtueller Welt Virtuelle Welt: Virtueller Raum + Koordinatensystem + Kamera Verknüpfung der Objekte mit den ergänzenden Informationen Minimal-Informationen in Welt, Rest aus lokaler Datenbank zur Laufzeit 26

27 RENDERING Triangulierung + Darstellungsinformationen + Ergänzende Informationen Quelle der Modelldaten: Karlsruher Institut für Technologie 27

28 RENDERING Quelle der Modelldaten: Karlsruher Institut für Technologie 28

29 ÜBERSICHT Komponenten des AR-Systems Datenverarbeitung Datenimport Datenspeicherung Datenabfrage Datenvisualisierung Datenaufbereitung Rendering Tracking Tracking im realen 3D-Raum Positionierung und Ausrichtung im virtuellen 3D- Raum 29

30 TRACKING Ermittlung der Realweltkoordinaten/ Orientierung des Smartphones Positionierung per GPS Orientierung über Smartphone interne Sensoren Nexus 5 Sensoren GPS Kompass Halleffekt Barometer Gyroskop Näherungs-/ Umgebungslichts ensor Accelerometer 30

31 AR-SYSTEM DEMO 31

32 AR-SYSTEM DEMO 32

33 AR-SYSTEM DEMO 33

34 AR-SYSTEM DEMO 34

35 DANKE FÜR DIE AUFMERKSAMKEIT Fragen? 35

36 QUELLEN Municipalities_in_AC_%282009%29.svg.png boroughs_-pop%29_-_de_-_colored.svg/2000px-berlin,_administrative_divisions_%28%2bdistricts_-boroughs_-pop%29_- _de_-_colored.svg.png 36