DIGITALES PLANEN UND GESTALTEN 2015 Augmented Reality für die Assistenz von Entscheidungsprozessen in urbanen Umgebungen Fraunhofer-Institut für Fabrikbetrieb und -automatisierung IFF Dessau, 04. Juni 2015
AUGMENTED REALITY FÜR DIE ASSISTENZ VON ENTSCHEIDUNGSPROZESSEN IN URBANEN UMGEBUNGEN 1. Fraunhofer IFF und Augmented Reality 2. Einleitung 3. Tracking Anforderungen Lösungsansätze 4. Visualisierung 5. Workflow 6. Ausblick
Fraunhofer IFF Fraunhofer Gesellschaft 66 Institute und Forschungseinrichtungen, 7 Institutsverbünde 24.000 Mitarbeiter, 2 Mrd. Forschungsvolumen Fraunhofer IFF, Magdeburg 3
Fraunhofer IFF Augmented Reality für intelligente Arbeitssysteme Bereits 2008: AR als Assistenzsystem in der industriellen Kommissionierung Langzeiteinsatz kopfgetragener Systeme (HMDs) Entwicklung von Tracking- und Kalibrierungsverfahren Seit 2012: Fokussierung auf Assistenzsysteme 4
Einleitung Augmented Reality Augmented Reality (AR): Erweiterung der Realität um computergenerierte Inhalte in interaktiver Echtzeit (Azuma1997) Häufig: Einblendung visueller Informationen mit Lagebezug oder lagesynchron zu realen Objekten Quelle: Layar lagebezug lagesynchron Azuma1997: Azuma, R. (1997). A Survey of Augmented Reality. Teleoperators and Virtual Environments, S. 355-385. 5
Einleitung Augmented Reality: Prinzip Kamerabild Bildanalyse/-tracking Markerlos Markerbasierend 3D-Tracking Position + Orientierung 3D Modell (CAD) Ausrichten der virtuellen Kamera Herausforderungen robustes und stabiles Tracking adäquate Visualisierung 6
Einleitung Zielstellung Unterstützung bei Entscheidungsprozessen von Bauvorhaben im Außenraum Abstimmungsprozesse: Visualisierung von Alternativen Kommunikation: Darstellung von Entscheidungsgrundlagen Vorteile Verständliche Darstellung komplexer Sachverhalte Visualisierung von Planungen im realen Kontext Anwendungsgebiete: Architektur und Landschaftsarchitektur Mobile Systeme (Smartphones, Tablet, HMDs) als leistungsfähige Systeme fester Kamera/Monitor-Verbund, integrierte Sensoren ermöglicht komplexe Interaktionen In urbanen Räumen: High-Performance Datenkommunikation 7
Tracking Im Außenraum bildbasiert Shinsaku Hiura et. al http://www-sens.sys.es.osakau.ac.jp/users/shinsaku/research/tracking/ Tracking Möglichkeiten: Kamera oder Lagesensoren Lagesensoren: ungenau, Drift-behaftet, relative Poseverfolgung Kamera Analyse des Kamerabildes in Echtzeit Methoden erfordern stabile Bildmerkmale unkooperative Umgebungen: Licht, Schatten, Regen, Schnee, künstliche Marker + Stabilisierung mit Inertialsensorik ID-Marker 8
Tracking Stabilität und Robustheit Marker als Referenzpunkt zwischen realer und virtueller Umgebung Abstand Kamera Marker Erkennung des Markers Verlustbehaftete Kompression (Tiefpass!) Bestimmung der Pose der Kamera zum Marker Abstand Marker Model beliebiger Offset möglich Verstärkung von Winkelfehlern 9
Tracking Stabilität und Robustheit Marker als Referenzpunkt zwischen realer und virtueller Umgebung Abstand Kamera Marker Erkennung des Markers Verlustbehaftete Kompression (Tiefpass!) Bestimmung der Pose der Kamera zum Marker Abstand Marker Model beliebiger Offset möglich Verstärkung von Winkelfehlern 10
Tracking Anforderungen Architektur Kommunikation von Bauvorhaben und varianten (u.a. Gebäude, Infrastruktur) Anforderungen große Objektdimensionen großer Abstand Kamera <> Modell großer Abstand Kamera <> Marker (mehrere Meter) wenige komplexe Geometrien (Gebäude + Varianten) Landschaftsgestaltung Kundenkommunikation von Planungsvarianten Anforderungen kleine Objektdimension geringer/mittlerer Abstand Kamera <> Modell Abstand zu Marker flexibel viele einfache Geometrien, hohe Flächenabdeckung 11
Tracking Lösungsansatz - Architektur Herausforderung: großer Markerabstand Ansatz: mehrere zu einander kalibrierte Marker Naiver Ansatz: Posemittelung Hier: Bildung von Korrespondenzen zwischen den Markern Kalibrierung erfordert exakte Vermessung Lösung: Kalibrierungstool für interaktive Kalibrierung aus Videos (MARETO) Festlegung Lage Marker <> Modell Modellierung des Markeraufbaus Export der Pose (Plugin 3DSMax, Scetchup) 12
Tracking Lösungsansatz - Landschaftsgestalltung Herausforderung: große Flächenabdeckung der Modelle Lösungen a. Mehrere kalibrierte feste Markerstandorte b. instationäre / mobile Marker (work in progress) Markerwürfel auf einem Stativ Ad hoc Beratung an einem Standort (Kundenberatung) manuelle Registrierung zwischen Standorten Stativ wegen Blickachse auf hohe Objekte 13
Visualisierung Verdeckung Visualisierung AR = VR Ebene über Kamerabild reale Objekte immer hinter virtuellen Objekten Tiefeneindruck Modellierung verdeckender Objekte Eingeschränkt möglich bei komplexen Formen (Aufwand) Pflanzen (Bäume, Gräser) beweglichen Objekten 14
Visualisierung Landschaftsgestalltung - Darstellung Pflanzen Darstellung von Bäumen, Stauden, Hecken Berücksichtigung von Dynamiken kurzfristige Dynamik: Jahreszeiten langfristige Dynamik: Wachstum Parametrierung von Pflanzeneigenschaften Blattdichte, Blüten-/Frucht (Dichte, Farbe, Größe) Serverbasierende Szenarioverwaltung Zukünftig: Anbindung an Planungssysteme / Datenbanken http://www.cg-effects.de/project/iff/mobiplant/ar/ http://www.cg-effects.de/project/iff/mobiplant/shader/ 15
Workflow Fotos Pflanzen Pflanzen Datenbanken Datenbanken Web-basiertes Portal mit Datenbank Mobiplant App 16
Workflow Erstberatung des Kunden vor Ort keine Basisdaten (CAD, Bodenmodell) Vorauswahl von Pflanzenarten (Gestalltung, Qualität) grobe Aufplanung CAD-Feinplanung basierend auf mobiler Erstplanung AR Visualisierung als Grundlage für Planung Vermeidung von Missverständnissen Kunden-Review (Webbasiert / Mobil) Ist der Kunde mit dem Angebot zufrieden? Mobil: Beratung begleitend mit App Webbasiert: Preview für Kunden Erstplanung CAD-Feinplanung im Büro Web-basierte Kunden-Review 17
Ausblick Aktuell: Neuentwicklung für Fusion Architektur + Landschaftsgestaltung Problem: Performance mobiler Geräte begrenzte Geometriekomplexität (ca. 200T Dreiecke) begrenzter Speicher (Anzahl möglicher Texturen) Schlechte Verfügbarkeit AR-fähiger Visualisierungsframeworks Bisher: Metaio-SDK (bedingt geeignet für Marker-Tracking) Aktuell: Eigenentwicklung einer spezialisierten Engine Visualisierung Tiefensortierung (Depth-Queueing) bei AR-Visualisierung erforderlich Workflow Integration an vorhandene Modellierungswerkzeuge weitere Forschungsfragen Anpassung an reale Lichtverhältnisse 18
Vielen Dank Fragen? 19