Klassischen Content mit AR, VR und 3D verbinden. Noxum Tech Summit 2018

Transkript

1 Klassischen Content mit AR, VR und 3D verbinden Noxum Tech Summit 2018

2 3D-Modelle (Browser) 3D-Modelle ermöglichen es dem Betrachter, ein Objekt vollständig, in allen Details und aus allen Blickwinkeln zu erfassen. Sie erfordern keine spezielle Ausrüstung bzw. Hardware. Handelsübliche Grafikkarten, inklusive der Chipgrafiken in fast allen Laptops und Smartphones, sind den Anforderungen prinzipiell gewachsen. Prinzipiell bedeutet hier, dass mit wachsender Anzahl an Polygonen, Texturen und wachsendem Speicherbedarf dennoch schnell die Grenzen vieler Endgeräte erreicht werden.

3 Augmented Reality (AR) Unter erweiterter Realität (auch englisch augmented reality [ɔːɡˈmɛntɪd ɹiˈælɪti], kurz AR [eɪˈɑː]) versteht man die computergestützte Erweiterung der Realitätswahrnehmung. Diese Information kann alle menschlichen Sinnesmodalitäten ansprechen. Häufig wird jedoch unter erweiterter Realität nur die visuelle Darstellung von Informationen verstanden, also die Ergänzung von Bildern oder Videos mit computergenerierten Zusatzinformationen oder virtuellen Objekten mittels Einblendung/Überlagerung.

4 Mixed Reality (MR) Mixed Reality ist eine Spezialform von Augmented Reality Mixed Reality blendet nicht nur Informationen in die echte Realität ein, sondern reichert diese durch virtuelle Objekte an, die in Größe, Form und durch feste Positionierung im Raum echten Objekten entsprechen sollen.

5 Virtual Reality (VR) VR entführt den Benutzer in eine geschlossene, vollständig virtuelle Welt Reale Umgebung wird vollständig durch die virtuelle Umgebung ersetzt. Solch externe Sensoren erfassen Aktionen & Bewegungen des Benutzers und übertragen diese in die virtuelle Umgebung. Zu solchen Sensoren zählen Gyroskop, Kamera, Beschleunigungssensoren, Drucksensoren (beispielsweise in Handschuhen), Kompass, Sensorinformationen werden beispielsweise genutzt, um virtuelle Hände in die VR-Umgebung einzublenden. Benutzer kann mit Objekten in der virtuellen Umgebung interagieren. Spezielle Hardware: HMD (Head Mounted Display): Brillen in geschlossener Bauform (Oculus Rift, HTC Vive, ) Benutzer nimmt seine reale Umgebung kaum noch oder gar nicht mehr wahr. Daher sollte diese Umgebung auch frei von Stolperfallen und Hindernissen sein. Umliegende Gegenstände entfernen und Begrenzungen schaffen. Interaktion mit anderen Benutzern nur über Avatare möglich. Time Magazin (

6 3D/AR/VR im Content Management Neue Content-Bausteine 3D-, AR- und VR-Inhalte stellen zusätzliche Content-Bausteine dar, so wie Text, Bilder, Videos Einmal aufbereitet, können sie genauso einfach wie beliebige andere binäre Inhalte behandelt werden. Sie lassen sich kontextuell mit beliebigen anderen Inhalten verknüpfen. Bestehender Content lässt sich innerhalb von 3D-, AR- und VR-Inhalten wiederverwenden, beispielsweise als Einblendung infolge einer Benutzerinteraktion (komplexer).

7 Verlinkung von Content Klassische Variante der Verlinkung: 3D-Objekt als binäres Gesamtobjekt betrachten, vergleichbar eines Videos oder Bildes. Einbettung in bestehenden Content (Verlinkung) Erweiterte Variante: 3D-Objekte bieten aber noch weitaus mehr Möglichkeiten. Tatsächlich sind sie nicht nur ein abstrakter Haufen Code, sondern hochgradig strukturierte Formate (Beispiel später). Innerhalb von 3D-Objekten lassen sich üblicherweise einzelne Objektgruppen herausarbeiten und individuell mit bereits vorhandenen Content-Bausteinen verknüpfen. Beispiel: Übertragung einer bestehenden Handlungsanweisung in eine ARgestützte Handlungsanweisung (Kaffeevollautomat) Einbettung 3D-Objekt in bestehenden Content-Bausteinen Verlinkung von bestehenden Content- Bausteinen innerhalb 3D Content

8 Beispiel AR-geführte Maschinenwartung Die Überlagerung von realen Objekten mit zielgerichteten AR-Objekten erfordert fortgeschrittenere Technologien, inbesondere Bilderkennung und intensives Training der zu erkennenden Strukturen.

9 Beispiel Wartung Beispiel für eine vorhandene Wartungsanleitung, die aus wiederverwendbaren Content-Bausteinen aufgebaut ist (Bilder, Text, )

10 Beispiel AR-Gestützte Wartung Beispiel für die Übertragung einer gedruckten Handlungsanweisung in eine AR-gestützten Handlungsanweisung, unter Wiederverwendung bestehender Content-Bausteine. Es bietet die Möglichkeit, komplizierte Szenarien an einem AR-Objekt in Echtgröße durchspielen zu können.

11 3 Arbeitsbereiche Aufbereitung Auslieferung Verwaltung

12 Aufbereitung Format konvertieren Details reduzieren Objektgruppen bilden Layout anpassen

13 Aufbereitung: AR Bundles AR Bundle Events Benutzerinteraktionen If (event A) { } else { } 3D Modell 3D-Modelle können zusammen mit transformierenden Skripten und den sie auslösenden Events und Benutzeraktionen in AR Bundles gebündelt werden. Skripte

14 Verwaltung Redaktionssystem JSON Preview Image Preview-Images komplexer 3D-Objekte dienen später bei der Auslieferung des Contents als Platzhalter, beispielsweise in Webseiten Redaktionssystem hilft mittels entsprechender Editoren, die Content- Bausteine miteinander zu verbinden. XML DMS / Blog Storage CMS Content Database

15 Auslieferung 3D Modell / AR Bundle Redaktionelle Inhalte Vorschau JSON XML AR App Browser / Web Print Modell / Bundle Red. Inhalte Modell Vorschau Red. Inhalte Vorschau Red. Inhalte

16 Blick ins Format (Wavefront OBJ) f 24719/1192/ /1195/ /1352/24879 f 24654/1127/ /1156/ /1352/24879 f 24886/1359/ /1127/ /1352/24879 # 2345 faces g group_suspension1 v v v v v Gruppen können benannt werden (Identifier) Gruppen-Identifier kann mit anderen Topic-IDs aus dem CMS verknüpft werden

17 Technologien & Voraussetzungen AR / MR Allgemein: Aufbereitung des Contents kann für die jeweilige Zielplattform aufwendig (Animationen, Reduktion der Detailtiefe, ) sein. Ggf. spezialisierte Agenturen ios mit / einbinden. ARKit ios / ARKit: leicht verfügbare Geräte, vergleichsweise günstig ausgereifte Technologie. verfügbar ab iphone 6s / ipad Pro 4 Darstellung beruht auf klassischen Sensoren im Gerät (Kamera, Gyroskop ), kombiniert durch sehr fortgeschrittene Algorithmen Google bietet mit ARCore Alternative zu ARKit. Microsoft Hololens Schwer verfügbar, teuer Eigene Tiefensensoren zu 3-dimensionalen Erfassung der Umgebung Spezialisierte Prozessoren Hololens ist eigener Rechner, basierend auf Windows. Keine externe Hardware erforderlich Darstellung in eigenen Durchsicht-Prismen: Benutzer sieht Objekt stabil im Raum, kann es umwandern, hat Hände frei. Beschränkung auf maximal PolygoneMicrosoft Hololens Quelle:

18 Technologien & Voraussetzungen VR Professioneller Bereich: Geräte mit integrierten Bildschirmen und Lautsprechern, eigenen Akkus und erweiterter Sensorik Erfordern sehr leistungsfähige externe Hardware (Kabelverbindung) Consumer-Bereich: Brillen als Haltegestelle für Smartphones (quer im Rahmen eingebaut). Rechenleistung für Darstellung wird von Handy erbracht Quelle: Quelle: Professioneller Bereich. Beispiel: HTC Vive Pro Consumer Bereich. Beispiel: Samsung Gear VR