Analyse und Konzeptionen von Lösungen für das Verdeckungsproblem in komponentenbasierten Mixed Reality- Applikationen

Transkript

1 Analyse und Konzeptionen von Lösungen für das Verdeckungsproblem in komponentenbasierten Mixed Reality- Applikationen Vortrag zur Diplomarbeit von Sönke Dirksen am Professur für Graphische Datenverarbeitung Fachbereich Biologie und Informatik Prof. Dr.-Ing. Detlef Krömker

2 Gliederung Einleitung Analyse Konzeption und Realisierung Implementierung Ergebnisse und Ausblick Applikationen 2

3 Gliederung Einleitung Analyse Konzeption und Realisierung Implementierung Ergebnisse und Ausblick Applikationen 3

4 Einleitung Mixed Reality Weiterentwicklung der Virtual Reality Virtuelle Objekte in reale Welt einblenden Erweiterung der Wahrnehmung/ Vorstellung des Benutzers Anwendungsgebiete z.b. Medizin, Wartung, Robotik, Unterhaltung, Militär, Navigation, Quelle: Azuma, Recent Advances in Augmented Reality Applikationen 4

5 Einleitung Motivation Positive Eigenschaften von MR Große technologische Fortschritte in MR (optisches Tracking) => MR auf gängigen PCs anwendbar => großer potentieller Nutzerkreis Unterstützung von technologiefremden Autoren (neue Nutzerkreise) benötigt Realistische MR benötigt korrekte Verdeckungen Applikationen 5

6 Einleitung Zielsetzung Konzept für die Verdeckungslösung erstellen Prozess vorgeben Autoren unterstützen/anleiten Breite Basis/Nutzerschicht ansprechen Technischen Fortschritt ausnutzen Konzipierte Werkzeuge implementieren In existierendes MR-Autorensystem Applikationen 6

7 Gliederung Einleitung Analyse Konzeption und Realisierung Implementierung Ergebnisse und Ausblick Applikationen 7

8 Analyse Vorbereitung/Grundlagen: Auftretende Verdeckungen in MR klassifizieren Schwerpunkt: Verdeckungen virtueller durch reale Objekte, da nicht einfach lösbar Kriterien und Rahmenbedingungen aufstellen Aus Zielsetzung und MR Eigenschaften abgeleitet Unterteilung in manuelle, halbautomatische und automatische Verfahren Applikationen 8

9 Analyse Wichtigste Ergebnisse: Manuelle Verfahren zu arbeitsintensiv Automatische Verfahren zu unflexibel Halbautomatische Verfahren: Keine Unterstützung bei Erkennung Keine Anleitung des Benutzers Haupterkenntnis: Phantomobjekte gut für Verdeckungslösung geeignet (dominierend) Applikationen 9

10 Gliederung Einleitung Analyse Konzeption und Realisierung Implementierung Ergebnisse und Ausblick Applikationen 10

11 Konzeption Phasenmodell Anlehnung an Softwaretechnik Gesamter Prozess in Phasen aufteilen Jede Phase endet mit Zwischenergebnis Struktur durch Unterteilung, Motivation durch Zwischenergebnisse, Robustheit durch Abgeschlossenheit, Arbeitsfluss Vier Phasen des Verdeckunglösungsprozesses: Erkennungsphase Erstellungsphase Registrierungsphase Anpassungsphase Applikationen 11

12 Konzeption - Beispiel Phasen an Beispiel verdeutlichen Kombination Virtuelles Auto Abbild realer Strasse Auftretendes Verdeckungsproblem Applikationen 12

13 Konzeption Erkennungsphase Virtuelle Objekte Szenenansicht Erkennungsphase Ziel: Potentielle Verdeckungen identifizieren Helfende Fragen führen den Autoren Optische Unterstützung Resultat: Information, für welchen realen Gegenstand ein Phantomobjekt benötigt wird Applikationen 13

14 Realisierung Erkennungsphase Gezielte Fragen zum Gewinn von Informationen Aufmerksamkeit durch Hervorhebung wichtiger Elemente erhöhen Fehlfarben Kantenhervorhebung Applikationen 14

15 Konzeption Erstellungsphase Virtuelle Objekte Erstellungsphase Vorgefertigte Phantomobjekte Primitivobjekte (Quader, Zylinder, Kugel) Bibliothek von Phantomobjekten Externe Modellierung und Import Rekonstruktion der realen Vorbilder Szenenansicht Applikationen 15

16 Realisierung - Erstellungsphase Bibliothek von Phantomobjekten Primitivobjekte (Quader, Zylinder, ) Viele reale Gegenstände lassen sich annähern, Bsp. Tische, Wände, Säulen, Bücher, Schränke, Spezielle Objekte Vormodelliert Wiederverwendbar Import Speziell in externer Anwendung erstellt Applikationen 16

17 Realisierung - Erstellungsphase Rekonstruierte Phantomobjekte Komplexe Objekte Silhouette in verschiedenen Ansichten extrudieren Schnittobjekt Annäherung an reales Objekt Applikationen 17

18 Realisierung - Erstellungsphase Rekonstruierte Phantomobjekte Werkzeuge Linienzug Freihand Kangensegment wählen Füllen der Maske Schnitt bilden Applikationen 18

19 Konzeption Registrierungsphase Virtuelle Objekte Registrierungsphase Virtuelle und reale Objekte in Bezug zueinander setzen Spezielle typische MR Phase Szenenansicht Applikationen 19

20 Realisierung Registrierungsphase Bekannte Objektinformationen nutzen Beispiel: Quader Größe, Position, Ausrichtung im Raum durch 4 Punkte definierbar 2D-Eckpunkte in 2 verschiedenen Ansichen auswählen Unterstützung durch Eckpunktmagneten 3D Koordinaten berechnen Applikationen 20

21 Konzeption Anpassungsphase Virtuelle Objekte Anpassungsphase Wartung Szenenansicht Änderungen in Realität erfordern u.u. Rekalibrierung Applikationen 21

22 Realisierung Anpassungsphase Anpassungsphase Werkzeuge zur Transformation Editor mit Schiebereglern und Eingabefeldern Mausbedienbare Regler MR Werkzeuge über 3D Zeiger Applikationen 22

23 Konzept Übertragbarkeit Bestehendes Konzept lässt sich verallgemeinern => neue Einsatzgebiete Phantomobjekte haben neben Verdeckung vielfältige weitere Einsatzgebiete Physikalische Simulationen (Kollision, Schattenwurf, ) Hervorhebung (Umriss nachzeichnen) Generell: bei simulierten Interaktionen virtueller und realer Objekte Applikationen 23

24 Gliederung Einleitung Analyse Konzeption und Realisierung Implementierung Ergebnisse und Ausblick Applikationen 24

25 Implementierung Konzipierte Werkzeuge wurden für bestehendes MR- Autorensystem AMIRE umgesetzt Weit über Prototypen hinaus, voll einsetzbar (Demo) Applikationen 25

26 Implementierung Probleme und Limitierungen Hauptproblem: Optisches Tracking noch ungenau, führt aufgrund der Abhängigkeit der Verdeckungslösung zu deutlich wahrnehmbarem Fehlverhalten Applikationen 26

27 Gliederung Einleitung Analyse Konzeption und Realisierung Implementierung Ergebnisse und Ausblick Applikationen 27

28 Ergebnisse Konzipiertes Phasenmodell führt Autoren durch Prozess zur Erstellung einer Verdeckungslösung Werkzeuge für notwendige Schritte jeder Phase entworfen Integration in bestehendes MR- Autorensystem beweist praktische Einsetzbarkeit Applikationen 28

29 Ausblick Implementierungsspezifische Feinheiten: Anleitung bei Rekonstruktion Abschwächung von Markerfehlern Konzept in andere MR-Autorensystemen implementieren Ausgiebige Tests in größeren Projekten stehen aus, grundsätzlich aber möglich Applikationen 29

30 Danke Professur für Graphische Datenverarbeitung Fachbereich Biologie und Informatik Prof. Dr.-Ing. Detlef Krömker