Augmented Reality - Grundlagen

Transkript

1 Augmented Reality - Grundlagen Intelligente Mensch-Maschine-Interaktion - IMMI SS 2011 Prof. Didier Stricker [email protected]

2 Die Vorlesung am findet im Raum Zuse am DFKI statt 2

3 Übersicht Augmented Reality Displays und Tracking Die Kamera Kamerakalibrierungsverfahren 3

4 Historie Ivan Sutherland (1960s): erste Experimente mit HMDs Remote Reality Virtual Reality 4

5 Allgemeines Trend: IPT (immersive projection technology) -5- Stereoprojektion Workbench CAVE

6 CAVE 6

7 Virtual Reality Eigenschaften Echtzeit Interaktivität Immersion Multi-modale Interaktion Immersion: Das Gefühl teil der virtuellen Welt zu sein -7-

8 VR Anwendungen & Echtzeit physikalische Simulation 8

9 Augmented Reality: Grundlagen + AR kombiniert reale und virtuelle Welt = 9

10 Augmented Reality: Grundlagen Immersive Virtuelle Umgebungen (VE): Komplettes Ersetzen der Realität Augmented Reality: Benutzer sieht reale Umgebung Kontakt bleibt erhalten Umgebung wird durch virtuelle Informationen ergänzt nicht ersetzt 10

11 Augmented Reality: Grundlagen / Historie Frühe 1990s: David Mizell (Boeing) prägt den Begriff Augmented Reality 11

12 AR und VR kann nicht losgelöst betrachtet werden Mixed Reality Continuum Real Environment Augmented Reality (AR) Augmented Virtuality (AV) Virtual Environment [Milgram & Kishikino 94] Paul Milgram führt den Begriff Mixed Reality ein. Mixed Reality stellt aller Formen von VR und AR dar. Augmented Virtuality: Reale Objekte oder z.b. Videobilder in einer VR-Welt. -12-

13 Technology: video-based tracking

14 14

15 Augmented Reality: Grundlagen Charakterisierung von Azuma (1997): AR kombiniert reale und virtuelle Welt AR ist interaktiv in Echtzeit AR erfordert Registrierung in 3D [Azuma 97] [University of North Carolina] 15

16 Anwendungsbeispiele: Sport Übertragungen 16

17 Anwendungsbeispiele: Head-up display

18 Automobil: Simulation vs. reale Welt -18-

19 Anwendungsbeispiele: Medizin 19

20 Spiele Sony: EyeToy AR-Quake (Univ.) Anwendungsbeispiele: Edutainment 20

21 Anwendungsbeispiele: Edutainment Kulturgüter Augmented Tour Guide Rekonstruktionen 21

22 Augmented Reality

23 DISPLAYS 23

24 Displays Handgeführt Head Mounted Displays (HMD) 24

25 Head Mounted Display Monitor Combiner Grafik Kamera Video See-Through Reales Bild Virtuelles Bild Monitor Grafik Optical See-Through Optical Combiner 25

26 Optical See-Through : Beispielsgerät With courtesy of Trivisio

27 Verdeckungen in AR Verdeckungen zwischen realen und virtuellen Objekten Verdeckungen sind nicht berücksichtigt Verdeckungen sind berücksichtigt. Ein Modell, oder Maske muss existieren und bei der Visualisierung einbezogen werden. 27

28 Video See Through Optical See Through + Full control of the information wich is displayed Real world is perceived over the camera (focal plane, stereo, delay, scale ) +real world in full resolution virtual image mostly not bright enough ghost view

29 Und bei See-Through HMD Problem 1: Verdeckung realles/virtuelles Objekt Verdeckung reales / virtuelles Objekt (wie gehabt, siehe oben) Problem 2: das virtuelles Bild erscheint noch durchsichtig

30 HMD mit Alpha-Channel Courtesy of Kiyoshi Kiyokawa, Communication research lab With courtesy of Trivisio Maske vom Light-Blocking-Filter Ergebnis Verdeckung reales / virtuelles Objekt (Software Z-Buffer Siehe unten)

31 HMD with alpha channel by Kiyokawa by Kiyokawa

32 HMD mit Alpha Channel Kiyokawa Kiyokawa Trivisio

33 VIDEO LIGHT BLOCKER 33

34 TRACKING 34

35 Augmented Reality: Wie? Input Daten: 1 Videobild (current frame) 1 Modell (CAD, Vrml...) Aufgaben der AR: Videobild im Hintergrund rendern Modell im Vordergrund richtig rendern rendern richtig rendern???

36 AR ist richtig rendern Richtig rendern Geometrisch: größe + lagerichtig Photometrisch: richtige Beleuchtung Rendering (Computer Graphik) projection matrix glmatrixmode(gl_projection); glfrustum(-1.0, 1.0, -1.0, 1.0, 1.5, 20.0); gluperspective(60.0, 1.0, 1.5); modelview matrix glmatrixmode(gl_modelview); glmultmatrix(n); /* apply transformation N */ glulookat(...); /* positions the camera */

37 Projektionmatrix Transformiert 3D Weltkoordinaten in 2D Bild- (Fenster-) koordinaten Enthält: Zoom Sichtwinkel Perspektivische Distortion der Kamera

38 Modelview matrix Transformiert 3D koordinaten des Weltkoordinatensystems in 3D Koordinaten der Kamerakoordinatensystems R, t

39 Tracking in Praxis: Basisfunktionalitäten Input video Pattern recognition Calculate 3D camera position & orientation Registration of 3D virtual objects Synthesis and render on input video 39

40 Projektive Bilder Eindruck der Tiefe in den Bildern Parallele Linien treffen sich an der Unendlichkeit Unendlichkeit wird zur begrenzten Position im Bild projektiert Horizont unendlich ferne Punkte, [Triggs and Mohr] , Fraunhofer IGD

41 Tracking: Genauigkeit? Welche Genauigkeit Variablen 6 DOF Position + Orientierung Viewing Parameter Abhängig von Anwendung Chirurgie ( < mm) Outdoor Navigation (m) Abhängig von menschlichen Sinnen Abweichungen von 0,5 Bogenminuten Höher als in VR Koexistenz von real und virtuell 41

42 Tracking Offline Verfahren Notwendige Informationen werden aus den Bildern zurückgewonnen Keine zusätzliche Hardware Online/Echtzeit Verfahren Mechanische, Magnetische Verfahren (Siehe HCI- Vorlesung) Tendenz: Kamera-basierte Lösungen 42

43 Tracking Kamerabasierte Verfahren Mobil 6 DOF Bildverarbeitung Passive Targets Outside-In Inside-Out 43

44 Tracking Outside-In Empfänger (z.b. Kameras) in Umgebung beobachten den Benutzer Sender am Benutzer Präparierung der Umgebung Wenig mobil 44

45 Tracking Inside-Out Empfänger (Kamera) am Benutzer Sender (Merkmale) in Umgebung 45

46 Tracking Offline-Tracking / Augmented Video Video im Vorfeld aufgenommen Interaktion mit virtueller Szene in Echtzeit Kalibrierung, Schätzung von Kamerapose 46

47 Tracking Einzelbild: Rückrechnung von P Direct Linear Transformation (DLT) 2D Punkte im Bild (m i ) 3D Punkte (M i Vermessen oder VR-Model) Gleichung pro Punkt : m i = PM i Bestimmung von P Zerlegung von P in K (Brennweite ), R und t Probleme Viele Punkte (mind. 20) Rauschempfindlich Instabile Punktkonfiguration 47

48 Tracking Video-Sequenz Automatisierung notwendig Klassischer Ansatz 2D-Punktverfolgung über die ganze Bildsequenz anschließende Bestimmung des 3D-Kamerapfades Probleme: 2D Punktverfolgung bei Verdeckungen Akkumulation der Fehler 48

49 Tracking / Registrierung Marker-based Tracking: Passiv 4 x 4 Binärcode Ein Marker ist ausreichend (4-Eckpunkte) um die Kameraposition/orientierung zu rechnen Die Marker werden in die Szene platziert und vermessen Algorithmus: 1. Markerextraktion: Bestimmung der Eckpunkte 2. Markeridentifikation 3. Berechnung der Kameraposition und Orientierung 49

50 Die Kamera 50

51 Was ist eine Kamera? Bilderaufnahmegerät 3D2D Abbildung! 51

52 Was ist eine Kamera? Verschiedene Kameras, verschiedene Bilder Nikon Coolpix 2100 Olympus D630 zoom Kameraparameter (fokal Länge ) sehr wichtig für AR 52

53 Was ist eine Kamera? Eine Kamera erstellt eine projektive Abbildung von R 3 nach R 2 53

54 Die Lochkamera Theorie Abstraktes Kameramodell - In der Praxis, virtuelles Kasten mit kleinem Loch Bild statt echte Bildebene 54

55 Transformation 2 Gleichungen: Image plane Pinhole Virtual image plane Object x X f, Z y f Y Z sind aber nicht linear! ( X, Y, Z) ( f X / Z, f Y / Z) 55

56 Homogene Koordinaten Einfach eine Dimension mehr kartesische Koordinaten homogene Koordinaten ( x, y) ( x, y, ) kartesische Koordinaten homogene Koordinaten C1 C2 ( C1, C2, C3) (, ) C C

57 Z Y X f f Z Y f X f Recall: das Kameralochmodel Z Y X f f Z Y f X f Z Y X ) /, / ( ),, ( Z Y f Z X f Z Y X 1 / / 1 Z Y f Z X f Z Y X

58 ) /, / ( ),, ( Z Y f Z X f Z Y X Recall: Pinhole camera model x PX Z Y X f f Z Y f X f

59 PP Skew Neue Matrix: Optisches Zentrum Offset und Skew 59 T y x T c Z fy c Z fx Z Y X ) /, / ( ),, ( = principal point (PP) T x c y c ), ( Z Y X c f c s f y x y y x x n m p h p w (cx,c y) P s = skew

60 Intrinsische Parameter der Kamera: Brennweite (Focal Length) Bildhauptpunkt (PP) Skew factor (meistens s=0) Die intrinsichen Parameter der Kamera y y x x c f c s f K K ist die Kalibrierungsmatrix der Kamera T x c y c ), ( y x f f, s Z Y X K y x. 1

61 Position und Orientierung Die Kamera bewegt sich im Bezug zur Szene Translation t + Rotation R R, t 61

62 Transformationsmatrix vom Koordinatensystem der Szene zum Koordinatensystem der Kamera: Die extrinsichen Parameter der Kamera 62 1 ' ' ' Z Y X t R Z Y X R, t R und t sind die extrinsischen Parameter der Kamera

63 K : intrinsiche Parameter R, t : extrinsiche Parameter P = K [R,t] ist die Projektionsmatrix der Kamera Die Kamera Z Y X t K R y x

64 Die Kamera: Zusammenfassung Kameramodell R : Rotationsmatrix T : Translationsvektor K : intrinsische Parameter fx K 0 0 s fy 0 cx cy 1 Kamera O o z x M m o x z y Szene R, t Für M=(x,y,z,1) und m(x,y,1) gilt: m ~ PM, wobei P=K(R,t) y 64

65 Reale Kamera Bildpunkte verzerrt x d,y d Verzerrte Bildpunkte Parameter k 1, k 2 Linien müssen gerade sein! Bildentzerrung ) (1 ) (1 d d d d y x r r k r k y y r k r k x x

66 Image tracker 66

67 67

68 Reading: Azuma, Ronald T. A Survey of Augmented Reality. Presence: Teleoperators and Virtual Environments 6, 4 (August 1997),