3d Tracking bezeichnet eine Technik im Film, die es erlaubt, virtuelle Objekte in bewegte Film- oder Video-Aufnahmen einzusetzen.

Transkript

1

2 3dTracking: 3d Tracking bezeichnet eine Technik im Film, die es erlaubt, virtuelle Objekte in bewegte Film- oder Video-Aufnahmen einzusetzen. Dabei werden die Bewegungen verschiedener Objekte in den Aufnahmen verfolgt (Tracking). Anhand der Verschiebung der Objekte zueinander wird erst die Position der Objekte im Raum und dann die Bewegung und der Bildwinkel der realen Kamera errechnet.

3 Tracking Software Pftrack, 1,249 Boujou, 5,000 $ Syntheyes, Mocha Pro, After Effects, inkludiert Cinema 4d, inkludiert Nuke, inkludiert, auch als Plugin Maya, inkludiert Icarus, gratis

4 Literatur Tim Dobbert Matchmoving: The Invisible Art of Camera Tracking Erica Hornung: The Art and Technique of Matchmoving: Solutions for the VFX Artist

5 Matchmoving in der Postproduktion

6 Abläufe: Vorbereitung: Vorbesprechung mit Team Kamera, Auflösung, Storyboard Kamera-, Linsen Tests Previsualisierung Klärung der Abläufe, während des Drehs, der Postproduktion Am Set: Survey Daten sammeln Kameradaten, Objektivdaten, Bewegung der Kamera, Set Vermessung, Lichtsetup, Fotos,... Tracking Markers HDRI Aufnahmen Abnahme Freigabe der Shots

7 Abläufe Postproduktion: Schnitt Evaluierung des Materials Pregrading Objektiv Entzerrung Rotoscoping, Cleanup 2d Tracking Einarbeiten der gewonnenen Survey Daten 3d Camera Solve Set Fitting, Layout der 3d Szene Überprüfung des getrackten Kamera und Szene, Test Objekte Export

8 Abläufe

9 Abläufe 3d Department: Modeling, Texturing, Lighting, Animation, Rendering Compositing Color Grading Finishing, Deliveries

10 Wie funktioniert 3d Tracking? Eine 3d Welt wird durch eine Linse über die Filmebene auf ein 2d Bild reduziert. Durch das Matchmoving auf mathematischem Weg versucht (mittels Trigonimetrie, linearer Algebra, Projektions Geometrie) diese 3d Welt wieder herzustellen.

11 Wie funktioniert 3d Tracking?

12 Wichtige Daten für 3d Tracking Brennweite Linsenverzerrung Sensorgröße / Film Back Position / Bewegung der Kamera Abmessungen der dargestellten Szene je mehr Information, desto besser, es ist jedoch auch möglich mit wenigen Informationen eine mehr oder wenige guten Solve / Kalibrierung(= berechnete Kamerabewegung in 3d) zu bekommen. Parallaxe (die scheinbare Änderung der Position eines Objektes, wenn der Beobachter seine eigene Position verschiebt) spielt dabei eine sehr wichtige

13 Wie funktioniert 3d Tracking? Jede Lichtquelle schickt Strahlen aus, die von jedem Punkt aus reflektiert werden.

14 Wie funktioniert 3d Tracking? Ein Teil davon trifft in die Kamera, und wird auf der Filmebene fokusiert. Verfolgt man einen einen Punkt, ist noch nicht klar, wo dieser im Raum liegt

15 Wie funktioniert 3d Tracking? Bei 2 Punkten, ist die Position schon etwas klarer, man kann die Kamera aber noch imemr nach oben oder unten verschieben

16 Wie funktioniert 3d Tracking? Bei 3 oder mehreren Punkten, gibt es nur eine Möglichkeit, wo sich die Kamera befinden muss.

17 Wie funktioniert 3d Tracking? Verwendet man nun mehrere Bilder, kann mittels Projektion die Position der einzelnen Punkte und der Kamera noch genauer berechnet werden.

18 Wie funktioniert 3d Tracking? Parallaxe spielt bei diesem Vorgang eine wichtige Rolle. Je mehr Unterschied zwischen Vordergrund und Hintergrund, desto klarer die Positionierung.

19 Überblick Arbeitsschritte Evaluierung, Vorbereitung des Materials Material entzerren, undistortion 2d Tracking Einspeisung der am Set gewonnenen Survey Daten (Kamera-, Objektivdaten, Abmessungen, Position der Kamera, Setmaße) Solve, bzw. Kalibrierung, Berechnung der 3d Kamera mittels Software Szenen Orientierung: Festlegung der Ausrichtung der Szene, Koordinatensystem, Größe Testen der Kalibrierung mit Testobjekten, Set fitting, das Nachbauen vorhandener Geometrie im shot, für das 3d Department, falls notwendig Export der Daten, Vorbereitung zum Import ins 3d Programm

20 Arbeitsschritte Pftrack

21 Linsen Entzerrung

22 Linsen Entzerrung Workflow: Entzerrung und Export des Materials in Pftrack Import des entzerrten Materials als Hintergrund im 3d Programm Das finale Rendering aus dem 3d Programm wird wiederum in Pftrack entsprechend verzerrt Im Compositing werden das Originalmaterial und das verzerrte gerenderrte Material zusammen gefügt

23 Linsen Entzerrung

24 Linsen Entzerrung

25 Linsen Entzerrung

26 Workflow undistort Berechnung der Verzerrung in Pftrack mittels Undistort oder build lens node Rendern des entzerrten Materials aus Pftrack Import des Entzerrten Materials ins 3d Programm (z.b. als Hintergrund) Rendern der 3d Szene aus dem 3d Programm Hinzufügen der Verzerrung in das gerenderte Material in Pftrack mittels add distortion, rendern aus Pftrack Compositing des Originalmaterials mit dem verzerrten 3d Rendering

27 2d Tracking Um für das Matchmoving Programm geeignete Daten bereit zu stellen, müssen beim 3d Tracking folgende Voraussetzungen erfüllt werden: Die Punkte müssen komplett statisch sein, d.h. Menschen, Bäume, bewegt Objekte sind nicht geeignet Tracking Punkte müssen klare Muster besitzen, die eindeutig sind und sich möglichst wenig verändern Es gibt natürliche Tracking Punkte, wenn diese nicht vorhanden sind, muss man Tracking Marker verwenden Tracking Punkte sollen gut verteilt sein: Sowohl über das gesamte Bild, als auch in verschiedenen Ebenen im 3d Raum

28 Natürliche Tracking Punkte

29 Probleme beim Tracking z.b. Unschärfe, Motion Blur, keine eindeutigen Muster VS

30 Tracking Markers

31 Tracking Markers Greenscreen

32 Tracking Markers Greenscreen

33 3d Tracker

34 Zu beachten beim Tracking Gute Verteilungen Im Bild + verschiedene 3d Ebenen Tracker können aus dem Bild wandern, über die Zeit verteilen, überlappen Dürfen sich nicht bewegen, genau arbeiten, streng aussortieren (sub pixel Operationen), keine Bäume, Menschen etc. echte 3d Positionen, z.b. keine Überlappung von Objekten Ecken von Objekten, keine Kanten Perspektivwechsel, z.b. Kreise-> ungenau Möglichst wenige, aber genug, wegen Troubleshooting Richtige Größe der Marker für Bildausschnitt / Auflösung

35 Zu beachten beim Tracking Achtung! Motion Blur, wenn viel Bewegung höheren Shutter bei der Aufnahme verwenden, nicht zu hoch, sonst Shutter Effekt wie bei Saving Private Ryan Unscharf Verdeckung Rauschen perspektivische Verzerrung Zu wenig Kontrast Zu wenige Features, mindestens ca Features Interlacing, Framerate, Startframe 0 oder 1

36 Autotracks + User Tracks Autotracks: Masse an Information für Tracker, tw. ungenau gut als Ergänzung für User Tracks Evaluierung: keine Sprünge, Drift, Vorsicht bei Kanten, unklaren Mustern Keine bewegten Objekte sind es echte 3d Punkte? User Tracks: weniger, aber dafür genauer Mehr Gewichtung als Autotracks An Punkten, wo es keine / wenige Autotracks gibt An Stellen, die für das 3d Department wichtig sind Referenzpunkte für Orientierung, Objekt Modellierung, Set fitting

37 Survey, Vermessungsdaten Aufgabe des VFX Supervisors ist es am Set möglichst viele Daten für die Postproduktion zu sammeln, um die Arbeit zu erleichtern Dazu gehören: Aufnahme der Kamera- und Objektivdaten: Sensorgröße, Brennweite, ungefähre Position und Bewegung der Kamera, Szenen Nummerierung

38 Survey, Vermessungsdaten Setvermessung: Größe des Sets, Abstände, Tracker Positionen Vermessung des Lichtsetups: Position und Art der Beleuchtung, HDRI Lichtvermessung, Schattenfarbe Pläne und Fotos vom Set

39 Survey, Vermessungsdaten Tools:

40 Survey, Vermessungsdaten

41 Hdri - High dynamic range imaging Mittels einer Blendenreihe versucht man die tatsächlichen Lichtverhältnisse ein zu fangen mittels sphärischer Kamera chrome bzw. mirror ball

42 Hdri - High dynamic range imaging Mittels Hdri kann man bestehende Lichtverhältnisse messen Das gewonnene Bild entspricht den tatsächlichen Lichtverhältnissen und etwa dem, was das menschliche Auge sieht Dieses Bild dient als Lichtquelle und wird von einer Kugel aus, mit entsprechenden Farben und Helligkeiten auf das 3d Objekt projiziert und ist somit eine gute Ausgangslage, um die Lichtverhältnisse zu reproduzieren. Dennoch muss im Normalfall nachgebessert werden, vor allem, weil keine harten Schatten dadurch entstehen

43 Hdri - High dynamic range imaging Man fotografiert dazu eine verspiegelte/verchromte Kugel,von der Richtung aus, von der man zuvor gefilmt hat, mit einer Belichtungsreihe von etwa +/- 2 Blenden mit ca. 5 oder mehr Fotos (möglichst Bildfüllend), um alle Details in den dunklen sowie hellen Bereichen abzudecken Durch die Spiegelung und Verzerrung der Kugel erfasst man damit die Farblichkeit, Lichtstärke und Umgebung der Kugel Achtung: diese Bild ist nicht perfekt, da die bereiche hinter der Kugel nicht genau abgebildet werden können, weiters ist die Kamera ebenfalls im Bild) Die Fotos sollen von unterbelichte bis überbelichtet alles abbilden

44 Hdri - High dynamic range imaging Mittels Programmen wie Hdrshop, Photomatix, Picturenaut etc. lassen sich die Fotos der Belichtungsreihe kombinieren und ergeben ein Bild mit sehr hohem Dynamikumfang (high dynamic range) Danach wird die Kugel zu einem Panorama entzerrt, das im jeweiligen 3d Programm für die Beleuchtung verwendet werden kann Dazu reicht auch ein etwas unscharfes Bild, d.h. man kann es durchaus noch weichzeichnen. Für Reflexionen sollte ein möglichst scharfes, hochaufgelöstes Bild verwendet werden

45 Hdri Erstellung - Beispiel Hdr Shop:

46 Hdri Erstellung - Beispiel Hdr Shop:

47 Hdri Erstellung - Beispiel Hdr Shop:

48 Hdri Erstellung - Beispiel Hdr Shop:

49 Hdri Erstellung - Beispiel Hdr Shop:

50 Hdri rendering:

51 Hdri rendering:

52 Solve bzw. Kalibrierung Die Berechnung der 3d Kamera erfolgt im Hintergrund durch die Software, Daten aus vorangehende Nodes, Autotrack, User Track, Undistort, Estimate, Focal, etc. werden direkt in den Solve Camera Node eingespeist, sofern sie verbunden sind Fehlen diese Informationen, können sie trotzdem berechnet werden, generell gilt: je mehr Informationen verfügbar sind, desto besser ist der Solve

53 Szenen Orientierung Bisher basiert ein Solve nur auf relativen Daten, d.h. die Punkte und die Kamera stehen im richtigen Verhältnis, stehen aber nicht richtig im Raum Mit dem Orient Scene Node bestimmt man den Ursprung (0,0,0,), das Koordinatensystem, die Ausrichtung und die Skalierung der Szene für die weitere Verwendung im 3d Programm Auch hier können Daten vom realen Set sehr hilfreich sein, indem man Distanzen, Größenverhältnisse etc. bestimmen kann Die getrackte Szene soll möglichst nahe an die tatsächlichen Größen heran kommen, um genaues Rendering, Simulationen etc. zu ermöglichen

54 Set Fitting Um die Arbeit fürs 3d Department zu erleichtern, kann es vorkommen, dass man wichtige Objekte (Boden, Gebäude, Dummies in 3d modelliert, Texturen extrahiert. Hierbei ist wichtig, dass die Positionierung und Form genau stimmt und der korrekte Import ins 3d Programm gewährleistet ist. Am Ende wird alles nochmal überprüft. Oft werden Checkerboard Texturen verwendet, um zu sehen, ob die Objekte gut verankert sind

55 Export Im letzten Schritt die Szene in das entsprechende 3d Programm Format exportiert: Dieser Export kann beinhalten Kameradaten, 3d Objekte, Dummies, Texturen, entzerrtes Footage,... Achtung: auf die jeweiligen Standards der Programme achten: Richtiges Format, Achsen des Koordinatensystems, Framerate, Auflösung, beginnt das Footage auf Frame 0 oder 1?

56 Zu beachten beim Filmen für Tracking Habe ich genug Bewegung / Tiefe / Parallaxe im Bild? Gibt es genug natürliche Features zum Tracken, muss ich Tracker hinzufügen? Gibt es sehr viel Bewegung, Handkamera etc. eventuell Shutter höher stellen (nicht zu hoch), sonst Kamera ev. beruhigen, shoulder Rig, Dolly, Stabilizer generell: Motion blur möglichst gering halten Eventuell kann man vor oder nach dem benötigten Shot noch etwas Bewegung einbauen, das einem beim Tracken mehr Info gibt und dach einfach raus geschnitten wird Lens distortion grid aufnehmen Auf Schärfe achten, Blende eventuell möglichst niedrig stellen Notizen bzgl. Kamera, Sensorgröße, Brennweite, Position, Bewegung, Set