Methods for Artistic Stylization in 3D Animation

Transkript

1 Diss. ETH No Methods for Artistic Stylization in 3D Animation A dissertation submitted to ETH Zurich for the Degree of Doctor of Sciences presented by Johannes Schmid MSc ETH CS, Switzerland born 26 Mar 1982 citizen of Switzerland accepted on the recommendation of Prof. Dr. Markus Gross, examiner Prof. Dr. Adam Finkelstein, co-examiner Dr. Robert W. Sumner, co-examiner 2012

2 Abstract This thesis presents new methods for artists to have direct control on the visual style of computer animations, in order to let more of their creative energy penetrate the production pipeline to the final result. A focus is put on the development of a comprehensive system for the authoring and rendering of painterly 3D character animation. We build on the concept of stroke based rendering and contribute to the field in various aspects. We show how the brush stamping method for brush stroke rendering can be adapted to 3D stroke based rendering. The classic form of this method is used in many 2D digital painting applications, but the deformations and perspective properties and the rendering requirements in stroke based rendering call for extensions of the original algorithm. A persistent challenge in 3D stroke based rendering is to reconcile the depth order of paint strokes with the order in which they were painted. We present two new approaches to this problem, one of which guarantees temporal and spatial coherence to produce high-quality images, while the other is well suited for hardware acceleration and achieves interactive rendering performance. Strokes painted in a 2D viewport window must be embedded in 3D space in a way that gives creative freedom to the artist while maintaining a high level of controllability. We address this challenge with a three-dimensional canvas defined implicitly by a scalar field. The artist shapes the implicit canvas with 3D proxy geometry and subsequent sculpting operations. An optimization procedure is then used to embed paint strokes in space by minimizing different objective criteria. This functionality allows us to implement tools for painting along level set surfaces or across different level sets of the scalar field. We show how 3D stroke-based paintings can be deformed using standard rigging tools and propose a configuration-space keyframing algorithm for authoring stroke effects that depend on scene variables such as character pose or light position. Our system supports temporal keyframing for one-off effects during an animation. In order to ensure smooth keyframe interpolation in a highdimensional configuration space, we develop a novel interpolation algorithm that avoids undesired stuttering artifacts when multiple keyframes are used. Finally, we experiment the depiction of motion as a first-class entity in a traditional 3D rendering process. We extend the concept of a surface shader, which is evaluated on an infinitesimal portion of an object s surface at one instant in time, to that of a programmable motion effect, which is evaluated with global knowledge about all portions of an object s surface that pass in front of a pixel during an arbitrary long sequence of time. With this added information, our programmable motion effects can decide to color pixels long after (or long before) an object has passed in front of them. In order to compute the input iii

3 required by the motion effects, we propose a 4D data structure that aggregates an object s movement into a single geometric representation by sampling an object s position at different time instances and connecting corresponding edges in two adjacent samples with a bilinear patch. iv

4 Zusammenfassung In dieser Arbeit werden neue Methoden für die direkte artistische Kontrolle über den visuellen Stil von Computeranimationen präsentiert. Das Ziel ist es, zu ermöglichen, dass mehr von der kreative Energie in Konzeptmalereien den Weg durch die Produktions-Pipeline zum schlussendlichen Resultat finden kann. Der Fokus der Arbeit liegt auf der Entwicklung eines umfassenden Systems für die Ausarbeitung und Darstellung von zeichnerischen 3D-Animationen für Figuren. Das System baut auf der Technik des zeichenstrich-basierten Renderings auf, welche in dieser Arbeit in zentralen Punkten weiterentwickelt wird. Wir zeigen, wie die Stempel-Methode für das Malstrich-Rendering an die Anforderungen der Gegebenheiten im dreidimensionalen Raum angepasst werden kann. Die klassische Ausführung dieser Methode wird in vielen digitalen 2D- Malprogrammen verwendet. Im Rahmen des zeichenstrich-basierten Rendering werden Aufgrund der Deformationen und perspektivischen Eigenschaften sowie der Darstellungstechnik jedoch gewisse Erweiterungen notwendig. Ein bekanntes Problem im zeichenstrich-basierten 3D-Rendering ist die Konkurrenz von zwei Kriterien für die Darstellungsreihenfolge der Malstriche: Die Zeichnungsreihenfolge und die dreidimensionale Sichtbarkeitsreihenfolge. Wir führen zwei neue Lösungsansätze zu diesem Problem ein, von welchen der eine temporale und räumliche Glattheit garantiert und dadurch hochqualitative Bilder generiert, während der andere dank guter Kompatibilität mit Grafikbeschleunigern interaktive Darstellungsraten ermöglicht. Digitale Malstriche, die mit einem zweidimensionalen Eingabegerät appliziert werden, müssen für die Verwendung in 3D-Animationen im dreidimensionalen Raum eingebettet werden. Unsere Anforderung an diesen Einbettungsvorgang ist, dass er dem Anwender einen hohen Grad an künstlerischer Freiheit bietet und trotzdem gut kontrollierbar bleibt. Unser Lösungsansatz zu diesem Problem ist eine dreidimensionale Leinwand, welche implizit durch ein Skalarfeld definiert ist. Das Skalarfeld wird als Distanzfeld zu einfachen 3D-Modellen initialisiert und kann anschliessend mit formgebenden Hilfsmitteln bearbeitet werden. Malstriche werden in diesem Skalarfeld durch ein mathematisches Optimierungsverfahren eingebettet, in welchem verschiedene Kriterien gegeneinander abgewogen werden können. Dadurch können auf einfache Art verschiedene Einbettungsmethoden realisiert werden. Für die Animation von solchen 3D-Gemälden werden zwei sich ergänzende Techniken erläutert: Mittels einer Rigging-Methode können die Malstriche gemäss der Animation des dem Skalarfeld zugrundeliegenden 3D-Modells deformiert werden. Detailierte Effekte, die über die Animation der 3D-Modelle hinausgehen, können mittels Schlüsselbildanimation in Bezug auf den Konfigurationsraum der Animation erreicht werden. Für die Gewährleistung der glatten Schlüsselbild-Interpolation im hochdimensionalen Konfigurationsraum wurde v

5 eine neuartige Interpolationsmethode entwickelt, die unerwünschte Stotter- Artefakte bei mehreren kolinearen Schlüsselbildpositionen verhindert. Zuletzt wird eine neuartige Rendering-Technik zur Darstellung von Bewegung in Einzelbildern präsentiert. Das Konzept von programmierbaren Oberflächenschattierern, mit welchen das Aussehen eines einzelnen Ortes zu einem bestimmten Zeitpunkt berechnet werden kann, wird um die Zeitdimension zu Bewegungseffektprogrammen erweitert, welche das Aussehen eines auf der Bildfläche liegenden Punktes mittels dem Wissen um sämtliche geometrische Örter, welche innerhalb eines beliebigen Zeitbereichs durch den Bildpunkt sichtbar waren, berechnen. Dank dieser zusätzlichen Informationen können Bewegungseffektprogramme den Bildpunkt anhand von vergangenen oder zukünftigen Ereignissen einfärben, und dadurch traditionelle Bewegunseffekte wie Bewegungslinien und Bewegungsunschärfe reproduzieren. Die benötigten Informationen werden mittels einer neuartige 4D-Datenstruktur berechnet, welche die Bewegung eines Objekts auf geometrische Art und Weise aggregiert, indem Kopien des Objekts zu unterschiedlichen Zeitpunkten zusammengefügt und deren Kanten mit bilinearen Interpolationsflächen verbunden werden. vi