Non-Photorealistic Rendering Stefan Heßel 13. Februar 2011 Abbildung 1: Andwendungen von Non-Photorealistic Rendering 1 Einleitung Computergraphik beschäftigt sich traditionell mit der photorealistischen Bildsynthese. Das Ziel dabei ist eine Szene so abzubilden, dass diese Abbildung von der Wirklichkeit, oder auch einem Foto, nicht mehr zu unterscheiden ist. Techniken in diesem Bereich sind daher für gewöhnlich physikalisch motiviert. Non-Photorealistic Rendering Im Gegensatz dazu vermeidet Non-Photorealistic Rendering (NPR) Fotorealismus bewusst. NPR-Verfahren sind stattdessen durch künstlerische Techniken wie Zeichnen, Technische Illustration, Malerei, Comics oder animierte Cartoons inspiriert. 1
Anwendungen NPR-Verfahren sind vielfältig und kommen in sehr unterschiedlichen Anwendungen zum Einsatz. Im wissenschaftlich-technischen Bereich werden NPR-Verfahren eingesetzt um Graphiken und Diagramme einfach lesbar zu gestalten. Hier kommt es vor allem darauf an dem Betracher komplexe Mengen von Daten verständlich zu machen, nicht darauf, dass das Ergebnis möglichst real aussieht. Eine Anwendung aus der Medizintechnik ist zum Beispiel die Visualisierung von Kräften, die auf künstliches Hüftgelenk wirken. In der digitalen Kunst und Malerei versucht man künstlerische Techniken aus der echten Welt am PC möglich zu machen. Hierzu werden künstlerische Medien und reale Mal- und Zeichenwerkzeugen simuliert, beispielsweise Farbe auf Leinwand, Tinte auf Papier oder Pigmente in Wasser. In Filmen, Serien und Videospielen werden künstlerische Stile und Techniken nachgeahmt. Cartoonserien wie Invader Zim, Futurama und die Simpsons verwenden Cel Shading um in 3D gerenderte Szenen nahtlos in den Stil der Serie einzufügen. Filme wie Sin City oder 300 ahmen den dunklen, kontrastreichen Stil ihrer Comicvorlagen nach und Tangled ist optisch dem Ölgemälde The Swing (L Escarpolette) von Jean-Honoré Fragonard im Rococostil nachempfunden. Bei Videospielen war reines Cel Shading früher beliebt, weil es einfach und performant ist. Jet Set Radio war 2000 das erste Spiel, das diese Technik populär machte. Aktuell geht der Trend eher dahin Cel Shading mit anderen Techniken zu kombinieren, wie etwa Prince of Persia (2008) und Borderlands (2009) zeigen. Eine andere Herangehensweise zeigen zum Beispiel Team Fortress 2 (2007) und Battlefield Heroes (2009). Sie erreichen ihren Comiclook vor allem durch Verwendung von Phong Shading mit überzeichneten Reflexionen in Kombination mit Rim Lighting. 2 Cel Shading Der Name Cel Shading leitet sich aus celluloid her. Celluloids sind transparente Folien, die in der traditionellen, handgezeichneten Animation verwendet werden. Auf diese Folien werden die Animationen der dynamischen Objekte einer Szene gezeichnet. Diese werden dann über die statischen Hintergründe gelegt. Cel Shading ist ein Shadingverfahren, das eine 3D Szene so abbildet, dass der Eindruck eines flachen 2D Cartoons entsteht. Das wird dadurch erreicht, dass Schattierungen, wie bei einem Cartoon, nicht glatt verlaufen sondern abgestuft sind. Zusätzlich wird auf Texturen weitgehend verzichtet. Verfahren Für die abgestuften Schattierungen kommt ein vereinfachtes Beleuchtungsmodell zum Einsatz. Man betrachtet den Winkel α zwischen dem Normalenvektor N und dem Vektor zur Lichtquelle L. Ist cos α < ɛ wird beleuchtet, sonst nicht. Das Verfahren kann einfach auf mehrere Schattierungsabstufungen mit mehreren Grenzen ɛ 1... ɛ n erweitert werden Implementierung Auf programmierbarer Hardware kann Cel Shading sehr einfach umgesetzt werden. Dazu berechnet man cos α als N L in einem Shader. Diese Berechnung kann sowohl per Vertex in einem Vertexshader als auch per Fragment in einem Fragmentshader erfolgen. Die Beleuchtungswerte können einfach fest in den Shader programmiert oder aus einer 1D Textur gelesen werden, indem man cos α als Texturkoordinate verwendet. Auf älterer Hardware benötigt man einen kleinen Workaround. Hier werden Beleuchtung und Blending ausgeschaltet, cos α wird in Software pro Vertex berechnet und dann als Texturkoordinate für eine 1D Textur verwendet. 2
Abbildung 2: Cel Shading Beleuchtungsmodell 2.1 Cool-to-warm Shading Ein dem Cel Shading sehr ähnliches Verfahren aus dem wissenschaftlichen Anwendungsbereich ist das Cool-to-warm Shading. Das Ziel hierbei ist es Details und Form eines Objektes auch in eigentlich dunkler schattierten Bereichen noch erkennen zu können. Details und Form sind etwa bei der technischen Modellierung wichtiger als ein möglichst realistisches Aussehen. Verfahren Beim Cool-to-warm Shading wird dazu mit einem Farbverlauf zwischen einer warmen und einer kühlen Farbe beleuchtet und nicht von hell nach dunkel. Dazu betrachtet man wieder cos α und verwendet diesen entweder als Interpolationsfaktor zwischen zwei Farben, oder als Texturkoordinate für eine 1D Textur. Abbildung 3: (links nach rechts) Phong Shading, Cool-to-warm Shading, Konturlinien 3 Konturlinien Ein wichtiger Bestandteil vieler NPR-Verfahren sind Konturlinien. Zum einen tragen sie dazu bei Objekte von einander und vom Hintergrund abzusetzen, zum anderen werden Konturlinien in vielen klassischen Zeichen- und Comicstilen verwendet. 3
Klassifizierung werden in Verfahren zur Erzeugung von Konturlinien können unterteilt Object Space Verfahren: Konturen werden in der 3D Szene selbst gefunden. Image Space Verfahren: Konturen werden in fertig gerenderten Bildern der Szene gefunden. Hybridverfahren: Verbindung aus Object und Image Space Techniken. Beispiel: Hybridverfahren Ein einfaches Hybridverfahren macht sich den Depth Test zu nutze. Dazu werden zuerst die Backfaces des Objektes als einfarbiges Drahtgittermodell gerendert. Die Linien des Drahtgitters müssen dabei breiter als ein Pixel sein. Danach werden die Frontfaces des Objektes normal gerendert. Der Depth Test sorgt dann dafür, dass dort, wo Backfaces einer Fläche vor Frontfaces einer anderen Fläche liegen, die Farbe des Drahtgittermodells im Buffer bleibt. So entstehen Konturlinien zwischen Objekten und zwischen Flächen. Allerdings liefert dieses Verfahren keine verwendbare Form der Konturlinien zurück, es handelt sich viel mehr um einen optischen Trick. Abbildung 4: Konturlinien und Cel Shading: (links) Drahtgittermodell (mitte) mit darüber gerenderten Frontfaces (rechts) mit Cel Shading Beispiel: Image Space Verfahren Ein einfaches Image Space Verfahren liefert die Konturlinien als Bild zurück. Die Idee hier ist, dass Konturlinien an Kanten auftreten. Kanten sind Grenzen zwischen Objekten oder Flächen. An Grenzen zwischen Objekten gibt es einen plötzlichen Wechsel in der Entfernung zum Betrachter, was sich über Tiefenwerte feststellen lässt. Grenzen zwischen Flächen sind dort, wo die Orientierung plötzlich wechselt, was die Normalen beschreiben. Diese beiden Arten von Kanten finden sich also in der Depth und der Normal Map der Szene. Um die Kanten daraus zu extrahieren verwendet man einen Kantendetektor, etwa den Sobel Operator. Zum Schluss fügt man Szene und Konturen zusammen. Dazu verwendet man herkömmliche Compositing Techniken, etwa die einfache Multiplikation. 4 Hatching Eine künstlerisch motivierte Technik stellt das Hatching (auch Stippling) dar. Hier geht es darum möglichst glaubhaft eine Schraffurzeichnung aus einer 3D Szene zu erstellen. Das Hauptmerkmal von Schraffurzeichnungen ist, dass Objekt durch viele feine, gleichmäßige Linien dargestellt werden. Diese Linien erzeugen den Eindruck von Räumlichkeit durch Darstellung von Beleuchtung und Form. Zusätzlich geben sie auch einen Hinweis auf Materialien. Variation im Farbton werden durch unterschiedliche Dichte, Strichrichtung und Strichstärke erreicht. 4
Abbildung 5: Sobel Operator auf Depth und Normal Map erzeugt Bild der Kanten Das Verfahren zur Erzeugung solcher Bilder soll dabei mehrere Vorraussetzungen erfüllen: Bilder sollen in Echtzeit berechnet werden können. Animationen sollen gleichmäßig und vor allem ohne Flackern möglich sein (Frame-to-frame Kohärenz) Die Übergänge zwischen unterschiedlichen Tonwerten sollen weich verlaufen. Das Verfahren soll eine möglichst hohe Flexibilität durch unterschiedliche Strichstile gewährleisten. 4.1 Verfahren Da es sehr teuer wäre jeden Strich einzeln zu rendern, bedient man sich eines traditionellen Ansatzes der Computergraphik: komplexe Details werden durch Texturen dargestellt. Allerdings muss beachtet werden, dass im Fall von Schraffurlinien die Skalierung einer Textur für größere und kleinere Darstellungen nicht den gewünschten Effekt erzielt. Striche sollen nicht breiter oder schmaler werden, stattdessen sollen Striche hinzukommen oder verschwinden, damit eine einheitliche Strichbreite, wie in einer Schraffurzeichnung, erhalten bleiben kann. 4.1.1 Tonal Art Maps Um das zu erreichen verwendet man Tonal Art Maps (TAM). TAMs sind eine vorberechnete Sequenz von Texturen, die Nutzen aus Mipmapping ziehen. Mip- Mapping wird aber nicht zur Verschönerung der Skalierung verwendet, sondern um wenige Striche in einem weichen Übergang in viele Striche zu überführen. In einer TAM gibt es Texturen für einige abgestufte Tonwerte, die dann für Übergänge zwischen Tonwerten geschickt gemischt werden. Stroke Nesting Property Um sowohl das Mipmapping als auch das sanfte Mischen der Texturen möglich zu machen müssen die einzelnen Texturen das Stroke Nesting Property erfüllen. Dieses besagt, dass alle Striche in helleren oder gröberen Stufen der TAM auch in jeder dunkleren oder feineren Stufe vorkommen müssen. Tonwertkohärenz wird also dadurch erreicht, dass Striche in helleren Stufen eine 5
Teilmenge der Striche in dunkleren Stufen sind, Koheränz unabhängig zur Auflösung dadurch, dass Striche in gröberen Stufen eine Teilmenge der Striche in feineren Stufen sind. Das hat den Effekt, dass neue Striche in einem größer oder dunkler werdenden Bereich der Oberfläche sanft eingeblendet werden. Abbildung 6: Tonal Art Map Erzeugung Um das Stroke Nesting Property zu erfüllen, werden die einzelnen Stufen der TAM von hell zu dunkel und von grob zu fein erzeugt. Man beginnt also bei der hellstens und gröbsten Stufe und fügt dort so lange zufällige Striche hinzu, bis die Textur einen gewünschten Durchschnittstonwert erreicht. Striche variieren dabei in Länge und Ausrichtung und werden auch zu jeder dunkleren und feineren Stufe hinzugefügt. Als Strich verwendet man ein Graustufenbild, das etwa mit einer Zeichensoftware erstellt wurde. Dabei stößt man auf das Problem, dass eine völlig zufällige Verteilung meist nicht sehr gleichmäßig ist. Um das zu verhindern werden viele mögliche Kandidaten für einen Strich generiert und anschließend der passendste daraus ausgewählt. Einen passenden Kandidaten kennzeichnet ein möglichst hoher Beitrag zum Zieltonwert bei möglichst gleichmäßiger Verteilung. Auswahl von Kandidaten Als Maß für den Beitrag zum Zieltonwert, betrachtet man den Unterschied zwischen Durchschnittstonwert ohne den Kandidaten und Durchschnittstonwert mit dem Kandidaten. Striche die andere Striche überlappen tragen weniger zum Durchschnittstonwert bei und werden somit verworfen. Um eine gleichmäßigere Verteilung zu gewährleisten betrachtet man noch zusätzlich niedriger aufgelöste, gefilterte Versionen der aktuellen Textur. Die Überlegung dabei ist, dass Striche die nur sehr nahe an einem anderen Strich liegen, diesen in niedriger aufgelösten, gefilterten Versionen schon überlappen und somit weniger zum Durchschnittstonwert beitragen. Somit werden Striche die weiter von anderen Strichen entfernt sind bevorzugt. Da längere Striche mehr Beitrag zum Durchschnittstonwert haben, selbst wenn sie überlappen, normalisiert man noch mit der Länge der Kandidaten. Verfahren: Für jeden Kandidaten k i, jede Stufe s j und jede Version v k Ermittle Durchschnittstonwerte T ijk (mit k i ) Berechne den Beitrag B i = T ijk T jk von k i über alle Stufen und Versionen Normalisiere B i mit der Länge von k i : 1 k i B i 6
Abbildung 7: Beitrag und Verteilung von Kandidaten Variation Durch die Erzeugung der TAMs wird klar, dass diese sehr flexibel sind. Sie können für verschiedenste Arten von Strichen verwendet werden etwa Pinsel, Kreide, Kohle oder Punktierung. Variation erreicht man durch die Wahl des Striches, die Wertebereiche für Winkel der Striche zueinander und Länge der Striche und durch Kreuzschraffurtechniken. 4.1.2 Rendering Um nun die erzeugten TAMs anzubringen und einen weichen räumlichen und zeitlichen Übergang zwischen Tonwerten und Mipmapstufen zu gewährleisten müssen die einzelnen Texturen für Tonwerte an den Vertices gemischt und über das Face interpoliert werden. Blending Dazu wählt man an jedem Vertex die 2 dem Tonwert benachbarten Texturen und blendet diese anhand des Tonwertes linear ineinander über. Angenommen der Vertex hat Tonwert 0.26 und es gibt Texturen für 0.2 und 0.3, dann werden die Texturen mit dem Koeffizient 0.6 interpoliert, also im Verhältnis 40 : 60. Nachdem die Texturen pro Vertex gewichtet sind, werden sie zwischen den Vertices im Dreieck baryzentrisch interpolieret. Texturing Sieht man sich nun das gerenderte Ergebnis an, fällt auf, dass im Vergleich zu Schraffurzeichnungen alle Linien in die gleiche Richtung verlaufen. Bei Schraffuren folgen die Linien aber üblicherweise der Form der Objektes. Um das zu erreichen benötigt man zuerst eine Beschreibung dieser Form, üblicherweise als Richtungsfeld. Das Richtungsfeld kann von einem Artist per Hand erstellt werden, oft liefern aber auch automatisierte Verfahren gute Ergebnisse. Surface Principal Curvature Zur automatisierten Erzeugung eines Richtungsfeldes wird die Krümmung der Oberfläche auf einer vergröberten Version des Modells berechnet. Dazu sammelt man für jedes Dreieck im groben Modell alle zum Dreieck adjazenten Vertices. In diese Menge von Vertices wird eine Quadrik eingepasst. Von dieser Fläche im 3-dimensionalen Raum berechnet man die Krümmungsrichtung und hat somit die Richtung für das aktuelle Dreieck. Das Krümmungsfeld kann dann auf der normalen Version des Modells interpoliert werden. Lapped Textures Abschließend wird noch ein Verfahren benötigt, um die Texturen der Krümmung folgend anzubringen. Dazu eignet sich das Lapped Textures Verfahren, mit dem beliebige Oberflächen texturiert werden können. Dies wird dadurch erreicht, dass einzelne Texture Patches entlang des Richtungsfeldes auf dem Modell angebracht werden, bis die gesamte Oberfläche bedeckt ist. Dabei können sich einzelne Patches überlappen. Weil überlappende Dreiecke mehrfach gerendert werden, erhöht sich die Anzahl zu rendernder Dreiecke. Die Parametrisierung der 7
Oberfla che in angebrachte Patches kann vorberechnet werden. Zur Laufzeit ko nnen Texturen mit gleichfo rmigen Texture Patches dann beliebig ausgetauscht werden. Fu r das Hatching bedeutet das, dass man nun einzelne Lapped Textures entlang der Kru mmung des Modells anbringen kann und die Striche nun der Form des Modells folgen. Abbildung 8: Richtungsfeld und angebrachte Lapped Textures Verfahren Insgesamt la uft das Hatching dann wie folgt ab: Erzeuge die Tonal Art Maps und die Parametrisierung des Modells in einem Preprocessingschritt. Verwende die Tonal Art Maps zur Laufzeit als Lapped Textures auf dem Modell. Abbildung 9: Ergebnisse des Hatchingverfahrens Literatur [1] Alex Harvill. Effective toon-style rendering control using scalar fields. In ACM SIGGRAPH 2007 sketches, SIGGRAPH 07, New York, NY, USA, 2007. ACM. [2] Tobias Isenberg, Bert Freudenberg, Nick Halper, Stefan Schlechtweg, and Thomas Strothotte. A developer s guide to silhouette algorithms for polygonal models. IEEE Comput. Graph. Appl., 23:28 37, July 2003. 8
[3] Emil Praun, Adam Finkelstein, and Hugues Hoppe. Lapped textures. In Proceedings of the 27th annual conference on Computer graphics and interactive techniques, SIGGRAPH 00, pages 465 470, New York, NY, USA, 2000. ACM Press/Addison-Wesley Publishing Co. [4] Emil Praun, Hugues Hoppe, Matthew Webb, and Adam Finkelstein. Real-time hatching. In Proceedings of ACM SIGGRAPH 2001, pages 579 584, August 2001. [5] Wikipedia. the free encyclopedia. http://www.wikipedia.org. 9