Fakultät für Informatik. Non-Photorealistic Rendering

Transkript

1 Technische Universität München Fakultät für Informatik Seminar How to make a PIXAR movie Non-Photorealistic Rendering Johannes Schamburger

2

3 Abstract Non-Photorealistic Rendering (NPR) ist ein Teilbereich der Computergrafik, der sich im Gegensatz zu klassischer Computergrafik nicht damit auseinandersetzt, möglichst detailgetreue photorealistische Bilder zu erzeugen. Die Zielsetzung von NPR ist vielmehr die Generierung von aussagekräftigen und künstlerischen Grafiken. In dieser Arbeit wird exemplarisch auf einige wichtige Techniken eingegangen; zunächst wird die Simulation von Zeichengeräten wie Bleistift oder Pinsel betrachtet. Anschließend werden Verfahren, die zur Erkennung der Kanten von 3D-Objekten eingesetzt werden, erklärt und verschiedene Möglichkeiten, Kanten zu visualisieren, gezeigt. Der nächste Teil der Arbeit beschäftigt sich mit dem Artistic Shading; hierzu werden die Techniken des Cartoon Shading und des Cool-To-Warm Shading behandelt. Das Ende der Arbeit besteht aus einigen Anwendungsbeispielen für NPR.

4

5 Inhaltsverzeichnis 1 Motivation 1 2 Simulation von Zeichengeräten Bleistift Pinsel mit Wasserfarben Kantenerkennung Depth Maps Normal Maps Kombination Artistic Line Drawing 11 5 Artistic Shading Cartoon Shading Cool-To-Warm Shading Anwendungen 17 Literaturverzeichnis 19 v

6

7 1 Motivation Seit das Informatik-Teilgebiet der Computergrafik existiert, ist es eines der Hauptziele, möglichst realistische und detailgetreue Grafik am Computer zu erzeugen; man spricht von Fotorealismus. Dieses Ziel, Bilder zu erzeugen, die die Wirklichkeit möglichst genau wiederspiegeln, bringt sehr viele Herausforderungen wie beispielsweise die korrekte Simulation von Beleuchtung und die Erstellung von hochaufgelösten wirklichkeitsnahen Texturen mit sich. Allerdings haben fotorealistische Bilder auch einige entscheidende Nachteile. Sie haben einen sehr hohen Informationsgehalt, der in manchen Anwendungen wie beispielsweise der Darstellung von Karten (siehe Abbildung 1.1) nicht unbedingt gewünscht ist. Darüber hinaus ist es unter anderem aufgrund der oben angesprochenen Herausforderungen sehr zeitaufwendig, fotorealistische Bilder zu erzeugen. Außerdem ist die künstlerische Freiheit naturgemäß sehr eingeschränkt, da die oberste Maxime die Abbildung der Wirklichkeit ist. Abbildung 1.1: Vergleich der Google-Maps Kartendarstellung; links: Kartenansicht, rechts: Satellitenansicht [2] Aufgrund dieser Nachteile ist es in manchen Anwendungen gewünscht Grafik zu erzeugen, die bewusst von der Abbildung der Realität abweicht. Diesen Teilbereich der Computergrafik nennt man Non-Photorealistic Rendering (NPR). Alternativbezeichnungen für NPR sind Expressive Rendering, also die Erzeugung von ausdrucksstarken Bildern oder Artistic Rendering, die Erzeugung von künstlerischer Grafik. Die beiden großen Ziele von NPR sind einerseits die Reduzierung von Informationen (siehe Abbildung 1.1) und andererseits die Erzeugung eines künstlerischen Effekts, was man beispielsweise anhand des in Wassermalfarbenoptik erzeugen Bilds der französischen Stadt Annecy, das in Abbildung 1.2 dargestellt ist, sehen kann. 1

8 1 Motivation Abbildung 1.2: Ein in Wassermalfarbenoptik erzeugen Bilds der französischen Stadt Annecy. [3] Diese Arbeit behandelt im Folgenden exemplarisch einige Teilbereiche von NPR, nämlich die Simulation von Zeichengeräten (am Beispiel von Bleistift und Pinsel), die Erkennung der Kanten von 3D-Objekten, das Artistic Line Drawing und das Artistic Shading (hier werden die Techniken des Cartoon Shading und des Cool-To-Warm Shading behandelt). Am Schluss wird noch ein kurzer Überblick über einige Anwendungsbereiche von NPR gegeben. 2

9 2 Simulation von Zeichengeräten Ein Teilgebiet des Non-Photorealistic Rendering ist die Simulation von Gegebenheiten, die beim traditionellen Zeichnen oder Malen üblich sind (also Kombinationen aus verschiedenen Zeichengeräten, Farbtypen und Untergründen). Dieses Kapitel behandelt exemplarisch die Erzeugung von Bleistift- und Pinselzeichnungen. 2.1 Bleistift Abbildung 2.1: Verschiedene Linienstile und Möglichkeiten der Schraffierung. [1] Bei der Simulation einer Bleistiftzeichnung gibt es einige Parameter, die definieren, wie der Bleistift an einer bestimmten Stelle eingesetzt wird. Dabei ist zunächst der Härtegrad des Bleistifts, der innerhalb eines Bilds variieren kann, entscheidend. Außerdem gibt es verschiedene Möglichkeiten, Linien mit einem Bleistift zu zeichnen. Hierbei kann beispielsweise der Druck, mit dem gezeichnet wird und der Winkel, unter dem der Bleistift auf die Zeichenfläche aufgesetzt wird, variieren (siehe Abbildung 2.1). Die Flächen im Bild können auf verschiedene Art und Weise schraffiert werden, drei Beispiele für Schraffuren sind ebenfalls in Abbildung 2.1 zu sehen. Abbildung 2.2 zeigt eine am Computer generierte Bleistiftzeichnung. 2.2 Pinsel mit Wasserfarben Bei der Simulation von Pinselzeichnungen muss zunächst die Art der Farbe und der Untergrund berücksichtigt werden. Die Striche in Abbildung 2.3 wurden mit Wasserfarben auf Pa- 3

10 2 Simulation von Zeichengeräten Abbildung 2.2: Bleistiftzeichnung eines Hauses. [1] pier simuliert. Hierbei fällt im Gegensatz zu Bleistift- oder Buntstiftzeichnungen die größere (und vor allem variable) Strichdicke und die ungleichmäßige Farbverteilung auf dem Medium auf. Die ersten vier Beispiele in Abbildung 2.3 zeigen verschiedene Mischverhältnisse von Farbe und Wasser sowie verschiedene Farbtöne. Bei dem zweiten Beispiel von rechts wurde außerdem ein feuchtes Papier simuliert, weshalb die Farbe sehr stark verläuft. Im Beispiel ganz rechts sieht man die Mischung von verschiedenen Farben, was ebenfalls sehr charakteristisch für Wassermalfarben ist. Abbildung 2.3: Verschiedene Pinselstriche mit Wasserfarben. [1] Abbildung 2.4 zeigt auf der linken Seite ein Foto, das als Eingabe eines Computerprogramms zur Erzeugung einer Pinsel und Wasserfarben Optik (rechtes Bild) verwendet wurde. Hierbei fallen die typischen Charakteristika einer Wasserfarben-Zeichnung wie zum Beispiel die reduzierte Farbtiefe und die etwas ineinander verlaufenden Striche auf. 4

11 2.2 Pinsel mit Wasserfarben Abbildung 2.4: Ein mit Pinsel und Wasserfarben erzeugtes Bild (rechts) und das als Eingabe verwendete Originalfoto (links). [1] 5

12 2 Simulation von Zeichengeräten 6

13 3 Kantenerkennung Betrachtet man eine 3D-Szene, die man (z.b. mit den später vorgestellten Methoden Cartoon Shading oder Cool-To-Warm Shading) rendern möchte, so ist ein wichtiger Schritt zunächst die Erkennung der Kanten der 3D-Objekte. Hierzu werden im Folgenden zwei Verfahren vorgestellt. 3.1 Depth Maps Abbildung 3.1: Links: Ausgangsszene; mitte: Z-Buffer; rechts: Objektkanten. [5] Bei der Kantenerkennung mit Depth Maps findet zunächst ein Z-Buffering statt. Dabei wird an jedem Bildpunkt die Z-Koordinate (also die Tiefe) des Objekts an dieser Stelle in einen Puffer geschrieben. Eine Visualisierung dieses Z-Buffers für die Ausgangsszene, die in Abbildung 3.1 links dargestellt ist, sieht man im mittleren Bild von Abbildung 3.1. Hierbei sind dunklere Bereiche näher am Betrachter. Mit Hilfe des Z-Buffers, der auch Depth Map genannt wird, kann man nun die verschiedenen Objekte recht deutlich voneinander und vom Hintergrund abgrenzen. Mathematisch kann die Kantenerkennung durch Faltung mit einem Sobel-Filter 1, die in Abbildung 3.2 dargestellt ist, durchgeführt werden. Die Ausgabe dieser Faltung ist für jeden Pixel des Bild eine Approximation des Gradienten an dieser Stelle. Ist der Gradient nun an einem Pixel größer als ein heuristisch bestimmter Schwellwert, so hat man hier eine Kante. Ein Nachteil des Z-Buffering, der vor allem bei dem linken Objekt direkt zu sehen ist, ist die Tatsache, dass innere Kanten von Objekten oft nicht erkannt werden, weil innerhalb eines Objekts die Tiefenunterschiede in der Regel recht gering sind. 3.2 Normal Maps Ein zweites Verfahren zur Kantenerkennung benutzt Normal Maps. Diese bilden jeden Bildpunkt auf die Normale an dieser Stelle ab. In Abbildung 3.3 sind die Flächen mit einer 1 siehe 7

14 3 Kantenerkennung Abbildung 3.2: Sobel-Filterung in y- und x-richtung. Normale, die senkrecht nach oben zeigt, grün dargestellt; die Normale der blauen Flächen zeigt in Richtung des Betrachters, die Normale der roten Flächen nach rechts. Abbildung 3.3: Links: Normal Map; rechts: Aus der Normal Map identifizierte Kanten. [1] Die Kanten des Objekts, die durch das Verfahren identifiziert werden, liegen zwischen zwei verschiedenfarbigen Flächen, können also durch eine aprupte Änderung der Normale erkannt werden. Zur Identifizierung von Kanten wird auch hier eine Sobel-Filterung verwendet. Auch hier werden allerdings einige Kanten (wie beispielsweise die zwischen den beiden blauen Flächen am rechten Rand des Objekts) nicht erkannt. 3.3 Kombination Um nun die Vorteile beider Verfahren zu kombinieren, werden die Kanten aus der Depth Map und die Kanten aus der Normal Map miteinander vereinigt, wie in Abbildung 3.4 dargestellt ist. Damit erhält man nun eine Kantenmenge, die nahezu alle Kanten eines Objekts (oder einer Szene) enthält. 8

15 3.3 Kombination Abbildung 3.4: Links: Kanten aus der Depth Map; Mitte: Kanten aus der Normal Map; rechts: Vereinigung beider Kantenmengen. [1] 9

16 3 Kantenerkennung 10

17 4 Artistic Line Drawing Das Zeichnen von Kanten ist ein entscheidender Teil des nicht photorealistischen Renderns einer Szene oder eines Objekts. Betrachtet man z.b. Comics oder Zeichentrickfilme, so erkennt man, dass die Konturen der Charaktere und Objekte stets sehr stark hervorgehoben sind, was den charakteristischen Stil erzeugt. Abbildung 4.1: Linienstile von links nach rechts: gleichmäßige Strichbreite; äußere Konturen stärker; variable Strichdicke; weiße Kanten; weiße innere Kanten. [1] Einige Beispiele, wie man Kanten zeichnen kann, sind in Abbildung 4.1 dargestellt. Anstatt alle Kanten mit gleicher Strichbreite in schwarz zu zeichnen (erstes Bild), könnte man verschiedene Breiten für innere und äußere Kanten verwenden (zweites Bild) oder die Striche bei zunehmender Tiefe schwächer werden lassen (drittes Bild). Auch eine Veränderung der Strichfarbe ist möglich. Weiße Kanten betonen insbesondere bei dunklen Hintergründen die Objektkonturen (viertes Bild). Eine weitere Möglichkeit ist es verschiedene Strichfarben zu kombinieren (fünftes Bild). Um einen künstlerischen Effekt zu erzeugen, können verschiedene Linienstile verwendet werden, wie in Abbildung 4.2 dargestellt ist. Der Schuh auf der rechten Seite ist mit vielen einzelnen Linien, die jeweils mit zunehmender Länge an Deckungskraft verlieren (wie das beispielsweise bei Wasserfarben der fall ist), gezeichnet. Alles in allem ist allerdings die einfachste Möglichkeit, alle Linien in schwarz mit gleicher Dicke und konstanter Deckung zu Zeichnen, vor allem bei den in Kapitel 5 vorgestellten Methoden am gebräuchlichsten. 11

18 4 Artistic Line Drawing Abbildung 4.2: Links: einige verschiedene Linienstile; rechts: Schuh, der mit vielen einzelnen Strichen gezeichnet ist. [1] 12

19 5 Artistic Shading Ein wichtiger Teilbereich von NPR ist das sogenannte Artistic Shading. Unter Artistic Shading versteht man eine Form des Shading, die einen nicht photorealistischen künstlerischen Effekt erzeugt. In diesem Kapitel werden exemplarisch zwei Formen des Artistic Shading beschrieben, nämlich das Cartoon Shading und das Cool-To-Warm Shading. 5.1 Cartoon Shading Abbildung 5.1: 3D-Objekt, links mit klassicher Shading Methode (möglicherweise Phong Shading) dargestellt, rechts unter Verwendung von Cartoon Shading. [4] Wie der Name sagt, ist das Zeil des Cartoon Shading (auch Cel Shading genannt), Bilder im Zeichentrick-Look zu erzeugen. Hierzu vereinfacht man die Helligkeitsverteilung auf Oberflächen. Das Cartoon Shading läuft in zwei Schritten ab: 1. Für jede Oberfläche berechnet man im Voraus zwei Farben: Schattenfarbe: nur Ambient Lighting 2 aktiviert Lichtfarbe: Ambient Lighting und Diffuse Lighting aktiviert Daraus entsteht eine eindimensionale Texture Map, die die Schatten- und die Lichtfarbe enthält: 2 siehe beispielsweise 13

20 5 Artistic Shading 2. Zur Laufzeit berechnet man für jeden Vertex den Winkel zwischen der Normale und dem Vektor in Richtung der Lichtquelle: max( L N, 0) < ε: Dieser Vertex bekommt die Schattenfarbe. max( L N, 0) > ε: Dieser Vertex bekommt die Lichtfarbe. Dieses Verfahren ist in Abbildung 5.2 dargestellt. Abbildung 5.2: Cartoon Shading einer Oberfläche für ein bestimmtes ε. Wendet man dieses Verfahren auf eine 3D-Szene an, so erhält man eine Objektdarstellung, wie sie im linken Beispiel von Abbildung 5.3 zu sehen ist. Durch die Verwendung mehrdimensionaler Texture Maps (zu sehen an der Teekanne in Abbildung 5.3) und entsprechend mehrerer Schwellwerte ε i entsteht ein verbesserter 3D-Effekt, wobei gleichzeitig die Comic-Optik erhalten bleibt. Abbildung 5.3: Cartoon Shading: links mit eindimensionaler Texture Map; rechts: mit mehrdimensionaler Texture Map. [1] 14

21 5.2 Cool-To-Warm Shading 5.2 Cool-To-Warm Shading Eine andere Form des Artistic Shading ist das Cool-To-Warm Shading. Dieses Verfahren findet vor allem bei der Visualisierung von mechanischen oder technischen Objekten Verwendung. Abbildung 5.4: Links: Phong Shading; Mitte: Verfahren des Blue-To-Yellow Shading; Rechts: Anwendung von Blue-To-Yellow Shading. [1] Betrachtet man das linke Bild in Abbildung 5.4, das mit Phong Shading (also einem realita tsnahen Modell) gerendert wurde, so fa llt sofort auf, dass einige Details in der linken Bildha lfte im Schatten liegen und dadurch schwer erkennbar sind. Auch die Kanten verschwinden oft im Schatten. Das Blue-To-Yellow Shading addiert fu r die verschiedenen Fla chen eines Objekts den Verlauf von schwarz zu der Fla chenfarbe und den Verlauf von blau nach gelb, um einen neuen Farbton zu erzeugen (dies ist in der Mitte von Abbildung 5.4 zu sehen), der dann auf die Fla che u bertragen wird. Dadurch sollen die Luminanzunterschiede innerhalb des Objekts ausgeglichen werden. Hierbei nutzt die Technik die Tatsache aus, dass fu r das menschliche Auge der Verlauf von einer ku hlen Farbe zu einer warmen Farbe so wirkt, als wa re das Objekt in Richtung des Betrachters gewo lbt. Objekte, die den Farbverlauf andersherum verwenden, wirken dagegen, als wa ren sie in die Zeichenebene hinein gewo lbt. Dadurch bleibt, wie man vor allem an der Spirale in der rechten Grafik in Abbildung 5.4 sehen kann, der 3D-Effekt erhalten, wobei gleichzeitig alle Details gut sichtbar sind. Zusa tzlich wurden in Abbildung 5.4 noch starke Konturen hinzugefu gt, um die Struktur des Objekts zu betonen. 15

22 5 Artistic Shading 16

23 6 Anwendungen Non-Photorealitic Rendering wird in vielen verschiedenen Sparten eingesetzt. Ein paar wichtige Beispiele sind Architektur, Medizin, Computerspiele und natürlich Filme. Abbildung 6.1: Beispiele für Anwendungen von NPR in verschiedenen Sparten. 17

24

25 Literaturverzeichnis [1] Bruce Gooch and Amy Gooch. Non-Photorealistic Rendering. AK Peters Ltd, [2] Google, Inc. Google Maps. [Online; Zugriff am ]. [3] NPAR. Non-photorealistic Animation and Rendering. [Online; Zugriff am ]. [4] Wikipedia. Non-photorealistic Animation and Rendering Wikipedia, The Free Encyclopedia, [Online; Zugriff am ]. [5] Wikipedia. Z-buffering Wikipedia, The Free Encyclopedia, [Online; Zugriff am ]. 19