Shader zur Bildbearbeitung

Größe: px

Ab Seite anzeigen:

Download "Shader zur Bildbearbeitung"

Rolf Melsbach
vor 7 Jahren
Abrufe

1 15. Oktober / 23

2 Übersicht 1 Motivation 2 Grundlagen 3 State of the Art 4 Konzeption 5 Implementierung 6 Benchmarks 7 Fazit 2 / 23

3 Motivation: GPU >> CPU Moores Law: Hardware verbessert sich rapide GPU: Pipelining, hohe Parallelität Volle Programmierbarkeit von Vertex- und Pixelshader Geeignet für Nachbearbeitung 3 / 23

Grundlagen - Digitale Bilder In Computergrafik: Vektor- und Rastergrafiken Implementierung als M N C Matrix, C gibt Farbvektor an Digitalfotografie: Projektion einer kontinuierlichen 3D-Szene auf

4 Grundlagen - Digitale Bilder In Computergrafik: Vektor- und Rastergrafiken Implementierung als M N C Matrix, C gibt Farbvektor an Digitalfotografie: Projektion einer kontinuierlichen 3D-Szene auf einen diskreten 2D-Raum Tristimulustheorie: Vom Spektrum zum Abbildung: xy-diagramm, von Farben innerhalb des Gammuts (Dreieck Wikipedia 3-Farbreiz (CIE 1931, CIE-XYZ) der Primärvalenzen) darstellbar 4 / 23

5 Grundlagen - Faltung mathematischer Operator ähnlich der Multiplikation zweidimensionale diskrete Faltung: g(m,n) = k h(k,r) s(m k,n r) r Separierbarkeit am Beispiel des Sobeloperators G y G y = = 0 [1 2 1 ] unsepariert: O(n 2 ), separiert nur O(n) 5 / 23

6 Grundlagen - Shader Ausführbare Programme auf der GPU Ausprägung als Vertex-, Geometry- und Pixelshader Ursprünglich gedacht für Renderpipeline: hohe Parallelität GPGPU - General-Purpose Computation on Graphics Hardware Als Hochsprachen dienen CG, HLSL und GLSL 6 / 23

7 Grundlagen - RTTlib und FloatImage RTTlib, Schnittstelle zwischen Applikation und GPU Setzen von Shadercode Parametern Bild als Textur Ausgabe des Resultats FloatImage: Bibliothek für floatbasierende Bildrepräsentation 7 / 23

8 State of the Art - Bildbearbeitungsprogramme Adobe Photoshop kommerziell, Marktführer CS4 unterstützt Filter, GPU teilweise (zoomen z.b.) GNU Image Manipulation Program (GIMP) freies Bildbearbeitungsprogramm, erweiterbar über Skripte ImageJ in JAVA geschrieben, OpenSource Core Image MAC, kommerziell, genutzt von Vorschau und Aperture floatbasierend, GPU wird teilweise genutzt Aber auch mit Programmen wie Matlab kann Bildbearbeitung betrieben werden! 8 / 23

9 State of the Art - AForge Framework für image processing, neural networks, genetic algorithms, machine learning, robotics, etc Steht unter GNU Lesser General Public License Viele Filter vorhanden (Color Filter, Colvolution, Edge Detector,...) Operiert auf UnmanagedImage 9 / 23

10 Konzeption - Anforderungsanalyse Kompatibel zu einem bestehenden Framework - AForge Shaderzugriff über RTTlib Floatbasierende Bildunterstützung Unterstützung bestehender und eigener Filter Implementierung von HDR-Filtern Prototyp zur Visualisierung: FilterUI 10 / 23

11 Konzeption - aktueller Ansatz Idee: Von Basisklassen ableiten Interface IFilter IFilterInfo Abstract BaseFilter BaseShaderFilter Implementation Filter ShaderFilter shaderspezifischer Code nur einmal vorhanden weitgehend kompatibel zu AForge 11 / 23

12 Konzeption - Anwendung 1 // Laden des Bildes 2 Bitmap bmp = new Bitmap ( " mybitmap " ) ; 3 4 // Nutzung von AForge 5 I n v e r t a F o r g e F i l t e r = new I n v e r t ( ) ; 6 a F o r g e F i l t e r. Apply (bmp ) ; 7 8 // Laden des Bildes 9 F l o a t I m a g e fimg = new F l o a t I m a g e ( " mybitmap " ) ; // Erzeugung des Renderers 12 RTTViewerGL r e n d e r e r = new RTTViewerGL ( 13 Panel. Handle, Panel. Width, Panel. H e i g h t ) ; // Nutzung von SForge 16 S h a d e r I n v e r t s F o r g e F i l t e r = new S h a d e r I n v e r t ( ) ; 17 s F o r g e F i l t e r. S e t S h a d e r E n g i n e ( r e n d e r e r ) ; 18 s F o r g e F i l t e r. Apply ( fimg ) ; 19 fimg = s F o r g e F i l t e r. G e t R e s u l t ( ) ; // optional 12 / 23

13 Konzeption - Shadersprache Idee: Unabhängig von Shadersprache Speicherung des Shadercodes als Textdatei Ablage der Dateien in Ressourcendatei Für jede Sprache eine Ressourcendatei Abbildung: Ressourcendateien 13 / 23

14 Implementierung - CellShading 1 uniform vec4 s t e p s ; v o i d main ( v o i d ) { gl_fragcolor = f l o o r ( t e x t u r e 2 D ( BaseImage, TexCoord. s t ) s t e p s ) / s t e p s ; } 14 / 23

15 Implementierung - Sobel Operator 1 u n i f o r m f l o a t x S i z e, y S i z e ; 2 const i n t KernelSize = 9 ; 3 vec2 O f f s e t [ K e r n e l S i z e ] = [... ] ; 4 5 f l o a t KernelValueX [ K e r n e l S i z e ] = f l o a t [ K e r n e l S i z e ] 6 ( 1. 0, 0. 0, 1. 0, 2. 0, 0. 0, 2. 0, 1. 0, 0. 0, 1. 0 ) ; 7 8 f l o a t KernelValueY [ K e r n e l S i z e ] = f l o a t [ K e r n e l S i z e ] 9 ( 1. 0, 2. 0, 1. 0, 0. 0, 0. 0, 0. 0, 1. 0, 2. 0, 1. 0 ) ; void main ( void ){ 12 vec4 sumx = vec4 ( 0. 0 ) ; 13 vec4 sumy = vec4 ( 0. 0 ) ; 14 vec2 d e l t a = vec2 ( 1. 0 / x S i z e, 1. 0 / y S i z e ) ; f o r ( i n t i = 0 ; i < K e r n e l S i z e ; i ++){ sumx += texture2d ( BaseImage, TexCoord. st 19 + O f f s e t [ i ] d e l t a ) KernelValueX [ i ] ; sumy += texture2d ( BaseImage, TexCoord. st 22 + O f f s e t [ i ] d e l t a ) KernelValueY [ i ] ; } gl_fragcolor = s q r t (sumx sumx+sumy sumy ) ; } Shadercode für einen Kantendetektor 15 / 23

16 Implementierung - Sobel Operator Abbildung: Originalbild Abbildung: gefiltertes Bild Testbild der Zeitschrift c t, 16 / 23

17 HDR Beispiel für mehrstufiges Rendern Nutzung der CPU für einige Aufgaben nötig GPU calculate luminance map CPU calculate log-average luminance CPU find max value white GPU tonemapping luminance map GPU luminance map -> RGB-image 17 / 23

18 Realtime-Shading Eingabe und Änderung des Shadercodes Auswirkung auf das Resultat in Echtzeit Abbildung: Prototyp der FilterUI: Realtime Shading 18 / 23

19 Benchmarks Getestet wurde auf folgenden Systemen: System Prozessor Grafikkarte Betriebssystem 1 Core 2 Duo, 2.8 ghz Nvidia Quadro FX 4600 WinXP64 2 Core 2 Duo, 2.8 ghz Nvidia GTX260 Windows 7 Filterkriterien: Bild: Pixeln im Format 24 Bit per Pixel für AForge, 16 Byte per Pixel für SForge jeweils 100 Ausführungen T L : Ladezeit T P : Ausführungszeit Speedup: T P (SForge) / T P (AForge) 19 / 23

20 Benchmarks Framework Filter T L [ms] T P [ms] Gesamtzeit [ms] Speedup AForge Sepia 0, , ,81 1 SForge 1 Sepia 308,291 3,46 653,87 43,5 SForge 2 Sepia 659,68 4, ,11 35,8 AForge Gauss 7 7 0, , ,01 1 SForge 1 Gauss ,105 14, ,65 529,1 SForge 2 Gauss ,563 18, ,21 417,2 AForge Gauss 7 7 0, , ,97 1 SForge 1 Gauss sep 102,527 10, ,32 737,18 SForge 2 Gauss sep 103,374 12, ,51 588,6 AForge Sobel 0, , ,16 1 SForge 1 Sobel 692,675 8, ,12 28,4 SForge 2 Sobel 164,219 13, ,41 17,25 AForge Gamma 0,006 75, ,36 1 SForge 1 Gamma 631,749 2,79 911,12 27,2 SForge 2 Gamma 174,312 5,27 701,11 14,4 AForge Sequenz 0, , ,46 1 SForge 1 Sequenz 635, , ,72 388,5 SForge 2 Sequenz 174, , ,17 178,2 Tabelle: Benchmark auf den Systemen 20 / 23

21 Fazit Stark abhängig vom Anwendungsgebiet Filtervorgang um ein vielfaches schneller Jedoch zusätzlicher Overhead beim Laden/Speichern des Bildes Derzeitige Einschränkung: Separate Erzeugung des Renderers Erste DirectX11 Karten mit Shadermodel 5.0 erhältlich double precision optional neuer Shadertyp für GPGPU: Compute-Shader mit random access Viele Optimierungen möglich 21 / 23

22 Demonstration Vorstellung der FilterGUI 22 / 23

23 Ende Danke für Ihre Aufmerksamkeit. Fragen? 23 / 23

Ähnliche Dokumente

Grafikkarten-Architektur

> Grafikkarten-Architektur Parallele Strukturen in der GPU Name: Sebastian Albers E-Mail: s.albers@wwu.de 2 > Inhalt > CPU und GPU im Vergleich > Rendering-Pipeline > Shader > GPGPU > Nvidia Tesla-Architektur