Visualisierung II 2. Volumenvisualisierung

Transkript

1 Visualisierung II 2. Volumenvisualisierung Vorlesung: Mi, 9:15 10:45, INF Prof. Dr. Heike Jänicke

2 Inhaltsverzeichnis 1. Daten in Biologie und Medizin 2. Volumenvisualisierung 3. Daten in Umwelt- und Technikwissenschaften 4. Raumteilungsverfahren 5. Topologische Verfahren 6. Analyse von Multivariaten Daten und Zeitreihen 7. Informationstheoretische Verfahren 2

3 Inhaltsverzeichnis 2. Volumenvisualisierung 1. Beleuchtung von Volumendaten 2. Artefakte beim Volume Rendering 3. Nicht-Photorealistisches Volume Rendering 4. Verarbeitung großer Datensätze 3

4 Inhaltsverzeichnis 2. Volumenvisualisierung 1. Beleuchtung von Volumendaten 2. Artefakte beim Volume Rendering 3. Nicht-Photorealistisches Volume Rendering 4. Verarbeitung großer Datensätze 4

5 Volume Rendering mit und ohne Beleuchtung [E. Gröller, TU Wien] 5

6 Lokale Beleuchtung Theorie Lokale Beleuchtungsmodelle approximieren die Menge an Licht, die an einem bestimmten Punkt der Oberfläche reflektiert wird. Hierzu verwendet man die lokale Orientierung der Oberfläche relativ zur Lichtquelle und einige Materialeigenschaften. Im Gegensatz zur globalen Beleuchtung werden indirektes Licht, Schatten und Lichtbrechung nicht berücksichtigt, was die Berechnung wesentlich vereinfacht. Das am häufigsten verwendete Lichtmodell ist das Phongmodell, welches die Beleuchtung als Linearkombination der drei Terme, ambiente, diffuse und spiegelnde Beleuchtung, berechnet. I Phong =I ambient I diffuse I specular Die ambiente Beleuchtung wird als konstanter Term modelliert: I ambient =k a=const r v n l 6

7 Lokale Beleuchtung Theorie Die diffuse Reflektion gibt an, wieviel Licht mit gleicher Intensität in alle Richtung von der Oberfläche zurückgestrahlt wird. Man erkennt dies an matten Oberflächen, deren Helligkeit nur vom Einfallswinkel φ zwischen dem Lichtstrahl l and der Oberflächennormale n abhängt. I diffuse =I p k d cos = I p k d l n Ip ist die von der Lichtquelle emittierten Intensität, kd ist eine Materialkonstante [0; 1], die angibt, wieviel Licht reflektiert wird. Spiegelnde Reflektionen müssen bei glänzenden Oberflächen auf denen Glanzpunkte entstehen berücksichtigt werden. Für die Modellierung benötigt man den Vektor von der Oberfläche zum Betrachter v, die Richtung des reflektierten Lichts r (dazu wird der Lichtstrahl l an der Normale n gespiegelt). n I spiegelnd =I p k s cos =I p k s n r n Die Materialkonstante ks bestimmt die Stärke der Spiegelung und der Exponent n den Glanz, also die Größe der Glanzpunkte. 7

8 Lokale Beleuchtung Theorie Beim Phongmodell werden die Normalenvektoren verwendet, um die lokale Form eines Objekts zu beschreiben. Es wird überwiegend zur Beleuchtung von Polygonnetzen verwendet. Um das Phongmodell für volumetrische Daten anwenden zu können, muss die lokale Form der volumetrischen Daten durch einen geeigneten Vektor beschrieben werden. Für Skalarfelder eignet sich der Gradient, der die Normale von Isoflächen im Volumen angibt. Der Gradient des Skalarfeldes ist die Ableitung erster Ordnung: f = f x, f y, f z = f, f, f x y z Als numerische Approximation wird für gewöhnlich die zentrale Differenz verwendet. Für die x-richtung ergibt sich: f x x, y, z = f x 1, y, z f x 1, y, z mit x, y, z ℕ 8

9 Lokale Beleuchtung Theorie Für die lokale Beleuchtung betrachten wir wieder einen Sichtstrahl, der im Volumen an der Position x1 beginnt und in Richtung x des projizierten Bildpunktes x0 weist. x t = x 0 t x Für das Volume Rendering Integral mit Beleuchtung ergibt sich dann d C x 1, x = L x 0, x e 0, d R x t L l f s x t e t, d dt 0 mit Hintergrundintensität L x 0, x optischer Tiefe d 1, d 2 = d t d t d2 1 Intensität der Lichtpunktquelle l Ll von der Oberfläche reflektierte Farbe R( x(t) ) Blinn-Phong Beleuchtungsmodell für Oberflächen, ausgewertet an der Position x(t) fs( x(t) ) 9

10 Lokale Beleuchtung Vergleich 10

11 Beleuchtete VR-Isoflächen Wählt man bei der Transparenz nur Opazitätswerte von 0 und 1 ergibt das resultierende Volume Rendering eine Isofläche. Ohne Beleuchtung sieht der Betrachter jedoch lediglich eine schwarze Fläche. Durch lokale Beleuchtung kann hier der Eindruck erweckt werden, dass es sich bei der dargestellten Struktur tatsächlich um eine Oberfläche handelt. Hierzu müssen wieder die Gradienten vorberechnet werden, welche dann in einer 3D RGBA-Textur gespeichert werden. Diese enthält sowohl den Skalarwert im Volumen, (Alphawert der Farbe) als auch den Gradienten (RGB Werte) im jeweiligen Pixel. 11

12 Beleuchtete VR-Isoflächen Um als Farbe gespeichert werden zu können, müssen die Skalarwerte im Volumen auf [0, 1] bzw. [0, 255] normiert werden. Der Alphatest kann nun verwendet werden, um nur diejenigen Fragmente anzuzeigen, die zur Isofläche gehören. Oft wird nicht ein bestimmter Isowert angezeigt, sondern ein bestimmter Wertebereich. Bei exakten Werten müssten wesentlich mehr Ebenen gezeichnet werden, da ja zwischen den Ebenen nicht interpoliert wird. Gerade bei Isoflächendarstellungen erzeugt die einfach Gradientenberechnung häufig Artefakte. 12

13 Beleuchtete VR-Isoflächen Um diese Artefakte zu mindern benötigt man eine bessere Approximation des Gradienten. Diese geschieht z.b. durch die Verwendung von Faltungskernen für die Gradientenrekonstruktion. Beliebt ist der kubische B-Splinekern (Abb. 12.1). Die Faltung kann hier wieder auf der Graphikkarte durchgeführt werden und die Berechnung zu beschleunigen. Rekonstruktion mit B-Splines ermöglicht C²-stetige Ergebnisse. 13

14 Beleuchtung Erweiterte Modelle Die Approximation der Oberflächennormalen mittels des Gradienten funktioniert in vielen Fällen sehr gut, hat jedoch Probleme bei folgenden Szenarien: In homogenen Regionen ist der Gradient nahe Null und der Vektor somit oft nicht definiert. Rauschen in den Daten führt zu künstlichen Verzerrungen, die so nicht in den Daten gegeben sind. Hier kann das Oberflächenskalar mit dem der Term für die Reflektion modifiziert wird helfen: R ' t = R t 1 S t 1 S t f s t S t =1 1 f t 2 S t Durch diese Modifikation werden nur Regionen schattiert, die einen hohen Gradienten aufweisen. Bereichen mit niedrigem Gradienten wird die reflektierte Farbe zugewiesen. f t 14

15 Beleuchtung Erweiterte Modelle Für einen guten visuellen Eindruck vor allem von Tiefe sind Schatten essentiell. Diese wurden in den bisherigen Modellen nicht realisiert. Volumetrische Schatten können integriert werden, indem ein zusätzlicher Term eingeführt wird, der für jede Position das Licht berechnet, das ausgehend von den verschiedenen Lichtquellen auf diese Position trifft. d C x 1, x = L x 0, x e 0, d R x t L ' l t f s x t e t, d dt 0 light L ' l t = Ll e x dx t mit Ll der Lichtintensität der l-ten Lichtquelle L'l(t) die Lichtintensität an Position t Das Lichtintegral ist hierbei sehr ähnlich dem für die optische Tiefe, nur dass hier nicht in Richtung Betrachter sondern in Richtung Lichtquelle integriert wird. 15

16 Beleuchtung Tip Die Implementierung von Beleuchtungsmodellen bringt einiges an Mehraufwand mit sich. Es gibt jedoch einen einfachen Trick der einen ähnlichen Effekt erzielt, jedoch keine Zusätzliche Implementierung benötigt. Oben: Volume Rendering ohne Beleuchtung mit einfacher Transferfunktion, die nur den Alphakanal moduliert, also nur einen Teil der Daten anzeigt. Mitte: Modifizierte Transferfunktion, die die Farbe entsprechend des Alphawertes moduliert. Hierdurch werden Kanten der Silhouette verdeutlicht. Unten: Volume Rendering mit Schattierung 16

17 1D TF über den Skalarwert des Voxels, moduliert wird die Opazität (Bsp. 1) 1D TF über den Skalarwert des Voxels, moduliert wird die Opazität (Bsp. 2) 1D TF über den Betrag des Gradienten, moduliert wird die Opazität (Bsp. 3) 2D TF über den Skalarwert und den Betrag des Gradienten 1 Skalarwert Opazität Die Wahl der Transferfunktion hat großen Einfluss auf die dargestellte Geometrie. Hier noch drei weitere Beispiele, wie bestimmte Effekte erzielt werden können. 2 Skalarwert Opazität Opazität Transferfunktion Tip 3 Gradient Gradient 4 17 Skalarwert

18 Die Wahl der Transferfunktion hat großen Einfluss auf die dargestellte Geometrie. Hier noch drei weitere Beispiele, wie bestimmte Effekte erzielt werden können. 1D TF über den Skalarwert des Voxels, moduliert wird die Opazität (Bsp. 1) Standardanwendung, zeige alle Voxel mit einem Wert > x 1D TF über den Skalarwert des Voxels, moduliert wird die Opazität (Bsp. 2) 1 Skalarwert Opazität Opazität Transferfunktion Tip 2 Darstellung von Isoflächen 1D TF über den Betrag des Gradienten, moduliert wird die Opazität (Bsp. 3) 3D Kantendetektor 2D TF über den Skalarwert und den Betrag des Gradienten Skalarwert Opazität 3 Gleichmäßig dicke Isofläche Gradient Gradient 4 18 Skalarwert

19 Inhaltsverzeichnis 2. Volumenvisualisierung 1. Beleuchtung von Volumendaten 2. Artefakte beim Volume Rendering 3. Nicht-Photorealistisches Volume Rendering 4. Verarbeitung großer Datensätze 19

20 Artefakte Ursprung An verschiedenen Stellen bei der Erstellung eines Volumerenderingbildes kann es zu Artefakte kommen. Diese resultieren oft daher, dass für eine hohe Performanz bestimmte Kompromisse eingegangen werden müssen. Hier ist es wichtig, über die Quellen dieser Artefakte Bescheid zu wissen, um sie nicht fälschlicherweise als Strukturen in den Daten zu interpretieren. 20

21 Artefakte Abtasten Im ersten Verarbeitungsschritt muss der diskrete Datensatz abgetastet werden, um entweder interpolierte Werte für die Hilfsgeometrie (DVR) oder den Sichtstrahl (Ray Casting) zu erhalten. Die Distanz zwischen den Abtastpunkten gibt an, wie genau die Daten dargestellt werden. Eine große Distanz zwischen Datenpunkten, also eine geringe Abtastfrequenz (undersampling), erzeugt gut sichtbare Artefakte (Abb. 20.1). Dieser Effekt wird auch Holzmaserungsartefakt (wood grain artefact) genannt. Bei der Frage nach einer guten Anzahl an Abtastpunkten hilft das Nyquist-ShannonAbtasttheorem. [H. Nyquist. Certain topics in telegraph transmission theory. In Trans AIEE, 47: , 1928] [C.E. Shannon. Communication in the presence of noise. In Proc. Institute of Radio Engineers, 37(1):10-21, 1949] 21

22 Artefakte Abtasten: Das Abtasttheorem Bandbegrenzung: Ist die Funktion genügend glatt", so hat die Fouriertransformierte lokalen Support, also eine Grenzfrequenz ωf. Die Funktion ist in diesem Fall bandbegrenzt. Abtasttheorem: Eine bandbegrenzte Funktion f( t ) mit Grenzfrequenz ωf kann perfekt aus den Abtastwerten f(n Δt) rekonstruiert werden, wenn für die Abtastfrequenz ω0 gilt: 0 = 2 2 F t Die exakte Rekonstruktion gelingt nur mit unendlich großem Aufwand, jedoch erreicht man mit endlichem Aufwand eine beliebig genaue Approximation. [U. Schimpf, Uni Heidelberg] 22

23 Artefakte Abtasten Das Abtasttheorem wurde für kontinuierliche Signale definiert. Da unsere Daten in diskretisierter Form vorliegen, haben wir bereits Information unwiederbringlich verloren. Bei einem diskreten Signal, von dem angenommen wird, dass es einen kontinuierlichen Ursprung hat, ergibt sich die höchste Frequenz als abrupte Änderung zwischen benachbarten Abtastwerten. Somit ergibt sich für die höchste Frequenz: F = 1 d mit Δd ist die Distanz zwischen zwei Voxeln. Somit müssen für eine korrekte Rekonstruktion der ursprünglichen Daten mindestens zwei Messwerte pro Voxel genommen werden. Die hohe Abtastrate hat natürliche einen direkten Einfluss auf Geschwindigkeit des Volume Renderings. Es gilt in etwa: doppelt so viele Abtastpunkte halbe Framerate. Beim Raycasting kann die Struktur der Daten ausgenutzt werden, indem homogene Bereiche weniger oft abgetastet werden. Hierfür wird im Vorfeld die optimale Abtastfrequenz für jeden Voxel berechnet und in einer zusätzlichen Textur gespeichert. Bei Veränderung der Abtastdistanz muss auf eine korrekte Modulation der Alphawerte geachtet werden. 23

24 Artefakte Filtern Im zweiten Verarbeitungsschritt, dem Filtern, wird durch Interpolation aus dem diskreten Datensatz wieder das kontinuierliche Signal rekonstruiert. Wie wir bereits bei der Beleuchtung gesehen haben, hat die Art der Interpolation (linear, trilinear, B-Spline) einen großen Einfluss auf die Qualität der Darstellung. Der Optimale Filterkern für die Rekonstruktion wäre eine sinc-funktion, welche jedoch einen unendlich großen Support benötigt. Aus diesem Grund werden einfachere Filterkerne wie oben beschrieben verwendet. 24

25 Artefakte Pre- vs. Postklassifikation Während der Klassifikation werden Skalarwerten mittels der Transferfunktion Farben zugeordnet. Dies kann auf zwei Arten geschehen: Pre-Klassifikation: Die TF wird auf die Voxel angewandt. Bei der Interpolation wird (linear) zwischen den Voxelfarben interpoliert. Somit kann die TF als Vorverarbeitungsschritt angewandt werden. t Voxel x Abtastpunkt Post-Klassifikation: Zuerst wird der Skalarwert an der Abtastposition bestimmt. Diesem wird mittels der TF ein Farbwert zugewiesen. Hierbei wird im korrekten Raum interpoliert. s(t) => α(s(t)) postprocessing x x x x x preprocessing x x Sichtstrahl Skalar= Alphawert wert 25

26 Artefakte Pre- vs. Postklassifikation 26

27 Artefakte Pre- vs. Postklassifikation Pre-Klassifikation kann hohe Frequenzen in der Transferfunktion nicht reproduzieren. Dies schafft die Post-Klassifikation, benötigt jedoch für gute Resultate eine hohe Abtastfrequenz (Abtasttheorem). Engel et al. [K. Engel, M. Kraus, T. Ertl. High-Quality Pre-Integrated Volume Rendering Using Accelerated Pixel Shading. In Proc. Graphics Hardware, 2001] schlagen als Verbesserung die vorintegrierte Klassifikation (pre-integrated classification) vor. Grundidee ist eine Aufteilung des VRIntegrals in zwei Integrationen: eine für das Skalarfeld und eine für die TF um eine ungünstige Produkte der Nyquistfrequenzen zu vermeiden. [K. Engel, Uni Stuttgart] 27

28 Artefakte Schattierung Wie wir bereits gesehen haben, kann die Beleuchtung des Volumens den Tiefeneindruck immens verbessern. Hierzu werden jedoch Gradienten benötigt. Oft wird der Gradient in VR-Programmen vorberechnet und in einer RGBA-Textur zusammen mit dem Skalarwert gespeichert. Hierdurch entstehen verschiedene Probleme: Die Texturen verwenden für einen geringen Speicherbedarf oft nur 8 bit pro Wert, was bereits Quantisierungsfehler verursacht. Trotzdem wird der Speicherbedarf hierdurch vervierfacht, was bei großen Datensätzen problematisch ist. Die Gradienten werden normalisiert gespeichert, bei der Interpolation kann es zu Gradienten mit einer Norm ungleich 1 kommen, was auf einigen Graphikkarten nicht mehr korrigiert werden kann. Hier hilf es die Gradienten nicht im Vorfeld zu berechnen, sondern dies on-the-fly zu tun. Dies kann wieder auf der Grafikkarte, z.b. mittels Shadern, umgesetzt werden. Durch die interaktive Berechnung wird zwar Speicher gespart, jedoch geht dies auf Kosten zusätzlicher Rechenzeit. Auch hierfür gibt es jedoch bereits Lösungsansätze für eine effiziente Berechnung (space leaping, early ray termination, deferred shading), die interaktives VR erlaubt. 28

29 Artefakte Schattierung 29

30 Artefakte Schattierung: Shaderimplementierung struct fragin { float4 Hposition : POSITION; float3 TexCoord0 : TEXCOORD0; float3 TexCoord1 : TEXCOORD1; float3 TexCoord2 : TEXCOORD2; float3 TexCoord3 : TEXCOORD3; float3 TexCoord4 : TEXCOORD4; float3 TexCoord5 : TEXCOORD5; float3 TexCoord6 : TEXCOORD6; float3 TexCoord7 : TEXCOORD7; float3 VDir : COLOR0; }; // samples for forward differences half3 normal; half3 sample1; sample1.x = (half)tex3d( Volume, IN.TexCoord2 ).x; sample1.y = (half)tex3d( Volume, IN.TexCoord4 ).x; sample1.z = (half)tex3d( Volume, IN.TexCoord6 ).x; float4 main( fragin IN, uniform sampler3d Volume, uniform sampler2d TransferFunction, uniform half3 lightdir, uniform half3 halfway, uniform fixed ambientparam, uniform fixed diffuseparam, uniform fixed shininessparam, uniform fixed specularparam) : COLOR { fixed4 center; // compute central differences gradient normal = normalize( sample2.xyz - sample1.xyz ); // additional samples for central differences half3 sample2; sample2.x = (half)tex3d( Volume, IN.TexCoord3 ).x; sample2.y = (half)tex3d( Volume, IN.TexCoord5 ).x; sample2.z = (half)tex3d( Volume, IN.TexCoord7 ).x; // compute diffuse lighting component fixed diffuse = abs(dot( lightdir, normal.xyz )); // compute specular lighting component fixed specular = pow( dot(halfway, normal.xyz), ShininessParam); // compute output color OUT.rgb = ambientparam * classification.rgb + diffuseparam * diffuse * classification.rgb + specularparam * specular; // fetch scalar value at center center.ar = (fixed)tex3d(volume, IN.TexCoord0.xyz).x; // classification fixed4 classification = (fixed4) tex2d( TransferFunction, center.ar); // use alpha from classification as output alpha OUT.a = classification.a; return OUT; } 30

31 Artefakte Blending Beim Blending werden die die Farben der einzelnen Fragmente kombiniert und in den Framebuffer geschrieben. Die Farben werden für gewöhnlich auf 8-bit fixed-point Zahlen quantisiert und eine große Anzahl an Fragmenten wird kombiniert. Hierdurch werden sehr schnell große Fehler akkumuliert. Da neuere Graphikkarten auch Fließkommadarstellungen unterstützen, werden diese Artefakte nun teils vermieden. Eine Alternative ist die händische Implementierung von Blending mit Fließkommagenauigkeit in einem Fragmentshader. 31

32 Artefakte Artefakte entstehen also in allen Teilen der Verarbeitungskette und haben teils recht großen Einfluss auf die Bildqualität. Die meisten Artefakte können gezielt vermieden werden, jedoch wird hierzu häufig höherer Rechenaufwand benötigt. Hier muss man entscheiden, was wichtiger ist: sehr gute Performanz oder Ergebnisse mit möglichst wenig Artefakten. Bei vielen Anwendung wird ein Kompromiss irgendwo zwischen den beiden Extremen gesucht. Einige Beispiele: Schnelles Verschaffen eines Überblicks über die Daten mit viel Interaktion Medizinische Befundung an einem digitalen Radiologiearbeitsplatz Rendern schöner Bilder für eine Publikation Analyse großer Datenmengen zum Vergleich von Objekteigenschaften Wichtig ist auch, dass Fehler in stehenden Bildern viel deutlicher wahrgenommen werden, als in animierten Filmen. Dies kann zusätzlichen Einfluss auf die Wahl der Darstellungs korrektheit haben. 32

33 Inhaltsverzeichnis 2. Volumenvisualisierung 1. Beleuchtung von Volumendaten 2. Artefakte beim Volume Rendering 3. Nicht-Photorealistisches Volume Rendering 4. Verarbeitung großer Datensätze 33

34 Nicht-Photorealistisches Volumerendering Aus Illustrationen in Fachbüchern kennt man die Überzeichnung wichtiger Merkmale in einem Objekt oder einer Struktur. So werden z.b. Kanten hervorgehoben, Strukturen in verschiedenen Farben markiert, wichtige Unterstrukturen deutlicher gezeichnet als andere Bereiche. Foto [N. Woolridge, Uni. of Toronto] Illustration 34

35 Nicht-Photorealistisches Volumerendering Im Folgenden soll ein kurzer Überblick gegeben werden, welche Techniken verwendet werden können, um illustrative Effekte in Volume Rendering Bildern zu erzeugen. Im Wesentlichen geht es um die Hervorhebung folgender Merkmale Silhouette Grenzschichten Kanten / Stark gekrümmten Bereiche Tiefeninformation Hierzu werden folgende illustrative Techniken eingesetzt: Hervorhebung von Grenzschichten und der Silhouette Nachgeahmter Skizzenstil Einfärben von Kanten Toneshading / Modulation des Farbtons Tiefenfärbung Darstellung von Halos / einem Lichthof 35

36 Umrisslinien und Toneshading Wenn man den Alphakanal so manipuliert, dass nur Bereiche gezeigt werden, deren Normalvektor fast senkrecht zur Blickrichtung ist, kann man leicht Umrisslinien darstellen. Beim Toneshading werden die Farben in Abhängigkeit von der lokalen Beleuchtung verändert. Bereiche die direkt von der Lichtquelle beleuchtet werden, werden in wärmeren Farben (geld, orange, rot) gezeichnet und Bereich, die nur indirekt beleuchtet werden in kalten Farben (grün, blau). Hierfür wird das Skalarprodukt zwischen Oberflächennormale und Lichtrichtung ausgewertet. [K.-L. Ma, Uni of California] 36

37 Tiefenmodulation Durch die Veränderung des Farbtons kann nicht nur die Beleuchtung verdeutlicht werden, sondern auch der Tiefeneindruck verstärkt werden. Die Farbe naher Objekte ist häufig wärmer und intensiver, die von weiter entfernt liegenden kälter, heller und matter. Bei der Implementierung kann man auf die Tiefeninformation der Fragmente zurückgreifen und deren Farbe entsprechend modulieren. 37

38 Beispiel 38

39 Beispiel 39

40 Inhaltsverzeichnis 2. Volumenvisualisierung 1. Beleuchtung von Volumendaten 2. Artefakte beim Volume Rendering 3. Nicht-Photorealistisches Volume Rendering 4. Verarbeitung großer Datensätze 40

41 Große Datensätze 0.88 GB Daten Vergleich: Speicher in Graphikkarten GeForce GTX 590 GeForce GTX 580 (Stand SoSe 2011) 3 GB 1,5 GB 3D Aufnahme aus der Biologie 2048x2048x512 4 GB Daten 41

42 Volumenvisualisierung von Großen Datensätzen Das Problem der großen Daten ist so alt wie die rechnergestützte Analyse. Mit verbesserter Hardware werden nicht nur die Möglichkeiten für die Datenanalyse besser, sondern ermöglichen auch eine schnellere Datenaufnahme immer größerer Volumina. In vielen Anwendungsgebieten werden aktuell sehr große Datensätze (mehrere GB pro Datensatz und Zeitschritt) aufgenommen, ohne dass bereits Analysewerkzeuge vorhanden sind. Zum einen behilft man sich mit der Betrachtung von Schnittebenen oder Teilvolumina, oder verringert die Auflösung, so dass Standardsoftware eingesetzt werden kann. Um auch mit Daten arbeiten zu können, die größer sind als der Speicher der Graphikkarte, wurden in den letzten Jahren verschiedene Ansätze vorgeschlagen. Im Wesentlichen müssen dabei zwei Probleme behandelt werden: Die Daten sind zu groß um auf einmal in voller Auflösung unverarbeitet dargestellt werden zu können. Selbst wenn der Speicher groß genug wäre, bräuchte es immer noch immense Rechenleistung um diese Datenfülle auch zu verarbeiten. 42

43 Bricking Eine der einfachsten Strategien zur Darstellung großer Volumen ist das Bricking, eine Divide&Conquer Strategie. Das Volumen wird hierfür in Blöcke unterteilt, die jeweils in den Graphikspeicher passen. Jeder Block wird dann separat mit einem StandardvolumerenderingAlgorithmus gerendert. Bei der Unterteilung muss man darauf achten, dass sich die Teilvolumina noch überlappen, da es sonst zu Interpolationsfehlern am Rand kommen kann. Minimalanforderung ist ein Überlapp von einem Voxel. Bei Methoden, die einen größeren Support benötigen (z.b. Interpolation höherer Ordnung) muss der Überlapp entsprechend größer gewählt werden. 43

44 Bricking Limitierender Faktor beim Bricking ist die Geschwindigkeit mit der Daten an die Graphikkarte gesandt werden können. Gerade bei Interaktionen muss das Volumen immer wieder gesandt werden, was zu einer starken Verlangsamung führen kann. Um diese Problem zu umgehen, werden häufig während der Interaktion Volumina mit einer niedriger Auflösung gerendert und erst nach Beendigung der Interaktion wieder auf die volle Auflösung gewechselt. 44

45 Multi-Resolution Volume Rendering Bei vielen Darstellung werden oft nicht die ganzen Daten des Volumens benötigt, da z.b. der Betrachter nur einen kleinen Ausschnitt in voller Auflösung ansieht, oder aber bestimmte Bereiche sehr homogene Daten aufweisen. Dies kann genutzt werden um weniger Daten abzuspeichern. Aufgrund der Voxelstruktur der meisten Daten sind Octrees sehr beliebt. Beim Octree wird das Volumen rekursiv in 8 gleich große Würfel unterteilt. In den Knoten wird jeweils das begrenzte Teilvolumen in einer (niedrigeren) Auflösung gespeichert. Für die Konstruktion von Octrees kann entweder ein top-down Ansatz (das Volumen wird solange unterteilt, bis z.b. das Untervolumen homogene Werte enthält), oder bottom-up Ansatz (8 Teilwürfel werden zu einem größeren zusammengefügt, bis sie zu verschieden sind) angewendet werden. Beim Rendering werden dann nur die benötigten Teile an die Graphikkarte gesandt. Kriterien sind z.b.: Abstand zum Betrachter Detailgrad des Untervolumens Gewünschte Auflösung 45

46 Datenkompression Ähnlich zu Bildern können auch Kompressionsverfahren eingesetzt werden um die Datengröße zu reduzieren. Gängige Ansätze sind: Wavelet Komprimierung Packing Ansätze Vektorquantisierung Probleme werden bei diesen Ansätzen teils dadurch verursacht, dass die Daten bereits mit der CPU wieder entpackt werden müssen, da die Graphikkarte mit komprimierten Daten nicht arbeiten kann. (Es gibt bereits Texturkompression in OpenGL, wodurch jedoch starke Artefakte verursacht werden). 46

47 Literatur Randima Fernando, GPU Gems: Programming Techniques, Tips and Tricks for RealTime Graphics, Addison-Wesley Professional (April 1, 2004) K. Engel, M. Hadwiger, J. Kniss, A. Lefohn, C. Salama, D. Weiskopf. Real-time Volume Graphics. Course Notes for Course #28 at SIGGRAPH ( P. Lacroute and M. Levoy. Fast Volume Rendering Using a Shear-Warp Factorization of the Viewing Transform. In ACM Computer Graphics (SIGGRAPH '94 Proceedings), pages , M.Levoy. Display of surfaces from volume data. IEEE Computer Graphics and Applications, 8(3):29-37, N. Max. Optical models for direct volume rendering. IEEE Transactions on Visualization and Computer Graphics, 1(2):99-108, I. Viola, M. C. Sousa, D. Ebert, B. Preim, B. Gooch, B. Andrews, C. Tietjen. Eurographics Tutorial on Illustrative Visualization for Science and Medicine, ( 47