Entwicklung eines hardwarebeschleunigten direkten Volumenvisualisierers für große Datensätze

Transkript

1 Entwicklung eines hardwarebeschleunigten direkten Volumenvisualisierers für große Datensätze Joachim Staib Nach: GigaVoxels: Ray-Guided Streaming for Efficient and Detailed Voxel Rendering Cyrill Crassin, Fabrice Neyret, Sylvain Lefebre, Elmar Eisemann Technische Universität Dresden Fakultät Informatik Institut für Software- und Multimediatechnik Professur für Computergraphik und Visualisierung

2 Ausgangsdaten

3 Bildschirmfotos Gradientendarstellung des Visible-Human

4 Bildschirmfotos Visible-Man in Falschfarben

5 Bildschirmfotos Bonsai-Datensatz mit Beleuchtung und Iso-Rendering

6 Bildschirmfotos Beetle-Datensatz mit Iso-Rendering

7 Inhalt Volumendarstellung durch Raycasting Grundlagen, Auswertung eines Beleuchtungsmodelles, Iso-Rendering Optimierungen Richtungsgenerierung, Auflösungspyramide, Early-Ray-Termination Out-Of-Core-Verfahren Verwaltung von Pools, Protokollierung von Datenblöcken & Auswertung Anwendung und Bewertung des Verfahrens Diskussion, Schwachstellen, Verbesserungsvorschläge, Ausblick

8 Volumendarstellung durch Raycasting - Grundlagen Volumendatensatz: gleichmäßig in kubischem Bereich abgetastetes 3D-Feld Voxel: ein skalarer Abtastwert im Volumendatensatz Darstellung als konstanter Kubus oder Exakter Messwert an einem Punkt, Interpolation in Zwischenräumen Ziel: (Perspektivische) Abbildung des 3D-Datensatzes auf 2D Leinwand Seite 8

9 Volumendarstellung durch Raycasting - Verfahren Illustration im 2D: Seite 9

10 Volumendarstellung durch Raycasting - Verfahren Illustration im 2D: Festlegen eines Augpunktes mit Definiertem Leinwandabstand Seite 10

11 Volumendarstellung durch Raycasting - Verfahren Illustration im 2D: Konstruktion von Strahl von Augpunkt durch Leinwandpixel Seite 11

12 Volumendarstellung durch Raycasting - Verfahren Illustration im 2D: Berechnen von Eintritts- & Austrittsposition im Volumen Seite 12

13 Volumendarstellung durch Raycasting - Verfahren Illustration im 2D: Gleichmäßiges Abtasten des Volumens auf Strahl Seite 13

14 Volumendarstellung durch Raycasting - Verfahren Illustration im 2D: Gleicher Vorgang unabhängig für alle Leinwandpixel GPU geeignete Rechenplattform Seite 14

15 Volumendarstellung durch Raycasting - Modelle Beleuchtungsmodell: Voxel als lichtemittierende und absorbierende Partikel Voxel auf Farbe und Opazität mappen Abtastwerte nacheinander schichtenweise akkumulieren Seite 15

16 Volumendarstellung durch Raycasting - Modelle Isorendering: Suchen eines bestimmten Voxelwertes um opake Fläche zu generieren Auf Fläche lokale Beleuchtung (z.b. Blinn-Phong) Seite 16

17 Optimierungen Probleme und Lösungen Viele Bereiche des Datensatzes sind leer. Lösung: Unterteilung des Volumens in Blöcke (Bricks) gleicher Größe! Homogene Blöcke werden nicht mitgespeichert Erfordert Indexstruktur Seite 17

18 Optimierungen Probleme und Lösungen Da pro Pixel nur ein Strahl geschickt wird kommt es zu Unterabtastung Lösung: Mipmapping nutzen Konstruktion einer Auflösungspyramide Aus Sichtstrahl wird Sichtkegel Seite 18

19 Optimierungen Aufbau einer Auflösungspyramide Je Bricks einer Auflösungsstufe erzeugen Brick niedrigerer Auflösung Seite 19

20 Optimierungen Aufbau einer Auflösungspyramide Je Bricks einer Auflösungsstufe erzeugen Brick niedrigerer Auflösung Seite 20

21 Optimierungen Aufbau einer Auflösungspyramide Je Bricks einer Auflösungsstufe erzeugen Brick niedrigerer Auflösung Seite 21

22 Optimierungen Aufbau einer Auflösungspyramide Je Bricks einer Auflösungsstufe erzeugen Brick niedrigerer Auflösung Seite 22

23 Optimierungen Aufbau einer Auflösungspyramide Je Bricks einer Auflösungsstufe erzeugen Brick niedrigerer Auflösung Seite 23

24 Optimierungen Aufbau einer Auflösungspyramide Je Bricks einer Auflösungsstufe erzeugen Brick niedrigerer Auflösung Seite 24

25 Optimierungen Aufbau einer Auflösungspyramide Je Bricks einer Auflösungsstufe erzeugen Brick niedrigerer Auflösung Seite 25

26 Optimierungen Aufbau einer Auflösungspyramide Je Bricks einer Auflösungsstufe erzeugen Brick niedrigerer Auflösung Zu beachten bei der Interpolation: Voxel am Rand aus Nachbarn benutzen Für trilineare Interpolation beim Rendern Polsterung einführen Seite 26

27 Optimierungen Aufbau einer Auflösungspyramide Je Bricks einer Auflösungsstufe erzeugen Brick niedrigerer Auflösung Zu beachten bei der Interpolation: Voxel am Rand aus Nachbarn benutzen Für trilineare Interpolation beim Rendern Polsterung einführen Seite 27

28 Optimierungen Aufbau einer Auflösungspyramide Je Bricks einer Auflösungsstufe erzeugen Brick niedrigerer Auflösung Zu beachten bei der Interpolation: Voxel am Rand aus Nachbarn benutzen Für trilineare Interpolation beim Rendern Polsterung einführen Seite 28

29 Optimierungen Wahl der Auflösungsstufe Auflösungsstufe wird verwendet, wenn 1 Voxel auf 1 Pixel projiziert Abhängig von: Betrachterposition Perspektivischer Projektion Ausdehnung der Leinwand Ausdehnung des Volumens Indexstruktur muss Informationen über Auflösungsstufe liefern können Seite 29

30 Optimierungen Probleme und Lösungen Fähigkeiten der Grafikkarte werden nicht ausgeschöpft Lösung: Generierung von Strahleninformationen durch Rasterisierer (1, 1) (0, 1) (1, 0) (0, 0) Seite 30

31 Optimierungen Generierung von Strahlinformationen - = Seite 31

32 Optimierungen Probleme und Lösungen Strahlen dringen bei dichtem Volumendatensatz nicht durch das komplette Volumen Lösung: Strahl abbrechen, wenn Zielfarbe ausreichend opak Seite 32

33 Zusammenfassung des Algorithmus GPU Daten & Index ablegen Strahleninformati onen erzeugen Raycasting CPU Datensatz und Indexstruktur initialisieren Hüllgeometrie konstruieren Daten HDD Seite 33

34 Out-of-Core-Verfahren Speicherbedarf des Volumendatensatzes übersteigt den der Grafikkarte um ein Vielfaches Lösung: Auf GPU befinden sich nur Bricks, die für aktuelles Bild gebraucht werden Dafür Unterteilung der Bricks in aktiv und inaktiv Brickspeicher wird zu LRU-Cache: Brick-Pool Seite 34

35 Zusammenfassung des Algorithmus GPU Daten & Index ablegen Strahleninformati onen erzeugen Raycasting CPU Datensatz und Indexstruktur initialisieren Hüllgeometrie konstruieren Daten HDD Seite 35

36 Zusammenfassung des Algorithmus GPU Strahleninformati onen erzeugen Raycasting CPU Hüllgeometrie konstruieren HDD Seite 36

37 Out-of-Core-Verfahren Indexstruktur Indexstruktur wird auf CPU verwaltet und mit GPU synchronisiert Speicherverbrauch der GPU-Version darf nur von Größe des Brickpools abhängig sein Keine räumliche Repräsentation mit Indizes auf Bricks möglich Lösung: Baumstruktur, die aktiven Teil des -Baumes enthält Knoten des Baumes werden bei Bedarf nachgeladen Nichtbenötigte Knoten auf der GPU werden verdrängt GPU-Speicher für Knoten ebenfalls LRU-Cache: Knotenpool Seite 37

38 Out-of-Core-Verfahren Indexstruktur Seite 38

39 Out-of-Core-Verfahren Indexstruktur Struktur auf der CPU: Als Feld, über Position von Kindblöcken indizierbar Als Baumstruktur mit Zeigern zu Kindelementen und Elternelement Als Baumstruktur, die -Baum widerspiegelt Als Liste, geordnet nach letzter Verwendung eines Knotens Als Liste, geordnet nach letzter Verwendung eines Bricks Seite 39

40 Zusammenfassung des Algorithmus GPU Strahleninformati onen erzeugen Raycasting CPU Hüllgeometrie konstruieren HDD Seite 40

41 Zusammenfassung des Algorithmus GPU Strahleninformati onen erzeugen Raycasting Traversierte & benötigte Daten Protokollieren CPU Hüllgeometrie konstruieren HDD Seite 41

42 Out-of-Core-Verfahren Protokollierung Einführung von Protokollpuffern Format: RGBA-Puffer, enthält RGB: Position des letzten traversierten Knotenblocks A: Zustand des Knotenblocks Seite 42

43 Out-of-Core-Verfahren Probleme der Protokollierung Anzahl möglicher Protokollierungen stark begrenzt Benachbarte Strahlen protokollieren Ähnliches Bei jeder Iteration müssen alle Protokollpuffer in Hauptspeicher kopiert und bearbeitet werden Insgesamt: Unzureichendes, extrem redundantes und speicherintensives Protokoll Seite 43

44 Out-of-Core-Verfahren Probleme der Protokollierung Lösungen: Zeitliche und Örtliche Kohärenz ausnutzen Vermeidung der Redundanz durch Kompaktierung aller Protokollpuffer zu einem gemeinsamen Puffer Verwendetes Verfahren: Histogram-Pyramids Seite 44

45 Zusammenfassung des Algorithmus GPU Strahleninformati onen erzeugen Raycasting Traversierte & benötigte Daten Protokollieren CPU Hüllgeometrie konstruieren HDD Seite 45

46 Zusammenfassung des Algorithmus GPU Strahleninformati onen erzeugen Raycasting Traversierte & benötigte Daten Protokollieren Kompaktieren CPU Hüllgeometrie konstruieren HDD Seite 46

47 Zusammenfassung des Algorithmus GPU Strahleninformati onen erzeugen Raycasting Traversierte & benötigte Daten Protokollieren Kompaktieren Traversierte Knoten Fehlende Blöcke/Knoten CPU Hüllgeometrie konstruieren Herunterladen HDD Seite 47

48 Zusammenfassung des Algorithmus GPU Strahleninformati onen erzeugen Raycasting Traversierte & benötigte Daten Protokollieren Kompaktieren Traversierte Knoten Fehlende Blöcke/Knoten CPU Hüllgeometrie konstruieren Herunterladen Blöcke & Knoten nachladen Index Daten HDD Seite 48

49 Zusammenfassung des Algorithmus GPU Strahleninformati onen erzeugen Raycasting Traversierte & benötigte Daten Protokollieren Kompaktieren Traversierte Knoten Fehlende Blöcke/Knoten CPU Hüllgeometrie konstruieren Herunterladen Blöcke & Knoten nachladen Index Daten HDD Seite 49

50 Anwendung und Bewertung Aufbereitung des Visible-Man-Datensatzes 1866 Bilder im PNG-Format zu je 2048 x 1260 Pixeln Seite 50

51 Anwendung und Bewertung Aufbereitung des Visible-Man-Datensatzes 1866 Bilder im PNG-Format zu je 2048 x 1260 Pixeln 1. Blaue Gelatine entfernt Seite 51

52 Anwendung und Bewertung Aufbereitung des Visible-Man-Datensatzes 1866 Bilder im PNG-Format zu je 2048 x 1260 Pixeln 1. Blaue Gelatine entfernt 2. Registriert 3. Zugeschnitten 4. Farbe entfernt Seite 52

53 Messung - Animation Seite 53

54 Messungen Einzeldurchgang Seite 54

55 Messungen Variation der Pool-Größen Seite 55

56 Messungen Variation des Teilungsfaktors Seite 56

57 Anwendung und Bewertung - Vorteile Benötigte Blöcke werden im Renderdurchgang ermittelt Durch Indexstruktur, die wie Brickstruktur als Cache abgelegt, können beliebig große Volumendatensätze geladen werden Kriterium zur Wahl der Auflösungsstufe einfach zu berechnen und liefert ansprechendes Ergebnis Indexstruktur stark erweiterbar (mit weiteren Block-Metadaten) Seite 57

58 Anwendung und Bewertung - Nachteile Volumendatensatz muss Informationen auf wenige Regionen konzentrieren Veränderung zwischen zwei Bildern muss gering sein Datensätze müssen vorberechnet werden (z.b. Auflösungspyramide) Unter Umständen schlechte Ausnutzung der parallelen Rechenfähigkeiten Seite 58

59 Anwendung und Bewertung - Verbesserungen Datenreduktion durch manuelle Interpolation Erweiterung der LRU-Strategie Prüfen, inwieweit Unterteilung des Renderns in Blöcke Parallelität verbessert Verbesserung des Protokolls Seite 59

60 Anhang Histogram Pyramids Generierung von Pyramiden Seite 60

61 Anhang Histogram Pyramids Finden des 6. Wertes Seite 61

62 Anhang Wahl der Auflösungsstufe Seite 62

63 Anhang Wahl der Auflösungsstufe Seite 63

64 Anhang Wahl der Auflösungsstufe Z-Koordinate vom Punkt ist jedoch noch nicht in Weltkoordinaten: Zusammenfassen, Ausklammern und Ersetzen durch Terme der Projektionsmatrix: Linker Term von p unabhängig, kann daher einmalig vorberechnet werden Seite 64