GPU Beschleunigung für die Lösung des inversen Problems bei der Kleinwinkelstreuung. Hermann Hartmann Institut für Molekulare Biophysik

Transkript

1 GPU Beschleunigung für die Lösung des inversen Problems bei der Kleinwinkelstreuung Hermann Hartmann Institut für Molekulare Biophysik

2 Messmethode SAXS: Small-Angle X-Ray Scattering (Röntgenstrahlung) SANS: Small-Angle Neutron Scattering (Neutronen) Monochromatische Röntgen- oder Neutronenquelle Experimenteller Aufbau Protein in Lösung ( 1-50 mg/ml ) Molekülmodell θ q < 6 ο Detektor Gestreute Intensität I(q) Messkurve I Exp (Messdaten) I Mod (berechnet) Betrag des Streuvektors q [1/Å] σ Vorteile: Probe in Lösung Zeitauflösung Nachteil: Auflösung 1-dimensional und schlechter als 10 Å

3 Berechnung der gestreuten Intensität aus einem Molekülmodell Die Abstandsverteilungsfunktion p(r) I(q) Zahl der Abstände p(r) Abstandsverteilungsfunktion p(r) D Streuvektor q [1/Å] Abstand r zwischen zwei Streuzentren [Å] (1) I(q) = 4π D 0 sin(qr) p(r) dr qr p(r) = 0 1 (qr)i(q) sin(qr)dq π Berechnen der N-Teilchen Abstandsverteilungsfunktion p(r)aus Molekülmodell Mit (1) => I(q) p(r) = r γ ( r) ; γ ( r ): Radial gemittelte Autokorrelationsfunktion der Elektronendichte ρ r r 1 4π r r γ ( r) = ρ( ) ρ( ) = ρ ρ dω π ( ) ( ) 4 0 Besser: Abstände zählen

4 Berechnung der Abstandsverteilungsfuntion p(r) =ρ j ΔV ρ j ΔV ρ k r k r jk r jk = r jk r r j ρ j Gelb: Elektronendichte Kugeln: Atome ΔV N Voxel => Rechenaufwand: O(N²) => N verkleinern!

5 Berechnung der Abstandsverteilungsfunktion Kugel f k r jk f k r k r jk f j r j r k Kugel f j r j N Atome mit Elektronenzahl f j (Atomformfaktor) N Streukugeln mit Elektronenzahl f Kugel j = fi 3 ( f Kugel (q) = (Zahl der Elektronen ) ( sin (qr) qr cos (qr) ) 3 ) (qr)

6 Näherung für Elektronendichte (1-dimensional) Elektronendichte Atome Faltung mit Auflösungsfunktion Elektronendichte

7 Rekonstruktion der 3D-Struktur Rigid Body Modelling Voraussetzung: Molekül ist aus mehreren unabhängen Teilen ( rigid bodies ) aufgebaut und die 3D-Strukur der Bestandteile ist bekannt. χ M 1 I = M i= 1 Messung i I σ i Modell i + N = min N: Nebenbedingungen y z x Verfahren: - Brute force -Simulated annealing (Monte Carlo) -Genetische Algoritmen Aufwand für eine Berechnung: P(r): O(N ) ( Sekunden) I(q): (Messpunkte) (p(r)-intervalle) 10 5 ( Millisekunden)

8 Rekonstruktion der 3D-Struktur Moleküldarstellung durch viele Streuzentren und simulated annealing (MCSAS) χ M 1 I = M i= 1 Messung i I σ i Modell i + N = min N: Nebenbedingungen N Kugeln in hexagonal dichtester Kugelpackung Zufällig ausgwähltes Streuzentrum wird aus-oder angeschaltet N statistisch verteilte Punktstreuer Aufwand für einen MC-Schritt: P(r): O(N) I(q)=(M Messpunkte) (K p(r)-intervalle) 10 5 Wahrscheinlichkeit für Akzeptanz: p χ n min 1,exp + 1 A = χn T T: (Tempeartur) Parameter Zu Beginn groß, am Ende der Simulation klein E n+ 1 En p A = min 1,exp kbt Metropolis et al. (1953) J.Chem.Phys.1 Nebenbedingungen: Volumen (Molekularmasse), Konnektivität, D max

9 Rekonstruktion der 3D-Struktur Startmodell (0-Modell) Endmodell ~100 Endmodelle Räumlicher Fit der Endmodelle und Mittelwertbildung

10 4x6-meres HC aus Pandinus imperator MCSAS Elektronenmikroskopie

11 Berechnung der Abstandsverteilungsfunktion auf der GPU (CUDA) Erzeugen eines Histogramms aus allen Abständen ( mit f j f k gewichtet)! Histogram56 aus den CUDA code examples : GPU 3x schneller als eine CPU! Aus linearem Feld von 8-bit Integer Werten wird Histogramm mit 56 Intervallen erzeugt Histogram56 P(r)-Histogramm W0 W1 W W3 W4 W5 W6 W7. X0 Y0 Z0 F0 X1 Y1 Z1 F1 X Y Z F 3-bit Integer 3-bit Integer 4x3-bit Float 4x3-bit Float 4x3-bit Float Thread 0 Thread 1 Thread 0 Thread 1 W0 W1 W W3. Histogramm. Histogramm

12 Berechnung der Abstandsverteilungsfunktion auf der GPU (CUDA) 1. Versuch: 3x schneller als auf einer CPU! Probleme: 1) Zugriffskonflikte beim Lesen der Atom-Daten ) Zugriffskonflikte beim Schreiben in das Histogramm 3a) Histogramm aus 3-bit Integer Werten => Überlauf bei vielen Atomen und wenig Histogramm Intervallen 3b) Histogramm aus 3-bit Integer Werten aber f j f k i.a. reelle Zahl, oder große Integer Zahl => siehe 3a) Lösungen : 1)Atomdaten als float4 (CUDA Vektorformat), d.h x,y,z,f werden in einem Speicherzugriff gelesen. Atomdaten als texture ; Dieser Bereich des globalen Speichers wird gecached. ) Optimierung aus hist56 übernommen; 6 Sub-Histogramme im shared memory (sehr schnell, aber nur 16KB) die am Schluss aufaddiert werden; Konflikte nur innerhalb eines warps aus 3 threads; Zahl der Histogrammintervalle =640 ( < 16KB/(6 4Byte) ); GeForce 8800 keine hardware atomic Funktionen für shared memory, also in Software implemntiert; GeForce xx und 3xx deutlich schneller? 3) Zur Zeit nicht lösbar; aber neue Nvidia 300-Serie: 48 KB shared memory?

13 Berechnung der N-Teilchen Abstandsverteilungsfunktion p(r) Berechnung (Histogramm) Zahl der Atome CPUZeit [ms] 1, GPU Zeit [ms] 1,3 Beschleunigung CPU-Histogramm: Gleitkomma, doppelte Genauigkeit (64 Bit) GPU-Histogramm: Integer (3-Bit) Intel CoreDuo, 3GHz 3 GeForce 8800 GT Rigid Body Modelling 1.N-Teilchen Abstandsverteilungsfunktion (N Abstände): ms.sinus-transformation: <0.1 ms => 15x schneller auf der GPU y z x

14 Berechnung der 1-Teilchen Abstandsverteilungsfunktion p(r) Berechnung (Histogramm) Zahl der Atome CPU Zeit [ms]* GPU Zeit [ms]* Beschleunigung Limitierung für die GPU: Kopieren CPU-Speicher Graphikkartenspeicher

15 Berechnen der gestreuten Intensität Diskrete Sinustransformation q-werte/ r-werte CPU Zeit [ms] GPU Zeit [ms] Beschleunigung 500/ typisch Fast Fourier Transformation (FFT) q-werte/ r-werte CPUZeit [ms] 1 GPU Zeit [ms] Beschleunigung 500/ / / / / FFTW3 Bibliothek, CUFFT Bibliothek?

16 Zusammenfassung Rigid Body Modelling: Beschleunigung um Faktor 15 auf GPU Mehr mit Hardware atomic add? MCSAS: Bis jetzt keine Beschleunigung wenn nur Teile des Programms in CUDA programmiert; zukünftige GPU-Generationen, weniger Latenzzeit für das Kopieren CPU-Speicher GPU-Speicher?