Beispiel Parallelisierung 2D Laplace. Lagrange Formulierung/Hyperelastisches Material. Finite Differenzen Diskretisierung

Transkript

1 Simulation von physikalischen Feldern im menschlichen Körper Implementierung Gliederung Gliederung Wiederholung: Biomechanik III Statische elastomechanische Probleme Finite Elemente Diskretisierung Finite Differenzen Diskretisierung Lagrange Formulierung/Hyperelastisches Material Implementierung Motivation Rechnerarchitektur Parallelisierung Interprozess-Kommunikation Speicherarchitektur Beispiel Parallelisierung 2D Laplace Zusammenfassung Seite 2

2 Motivation Motivation Einbringen Mathematische Beschreibung des Feldproblems Aufstellen der Elementmatrix Aufstellen/Lösen von Gleichungssystemen (Systemmatrix) Bestimmung der Diskretisierung des Feldgebiets Ansatzfunktion für Elemente Feldfunktion u(x, y, z) Seite 3 Motivation Motivation Lineares Gleichungssystem mit einer hohen Zahl von Unbekannten Erforderlich: Effiziente Verfahren von Lösung der Gleichungssysteme Effiziente Implementierung der Verfahren Hohe Rechenleistung und Speicherausstattung Rechner- und Speicherarchitektur Seite 4 Kommunikation Parallelisierung von Randbedingungen (Differentialgleichung) Interprozeß-

3 Rechnerarchitekturen Rechnerarchitekturen Multicomputer-Architektur Heterogene Prozessoren (Prozessor-)lokaler Speicher Compute Server Workstation Graphics Server Kommunikation via Netzwerk Netzwerk Multiprozessor-Architektur Homogene Prozessoren Prozessor 1 Prozessor 2 I/O Gemeinsamer oder/und verteilter Speicher Bus Kommunikation via Bus Speicher Speicher I/O Seite 5 Klassifikation von Rechnerarchitekturen nach Flynn (1972) Klassifikation von Rechnerarchitekturen nach Flynn (1972) SISD Single Instruction Single Data Prozessor 1 (Zuse Z3, PCs / Workstations z. B. auf Basis von Intel 80x86 / Pentium und Mips R3000-R14000) a* = b Prozessor 1 Prozessor 2 Prozessor 3 SIMD Single Instruction Multiple Data (Vektorrechner, z. B. Connection machine, Cray 1/2/XMP) a 1* = b1 a 2* = b2 a 3* = b3 MIMD Multiple Instruction Multiple Data (Transputer z. B. auf Basis von T400/T800) Prozessor 1 Prozessor 2 Prozessor 3 a 1+ = b1 gosub label a 3 = b3 MISD Multiple Instruction Single Data (nur theoretischer Ansatz) Seite 6

4 Typ der Parallelisierung Typ der Parallelisierung Job level Mehrere Programme werden gleichzeitig ausgeführt Betriebssystem (Scheduler) steuert Ausführung Benutzer gibt Prioritäten für Programme vor Programm entspricht Prozess Program level Programmteile werden in parallelen Prozessen ausgeführt Compiler/Interpreter/Benutzer bestimmt Ausführung Benutzer gibt Prioritäten für Prozesse vor Instruction level Befehle werden parallel ausgeführt Compiler/Interpreter/Benutzer bestimmt Ausführung Arithmetic and bit level Befehl wird parallel ausgeführt Prozessor steuert Ausführung Seite 7 Job Level Parallelisierung/Scheduler Job Level Parallelisierung/Scheduler Betriebssystem teilt Prozessen P1 Zeit und Prozessoren zu t Zuteilung ist Prioritäten gesteuert P1: Prozess mit hoher Priorität P2, P3: Prozess mit mittlerer Priorität P4, P0: Prozess mit niedriger Priorität P2 P0 Prozessor 1 Prozessor 2 P4 P0 P1 P2 P3 P4 P5 P3 Seite 8

5 Program Level Parallelisierung Program Level Parallelisierung Prozessor 1 Prozessor 2 Prozessor 3 Prozessor 4 Init Paralleler Programmteil Paralleler Programmteil Stop Seite 9 Program Level Parallelisierung: Beispiel OpenMP Program Level Parallelisierung: Beispiel OpenMP Serielle Ausführung der Vektoraddition r r r a b c Dimension des Vektors n for(i=0; i<n; i++) a[i =b[i]+c[i] Parallele Ausführung der Vektoraddition / Benutzergesteuerte Parallelisierung #pragma shared(a,b,c,n) local(i) pfor for(i=0; i<n; i++) a[i =b[i]+c[i] Seite 10

6 Job Level Parallelisierung: Beispiel MPI Job Level Parallelisierung: Beispiel MPI Funktionen von MPI (Message Passing Interface) MPI_Init(): MPI initialisieren MPI_Finalize(): MPI beenden MPI_Comm_rank(); Job-Nummer holen MPI_Recv(): Nachricht lesen MPI_Ssend(): Nachricht senden Seite 11 Interprozess-Kommunikation (IPC): Mechanismen Interprozess-Kommunikation (IPC): Mechanismen Shared Memory Prozesse können direkt im Speicher adressieren und auf Daten zugreifen (möglich u. a. bei Multiprozessor-Architektur) Message Queues Prozessoren kommunizieren durch Senden und Empfangen von Nachrichten (möglich u. a. bei Multicomputer-Architektur) Semaphore Sperren und Freigeben von Programmabschnitten (möglich u. a. bei Multiprozessor-Architektur) IPC-Mechanismen sind Bestandteil des Betriebssystems Seite 12

7 Interprozess-Kommunikation: Shared Memory Interprozess-Kommunikation: Shared Memory Operatoren Shared Memory Anlegen Freigeben Anhängen Bus Abhängen Prozessor 1 Prozessor 2 Scheduler Prozess 1 Prozess 2 Prozess 3 Seite 13 Interprozess-Kommunikation: Message Queues Interprozess-Kommunikation: Message Queues Operatoren Anlegen Prozessor 1 Prozessor 2 Freigeben Lesen Schreiben Scheduler Prozess 1 Prozess 2 Prozess 3 Message Queue 1 Message Queue 2 Seite 14

8 Interprozess-Kommunikation: Semaphore Interprozess-Kommunikation: Semaphore Operatoren Anlegen Prozessor 1 Prozessor 2 Freigeben Sperren Entsperren Scheduler Prozess 1 Prozess 2 Prozess 3 Semaphor 1 Semaphor 2 Seite 15 Speicherarchitektur: Gesamt-/Blockgröße Speicherarchitektur: Gesamt-/Blockgröße Blockgröße ~2-8 Byte ~8-64 Byte ~8-64 Byte ~ Byte Register First Level Cache Secondary Main Swap Cache Memory (Hard disk) CPU ~ Byte ~8-64 kb ~32 kb-8 MB ~1 MB-1 GB ~1 GB-10 GB Größe Seite 16

9 Speicherarchitektur: Zugriffszeiten/Transferrate Speicherarchitektur: Zugriffszeiten/Transferrate Transferrate [byte/s] Register First Level Cache Secondary Cache Main Memory Swap (Hard disk) CPU Zugriffdauer [ms] Seite 17 Speicherarchitektur: Kosten/Technologie Speicherarchitektur: Kosten/Technologie ECL/CMOS SRAM DRAM magnetic Register First Level Cache Secondary Cache Main Memory Swap (Hard disk) CPU Kosten [Euro] Seite 18

10 Beispiel: Parallelisierung 2D Laplace Gleichung Beispiel: Parallelisierung 2D Laplace Gleichung Lösung mit Gauß-Seidel-Verfahren: 01 Laplace: 0 Finite Differenzen Diskretisierung m h: m h 2 h Gitterabstand m 0 0m Nachbarschaftsbeziehung Seite 19 Beispiel: Iterationsformel, Feldgebiet und Programm Beispiel: Iterationsformel, Feldgebiet und Programm m 10 0m 4 Sequentielles Programm in C for(y=0; y<ymax; y++) for(x=0; x<xmax; x++) { Sequentielle Speicherung der Werte // Iterationsformel } 2D Array 1D Array Anzahl Punkte in x-richtung: xmax Anzahl Punkte in y-richtung: ymax Seite 20

11 Beispiel: Programmvarianten Beispiel: Programmvarianten Sequentielles Programm mit Red-Black-Sorting for(sy=0; sy<2; sy++) for(sx=0; sx<2; sx++) for(y=sy; y<ymax; y+=2) for(x=sx; x<xmax; x+=2) { // Iterationsformel } Paralleles Programm mit Red-Black-Sorting #pragma shared(xmax,ymax) local(sx,sy,x,y) pfor for(sy=0; sy<2; sy++) for(sx=0; sx<2; sx++) for(y=sy; y<ymax; y+=2) for(x=sx; x<xmax; x+=2) Probleme: Anzahl Prozessoren Cache-Kollisionen Cache-Blocksize { // Iterationsformel } Seite 21 Beispiel: Programmvarianten Beispiel: Programmvarianten Paralleles Programm mit Red-Black-Sorting for(sy=0; sy<2; sy++) for(sx=0; sx<2; sx++) #pragma shared(xmax,ymax,sx,xy) local(x,y) pfor for(y=sy; y<ymax; y+=2) Probleme Cache-Kollisionen Cache-Blocksize for(x=sx; x<xmax; x+=2) { // Iterationsformel } Paralleles Programm mit Red-Black-Sorting #pragma shared(xmax,ymax) local(sx,sy,x,y) pfor for(y=0; y<ymax; y+=2) for(sy=0; sy<2; sy++) for(sx=0; sx<2; sx++) for(x=sx; x<xmax; x+=2) Effizient, aber reduzierte Glättungseigenschaften { // Iterationsformel } Seite 22

12 Zusätzliche Informationen Zusätzliche Informationen Web-basierter Trainingskurs: Recipes for Applying Supercomputers Rüdiger Weiss, Rechenzentrum rz66/vorlesung/ Vorlesungsunterlagen: Parallelisierungstechniken Rechenzentrum MPI Offizielle Open MP website: Offizielle MPI website: Seite 23 Zusammenfassung Zusammenfassung Wiederholung: Biomechanik III Statische elastomechanische Probleme Finite Elemente Diskretisierung Finite Differenzen Diskretisierung Lagrange Formulierung/Hyperelastisches Material Implementierung Motivation Rechnerarchitektur Parallelisierung Interprozess-Kommunikation Speicherarchitektur Beispiel Parallelisierung 2D Laplace Seite 24