MPI Prozessgruppen, Topologien, kollektive Kommunikation

Transkript

1 MPI Prozessgruppen, Topologien, kollektive Kommunikation Parallelrechner Sommersemester 2004

2 Inhalt Prozessgruppen und der Communicator Kollektive Kommunikation Prozess Topologien

3 Punkt zu Punkt Kommunikation Datentransfer mit "klassischer" Punkt zu Punkt Semantik MPI_Send(), MPI_Bsend(), MPI_Ssend(),... MPI_Recv() Addressierung unter Angabe von "Ranks" Blockierend/Nicht blockierend Synchronisierend/Nicht synchronisierend

4 Prozessgruppen MPI unterstützt Prozessgruppen Prozesse können in beliebigen Gruppen zusammengefasst werden Der Rank eines Prozesses ist immer relativ zu einer speziellen Gruppe Bisher haben wir nur die vordefinierte Gruppe aller Prozesse benutzt

5 Communicator und Prozessgruppen Ein Communicator und eine Gruppe sind eng verwandt Aber: MPI Communicator und MPI Gruppen sind unterschiedliche Konstrukte Ein Communicator ist mit genau einer Gruppe assoziiert Aber: Eine Gruppe kann mit mehreren Communicators assoziiert sein

6 Fest vorgegebene Gruppen/Communicator Gruppen sind zunächst einmal abstrakt Zu Anfang gibt es zwei Communicators MPI_COMM_WORLD MPI_COMM_SELF Die initialen Prozess Gruppen sind implizit durch die Communicators gegeben Die Funktion MPI_Comm_group(MPI_Comm, MPI_Group*) wird benutzt um eine Gruppe zu extrahieren.

7 Neue Gruppen bilden Neue Gruppen werden aus existierenden erzeugt MPI_Group_union(MPI_Group, MPI_Group, MPI_Group*) Auch als Intersection und Difference Gruppen haben Ähnlichkeiten zu Mengen Daher gibt es "mengenähnliche" Operationen Aber: Die Reihenfolge der Prozesse spielt trotzdem eine Rolle

8 Gruppeneigenschaften Schlussfolgerung: Größe und Rank sind Gruppeneigenschaften MPI_Group_size(MPI_Group group, int *size) MPI_Group_rank(MPI_Group group, int *rank) Die anderen Funktionen sind "Abkürzungen" Gruppen sind lokal definiert d.h. Operationen auf Gruppen sind lokal

9 Communicator Communicator partitionieren den Kommunikationsraum Ein Communicator wird auf einer Gruppe definiert Die Erzeugung eines Communicator ist global d.h. Kommunikation findet statt Konträr zu Gruppen

10 Einen Communicator erzeugen MPI_Comm_create(MPI_Comm, MPI_Group, MPI_Comm *) erzeugt einen neuen Communicator Die Angabe eines bestehenden Communicator erleichtert die globale Kommunikation Die MPI Bibliothek wird kollektive Kommunikation nutzen können Ein gemeinsamer Zustand wird erzeugt MPI_Comm_split(MPI_Comm c, int col, int key, MPI_Comm *nc)

11 Eine Beispielapplikation MPI_Comm_split(MPI_COMM_WORLD, rank % n, 0, &new_comm); MPI_Comm_size(new_comm, &new_size); MPI_Comm_rank(new_comm, &new_rank); start = new_rank * (n / new_size); for (i = start; i == (start + (n / new_size)); i++) { } res[i] = 0; for (j = 0; j == n; j++) { res[i] = res[i] + (matrix[i][j] * matrix2[i][j]); } MPI_Bcast(...

12 Kollektive Kommunikation Innerhalb eines Communicator können alle Prozesse gleichzeitig Daten austauschen Verschiedene Semantiken des Datenaustauschs Entweder alle Prozesse oder paarweise Synchronisation ist zumeist implizit enthalten Jede kollektive Operation kann mit Hilfe von MPI_Send/MPI_Recv ausgedrückt werden

13 MPI Broadcast Die einfachste, kollektive Operation ist der Broadcast MPI_Bcast(void *buf, int cnt, MPI_Datatype type, int root, MPI_Comm c); Der "root" sendet an alle anderen Prozesse "buf" ist entweder Quell- oder Zielpuffer Diese Funktion ist (natürlich) global Alle Partizipanten müssen in der Angabe von "root" übereinstimmen

14 Gather und Scatter Gather bewerkstelligt das Einsammeln der Daten bei einem Prozess "root" MPI_Gather(void *sb, int scnt, MPI_Datatype stype, void *rb, int rcnt, MPI_Datatype rtype, int root, MPI_Comm comm); "root" empfängt, alle anderen senden Entsprechend sind manche Parameter bei einigen Prozessen irrelevant Scatter funktioniert analog

15 Die Vektor Varianten Es gibt auch Vektor Varianten MPI_Scatterv(...,int *rcnt, int *displ, MPI_Datatype rtype,...); MPI_Gatherv() ist analog definiert Auch hier müssen alle globalen Parameter konsistent sein Diese Varianten sind prinzipiell identisch mit den eben gezeigten Funktionen Beispiel: Übertragung von Dreiecksmatrizen

16 All-to-all Datenaustausch Die Semantik von MPI_Gather wird erweitert All-to-all empfängt Information von allen anderen Prozessen MPI_Alltoall(void *sb, int scnt, MPI_Datatype stype, void *rb, int rcnt, MPI_Datatype rtype, MPI_Comm c); Resultat ist einer transponierten Matrix sehr ähnlich Diese Funktion synchronisiert die Prozesse

17 Daten senden und berechnen Es gibt eine Möglichkeit das im selben Schritt Kommunikation und Berechnungen auszuführen Reduktion: Nicht alle Daten werden 1-zu-1 zum Empfänger transportiert MPI_Reduce(void *sb, void *rb, int cnt, MPI_Datatype type, MPI_Op op, int root, MPI_Comm c); Die Operation "op" verknüpft alle Daten Operationen: Arithmetik, Max/Min, Logik

18 Ein Beispiel für Reduktion... for (i = 0, j = 0; i < m; i += n, j++) vect[j] = matrix[i]; MPI_Reduce(vect, vect2, m, MPI_2INT, MPI_MINLOC, 0, my_c); if (my_rank == 0) { MPI_Bsend(matrix, n / num_proc, my_type, vect2[0].rank, 0, my_c); } else { MPI_Recv(...

19 Prozess Topologie Einem Communicator kann eine virtuelle Topologie zugewiesen werden Unabhängig von der Hardware MPI Topologien sind ausschließlich virtuell Sinn und Zweck von Topologien Sinnvolles Numerierungs Schema Anhaltspunkt für Optimierungen (Prozessverteilung) Lesbarer Code

20 Beschreibung einer Topologie Prinzipiell wird ein Graph erzeugt Knoten sind Prozesse (keine Prozessoren) Kanten sind Kommunikationswege Eine virtuelle Topologie ist nicht verbindlich Auch nicht verbundene Prozesse können Daten austauschen Eine Kante ist somit ein besonders wahrscheinlicher Kommunikationsweg MPI darf die Topologie auf die Hardware abbilden

21 Topologien erzeugen Topologien werden als allg. Graph beschrieben Aber: Es gibt eine Hilfestellung MPI_Cart_create(MPI_Comm oc, int ndims, int *dims, int *periods, int reorder, MPI_Comm *new_c); Kartesische Strukturen beliebiger Dimension können damit erzeugt werden Diese Funktion ist kollektiv Ein neuer Communicator wird erzeugt

22 Hilfe bei der Prozess Anordnung Wie sollte man die Prozesse in einem Grid/Torus anordnen? Normalerweise ist eine gleichmäßige Verteilung anzustreben MPI_Dims_create(int nnodes, int ndims, int *dims); Aufrufer darf die Nummer der Prozesse pro Dimension begrenzen Eine gleichmäßige Verteilung wird berechnet

23 Allgemeine Graphstrukturen Allgemeine Graphen müssen in einer anderen Notation beschrieben werden Weniger anschaulich als Grid Topologien MPI_Graph_create(MPI_Comm oc, int nnodes, int *index, int *edges, int reorder, MPI_Comm *nc); Es wird eine flache Kantenliste spezifiziert Anzahl der Knoten Akkumulierte Anzahl der Kanten Liste aller Kanten

24 Die Topologie erfragen Die Topologie eines Communicator kann natürlich erfragt werden MPI_Topo_test(MPI_Comm c, int *status) MPI_Cartdim_get(MPI_Comm c, int *ndims) MPI_Cart_get(MPI_Comm c, int max, int *dims, int *periods, int *coords) MPI_Cart_rank(MPI_Comm c, int *coords, int *rank) MPI_Card_coords(MPI_Comm c, int rank, int max, int *coords)