Matrix-Algorithmen Matrixmultiplikation Allgemeiner Matrizen

Transkript

1 Matrix-Algorithmen Matrixmultiplikation Allgemeiner Matrizen

2 Inhaltsverzeichnis Grundlagen 1 Grundlagen Matrizen Vektoren 2 Skalarprodukt und Saxpy Matrix-Vektor-Multiplikation Gaxpy Matrix-Matrix-Multiplikation 3 Bandmatrizen Dreiecksmatrizen Speichern Symmetrie

3 Matrizen Vektoren Grundlagen Matrixmultiplikation baut auf Hierarchie von Operationen der linearen Algebra auf solche Operationen sind: Skalarprodukt, Matrix-Vektor-Multiplikation, Matrix-Matrix-Mulitplikation Operationen können in zwei Formen ausgedrückt werden, per Algorithmus und in der Sprache der linearen Algebra hier soll gezeigt werden, wie sich die zwei Ausdrucksweisen ergänzen

4 Matrizen Vektoren Matrix-Notation A R mxn A = (a ij ) = a a 1n.... a m1... a mn, a ij R

5 Matrizen Vektoren Matrix-Notation A R mxn A = (a ij ) = Matrix-Operationen a a 1n.... a m1... a mn, a ij R

6 Matrizen Vektoren Matrix-Notation A R mxn A = (a ij ) = Matrix-Operationen a a 1n.... a m1... a mn transponierte Matrix: C = A T c ij = a ji, a ij R

7 Matrizen Vektoren Matrix-Notation A R mxn A = (a ij ) = Matrix-Operationen a a 1n.... a m1... a mn transponierte Matrix: C = A T c ij = a ji Addition: C = A + B c ij = a ij + b ij, a ij R

8 Matrizen Vektoren Matrix-Notation A R mxn A = (a ij ) = Matrix-Operationen a a 1n.... a m1... a mn transponierte Matrix: C = A T c ij = a ji Addition: C = A + B c ij = a ij + b ij, a ij R skalare Multiplikation: C = αa c ij = αa ij

9 Matrizen Vektoren Matrix-Notation A R mxn A = (a ij ) = Matrix-Operationen a a 1n.... a m1... a mn transponierte Matrix: C = A T c ij = a ji Addition: C = A + B c ij = a ij + b ij, a ij R skalare Multiplikation: C = αa c ij = αa ij Multiplikation: C = AB c ij = r k=1 a ikb kj (R mxr xr rxn R mxn )

10 Matrizen Vektoren Vektor-Notation

11 Matrizen Vektoren Vektor-Notation Spaltenvektor: (R nx1 ) x R n x = x 1.. x n, x i R

12 Matrizen Vektoren Vektor-Notation Spaltenvektor: (R nx1 ) x R n x = Zeilenvektor: (R 1xn ) x = (x 1,..., x n ) x 1.. x n, x i R

13 Matrizen Vektoren Vektor-Notation Spaltenvektor: (R nx1 ) x R n x = Zeilenvektor: (R 1xn ) x = (x 1,..., x n ) x 1.. x n, x i R wenn x = Spaltenvektor y = x T = Zeilenvektor Vektor-Operationen

14 Matrizen Vektoren Vektor-Notation Spaltenvektor: (R nx1 ) x R n x = Zeilenvektor: (R 1xn ) x = (x 1,..., x n ) x 1.. x n, x i R wenn x = Spaltenvektor y = x T = Zeilenvektor Vektor-Operationen skalare Multiplikation: z = αx z i = αx i

15 Matrizen Vektoren Vektor-Notation Spaltenvektor: (R nx1 ) x R n x = Zeilenvektor: (R 1xn ) x = (x 1,..., x n ) x 1.. x n, x i R wenn x = Spaltenvektor y = x T = Zeilenvektor Vektor-Operationen skalare Multiplikation: z = αx z i = αx i Vektor-Addition: z = x + y z i = x i + y i

16 Matrizen Vektoren Vektor-Notation Spaltenvektor: (R nx1 ) x R n x = Zeilenvektor: (R 1xn ) x = (x 1,..., x n ) x 1.. x n, x i R wenn x = Spaltenvektor y = x T = Zeilenvektor Vektor-Operationen skalare Multiplikation: z = αx z i = αx i Vektor-Addition: z = x + y z i = x i + y i Skalarprodukt: c = x T y c = n i=1 x iy i

17 Matrizen Vektoren Vektor-Notation Spaltenvektor: (R nx1 ) x R n x = Zeilenvektor: (R 1xn ) x = (x 1,..., x n ) x 1.. x n, x i R wenn x = Spaltenvektor y = x T = Zeilenvektor Vektor-Operationen skalare Multiplikation: z = αx z i = αx i Vektor-Addition: z = x + y z i = x i + y i Skalarprodukt: c = x T y c = n i=1 x iy i Vektor-Produkt: z = x y z i = x i y i

18 Matrizen Vektoren Vektor-Notation Spaltenvektor: (R nx1 ) x R n x = Zeilenvektor: (R 1xn ) x = (x 1,..., x n ) x 1.. x n, x i R wenn x = Spaltenvektor y = x T = Zeilenvektor Vektor-Operationen skalare Multiplikation: z = αx z i = αx i Vektor-Addition: z = x + y z i = x i + y i Skalarprodukt: c = x T y c = n i=1 x iy i Vektor-Produkt: z = x y z i = x i y i Saxpy: y = αx + y y i = αx i + y i ( scalar α x plus y)

19 Grundlagen Skalarprodukt und Saxpy Matrix-Vektor-Multiplikation Gaxpy Matrix-Matrix-Multiplikation die folgenden Algorithmen basieren auf der MATLAB-Software MATLAB-Prozeduren sind gut geeignet um den Aufbau von Algorithmen grundlegend zu erklären dennoch sollten die vorgestellten Algorithmen nicht als das non plus ultra betrachtet werden, sie sind nur eine Art der Herangehensweise und sollten kritisch angewendet werden

20 Algorithmus Skalarprodukt Skalarprodukt und Saxpy Matrix-Vektor-Multiplikation Gaxpy Matrix-Matrix-Multiplikation Skalarprodukt.pdf >

21 Algorithmus Saxpy Grundlagen Skalarprodukt und Saxpy Matrix-Vektor-Multiplikation Gaxpy Matrix-Matrix-Multiplikation Saxpy.pdf

22 Matrix-Vektor-Multiplikation Skalarprodukt und Saxpy Matrix-Vektor-Multiplikation Gaxpy Matrix-Matrix-Multiplikation A R mxn z = Ax, x R n üblicher Weg für die Berechnung ist z i = n j=1 a ijx j daraus ergibt sich folgender Algorithmus

23 Algorithmus Matrix-Vektor-Multiplikation - Zeilenversion (Zeilenversion).pdf

24 Algorithmus Matrix-Vektor-Multiplikation - Spaltenversion (Spaltenversion).pdf

25 Matrizenzerlegung Grundlagen Skalarprodukt und Saxpy Matrix-Vektor-Multiplikation Gaxpy Matrix-Matrix-Multiplikation beim Zeilenalgorithmus greift die Prozedur mittels der Zeilen auf A zu und beim Spaltenalgorithmus greift die Prozedur mittels der Spalten auf A zu Zerlegung der Matrizen in Zeilen und Spalten eine Matrix ist ein Stapel von Zeilenvektoren: a T 1 A =.., a k R n a T m eine Matrix ist eine Aneinanderreihung von Spaltenvektoren A = (a 1,..., a n ), a k R m das bedeutet für die Algorithmen:

26 Skalarprodukt und Saxpy Matrix-Vektor-Multiplikation Gaxpy Matrix-Matrix-Multiplikation matvec.ij mit Matrizenzerlegung for i = 1 : m z i = a T i x end matvec.ji mit Matrizenzerlegung for j = 1:n z = z + x j a j end

27 Doppelpunkt-Notation Skalarprodukt und Saxpy Matrix-Vektor-Multiplikation Gaxpy Matrix-Matrix-Multiplikation ein einfacher Weg die Zeilen und Spalten von Matrizen zu kennzeichnen ist die Doppelpunkt-Notation k-te Zeile von A: A(k, :) = (a k1,..., a kn ) a 1k k-te Spalte von A: A(:, k) =. a mk das bedeutet für die Algorithmen:

28 Skalarprodukt und Saxpy Matrix-Vektor-Multiplikation Gaxpy Matrix-Matrix-Multiplikation matvec.ij mit Doppelpunkt-Notation for i = 1 : m z(i) = A(i, :)x end oder for i = 1 : m z(i) = dot(a(i, :), x) end matvec.ji mit Doppelpunkt-Notation for j = 1:n z = z + x(j)a(:, j) end oder for j = 1:n z = saxpy(x(j), A(:, j), z) end

29 Äußeres Produkt Grundlagen Skalarprodukt und Saxpy Matrix-Vektor-Multiplikation Gaxpy Matrix-Matrix-Multiplikation Algorithmen, die auf Spalten zugreifen, erscheinen uns besser matvec.ji ist also matvec.ij vorzuziehen der Unterschied zwischen den Algorithmen ist die Anordnung der Schleifen hierzu betrachten wir die Berechnung des Äußeren Produkts: A A + xy T mit A R mxn, x R m, y R n xy T ist ein spezielles Matrix-Matrix-Produkt, deren Einträge wie folgt lauten: a ij = a ij + x i y j mit i = 1 : m und j = 1 : n

30 Algorithmus für Äußeres Produkt Skalarprodukt und Saxpy Matrix-Vektor-Multiplikation Gaxpy Matrix-Matrix-Multiplikation ij-version: Vielfaches von y T wird zu jeder Zeile von A addiert for i = 1:m A(i,:)=A(i,:)+x(i)y T end ji-version: Vielfaches von y T wird zu jeder Spalte von A addiert for i = 1:n A(:,j)=A(:,j)+y(j)x end

31 Gaxpy Grundlagen Skalarprodukt und Saxpy Matrix-Vektor-Multiplikation Gaxpy Matrix-Matrix-Multiplikation die meisten dieser Algorithmen können so arrangiert werden, dass die dominante Operation die Gaxpy-Operation ist z = y + Ax, mitx R n, y R m, A R mxn Gaxpy = general A x plus y

32 Gaxpy-Algorithmus Grundlagen Skalarprodukt und Saxpy Matrix-Vektor-Multiplikation Gaxpy Matrix-Matrix-Multiplikation

33 Matrix-Matrix-Multiplikation Skalarprodukt und Saxpy Matrix-Vektor-Multiplikation Gaxpy Matrix-Matrix-Multiplikation gegeben sind 2x2-Matrizen mit der Multipliaktion C=AB mit A R mxr, B R rxn jeder ( Eintrag ) ( in) C ist ( ein Skalarprodukt ) = jede Spalte von C ist eine Linearkombination der Spalten von A ( (saxpy) ) ( ) ( ( ) ( ) ( ) ( )) = C( ist eine ) ( Summe ) von ( ) äußeren Produkten ( ) = (5 6) + (7 8)

34 Algorithmus Matrix-Matrix-Multiplikation in Skalarproduktversion (Skalarproduktversion).pdf

35 Algorithmus Matrix-Matrix-Multiplikation in Gaxpyversion (Gaxpyversion).pdf

36 Skalarprodukt und Saxpy Matrix-Vektor-Multiplikation Gaxpy Matrix-Matrix-Multiplikation Algorithmus Matrix-Matrix-Multiplikation in Gaxpyversion verkürzte Form: C(1:m, 1:n)=0 for j = 1:n C(:,j)=gaxpy(A,B(:,j),C(:,j)) end

37 Algorithmus Matrix-Matrix-Multiplikation in Äußeres-Produkt-Version (Outer-Product-Version).pdf

38 Schleifen Grundlagen Skalarprodukt und Saxpy Matrix-Vektor-Multiplikation Gaxpy Matrix-Matrix-Multiplikation double-loop: Matrix-Vektor-Multiplikation kann mit 2!=2 Möglichkeiten berechnet werden triple-loop: Matrix-Matrix-Mulitplikation kann mit 3!=6 Möglichkeiten berechnet werden Schleifen- Innere Mittlere Datenzugriff ordnung Schleife Schleife Inn. Schleife ijk dot vektor x matrix A Zeilen, B Spalten jik dot matrix x vektor A Zeilen, B Spalten ikj saxpy Zeilengaxpy B Zeilen jki saxpy Spaltengaxpy A Spalten kij saxpy Zeilen-äuß.-Produkt B Zeilen kji saxpy Spalten-äuß.-Produkt A Spalten

39 Bandmatrizen Dreiecksmatrizen Speichern Symmetrie Die Effektivität eines Matrix-Algorithmus hängt von vielen Faktoren ab (z.b. Anzahl der Rechnungen, notwendiges Speichern, Erinnerungen, Datenzugriffe, Anzahl der Schritte und Kosten) Hier schauen wir uns Band und Symmetrie einmal genauer an.

40 Bandmatrizen Grundlagen Bandmatrizen Dreiecksmatrizen Speichern Symmetrie Gegeben ist A R mxn mit niedriger Bandbreite p, wenn a ij = 0 für i > j + p hoher Bandbreite q, wenn a ij = 0 für j > i + q Beispiel: 8x5-Matrix mit p=1 und q=2 x x x 0 0 x x x x 0 0 x x x x 0 0 x x x x x x

41 Diagonalmatrizen Grundlagen Bandmatrizen Dreiecksmatrizen Speichern Symmetrie D R mxn D = diag(d 1,..., d q ) mit q = min {m, n} d i = d ii Matrixart p q Diagonalmatrix 0 0 obere Dreiecksmatrix 0 n-1 untere Dreiecksmatrix m-1 0

42 Dreiecksmatrizen-Multiplikation Bandmatrizen Dreiecksmatrizen Speichern Symmetrie Gegeben: A,B sind nxn-matrizen und obere Dreiecksmatrizen für C=AB ist C auch eine obere Dreiecksmatrix und die Einträge in C sind die Ergebnisse von abgekürzten inneren Produkten Beispiel für 3x3: a 11 b 11 a 11 b 12 + a 12 b 22 a 11 b 13 + a 12 b 23 + a 13 b 33 0 a 22 b 22 a 22 b 23 + a 23 b a 33 b 33 wenn a ik b kj = 0 mit k < i oder j < k c ij = j k=i a ikb kj

43 Algorithmus für Dreiecksmatrizen Dreiecksmatrix.pdf

44 Doppelpunkt-Notation Bandmatrizen Dreiecksmatrizen Speichern Symmetrie A R mxn ; p, q, r mit 1 p q n und 1 r m : A(r, p : q) = (a rp,..., a rq ) R nx(q p+1) wenn 1 p q m und 1 c n : a pc A(p : q, c) =. R q p+1 a qc

45 Bandmatrizen Dreiecksmatrizen Speichern Symmetrie Algorithmus für Dreiecksmatrizen mit Doppelpunktnotation Dreiecksmartix mit Doppelpunktnotation.pdf

46 Symmetrie Grundlagen Bandmatrizen Dreiecksmatrizen Speichern Symmetrie A R nxn ist symmetrisch wenn A T = A: die Speicheranforderung für so eine Matrix kann halbiert werden, wenn das untere Dreieck wie folgt definiert wird: a ij = A.vec((j 1)n j(j 1)/2 + i) mit i j das bedeutet für den Algorithmus der Matrix-Vektor-Multiplikation

47 Algorithmus Matrix-Vektor-Multiplikation mit A.vec (z=ax, x R n ) Avec.pdf

48 Speichern per Diagonale Bandmatrizen Dreiecksmatrizen Speichern Symmetrie beim letzten Algorithmus gibt es das Problem, dass die i-schleife nicht auf die angrenzenden Array-Einträge zugreift wir benötigen ein kompaktes Speicherschema für symmetrische Matrizen in der die Matrix per Diagonale gespeichert wird A.diag = ( ) Allgemein: für i j gilt a i+k,i = A.diag(i + nk k(k 1)/2), (k 0)

49 Speichern per Diagonale Bandmatrizen Dreiecksmatrizen Speichern Symmetrie Wenn A R mxn dann soll D(A, k) R mxn der k-te diagonale Teil von A sein: { } aij j=i+k, 1 i m, 1 j n [D(A, k)] ij = 0 sonst A = = } 0 {{ 0 } 0 } 0 {{ 0 } 0 } 0 {{ 6 } 0 } 5 {{ 0 } 3 } 0 {{ 0 } D(A,2) D(A,1) (A,0) D(A, 1) D(A, 2)

50 Algorithmus Matrix-Vektor-Multiplikation mit A.diag (z=ax, x R n ) Adiag.pdf

51 Quellen Grundlagen Bandmatrizen Dreiecksmatrizen Speichern Symmetrie Matrix Computation, Gene H. Golub und Charles F. Van Loan, 1989 Numerical Linear Algebra, Lloyd N. Trefethen und Daid Bau, 1997 Mathematik, Studienbriefe zur Fachdidaktik für Lehrer der Sekundarstufe II, MG2, DIFF 1983

52 Vielen Dank für Eure Aufmerksamkeit