Effiziente Algorithmen und Datenstrukturen I. Kapitel 10: Lineare Algebra

Transkript

1 Effiziente Algorithmen und Datenstrukturen I Kapitel 10: Lineare Algebra Christian Scheideler WS Kapitel 10 1

2 Überblick Notation Arithmetik auf großen Zahlen (Addition und Multiplikation) Effiziente Matrix-Vektor-Multiplikation Effiziente Matrixmultiplikation (4-Russen Algo und Strassens Algo) Transitive Hülle Kapitel 10 2

3 Notation Ganze Zahl: Ziffernfolge zur Basis B Zur Basis B : Ziffern aus [B] = {0,,B-1} Zahl a=(a n-1 a 0 ) B zur Basis B hat den Wert i=0 n-1 a i B i Wichtige Beispiele: B=2: Binärzahlen ( (101) 2 = = 5 ) B=10: Dezimalzahlen B=16: Hexadezimalzahlen ( (A) 16 = 10 ) Ziffern: {0,,9} {A,B,C,D,E,F} Kapitel 10 3

4 Notation Elementare Operationen: Seien a,b,c,x,y [B]. (x y) B :=a+b+c (x y) B :=a b Beispiele für B=10: (12) 10 = (42) 10 = 6 7 Basis B beliebig aber fest: lassen wir weg Kapitel 10 4

5 Addition Gegeben: zwei Zahlen a=(a n-1 a 0 ) und b=(b n-1 b 0 ) Gesucht: s=(s n s 0 ) mit s=a+b Schulmethode: Übertrag a n-1 a 1 a 0 b n-1 b 1 b 0 c n c n-1 c 1 c 0 {0,1} s n s n-1 s 1 s Kapitel 10 5

6 Addition Es gilt: c 0 = 0 (c i+1 s i ):=a i +b i +c i für alle i>=0 s n = c n Algorithmus: c:=0 for i:=0 to n-1 do (c s i ):=a i +b i +c s n :=c Elementaroperation Kapitel 10 6

7 Addition Theorem 10.1: Die Addition zweier Zahlen der Länge n benötigt höchstens n Elementaradditionen Beobachtung: Jede Addition n-stelliger Zahlen a und b benötigt mindestens n Elementaradditionen, d.h. unser Algo ist optimal Kapitel 10 7

8 Multiplikation Gegeben: zwei Zahlen a=(a n-1 a 0 ) und b=(b n-1 b 0 ) Gesucht: s=(s 2(n-1) s 0 ) mit s = a b Schulmethode: berechne a b j für alle j>0 _ addiere Ergebnisse versetzt zusammen Kapitel 10 8

9 Multiplikation (a n-1 a 0 ) b j c n-1 c n-2 c 0 0 (c i d i )=a i b j Übertrag + d n-1 d 1 d 0 e n e n-1 e 1 e 0 p n p n-1 p 1 p 0 Algorithmus: e:=0; c -1 :=0 for i:=0 to n-1 do (c i d i ):=a i b j ; (e p i ):=c i-1 +d i +e p n :=c n-1 +e Kapitel 10 9

10 Multiplikation Lemma 10.2: Wir können eine Zahl der Länge n mit einer Ziffer in 2n primitiven Operationen multiplizieren. Sei p j := a b j mit p j = (p j,n p j,0 ). Dann müssen wir noch p:= n-1 j=0 p j B j berechnen Kapitel 10 10

11 Multiplikation Bildlich: p 0,n p 0,2 p 0,1 p 0,0 + p 1,n p 1,n-1 p 1,1 p 1,0 + p n-1,n. p n-1,1 p n-1,0 p 2n-1... p 2 p 1 p Kapitel 10 11

12 Multiplikation Algorithmus: p:=0 For j:=0 to n-1 do p:=p + (a b j ) B j Theorem 10.1 Lemma 10.2 Anzahl Elementaroperationen maximal 2n wegen Theorem 10.1, insgesamt 2n 2 2n wegen Lemma 10.2, insgesamt 2n 2 Also insgesamt max. 4n 2 Elementaroperationen Kapitel 10 12

13 Multiplikation Mit einer besseren Abschätzung für die Additionen kann gezeigt werden: Theorem 10.3: Die Schulmethode multipliziert zwei Zahlen der Länge n mit höchstens 3n 2 +n primitiven Operationen. Können wir besser werden? Kapitel 10 13

14 Rekursive Multiplikation Rekursive Version der Schulmethode: Gegeben: zwei n-stellige Zahlen a, b zur Basis B, n gerade Sei a=a 1 B k +a 0 und b=b 1 B k +b 0 mit k=n/2 Dann gilt: a b = (a 1 B k +a 0 ) (b 1 B k +b 0 ) = a 1 b 1 B 2k + (a 1 b 0 + a 0 b 1 )B k + a 0 b 0 4 rekursive Aufrufe zur Multiplikation n/2-stelliger Zahlen Kapitel 10 14

15 Rekursive Multiplikation Annahme: a = b =n=2 c für ein c IN Algorithmus Produkt(a,b): if a = b =1 then return a b else k:= a /2 return Produkt(a 1,b 1 ) B 2k +(Produkt(a 1,b 0 ) + Produkt(a 0,b 1 ))B k + Produkt(a 0,b 0 ) Kapitel 10 15

16 Rekursive Multiplikation Anzahl Elementaroperationen (, +): T(n) = { 1 n=1 4T(n/2)+3(2n) n>1 Daraus ergibt sich T(n) < 7n 2 + 6n Beweis: durch Induktion Kapitel 10 16

17 Karatsuba Multiplikation Karatsubas Idee: a b = (a 1 B k +a 0 ) (b 1 B k +b 0 ) = a 1 b 1 B 2k + (a 1 b 0 + a 0 b 1 )B k + a 0 b 0 =a 1 b 1 B 2k + ((a 1 +a 0 )(b 1 +b 0 ) (a 1 b 1 +a 0 b 0 )) B k + a 0 b 0 Nur noch drei rekursive Aufrufe für a 1 b 1, a 0 b, (a 0 1 +a 0 )(b 1 +b 0 ) Kapitel 10 17

18 Karatsuba Multiplikation Algorithmus Karatsuba(a,b): if a = b =1 then return a b else k:= a /2 p 1 :=Karatsuba(a 1,b 1 ) p 2 :=Karatsuba(a 1 +a 0,b 1 +b 0 ) p 3 :=Karatsuba(a 0,b 0 ) return p 1 B 2k + (p 2 -(p 1 +p 3 ))B k + p Kapitel 10 18

19 Karatuba Multiplikation Anzahl Elementaroperationen: { 1 n=1 T(n) = 3T(n/2+1)+6(2n) n>1 Daraus ergibt sich T(n) ~ n log 3 = n 1,58 Problem: Karatsuba erst für n> besser als Schulmethode Bester bekannter Algo für Multiplikation: Laufzeit O(n log n loglog n) Kapitel 10 19

20 Matrix-Vektor-Multiplikation Seien m,n IN. Eine m n-matrix A hat die Form a 1,1 a 1,2 a 1,3 a 1,n A = a 2,1 a 2,2 a 2,3 a 2,n a m,1 a m,2 a m,3 a m,n Für ein x=(x i ) 1 6i6n ist y = A x definiert als y i = j=1n a i,j x i für alle 16i6m Kapitel 10 20

21 Matrix-Vektor-Multiplikation Schulmethode: Berechne y i = j=1n a i,j x i für alle 16i6m Laufzeit: O(n m) (falls + und Einheitskosten haben) Bessere Laufzeit möglich für festes A und beliebiges x IR n, falls alle a i,j [B] für ein festes und nicht zu großes B sind Kapitel 10 21

22 Matrix-Vektor-Multiplikation Wir betrachten zunächst eine m n-matrix A mit a i,j {0,1} für alle i,j und m = log 2 n. Definiere U n als die m n-matrix, deren i-te Spalte die Binärdarstellung der Zahl i-1 repräsentiert (von oben nach unten) Beispiel für n=8: U 8 = Kapitel 10 22

23 Matrix-Vektor-Multiplikation Sei U (i) die i-te Spalte von U n und A (j) die j-te Spalte von A. Definiere P=(p i,j ) als die n n-matrix mit p i,j = δ(u (i), A (j) ), wobei δ die Kronecker Funktion ist mit δ(u (i), A (j) ) = 1 U (i) = A (j) und 0 sonst. Es gilt: (U n P) i,j = k=1n u i,k p k,j = k=1n U i (k) δ(u (k), A (j) ) = A i (j) = a i,j D.h. A x = (U n P) x = U n (P x) Kapitel 10 23

24 Matrix-Vektor-Multiplikation Bei Darstellung von P als Folge von n Spaltenpositionen, in denen P eine 1 hat (P hat nur eine 1 pro Spalte!), kann y:=p x in O(n) Zeit berechnet werden. Wir müssen noch U n y berechnen. Dazu verwenden wir eine rekursive Def. von U n U 1 = ( 0 1 ) U n = O T n/2 1 T n/2 U n/2 U n/ Kapitel 10 24

25 Matrix-Vektor-Multiplikation U n y ergibt dann O T n/2 1 T n/2 U n/2 U n/2 y 1 y 2 = O T n/2 y T n/2 y 2 U n/2 (y 1 + y 2 ) Berechnung von y 1 +y 2, O T n/2 y 1 und 1T n/2 y 2 benötigt höchstens 2n arithm. Operationen. Sei T(n) die Anzahl der arithm. Operationen für n. Dann gilt T(2) = 2 und T(n) 6 T(n/2) + 2n Auflösung der Rekurrenz ergibt T(n) 6 4n Kapitel 10 25

26 Matrix-Vektor-Multiplikation Schulmethode: Zeit O(n m) = O(n log n) Liberty-Zucker-Methode: nur Zeit O(n) Beliebige m n-matrix A: Unterteile A in m n-matrizen A 1, A 2, mit m =log 2 n Wende Verfahren oben auf A i x an für jedes i, setze die Ergebnisse zum Ergebnisvektor zusammen Laufzeit: O(n m / log n) (statt O(n m) ) Kapitel 10 26

27 Matrix-Vektor-Multiplikation Erweiterung auf Matrizen A mit a i,j [B]: Unterteile A in m n-matrizen A 1,A 2, mit m =log B n Verwende für A i x die Matrix U n = O T n/b U n/b 1 T n/b U n/b B-1 T n/b U n/b Laufzeit: O(n m/log B n) Kapitel 10 27

28 Matrixmultiplikation Restlicher Inhalt (über pdf-folien): Der 4-Russen-Algorithmus Matrixmultiplikation a la Strassen Transitive Hülle Kapitel 10 28