Algebraische und arithmetische Algorithmen

Transkript

1 Kapitel 1 Algebraische und arithmetische Algorithmen 1.1 Das algebraische Berechnungsmodell Struktur: Körper (oder Ring) mit den Operationen +,,, (/) Eingabe: endliche Folge von Zahlen Ausgabe: endliche Folge von Zahlen Laufzeit: Anzahl der Operationen als Funktion der Eingabelänge. Verwendet werden Abfragen auf 0, Schleifen, Rekursionen etc. 1. Matrizenmultiplikation Eingabe: Zwei (n n)-matrizen über einem Ring a 11 a 1n A =..... a n1 a nn und B = b 11 b 1n..... b n1 b nn Ausgabe: (n n)-matrix c 11 c 1n C =.... n. mit c ij = a ik b kj, 1 i, j n c n1 c k=1 nn Der naive Algorithmus nach dieser Formel benutzt drei verschachtelte Schleifen über i, j und k. Das ergibt eine Laufzeit von Θ(n 3 ): n n n (n 1) Multiplikationen Additionen n 3 n Operationen Für n = sind es also 8 Multiplikationen und 4 Addidtionen. Geht es noch schneller? 1..1 Algorithmus von Strassen (1969) Der deutsche Mathematiker Volker Strassen die fand folgende Formel, um ( )-Matrizen zu multiplizieren: A B = C = c 11 c 1 c 1 c mit 1

2 c 11 = m 1 + m m 4 + m 6 c 1 = m 4 + m 5 c 1 = m 6 + m 7 c = m m 3 + m 5 m 7 m 1 = (a 1 a ) (b 1 + b ) m = (a 11 + a ) (b 11 + b ) m 3 = (a 11 a 1 ) (b 11 + b 1 ) m 4 = (a 11 + a 1 ) b m 5 = a 11 (b 1 b ) m 6 = a (b 1 b 11 ) m 7 = (a 1 + a ) b 11 wobei a ij b ij wie zuvor die Elemente der Matrizen A und B bezeichnen. Diese Methode nutzt 7 Multiplikationen und 18 Additionen und lässt sich zu einem rekursiven Algorithmus zur Multiplikation quadratischer Matrizen beliebiger Gröÿe erweitern. Dazu führt man die Matrizenmultiplikation zunächst auf den Fall für ( )-Matrizen zurück. Gegeben seien zwei Matrizen über einem Ring R: A, B R n n mit n = k, k N + mit Hier sind A ij, B ij R n n A = A 11 A 1 A 1 A und B = für 1 i, j. Nun gilt A B = B 11 B 1 B 1 B A 11B 11 + A 1 B 1 A 11 B 1 + A 1 B A 1 B 11 + A B 1 A 1 B 1 + A B Damit ist die Multiplikation von (n n)-matrizen auf 7 Multiplikationen und 18 Additionen von n )-Matrizen zurückgeführt. Als Rekursionsanker wählen wir (1 1)-Matrizen (was Elementen aus R entspricht). Das Verfahren lässt sich auch für quadratische Matrizen beliebiger Gröÿe anwenden, indem man die Matrix bis zur nächsten Zweierpotenz mit Nullen auüllt. Die Dimension der Matrix kann sich dadurch höchstens verdoppeln. Die Laufzeit des Algorithmus ist: M(1) = 1 ) M(n) = 7M ) + 18 ) + 9 n = 7M = 7 (7M 4 ) + 9 ) ) 9 + n =... ) = 7 k M k + 9 ( ) ( n k 1 n ) ) k 1 = n log ( 7 ) log [ n (1 ) ] n 4 1 log n kürzt sich mit n 4 = 7n log 7 6n Θ(n log 7 )

3 Durch den kleineren Exponenten von log 7 =, < 3 ist der Strassen-Algorithmus asymptotisch schneller als der naive Algorithmus ist. Aber geht es (asymptotisch) noch schneller? 1.. Ausblick Falls für ein k N das Produkt zweier (k k)-matrizen mit p Multiplikationen berechenbar ist, so ist allgemein das Produkt zweier (n n)-matrizen in O(n log k p ) Operationen berechenbar. Strassen fand das Paar k =, p = 7. Seitdem gab es weitere Arbeiten auf diesem Gebiet, die die Laufzeit noch weiter reduzieren konnten auf Θ(n x ): Victor Pan 1978 k = 70, p = x =, Bini, Capovani, Lotti, Romani 1979 x =, Schönhage 1979 x =, 55.. Pan, Winogard 1980 x =, 54.. Coppersmith, Winogard 1980 x =, Inversion und Determinante von Matrizen Wir betrachten (n n)-matrizen über einem Körper K. Gegeben ist die Matrix A über K und gesucht ist A 1, falls A regulär ist. Die Laufzeit bezeichnet wieder die Anzahl der Körperoperationen +,,, /. Mit dem klassischen Gauss-Eliminationsverfahren lässt sich die Inverse berechnen, indem man die Matrix A mit Zeilenoperationen in die Einheitsmatrix überführt und die selben Operationen auch auf eine Einheitsmatrix anwedet: ( ) ( ) A I n I n A 1 Die Elimination eines Elementes der Matrix benötigt eine Zeilenoperation, welche in O(n) arbeitet. Insgesamt ergibt sich also eine Laufzeit von Θ(n 3 ). Rückführung der Inversion auf Matrizenmultiplikation: Sei wieder A K n n mit n = k, k N +. Unter der Voraussetzung, dass A 11 regulär ist, gilt folgende Zerlegung: X Y A = I n 0 n A 11 0 n I n A 1 11 A 1 A 1 A 1 11 I n 0 n D 0 n I n }{{}}{{}}{{} Dabei bezeichnen A ij, 1 i, j die n )-Blockmatrizen aus A, I n die Einheitsmatrix der Gröÿe n und 0 n die Nullmatrix der Gröÿe n. Die Matrix D berechnet sich aus I n D = A A 1 A 1 11 A 1 Die Matrizen X und Z sind regulär, weil ihre Determinante 1 ist (Dreiecksform). Wenn sowohl A 11 als auch D regulär sind, dann ist Y ebenfalls regulär und es gilt: A 1 11 A n A 1 = 0 n I n 0 n D 1 A 1 A 1 11 I n }{{}}{{}}{{} Z 1 A 1 Das liefert einen rekursiven Algorithmus zum Invertieren einer (n n)-matrix. Y 1 Z I n X 1 0 n 3

4 Die Determinante von A lässt sich ebenfalls auf diese Art zurückführen: det A = det X det Y det Z = 1 det Y 1 = det A 11 det D Bisher wird immer vorausgesetzt, dass A 11 regulär ist. Falls dies nicht gewährleistet ist, lässt sich zumindest in den Körpern R und Q folgender Trick nutzen (A T = A transponiert): A 1 = (A T A) 1 A T Die Matrix A T A ist positiv denit und symmetrisch. to be continued Multiplikation Boolscher Matrizen (Fortsetzung ) Da die Einträge ĉ ij n sind, können wir statt über Z auch über Z n+1 rechnen. Z n+1 ist ein Ring, d.h. die schnelle Matrizen Multiplikation ist anwendbar. (ĉ ij sind die Ergebnisse der Multiplikation) jetzt noch: Anzahl der Bitoperationen für eine Multiplikation/Addition/Subtraktion auf Z n+1 (Die Zahlen werden binär dargestellt mit log(n + 1) Bits.) Addition und Subtraktion von zwei k-bit-zahlen braucht O(k) Bitoperationen (nach der Schulmethode und der Implementierung im Schaltkreis). Für die Multiplikation werden O(k ) Bitoperationen benötigt. Beispiel für die Addition: Beispiel für die Multiplikation: Satz 1. Falls die Matrizenmultiplikation über einem Ring in M(m) arithmetischen Operationen möglich ist und Multiplikation/Addition/Subtraktion von k-bitzahlen in m(k) Bitoperationen, so kann man mit O(M(n) m( log(n + 1) )) Bitoperationen boolsche n n-matrizen multiplizieren. zum Beispiel: M(n) = O(n, ) m(k) = O(k ) (Boolsche Matrizenmultiplikation) O(n, log (n) }{{} ) = O(n,377 ) da log (n) ɛ O(n ε ) für jedes ε > 0 4

5 1.4.1 Transitiver Abschluss Boolscher Matrizen gegeben: Boolsche n n-matrix A ˆ= gerichteter Graph G A mit n Knoten (o.b.d.a. V = {1,..., n}) ˆ= binäre Relation R A auf einer n-elementigen Menge Wir wollen den reexiven und den transitiven Abschluss dieser Relation (Matrix A ) berechnen. A := I A A A 3 = (komponentenweises Oder) (A ) ij = 1 in G A existiert ein Weg von i nach j, denn: (A k ) ij = 1 in G A existiert ein Weg der Länge k von i nach j i=0 A i Beweis durch Induktion: (es existiert ein Weg von i nach r mit der Länge k 1) r : ((A k 1 ) ir = 1) (a rj = 1), dann (A k ) ij = n (A k 1 ) ir a ij = 1 Zusammenhang: transitiver Abschluss Multiplikation: i=0 Satz. a) Falls die Multiplikation Boolscher Matrizen mit M(n) boolschen Operationen möglich ist, dann ist der transitiver Abschluss in O(M(n)) möglich. (Vorraussetzung: 4 M / ) M(n), M(n) c für ein c > 0) b) transitiver Abschluss in A(n) möglich, dann ist die Multiplikation in A(3n) möglich Beweis. (Annahme n ist eine Zweierpotenz) a) wenn A = B D C E dann ist A = (B CE D) }{{} :=F E DF F CE E E DF CE Die transitive Hülle von n n-matrix kann auf transitive Hüllen von n / n / -Matrizen (E und F ) und 6 Multiplikation und Additionen zurückgeführt werden. 5

6 A(n) = A / ) + 6M / ) + O(n ) für n A(1) = 0 also gilt: A(n) = A / ) + O(M(n)) A(n) = O(M(n)) (wie bei Inversion auösen) Beispiel für die Graphendarstellung von G A : 1... n / n / n Pfade innerhalb der linken Seite werden durch die Einträge in B repräsentiert. Pfade innerhalb der rechten Seite werden durch die Einträge in E repräsentiert. Pfade von der linken zur rechten Seite werden durch die Einträge in C repräsentiert. Pfade von der rechten zur linken Seite werden durch die Einträge in D repräsentiert. Bisherige Methode: Für jeden Knoten in G A wird eine Breitensuche durchgeführt. O(n(n + m)) (Alternativ kann bei dünn besetzten Matrizen Multiplikation ezient durchgeführt werden.) b) Übung Was kann man noch auf Matrizenmultiplikation reduzieren? Analyse kontextfreier Sprachen geht in O(M(n)). (Dazu wird ein angepasster CYK-Algorithmus verwendet.) M(n) = Komplexität der Multiplikation zweier n n-matrizen 1.5 Polynommultiplikation, diskrete Fourier-Transformation Gegeben: Körper K, Polynome über K in x: K[x] Ausdrücke der Form P (x) = a 0 + a 1 x + a x + + a n x n mit n 0, a 0,..., a n ɛ K werden durch einen Vektor der Koezienten (a 0,..., a n ) ɛ K n+1 repräsentiert. 6

7 Die Addition von Polynomen wird komponentenweise durchgeführt. Für die Multiplikation von Polynomen gilt: (a 0 + a 1 x + + a n x n ) (b 0 + b 1 x + + b n x n ) = c 0 + c 1 x + + c n x n c i = mit c i = i j=0 n j=i n a j b i j a j b i j für i n für i > n i = 0,..., n (c 0,..., c n ) heiÿt Faltung (Konvolution) von (a 0,..., a n ) (b 0,..., b n ). Wie viele Operationen (über K) sind nötig, um Faltung (d.h. Polynommultiplikation) zu berechnen? Direkt aus der Denition folgt: i + 1 für i n (n i) + 1 für i = n + 1,..., n n i i=0 n i=n+1 (i n) + 1 = O(n ) 7