Theoretische Informatik 3 WS 2007/08

Transkript

1 Notizen zur Vorlesung Version vom 28. Mai 2009 Theoretische Informatik 3 WS 2007/08 c Volker Strehl, Department Informatik, FAU Inhaltsverzeichnis 1 Syntax und Semantik Beispiele Definitionen Multiplikationsalgorithmen für ganze Zahlen Was versteht man unter Multiplikation? Multiplikation im engeren Sinne Multiplikation im römischen Zahlsystem Multiplikation ganzer Zahlen mittels Faktorisierung Multiplikation komplexer Zahlen Polynome Multiplikation von Polynomen mittels Faktorisierung Multplikation von Polynomen mittels Interpolation Faltung von Funktionen und Fouriertransformation Multiplikation im weiteren Sinne (I): Mengen, Wörter und Sprachen Mengen Wörter Sprachen Multiplikation im weiteren Sinne (II): Transformationen und Permutationen Transformationen Bäume Permutationen Zyklische Permutationen Darstellungen von Permutationen als Produkte Gerade und ungerade Permutationen Inversionen Multiplikation im weiteren Sinne (III): Gruppen Grundsätzliche Fragestellungen Assoziative Operationen und binäre Bäume Binäre Bäume Binäre Operationen Ein wichtiger Sonderfall: Exponentiation Exponentiation durch Quadrieren und Multiplizieren Schnelle Berechnung der Fibonacci-Zahlen

2 3.3.3 Iteration von Transformationen: cycle detection Das Geburtstagsparadoxon Pollards ρ-methode Exkurs: Fermatzahlen Exponentiation in Gruppen: Ordnung muss sein! Diskreter Logarithmus Primzahlen und Komplexität einige Hinweise Divide-and-Conquer-Multiplikation Karatsuba-Multiplikation für Polynome (und Zahlen) Strasssens schnelle Matrix-Multiplikation Das Master-Theorem für Rekursionsgleichungen Natürliche Zahlen: abstrakt und konkret Exkurs: primitiv-rekursive und rekursive Funktionen Nachfolgerstrukturen Primitiv-rekursive und rekursive Funktionen Divisionseigenschaft Zahldarstellungen Basis-b-Darstellung Faktorielle Darstellung Fibonacci-Darstellung Binomialdarstellung Der Ring Z und seine Restklassenringe Z n Grundlegende Eigenschaften Euklids Algorithmus Rekursive und interativer Version des euklidischen Algorithmus Komplexität im uniformen und logarithmischen Kostenmodell Der erweiterte euklidische Algorithmus Lösen ganzzahliger lineare Gleichungen Der binäre euklidische Algorithmus Fibonacci-Zahlen und Lamés Theorem Exkurs: Kettenbrüche Historisches Der euklidische Algorithmus in Kettenbruchform Der Kettenbruchalgorithmus Anwendungen und Ausblicke Die Restklassenringe und ihre Einheitengruppen Die Restklassenringe der ganzen Zahlen Einheiten Eulers φ-funktion Exkurs: Möbius-Inversion Gruppentheoretisches, insbes. zyklische Gruppen

3 6.5.6 Die Sätze von Lagrange, Fermat und Euler Ordnung und Faktorisierung Chinesischer Restesatz und modulare Arithmetik Das Homomorphieprinzip für Ringe Chinesischer Restesatz einfachste Form Chinesischer Restesatz allgemeine Form für teilerfremde Moduln Das Prinzip der primitiven Idempoteten und analoge Situationen Die algebraische Version des chinesischen Restesatzes Modulare Arithmetik Partialbruchdarstellung für rationale Zahlen und Polynome Der Miller-Rabin-Test als Beispiel Der chinesische Restesatz für nicht-teilerfremde Moduln Primzahlen, Faktorisierung und Kryptografie Primzahlen Historisches Verifizieren vs. Entscheiden Körper und Ordnungen Das Ordnungskriterium für Primzahlen Zertifikate für Primzahlen Primes N P Primes P Probabilistische Primzahltests Teilbarkeitstest, Euklid-Test, Fermat-Test, SPP-Test Der SPP-Test von Miller-Rabin im Detail Komplexitätsaussagen Probabilistische Komplexitätsklassen Probabilistische Algorithmen Bernoulli-Experimente Probabilistische Komplexitätsklassen Public-key Kryptografie Verschlüsselung durch Exponentiation Public-key Verschlüsselung und Signaturen Das RSA-Verfahren Weitere Anwendungen der Exponentiation Einwegfunktionen RSA und Komplexität Schnelle Fouriertransformation Zur Person: Joseph Fourier Sein Leben Seine Leistungen Klassische Fouriertransformation Diskrete Fouriertransformation (DFT)

4 8.4 Schnelle Fouriertransformation (FFT) Schnelle Multiplikation von Polynomen Beispiele in Maple Modulare Polynomarithmetik: Evaluation und Interpolation Komplexe FFT in Maple Beispiel zur Schnellen Fouriertransformation FFT-basierte Multiplikation von sehr großen ganzen Zahlen Vorbemerkungen DFT über Z p Der three primes -Algorithmus

5 1 Syntax und Semantik Gegenstände der Mathematik (und somit auch der Theoretischen Informatik) lassen sich in verschiedenen Formalismen beschreiben. Mathematische Objekte (Zahlen, Funktionen, Sprachen,... ), lassen sich in verschiedensten Formalismen (Syntax) spezifizieren oder codieren. Die Bedeutung, die ihnen unabhängig vom jeweiligen Formalismus zukommt, ist die Sematik des jeweiligen Formalismus. Uns interessieren nur Objekte, die algorithmisch erfasst und manipuliert werden können. Syntax und Semantik müssen also mit konstruktiven, finiten Mitteln beschrieben werden. Das hat seine Grenzen: schon mit so alltäglichen Dingen, wie den reellen oder komplexen Zahlen, kann man man nicht wirklich effektiv umgehen. Trotzdem sind Beispiele, die reelle oder komplexe Zahlen oder Funktionen beinhalten, zur Illustration nüzlich. 1.1 Beispiele 1. Natürliche und ganze Zahlen lassen sich in den verschiedensten Zahl/Ziffernsystemen beschreiben und verarbeiten. Neben den geläufigen Darstellungen im Binärsystem, Dezimalsystem, Hexadezimalsystem, allgemein Positionsdarstellung zur Basis b 2, d.h. a (a 0, a 1, a 2,...) mit a = a 0 + a 1 b + a 2 b = k 0 a k b k wobei 0 a k < b, gibt es mehr oder weniger exotische Systeme wie das römische Zahlsystem die Darstellung mittels Primfaktorisierung (s.u.) die faktorielle Zahldarstellung a (a 1, a 2, a 3,...) mit a = a 1 1! + a 2 2! + a 3 3! + + a n n! + mit 0 a n n die Binomialsummendarstellung a (a 1, a 2, a 3,..., a k ) ( ) ( ) ( ) ( ) a1 a2 a3 ak a = mit 0 a 1 < a 2 < a 3 < < a k k die Fibonacci-Darstellung a (a 1, a 2, a 3...) (mit er Folge der Fibonacci- Zahlen (F 0, F 1, F 2, F 3,...) = (1, 1, 2, 3, 5,...)) { a k {0, 1} a = a 1 F 1 + a 2 F 2 + a 3 F 3 + wobei (k 1) a k a k+1 = 0 5

6 und andere mehr. Die genannten Systeme (siehe hierzu Abschnitt 5.3) haben alle eine praktische (!) Bedeutung, die aber nicht im Bereich des üblichen Rechnens liegen. Mittels dieser Zahldarstellungen direkt zu Addieren, oder zu Multiplizieren dürfte mindestens so unangenehm sein, wie das Rechnen im Römische Zahlsystem. 2. Rationale Zahlen kann man als Brüche (=Paare) von (teilerfremden) ganzen Zahlen schreiben, aber auch als periodische Dezimalbrüche. Eine weitere interessante Darstellung liefert das Prinzip der Partialbruchzerlegung. Dies beruht auf der Tatsache, dass sich das Reziproke 1/(a b) eines Produkts zweier teilerfremder ganzer Zahlen a und b schreiben lässt in der Form 1 a b = t a + s b mit s, t Z. Das hat etwas mit dem euklidischen Algorithmus zu tun und darauf wird später noch eingegangen (siehe Abschnitt 6.2). 3. Reelle Zahlen stellt man sich meist als unendliche Dezimal- oder Dualbrüche vor. Es gibt aber auch so interessante Darstellung wie die der Kettenbrüche, a a 0 ; a 1, a 2, a 3,... mit 1 a = a a a 2 + a wobei a 0 Z, a 1, a 2,... N 1. Beispielweise gilt e = = ; 1, 1, 1, 1,... 2; 1, 2, 1, 1, 4, 1, 1, 6, 1, 1, 8,... 6

7 1 π = ; 7, 15, 1, 292, 1, 1, 1, 2, 1,... Auch das hat etwas mit dem euklidischen Algorithmus zu tun! (siehe hierzu Abschnitt 6.4) Die Kettenbruchdarstellung reeller Zahlen hat höchst interressante Eigenschaften, wenn es darum geht, reelle Zahlen optimal mittels rationaler Zahlen zu approximieren. Man muss allerdings zugeben, dass sich Kettenbruchdarstellungen nicht zur Realisierung artihmetischen Operationen eignen. 4. Komplexe Zahlen schreibt man entweder als Paare reeller Zahlen (cartesische Form) oder in der Polarform. x + i y r e iφ Je nachdem hat man verschiedene Realisierungen der Addition und der Multiplikation. Beispielsweise schreibt sich die Multiplikation in cartesischer Form (x 1 + i y 1 ) (x 2 + i y 2 ) = (x 1 x 2 y 1 y 2 ) + i (x 1 y 2 + y 1 x 2 ) und in Polarform ( ) ( ) r 1 e i φ 1 r 2 e i φ 2 = (r 1 r 2 ) e i (φ 1+φ 2 ). 5. Polynome kann man mittels ihrer Koeffizienten beschreiben, das ist die übliche Form, aber ebenso geht es mittels Interpolation. 6. Unterräume eines Vektorraumes kann man mit Hilfe einer Basis spezifizieren ( Generatorsicht ), oder aber mittels eines homogenen linearen Gleichungssystems ( Kontrollsicht ). 7. Lineare Transformationen werden mittels Matrizen beschrieben, wobei die konkrete Matrix von der Wahl der Basen im Definitionsraum und Zeilraum abhängt. 8. Boolesche Funktionen, also Abbildungen f : {0, 1, } n {0, 1}, wobei die Symbole 0 bzw. 1 für die Wahrheitswerte true bzw. false stehen, lassen sich auf verschiedenste Weise beschreiben: Tabellen, aussagenlogische Formeln, Schaltkreise, Entscheidungsdiagramme Berechenbare Funktionen lassen sich mit Hilfe vieler verschiedener, aber gleichwertiger Formalismen beschreiben: Turingmaschinen, Programme irgendeiner Programmiersprache, Terme des λ-kalküls u.v.a.m. 7

8 10. Semi-entscheidbare Mengen (alias Typ-0-Sprachen) lassen sich mittels Generatoren (Grammatiken, partiell-rekursive Funktionen) oder aber mittels Akzeptoren (partielle Entscheidungsverfahren) beschreiben. 11. Für reguläre Sprachen (alias Typ-3-Sprachen) gibt es ein reichhaltiges Arsenal an Beschreibungsmöglichkeiten: Akzeptoren: endliche Automaten (deterministisch, nichtdeterministisch), Generatoren: Typ-3-Grammatiken, reguläre Ausdrücke syntaktische Relationen lineare Gleichungssysteme für Sprachen 12. Reelle oder komplexe Funktionen, wenn sie nur hinreichend gutartig sind, können durch ihre Taylorreihe dargestellt werden. Viel andere Möglichkeiten sind bekannt, z.b. Differentialgleichungen, Periodische (reelle oder komplexe) Funktionen lassen sich durch die Koeffizienten ihrer Fourierreihe repräsentieren. 14. In der Nachrichtentechnik spricht man davon, eine (hinreichend gutartige) Funktion, eine Signal im Ortsbereich, mittels Fouriertransformation im Frequenzbereich zu repräsentieren. 15. Das letzte Beispiel stammt aus der Physik: die Quantentheorie zeigt, dass physikalische Objekt eine Doppelnatur besitzen: je nachdem, wie man sie untersucht, zeigen sie Teilchennatur oder Wellennatur, man sieht sie im Ortsraum oder im Impulsraum. Zwischen beiden Ansichten vermittelt wieder die Fouriertransformation. Fazit: mathematische (und physikalische!) Bereiche/Objekte sind ideale Objekte, die in verschiedenster Weise konkret repräsentiert sein können. Diese verschiedenen Repräsentationen sind äquivalent, was den rein mathematischen Gehalt angeht. Wenn es aber darum geht, Operationen auf diesen Objekten zu definieren und algorithmisch zu realisieren, so zeigen sich u.u. grosse Unterschiede bezüglich der Effizienz. 1.2 Definitionen Multiplikation als binäre Operation tritt vielfach gemeinsam mit einer weiteren, als Addition bezeichneten binären Operation auf, wobei diese beiden Operationen nicht etwa ohne Beziehung nebeneinander stehen, sondern durch die Distributionseigenschaft miteinander verbunden sind. Der am meisten verbreitete algebraische Rahmen, um dies zu formulieren, ist das Konzept des Ringes. In diesem Kontext soll von einer Multiplikation 8

9 im engeren Sinne gesprochen werden. Hat man es dagegen nur mit einer einzelnen assoziativen Operation zu tun, so soll das mit Multiplikation im weiteren Sinne zu tun. Zunächst sei an die relevanten algebraischen Konzepte erinnert: Definition 1. A sei eine Menge und : A A A eine zweistellige Operation. 1. (A; ) heisst Halbgruppe, falls assoziativ ist. 2. Ein Element e A heisst neutral bezüglich, wenn a e = e a = a für alle a A. 3. (A;, e) heisst Monoid, wenn (A; ) eine Halbgruppe ist und e neutralbezüglich ). 4. Ein Element b A heisst invers zu a A (bezüglich und neutralem Element e), falls a b = b a = e. 5. (A;, e) heisst Gruppe, wenn jedes a A ein inverses Element bezüglich und e hat. Definition 2. A sei eine Menge ist mit Elementen 0, 1 A und 0 1; + : A 2 A (genannt Addition)und : A 2 A (genannt Multiplikation) seien zweistellige Operationen auf A. 1. R = (A; +,, 0, 1) ist ein Ring (mit Einselement), falls (a) (A; +, 0) eine kommutative Gruppe ist; (b) (A;, 1) ein Monoid ist; (c) Addition und Multiplikation dem Distributivgesetz genügen: a, b, c A : a (b + c) = (a b) + (a c) (a + b) c = (a c) + (b c) 2. Ist zudem auch (A ;, 1) (wobei A = A \ {0}) eine Gruppe, so wird der Ring R als Körper bezeichnet. Beispiel 1. Beispiele für Ringe sind 1. Der Ring (Z; +,, 0, 1) der ganzen Zahlen mit der üblichen Addition und Multiplikation, kurz einfach mit Z notiert. 2. Die Ringe Q der rationalen Zahlen, R der reellen Zahlen, C der komplexen Zahlen (mit den üblichen Operationen) sind sogar Körper. 3. Ist A eine Menge und P(A) ihre Potenzmenge, so ist (P(A);,,, A) ein Ring, der boolesche Ring über der Grundmenge A. 4. Zu jedem Ring R kann man den Polynomring R[X] über R in der Variablen X betrachten (siehe unten). 5. Zu jedem Ring R und jedem N 1 kann man den Ring M n (R) der (n n)- Matrizen mit Koeffizienten in R betrachten (siehe unten). 9

10 1.3 Multiplikationsalgorithmen für ganze Zahlen 10

11 Die Schulmethode der Multiplikation am Beispiel Komplexität der Schulmethode Die Multiplikation von zwei n-stelligen (dezimal oder binäre oder andere Basis) Zahlen erfordert n n = n 2 Multiplikationen von Ziffern (zuzüglich ca. n 2 Additionen von Ziffern) 1 Die sog. Russische Bauernmultiplikation =? traditionelle Multiplikation, rekursiv betrachtet = ( ) ( ) = ( ) = = =

12 Karatsubas Multiplikationsidee (1962) = ( ) ( ) = (9 12) ((9 + 81) ( ) ) (81 34) 10 0 = ( ) = = = Schema für die Multiplikation von zwei 2n-stelligen Zahlen (a 10 n + b) (c 10 n + d) = a c 10 2n + (a d + b c) 10 n + b d = ( ) a c 10 2n + (a + b) (c + d) a c b d 10 n + b d wobei a, b, c, d n-stellige Zahlen sind Beobachtung: zwei 2n-stellige Zahlen können multipliziert werden, indem man 3 (statt 4 (!!)) Multiplikationen von n-stelligen Zahlen ausführt Folgerung (mittels Iteration dieses divide-and-conquer-schemas): zwei 2 n -stellige Zahlen können mittels 3 n (statt 4 n (!!)) Multiplikationen von Ziffern miteinander multipliziert werden. 5 Die schnellste bislange bekannte Multiplikationemethode von Schönhage/Strassen (1971) beruht auf der schnellen Fourier-Transformation (FFT) und benötigt eine Anzahl von Ziffernoperationen proportional zu n log n log log n für die Multiplikation zweier n-stelligen Zahlen 6

13 Vergleich der Komplexität von verschiedenen Multiplikationsalgorithmen n = Anzahl der Ziffern Schulmethode c 1 n 2 Karatsuba (1962) c 2 n log 2 3 Schönhage/Strassen (1971) c 3 n log n log log n 7 n n 2 n log 2 3 n log n log log n

14 2 Was versteht man unter Multiplikation? 2.1 Multiplikation im engeren Sinne Multiplikation im römischen Zahlsystem Bekanntlich haben die Römer mit ihrem Zahlsystem kein sehr rechenfreundliches System erschaffen. Bereits die Grundrechenarten der Addition und der Multiplikation sind alles andere als benutzerfreundlich. Hier bietet das und von den Arabern tradierte indische Stellenwertsystem ein effiziente Alternative man kann hier sogar von einem evolutionären Wettbewerbsvorteil sprechen. Wie kann man sich behelfen? Bezeichen wir (provisorisch) mit R die Menge natürlichen Zahlen in römischer Notation, mit A die Menge natürlichen Zahlen in arabischer Notation, mit ρ : R A die (bijektive) Abbildung, die einer römisch geschriebenen Zahl das arabisch geschrieben Äquivalent zuordnet. Dann kann man sich so vorgehen: ρ R R A A R ρ 1 Als Beispiel für diesen Umweg : A a, b ρ ρ(a), ρ(b) a b ρ 1 ρ(a) ρ(b) LXXV III, LXXXV II ρ 78, 87 MMMMMMDCCLXXXV I ρ Multiplikation ganzer Zahlen mittels Faktorisierung Es bezeichne D die Menge der positiven natürlichen Zahlen in Dezimaldarstellung: a = (... a k+1 a k a k 1... a 2 a 1 a 0 ) 10 = k 0 a k 10 k mit Ziffern a k {0, 1, 2,..., 9}. Bekanntlich lässt sich jede positive natürliche Zahl eindeutig als Produkt von Primzahlpotenzen schreiben. Dazu sei (2, 3, 5, 7, 11,...) = (p 1, p 2, p 3,...) die Folge der Primzahlen. Dann gibt es eindeutig bestimmte natürliche Zahlen α 1, α 2, α 3... mit a = 2 α 1 3 α 2 5 α3 = k 1 p α k k. 14

15 Bezeichnet P die Menge aller Folgen (α 1, α 2, α 3...) natürlicher Zahlen, bei denen nur endlich-viele der α k 0 sind, dann definiert die Primfaktorisierung eine bijektive Abbildung π : D P : a (α 1, α 2, α 3,...) Bezüglich der Multiplikation von positiven natürlichen Zahlen hat man folgende Situation: π D D P P + D π 1 P a, b a b π π(a) = (α 1, α 2,...), π(b) = (β 1, β 2,...) +, π 1 π(a b) = (α 1 + β 1, α 2 + β 2,...) d.h. die Multiplikation wird durch Vektoraddition simuliert. Als Beispiel: 168, π π(168) = (3, 1, 0, 1, 0, 0, 0,...) π(990) = (1, 2, 1, 0, 1, 0, 0,...) + π 1 π(16632) = (4, 3, 1, 1, 1, 0, 0,...) Ganz analog kann ma grösste gemeinsame Teiler auf diesem Umweg berechnen: D D P P gcd D π π 1 min P Im vorigen Beispiel: gcd 168, 990 gcd 6 a, b gcd(a, b) π π π(a) = (α 1, α 2,...), π(b) = (β 1, β 2,...) min π 1 π(gcd(a, b)) = (max(α 1, β 1 ), max(α 2, β 2 ),...) π(168) = (3, 1, 0, 1, 0, 0, 0,...) π(990) = (1, 2, 1, 0, 1, 0, 0,...) min π 1 π(6) = (1, 1, 0, 0, 0, 0, 0,...) Kommentar 1. Kommentar: das beschriebene Verfahren ist korrekt! Aber man weiss bis heute nicht, ob man es effizient realisieren kann: es ist bislang kein effizientes Verfahren zur Herstellung der Primfaktorisierung einer natürlichen Zahl bekannt. Diese Tatsache wird sogar als entscheidendes Sicherheitsmerkmal für eine grosse Zahl von Systemen der kryptografischen Verschlüsselung angesehen! Multiplikation komplexer Zahlen Komplexe Zahlen fasst man als Paare reeller Zahlen auf: Realteil und Imaginärteil. α = a + i b (a, b) : a = R(α), b = I(α) R 15

16 Die Muliplikation von zwei komplexen Zahlen α = a+i b, β = c+i d wird wegen i 2 = 1 durch α β = (a c b d) + i (a d + b d) beschrieben. Auf den ersten Blick scheint es, als ob die Multiplikation von zwei komplexen Zahlen vier Multiplikationen von reellen Zahlen erfordert, nämlich die Produkte a c, b d, a d, b d. Tats chlich kann man es aber auch mit nur drei Multiplikationen von reellen Zahlen erreichen, denn es ist a d + b c = (a + b) (c + d) a c b d, d.h., man muss nur die drei Produkte a c, b d und (a+b) (c+d) berechnen. Sicher, man braucht nun mehr Additionen/Subtraktionen, aber da Multiplikationen teurer sind, ist das eine interessante Alternative. Dieser Trick wird im Zusammenhang mit der Karatsuba-Multiplikation von ganzen Zahlen und von Polynomen noch eine wichtige Rolle spielen Polynome Ist R ein Ring, so bezeichnet R[X] den Ring der Polynome in der Variablen X mit Koeffizienten in R. Polynome werden geschrieben als Summen von Monomen der Form a i X i mit a i R, nach aufteigenden Potenzen von X geordnet: ( ) a(x) = a 0 + a 1 X + a 2 X a m X m = a i X i. 0 i m Der Grad eines Polynoms, das nicht das Nullpolynom ist (alle Koeffizienten =0) ist deg a = max{k; a k 0}. Das entsprechende a k heisst Leitkoeffizient von a(x). Die Schreibweise ( ) bedeutet also lediglich deg a m. R[X] m bezeichnet die Menge der Polynome vom Grad m. Der Grad des Nullpolynoms ist deg 0 =. Auf offensichtliche Weise gilt R[X] R[X] 0 R[X] 1 R[X] 2 R[X] m R[X] m+1 R[X] Insbesondere ist R = {0}, R 0 = R. R[X] m = R[X] m+1 \R[X] m sind die Polynome vom Grad m (exakt) und R[X] <m = R[X] m 1 die Polynome von echt kleinerem Grad als m. Die Addition von Polynomen erfolgt koeffizientenweise, also wir Vektoraddition. In der Tat: ist R ein Körper so ist R[X] ein Vektorraum (abzählbar) unendlicher Dimension über R. R[X] m ist ein Vektorraum der Dimension m über R. {1, X, X 2,..., X m 1 } ist eine Basis von R[X] m. (Es gibt aber viele andere interessante Basen!). Entsprechend ist {1, X, X 2,...} eine Basis von R[X]. Offensichtlich gilt bei der Addition von zwei Polynomen a(x) und b(x) bezüglich ihrer Grade deg(a + b) max{deg a, deg b}. 16

17 Die Multiplikation von Polynomen a(x) = 0 i m a ix i, b(x) = 0 j n b jx j, auch Cauchy-Multiplikation oder Faltung genannt, ist definiert durch (a b)(x) = a i b j X k, also 0 k m+n i+j=k (a b)(x) = a 0 b 0 + (a 0 b 1 + a 1 b 0 )X + (a 0 b 2 + a 1 b 1 + a 2 b 0 )X a m b n X m+n Bezüglich der Grade gilt deg a b deg a+deg b, wobei Gleichheit gilt, falls das Produkt der beiden Leitkoeffizienten 0 ist, also z.b. immer dann, wenn der Ring R keine Nullteiler hat. Bezüglich der Komplexität der Multiplikation ist zu notieren, dass wenn man die Formeln der Definition direkt auswertet für die Multiplikation (deg a + 1) (deg b + 1) Multiplikationen im Ring R benötigt (jeder Koeffizient von a(c) wird mit jedem Koeffizienten von b(x) multipliziert. Das ist O(n 2 ), falls deg a = deg b = n. Das ist ein Verfahren von quadratischer Komplexität. Es ist aber nicht gesagt, dass man es so machen muss und dass es nicht besser geht!. Tatsächlich geht es besser! Multiplikation von Polynomen mittels Faktorisierung Nach dem Fundamentalsatz der Algebra hat ein Polynom m-ten Grades a(x) = m j=0 a mx m, also mit a m 0, genau m komplexe Nullstellen α 1, α 2,..., α m, d.h. man hat die Faktorisierung in Linearfaktoren a(x) = a m (X α 1 )(X α 2 ) (X α m ) = a m Π m i=0(x α i ). Sind nun a(x) und b(x) zwei Polynome mit deg a = m, deg b = n, so gilt offensichtlich a(x), b(x) a m Π 1 i m (X α i ), b n Π 1 j n (X β j ) (a b)(x) a m b n Π 1 i m (X α i ) Π 1 j n (X β j ) Dabei bedeutet das Zerlegen eines Polynoms in Linearfaktoren, das schlichte Ausmultiplizieren und Zusammenfassen der Beiträge gleichen Grades Multplikation von Polynomen mittels Interpolation Jedes Polynom a(x) mit deg a = m ist durch seine Werte an m+1 verschiedenen Stellen (komplexen Zahlen) ξ 0, ξ 1,..., ξ m eindeutig bestimmt. Diese Tatsache kann man ausnutzen um Polynome zu multiplizieren. Das simultane Auswerten von a(x) mit deg a = m an den Stellen ξ 0, ξ 1,..., ξ m wird dazu mit a(x) a(ξ 0 ), a(ξ 1 ),..., a(ξ m ) 17

18 notiert. Die Umkehrung a(x) a(ξ 0 ), a(ξ 1 ),..., a(ξ m ) wird als Interpolation bezeichnet. Ein gängiges Verfahren hierfür ist die Interpolationsformel von Lagrange: a(x) = 0 i m a(ξ i ) 0 j m j i X ξ j ξ i ξ j. Mit gleichen Bezeichnungen für a(x), b(x) wie vorher seien ξ 0, ξ 1,..., ξ m+n m + n + 1 verschiedene komplexe Zahlen (beachte: aus deg a = m und deg b = n folgt deg a b = m + n) a(x), b(x) a(ξ 0 ),..., a(ξ m+n ), b(ξ 0 ),..., b(ξ m+n ) (a b)(x) a(ξ 0 ) b(ξ 0 ),..., a(ξ m+n ) b(ξ m+n ) Das ist sicher ein korrektes Verfahren, aber es ist nicht klar, ob das etwas bringt. Schaut man sich den Aufwand für die Lagrange-Interpolation genau an, so sieht man, dass das in dieser allgemeinen Form noch keinen Vorteil bringt. Wie man diese Idee doch nutzbringend einsetzen kann, wird später unter dem Stichwort Diskrete Fouriertransformation behandelt Faltung von Funktionen und Fouriertransformation Die Faltung von Funktionen ist ein kontinuierliches Analogon zur Polynommultiplikation, die ja auch oft so bezeichnet wird. Faltungsoperationen spielen eine herausragende Rolle in Bereichen wie Nachrichtentechnik und Bildverarbeitung, wo Filterungsoperationen mittels Faltungen realisiert werden. Es ist von unschätzbarer Tragweite, dass man solche aufwendigen Faltungs-Multiplikationen (im Orts- oder Zeitbereich, wie man sagt) durch punktweise Multiplikationen im Frequenzbereich realisieren kann. Hier ist das Szenario: Ist a : R C eine (hinreichend gutartige) Funktion, so kann man mittels Integration eine weitere Funktion â : R C definieren, die sog. Fourier-Transformierte von a: F(a) = â : s a(x) e 2πisx dx In gutartigen Fällen (die hier nicht weiter spezifiziert werden sollen) lässt sich diese Abbildung umkehren: F 1 (â) = a : x 18 â(s) e 2πisx ds.

19 Als Faltung von zwei Funktionen a, b : R C bezeichnet man die Konstruktion einer Funktion a b : R C mittels (a b) : x f(t) g(x t) dt. Das folgende Faltungstheorem ist der Dreh-und Angelpunkt aller Anwendungen der Fourier-Transformation: F(a b) = F(a) F(b), und somit auch a b = F 1 (F(a) F(b)). Die Faltungsoperation (im Ortsbereich ) wird mittels einer punktweisen Produktbildung (im Frequenzbereich ) vermöge des folgenden Schemas realisiert: F a(x), b(x) â(s), b(s) (a b)(x) F 1 â(s) b(s) 2.2 Multiplikation im weiteren Sinne (I): Mengen, Wörter und Sprachen Mengen Ist A irgendeine Menge, so sind die Operationen der Vereinigung, des Durchschnitts und der symmetrischen Differenz assoziative Operation auf der Potenzmenge P(A). Man hat also kommutative Monoide (P(A);, ), (P(A);, A) und (P(A);, ). wie schon erwähnt, ist (P(A);,,, A) sogar ein Ring Wörter Eine wichtige assoziative Operation ist die Konkatenation von Wörtern. Ist Σ ein endliches Alphabet, so bezeichnet Σ die Menge der Wörter über diesem Alphabet. Koonkatenation ist dann einfach das Hintereinanderschreiben der Operanden. Meist wird dafür garkein Operationszeichen verwendet. Soll die Konkatenation als Operation dennoch explizit angesprochen werden, so geschieht dies mit. Mit ε wird das leere Wort bezeichnet, das neutrale Element bezüglich der Konkatenation. Man bezeichnet (Σ ;, ε) als das freie Monoid über dem Alphabet A. Freiheit bedeutet, anschaulich gesprochen, dass ausser des Assoziativität keine weiteren Gesetze gelten. (Dafür gibt es auch eine präzise algebraische Formulierung, die aber hier (noch) nicht interessiert.) 19

20 2.2.3 Sprachen Teilmengen von Σ, also Elemente der Potenzmenge P(Σ ), bezeichnet man als (formale) Sprachen. Die Operation der Konkatenation überträgt sich auf Sprachen: für K, L Σ ist K L = {u v ; u K, v L}. diese Operation ist auch wieder assoziativ und {ε} ist das neutrale Element. Auf diese Weise wird (P(Σ ),, {ε}) zum Monoid. Teilmengen von Σ sind unendliche Objekte und somit im allgemeinen nicht algorithmisch zu handhaben. Das geht nur für spezielle Klassen, also z.b: solche, die durch Akzeptoren (Automaten eines gewissen Typs) oder Generatoren (Grammatiken eines gewissen Typs) oder sonst effektiv beschrieben werden können. Die effektive oder gar effiziente Realisierung von Operationen ist dann nicht immer offensichtlich, aber oft von grossem praktischen Interesse siehe das folgende Beispiel. Beispiel 2. Die Menge der regulären Sprachen über einem Alphabet A ist bekanntlich unter den booleschen Operationen,, c abgeschlossen. Das effektiv zu realisieren ist aber nicht ganz offensichtlich: sind L 1, L 2 A zwei reguläre Sprache, die durch Typ-3- Grammatiken G 1 bzw. G 2 definiert sind, so ist nicht ganz klar, wie man aus diesen Daten direkt (?) eine Typ-3-Grammatik für L 1 L 2 erhält. Ein Umweg über endliche Automaten hilft: man konstruiert vollständige und deterministische endliche Automaten A 1 bzw. A 2, die L 1 bzw. L 2 akzeptieren, und dann daraus den Produktautomaten A 1 A 2, der L 1 L 2 akzeptiert. Dann übersetzt man diesen Automaten wieder in eine Typ-3-Grammatik: L 1 = L(G 1 ), L 2 = L(G 2 ) L 1 = L(A 1 ), L 2 = L(A 2 ) L 1 L 2 = L(G ) L 1 L 2 = L(A 1 ) L(A 2 ) 2.3 Multiplikation im weiteren Sinne (II): Transformationen und Permutationen Transformationen Ist A eine Menge, so ist die Menge T (A) = {f : A A} bezüglich der Komposition (Hintereinanderausführung) als Operation und der identischen Abbildung id als neutralem Element ein Monoid (T (A);, id), kurz mit T (A) bezeichnet Beachte: ist nicht kommutativ! 20