Skalarprodukt. Das gewöhnliche Skalarprodukt ist für reelle n-tupel folgendermaßen erklärt: Sind. und v := reelle n-tupel, dann ist

Transkript

1 Orthogonalität p. 1 Skalarprodukt Das gewöhnliche Skalarprodukt ist für reelle n-tupel folgendermaßen erklärt: Sind u := u 1 u 2. u n reelle n-tupel, dann ist und v := v 1 v 2. v n u v := u 1 v 1 + u 2 v u n v n. Man spricht auch vom inneren Produkt und schreibt auch < u,v >.

2 Orthogonalität p. 2 Beispiel = ( 5) 2 + ( 1) ( 3) = 1. Hinweis: Betrachtet man u und v als n 1-Matrizen, so entspricht das Skalarprodukt dem Matrixprodukt u T v. ( 2, 5, 1 ) = ( 5) 2 + ( 1) ( 3) = 1.

3 Orthogonalität p. 3 Eigenschaften Sind u, v und w Vektoren des R n und ist λ R eine reelle Zahl, dann gilt 1. u v = v u, 2. (u + v) w = u w + v w, 3. (λu) v = λ(u v) = u (λv), 4. u u 0 und u u = 0 gdw. u = 0. Allgemeiner nennt man jede Abbildung, die je zwei Vektoren aus einem R-Vektorraum V eine reelle Zahl zuordnet und dabei die Bedingungen 1) 4) erfüllt, ein reelles Skalarprodukt auf V.

4 Orthogonalität p. 4 Länge Die Länge (oder Norm) eines reellen Vektors v ist diejenige nichtnegative reelle Zahl v, die durch bestimmt ist. v := v v = v 1 v 1 + v 2 v v n v n Is λ eine beliebige reelle Zahl, so gilt λv = λ v. Ein Vektor der Norm 1 ist ein Einheitsvektor.

5 Orthogonalität p. 5 Beispiel-Aufgabe Sei v := (1, 2, 2, 0). Finde einen Einheitsvektor u, der die gleich Richtung hat wie v. Lösung: Berechne zunächst die Länge von v: v 2 = v v = (1) 2 + ( 2) 2 + (2) 2 + (0) 2 = 9 1 Multiplikation von v mit v Einheitsvektor: v = 9 = 3 u = 1 v v = 1 3 v = ergibt den gesuchten ( 1 3, 2 3, 2 ) 3, 0.

6 Orthogonalität p. 6 Komplexes Skalarprodukt Vorsicht: will man Skalarprodukte auch für Vektoren aus C n verwenden, muss man die Definition modifizieren. Nach der obigen Definition hätte nämlich der Vektor (1, i) die Länge Null und der Vektor (0,i) die Länge 1. Für Vektoren u,v C n definiert man deshalb < u,v >:= u 1 v 1 + u 2 v u n v n, wobei für eine komplexe Zahl z := a + ib mit z die zu z konjugiert komplexe Zahl bezeichnet wird, also z := a ib. In den folgenden Beispielen bleiben wir beim reellen Skalarprodukt!

7 Orthogonalität p. 7 Abstand Als Abstand dist(v, w) definiert man Am Beispiel dist(v,w) := v w. u := (u 1,u 2,u 3 ),v := (v 1,v 2,v 3 ) erkennt man, dass diese Definition des Abstandes mit der üblichen Definition übereinstimmt: dist(u,v) = u v = (u v) (u v) = (u 1 v 1 ) 2 + (u 2 v 2 ) 2 + (u 3 v 3 ) 2.

8 Orthogonalität p. 8 Skalarprodukt für Polynome Sei P der R-Vektorraum der reellen Polynome in der Variablen x. Für Polynome p(x), q(x) P definiere < p(x),q(x) >:= 1 1 p(x)q(x)dx. Diese Definition erfüllt die Bedingungen 1) 4), es wird also ein Skalarprodukt auf dem Vektorraum P erklärt.

9 Orthogonalität p. 9 Länge eines Polynoms Beispiel: Das Polynom q(x) := x 2 hat bezüglich dieses Skalarprodukts die Norm 1 q(x) = x 2 = < q(x),q(x) > = = 1 1 x 4 1 dx = 5 x5 1 1 = q(x)q(x)dx

10 Orthogonalität p. 10 Abstand zweier Polynome Beispiel: Die Polynome p(x) := x und q(x) := x 2 haben bezüglich dieses Skalarprodukts den Abstand dist(x,x 2 ) = x x 2 = < x x 2,x x 2 > = = 1 (x x 2 ) 2 dx = x3 2 4 x x5 1 1 = 1 1 x 2 2x 3 + x 4 dx =

11 Orthogonalität p. 11 Wozu braucht man sowas? Die allgemeine Definition eines Abstandes erlaubt es, die geometrische Idee von nah und fern zu verallgemeinern. Man kann auf diese Weise auch z.b. von Funktionen, Tönen oder Bildern angeben, wie ähnlich oder unähnlich sie zueinander sind; dabei wird die Unähnlichkeit ausgedrückt durch den Abstand bezüglich eines gewählten Skalarproduktes. Ob dieser Ähnlichkeitsbgriff etwas taugt, hängt von der jeweiligen Modellbildung ab.

12 Orthogonalität p. 12 Ein Standardtrick Ein einfaches Problem in der Datenverarbeitung ist folgendes: Ein neu eingetroffenes Dokument soll darauf überprüft werden, ob in einer vorhandenen Sammlung von Dokumenten schon in ähnlicher Form vorhanden ist. Man geht dann oft so vor: Jedem Dokument wird nach festen Regeln ein Vektor zugeordnet, z.b. ein reellwertiger Merkmalvektor, eine Funktion, eine geometrische Form, und zwar so, dass ähnliche Dokumente auch ähnliche Vektoren erhalten, d.h. Vektoren, deren Abstand klein ist. Das neu eingetroffene Dokument wird dann mit denjenigen Dokumenten verglichen, deren Vektor einen kleinen Abstand zum Vektor des neuen Dokuments hat.

13 Orthogonalität p. 13 Es geht noch raffinierter! Wenn man Bilder, Musik, oder andere komplexe Information speichern oder versenden muss, lohnt es sich oft, die Komplexität zu verringern. Das kann dadurch geschehen, dass man das jeweilige Bild, Musikstück, etc. durch ein einfacheres, hinreichend ähnliches, approximiert. Eine Technik, die dies leistet, ist die der orthogonalen Projektion. Diese wird nun als nächstes behandelt.

14 Orthogonalität p. 14 Winkel Der Winkel δ zwischen Vektoren u und v (beide 0) wird definiert durch cosδ := u v u v. Man kann zeigen, dass dies eine Definition ist, weil der Bruch rechts des Gleichheitszeichens stets eine reelle Zahl zwischen 1 und 1 ist, und diese Definition in den Anschauungsräumen R 2 und R 3 auf den üblichen Winkelbegriff führt.

15 Orthogonalität p. 15 Orthogonalität Vektoren u und v heißen zueinander orthogonal, wenn ihr Skalarprodukt gleich Null ist (beachte cos π π 2 = 0 = cos 2 ). In Kurznotation: u v : u v = 0. Satz des Pythagoras: Genau dann sind u und v zueinander orthogonal, wenn u + v 2 = u 2 + v 2.

16 Orthogonalität p. 16 Zueinander orthogonale Polynome Beispiel: Die Polynome p(x) := x und q(x) := x 2 sind bezüglich des oben angegebenen Skalarprodukts zueinander orthogonal, denn es gilt: < x,x 2 >= 1 1 x x 2 dx = 1 1 x 3 dx = 1 4 x4 1 1 = 0.

17 Orthogonalität p. 17 Orthogonales Komplement Für einen Untervektorraum W eines Vektorraumes V mit Skalarprodukt bezeichnet W := {v V v w für alle w W } den Orthogonalraum von W. Es ist nicht schwer zu beweisen, dass der Orthogonalraum ein Untervektorraum von V ist. Die Summe der Dimensionen von W und W ist die Dimension von V.

18 Orthogonalität p. 18 Orthogonal machen v v u αu w Zu gegebenen Vektoren u 0 und v gibt es eine eindeutig bestimmte Zahl α derart, dass die Vektoren u und w := v αu orthogonal sind. Man nennt αu das Bild der orthogonalen Projektion von v auf u.

19 Orthogonalität p. 19 Orthogonale Projektion Man findet und zwar folgendermaßen: α = v u u u, (v αu) u = 0 v u αu u = 0 v u = αu u α = v u u u.

20 Orthogonalität p. 20 Orthogonalbasis Sei u 1,..., u p eine Basis eines Untervekorraumes W des R n, die aus paarweise orthogonalen Vektoren besteht. Dann hat jeder Vektor w W eine eindeutige Darstellung als Linearkombination der u i, und wenn w = c 1 u c p u p, dann ist für alle j {1, 2,...,p} c j = w u j u j u j. Eine Orthonormalbasis ist eine Orthogonalbasis, in der alle Basisvektoren die Norm 1 haben.

21 Orthogonalität p. 21 Projektion in einen Unterraum Ist (u 1,...,u p ) eine Orthogonalbasis eines Untervektorraumes W von R n und v ein beliebiger Vektor, dann definiert man durch proj W (v) := v u 1 u 1 u 1 u 1 + v u 2 u 2 u 2 u v u p u p u p u p die orthogonale Projektion von v nach W. Der Ergebnisvektor proj W (v) hat folgende charakteristische Eigenschaften: proj W (v) W, v proj W (v) W.

22 Orthogonalität p. 22 Beweis (1) Die orthogonale Projektion proj W (v) ist laut Definition eine Linearkombination der Basisvektoren von W, also selbst ein Element von W. Um zu zeigen, dass v proj W (v) zu W gehört, berechnen wir das Skalarprodukt von v proj W (v) mit dem Basisvektor u 1 : v u 1 v u 1 (v proj W (v)) u 1 = ( v u1 u 1 + v u 2 u v u ) p u p u 1 = u 1 u 1 u 2 u 2 u p u p ( ) v u1 u 1 u = v u 1 v u 1 = 0. u 1 u 1

23 Orthogonalität p. 23 Beweis (2) Weil v proj W (v) orthogonal zu allen Basisvektoren ist, gilt v proj W (v) W. Zu beweisen ist noch, dass diese Eigenschaften charakteristisch sind, d.h. dass es nur einen Vektor mit diesen beiden Eigenschaften geben kann. Wir nehmen also an, w und w seien Elemente aus W und z sowie z seien Elemente von W mit w + z = v = w + z. Dann gilt w w = z z.

24 Orthogonalität p. 24 Beweis(3) Es gilt w w = z z. Der Vektor links des Gleichheitszeichens gehört zu W, der auf der rechten Seite zu W. Sie stehen senkrecht aufeinander und sind außerdem gleich: Das kann nur der Nullvektor sein. Wir können also schließen: w w = 0 = z z, also w = w und z = z.

25 Orthogonalität p. 25 Orthonormalisierung Wie findet man eine Orthogonalbasis eines gegebenen Untervektorraumes W? Idee: Induktiv! Hat man bereits eine Orthogonalbasis eines Unterraumes U W und einen Vektor w W \ U, dann berechnet man die orthogonale Projektion ŵ U von w nach U, und daraus den Differenzvektor w ŵ, der dann zu allen Vektoren von U orthogonal ist. Diesen Differenzvektor fügt man der Basis hinzu und erhält eine Orthogonalbasis eines größeren Untervektorraumes. Es geht leichter, wenn man zwischendurch normalisiert.

26 Orthogonalität p. 26 Verfahren nach Gram und Schmidt Gegeben: ein Vektorraum W und eine Basis (w 1,...,w p ) von W. Gesucht: Eine Orthogonalbasis (u 1,...,u p ) von W. Setze u 1 := w 1 u 2 := w 2 w 2 u 1 u 1 u 1 u ( 1 w3 u 1 u 3 := w 3 u 1 + w ) 3 u 2 u 2 u 1 u 1 u 2 u 2. also u i+1 := w i+1 proj <u1,...,u i > (w i+1)

27 Orthogonalität p. 27 Ergebnis Die so gewonnenen Vektoren u 1,...,u p sind paarweise orthogonal, linear unabhängig und erzeugen den gleichen Vektorraum wie die w i. Genauer gilt: < u 1...,u i >=< w 1...,w i >, 1 i p. Man kann die u i noch normalisieren und erhält eine Orthonormalbasis. Sind die u i normiert, so berechnet sich die Projektion einfacher: proj W (v) = (v u 1 )u 1 + (v u 2 )u (v u p )u p.

28 Orthogonalität p. 28 Eleganter In Matrixschreibweise kann das Verfahren eleganter formuliert werden. Dazu sei (u 1,...,u p ) eine Orthogonalbasis von W und U die Matrix mit den Spalten u 1,...,u p. Dann ist U T U eine Diagonalmatrix und proj(v) = U U T v.

29 Orthogonalität p. 29 Bestapproximation Ist W ein Untervektorraum des R n und v R n ein Vektor, dann gilt für ˆv := proj W (v) v ˆv < v w für alle w W \ {ˆv}. In Worten: ˆv ist derjenige Vektor in W, der v am nächsten ist.

30 Orthogonalität p. 30 Least Squares Gegeben: ein lineares Gleichungssystem Ax = b. Gesucht: ein Vektor ˆx, für den Aˆx b minimal wird. Lösungsweg: Man projiziert b in den Spaltenraum Col(A) von A, berechnet also ˆb := proj Col(A). Die Lösungen des linearen Gleichungssystems Aˆx = ˆb sind dann genau die Lösungen des Ausgangsproblems. Sie sind zugleich genau die Lösungen der Normalgleichung A T Aˆx = A T b.

31 Orthogonalität p. 31 Beispiel (1) Das lineare Gleichungssystem 4x = 2, 2y = 0, x + y = 11 hat keine Lösung. Gesucht ist eine bestmögliche Approximation, eine Näherungslösung für ( x y ) =

32 Orthogonalität p. 32 Beispiel (2) A T A = ( A T b = ) ( ) =. ( ) Gesucht sind also genau die Lösungen des LGS ( ) ( ) ( ) 17 1 x 19 =. 1 5 y 11

33 Orthogonalität p. 33 Beispiel (3) Wegen (A T A) 1 = 1 84 ( ) ergibt sich ˆx = 1 84 ( ) ( ) = 1 84 ( ) = ( 1 2 ).

34 Orthogonalität p. 34 Ausgleichsgerade Wie findet man eine Gerade y = β 1 x + β 0, die eine vorgegebene Punktmenge {(x 1,y 1 ),...,(x p,y p )} möglichst gut annähert? Wenn die Punkte auf einer Geraden liegen, dann gilt 1 x x p ( β 0 β 1 ) = y 1. y p. Die approximierende Gerade erhält man, indem man die Bestapproximation dieses LGS bestimmt.

35 Orthogonalität p. 35 Periodische Funktionen Die Funktion f(x) := sin x ist periodisch mit Periode 2π, d.h. gilt für alle x R. sin(x + 2π) = sin x Es genügt deshalb, die Funktion auf einem Intervall der Länge 2π zu kennen, beispielsweise auf dem Intervall [ π,π]. Wir betrachten nun Funktionen auf [ π, π], die integrierbar sind.

36 Orthogonalität p. 36 Skalarprodukt im Funktionenraum Der Vektorraum der auf [ π, π] integrierbaren Funktionen hat ein Skalarprodukt: < f,g >:= π π f(t)g(t)dt. Für dieses Skalarprodukt gilt: < sin(n t), cos(m t) >= 0 für alle m,n N 0, < sin(n t), sin(m t) >= 0 für alle m n N 0, < cos(n t), cos(m t) >= 0 für alle m n N 0.

37 Orthogonalität p. 37 Ein Orthogonalsystem Die Funktionen 1, cos t, cos 2t,...,sin t, sin 2t,... bilden also ein Orthogonalsystem (aber keine Basis)! Den von ihnen erzeugten Untervektorraum nennt man den Raum der trigonometrischen Polynome. Ein trigonometrisches Polynom hat also die Form a a 1 cos t + + a n cosnt + b 1 sint + + b n sin nt = a n (a ν cos νt + b ν sin νt). ν=1

38 Orthogonalität p. 38 Fourierapproximation Die Idee der Fourierapproximation besteht darin, eine beliebige integrierbare Funktion auf [ π, π] durch trigonometrische Polynome zu approximieren. Aber Vorsicht! Unsere Definition der orthogonalen Projektion war für endlichdimensionale Untervektorräume formuliert. Der Raum der trigonometrischen Polynome ist aber unendlichdimensional! Problemlos berechnen können wir aber die orthogonale Projektion in den Raum der trigonometrischen Polynome von Grad n, und das für jede Zahl n.

39 Orthogonalität p. 39 Fourierkoeffizienten Die Funktion f(t) sei 2π-periodisch und im Intervall [ π, π] integrierbar. Die Zahlen a ν := 1 π b ν := 1 π π π π π f(t) cosνtdt,,ν = 0, 1, 2,... f(t) sinνtdt,,ν = 1, 2, 3... heißen Fourierkoeffizienten der Funktion f.

40 Orthogonalität p. 40 Fourierreihe Die mit den Fourierkoeffizienten gebildete Reihe a (a ν cos νt + b ν sin νt) ν=1 heißt Fourierreihe von f. Man kann zeigen, dass die Fourierreihe von f gegen f konvergiert, wenn die Funktion f stetig ist.