$Id: lgs.tex,v 1.2 2008/11/26 08:24:56 hk Exp hk $ II. Lineare Algebra 5 Lineare Gleichungssysteme Definition 5.1: Ein lineares Gleichungssystem besteht aus m linearen Gleichungen a 11 x 1 + a 12 x 2 + + a 1n x n = b 1 a 21 x 1 + a 22 x 2 + + a 2n x n = b 2 ( )... =. a m1 x 1 + a m2 x 2 + + a mn x n = b m für die gesuchten n Unbekannten x 1,..., x n. Dabei sind die sogenannten Koeffizienten a ij und die rechten Seiten b j reelle oder komplexe Zahlen, und auch die Variablen x 1,..., x n können reell oder komplex sein. Je nachdem ob reelle oder komplexe Zahlen vorliegen, sprechen wir von einem linearen Gleichunssystem über R oder über C. Allgemeiner kann man auch lineare Gleichungssysteme über einem Körper K behandeln. Ein Körper ist dabei eine Menge K versehen mit einer Addition und einer Multiplikation, die die in 4 aufgezählten Körperaxiome erfüllen. Da dieser Grad an Allgemeinheit für unsere Zwecke aber nicht von Bedeutung ist, nehmen wir immer K = R oder K = C an. Zur Verkürzung der Schreibweise führen wir für das lineare Gleichungssystem ( ) die sogenannte Matrixschreibweise ein. Definition 5.2: Eine m n Matrix A über dem Körper K (also bei uns K {R, C}) ist ein rechteckiges Schema a 11 a 1n A =.. a m1 a mn bestehend aus m Zeilen von je n Elementen von K. Ist dabei m = n, so spricht man auch von einer quadratischen Matrix. Definition 5.3: Sei ( ) das lineare Gleichungssystem der obigen Definition. Dann nennt man die Matrix a 11 a 1n A =.. a m1 a mn 10-1
die Koeffizientenmatrix des linearen Gleichungssystems ( ). Weiter heißt die Matrix a 11 a 1n b 1 A =... a m1 a mn b m die erweiterte Koeffizientenmatrix des linearen Gleichungssystems ( ). Wir wollen ein erstes Beispiel eines linearen Gleichungssystems besprechen, nämlich das folgende System von vier Gleichungen in vier Unbekannten: x + 2y u + v = 1 x + 2y + u v = 3 x + 2y + 3u v = 1 3x u = 0 Koeffizientenmatrix und erweiterte Koeffizientenmatrix dieses Gleichungssystems sind dann die 4 4 beziehungsweise 4 5 Matrix 1 2 1 1 A = 1 2 1 1 1 2 3 1, A = 1 2 1 1 3 1 2 3 1 1. 3 0 1 0 3 0 1 0 0 Zur Lösung dieses Gleichungssystem werden wir gleich kommen. Es ist nützlich sich zunächst um einen sehr einfach zu lösenden Spezialfall eines linearen Gleichungssystems zu kümmern. Betrachte beispielsweise das folgende lineare Gleichungssystem x + 2y u + v = 1 4y + 2u = 2 2u 2v = 4 2v = 10 Dieses Gleichungssystem können wir sehr einfach lösen indem wir die Unbekannten mit v startend von unten her auflösen. Die vierte Gleichung liefert v = 5, damit wird die dritte zu 2u 10 = 4, also u = 3, die zweite Gleichung ergibt 4y + 6 = 2, also y = 1 und schließlich mit der ersten Gleichung auch x 2 3 + 5 = 1, also x = 1. Ein ähnliches Beispiel ist das folgende lineare Gleichungssystem Hier können wir aus der letzten Gleichung x + y + z = 1 y 1z = 2 3 3 y = 2 3 + 1 3 z 10-2
ablesen, wobei die Variable z durch das Gleichungssystem nicht weiter festgelegt wird, also jeden reellen Wert annehmen kann. Gehen wir mit diesem Wert für y in die erste Gleichung, so wird diese zu x + 2 3 + 1 3 z + z = 1 also x = 1 3 4 3 z. Damit haben wir hier zwar keine eindeutige Lösung, aber wir können zumindest die Menge aller Lösungen des Gleichungssystems hinschreiben als 1 4z 3 3 2 + 1z 3 3 z z R. Analog läßt sich jedes solche lineare Gleichungssystem in Stufenform a 11 x 1 + + a 1i x i + + a 1j x j + = b 1 a 2i x i + + a 2j x j + = b 2 a 3j x j + = b 3. =. mit a 11 0, a 2i 0, a 3j = 0,... auflösen. Dabei dürfen auch noch zusätzliche führende Spalten auftreten, die nur aus Nullen bestehen. Wie in den Beispielen startet man mit der untersten Gleichung und arbeitet sich nach oben durch. Jede der Gleichungen legt dann eine der Unbekannten fest, nämlich diejenige x i deren Koeffizient der am weitesten links stehende, von Null verschiedene, Eintrag in dieser Gleichung ist. Bei jeder der langen Stufen treten dabei Variablen auf, die durch die Gleichung nicht weiter festgelegt sind, wie im obigen Beispiel das z. Diese müssen nicht ganz hinten stehen. Ein anderes Beispiel in Stufenform mit vier Variablen und zwei langen Stufen ist x + y + u v = 1 u + v = 2. Hier ergibt die zweite Gleichung u = 2 v mit einer freien Variablen v. Die erste Gleichung wird dann zu x + y + 2 v v = 1, also x = 1 y + 2v, d.h. durch diese Gleichung wird auch y zu einer freien Variable. Für die Lösungsmenge ist es nun praktisch, die frei gebliebenen Variablen umzutaufen, y und v als Laufvariablen sieht etwas merkwürdig aus. Die Lösungsmenge ist 1 s + 2t s 2 t t 10-3 s, t R.
Ein allgemeines lineares Gleichungssystem kann nun gelöst werden, indem es in ein äquivalentes lineares Gleichungsystem in Stufenform umgeformt wird. Hierzu verwenden wir die folgenden drei elementaren Transformationen eines linearen Gleichungssystems: 1. Vertauschen zweier Gleichungen. 2. Multiplikation einer der Gleichungen mit einer Zahl c 0. 3. Addition eines Vielfachen einer Zeile zu einer anderen Zeile. Offenbar verändert keine dieser drei Transformationen die Lösungsmenge eines linearen Gleichungssystems. Die Operation (2) wird dabei nicht wirklich benötigt, wir können sie dazu benutzen in der Stufenform zusätzlich a 11 = a 2i = a 3j = = 1 anzunehmen, was gelegentlich bequem ist. In Termen der erweiterten Koeffizientenmatrix werden diese drei Operationen zu 1. Vertauschen zweier Zeilen. 2. Multiplikation einer Zeile mit einer Zahl c 0. 3. Addition eines Vielfachen einer Zeile zu einer anderen Zeile. Diese drei Transformationen einer Matrix werden auch als elementare Zeilenumformungen bezeichnet. Das sogenannte Gaußsche Eliminationsverfahren, oft auch als Gauß- Algorithmus bezeichnet, wendet diese drei elementaren Umformungen systematisch auf ein gegebenes lineares Gleichungssystem an, um es in ein System in Stufenform zu überführen. Wir wollen das Eliminationsverfahren zunächst am obigen Beispiel des linearen Gleichungssystems mit der erweiterten Koeffizientenmatrix 1 2 1 1 3 1 2 3 1 1 3 0 1 0 0 durchführen. Das Verfahren startet hier indem wir Vielfache der ersten Zeile zu den anderen drei Zeilen addieren, und zwar so, dass der neue Eintrag in der ersten Spalte dieser drei Gleichungen zu Null wird. Ziehen wir die erste Zeile von der zweiten ab, so erhalten wir ganz links in der zweiten Zeile tatsächlich eine Null. Beachte dabei das ein Abziehen der ersten Zeile von der zweiten auch als Addition des ( 1)-fachen der ersten Zeile zur zweiten gedeutet werden kann. Entsprechend müssen wir die erste Zeile zur dritten Zeile addieren, und das dreifache der ersten Zeile von der vierten Zeile abziehen. Mit diesen drei elementaren Zeilenumformungen wird unsere erweiterte Koeffizientenmatrix zu 1 2 1 1 3 1 2 3 1 1 3 0 1 0 0 10-4 0 0 2 2 4 0 4 2 0 2 0 6 2 3 3.
Damit sind wir der Stufenform ein Stück näher gekommen. Nun würden wir gerne mit der zweiten Zeile so fortfahren, also Vielfache der zweiten Zeile zur dritten und vierten addieren so, dass wir in der dritten und vierten Zeile zwei führende Nullen bekommen. Leider geht dies nicht sofort, da der zweite Eintrag der zweiten Zeile ja selbst eine Null ist. Dies können wir aber leicht beheben, wir benutzen die erste unserer elementaren Zeilenumformungen um die zweite und die dritte Zeile der Matrix miteinander zu vertauschen 0 0 2 2 4 0 4 2 0 2 0 6 2 3 3 0 4 2 0 2 0 0 2 2 4 0 6 2 3 3 Danach kann es weitergehen, um auch der vierten Zeile eine zweite Null zu geben, muss nur noch das 3/2-fache der zweiten Zeile zur vierten addiert werden 0 4 2 0 2 0 0 2 2 4 0 4 2 0 2 0 0 2 2 4. 0 6 2 3 3 0 0 5 3 0 Damit ist die Stufenform schon beinahe erreicht. Wir müssen nur noch als letzten Schritt das 5/2-fache der dritten Zeile von der vierten abziehen und erhalten 0 4 2 0 2 0 0 2 2 4 0 4 2 0 2 0 0 2 2 4. 0 0 5 3 0 0 0 0 2 10 Damit haben wir unser lineares Gleichungssystem in Stufenform gebracht. Tatsächlich ist das erhaltene System in Stufenform gerade x + 2y u + v = 1 4y + 2u = 2 2u 2v = 4 2v = 10 und dies war unser erstes Beispiel eines linearen Gleichungssystems in Stufenform. Die eindeutige Lösung dieses Gleichungssystems hatten wir bereits als x = 1, y = 1, u = 3, v = 5 ermittelt. Wir wollen nun noch ein zweites Beispiel durchrechnen, das zwar lösbar, aber nicht mehr eindeutig lösbar ist. Wir betrachten das folgende lineare Gleichungssystem x + y + z = 1 2x y + 3z = 0 5x y + 7z = 1. 10-5.
Hier beginnt das Eliminationsverfahren, indem wir das doppelte der ersten Zeile von der zweiten Zeile abziehen und anschließend das fünffache der ersten Zeile von der dritten Zeile abziehen 1 1 1 1 2 1 3 0 5 1 7 1 1 1 1 1 0 3 1 2 0 6 2 4 Jetzt wird das doppelte der zweiten Zeile von der dritten Zeile abgezogen, und es entsteht 1 1 1 1 1 1 1 1 0 3 1 2 0 3 1 2, 0 6 2 4 0 0 0 0 hier ist also auf einmal die gesamte dritte Zeile zu Null geworden. Für das erhaltene lineare Gleichungssystem bedeutet dies, dass die dritte Gleichung verschwunden ist. Für den Gauß Algorithmus ist dies kein Problem, die nun erhaltene Matrix ist nämlich in Stufenform, Phase 1 des Algorithmus ist hier also abgeschlossen. Benutzen wir noch die zweite unserer elementaren Zeilenumformungen um die zweite Zeile mit 1/3 zu multiplizieren und lassen die überflüssig gewordene dritte Zeile weg, so entsteht das folgende linere Gleichungssystem in Stufenform x + y + z = 1 y 1z = 2 3 3 und dies war unser zweites Beispiel eines linearen Gleichungssystems in Stufenform. Die Menge der Lösungen dieses Gleichungssystems hatten wir bereits als 1 4t 3 3 2 + 1t 3 3 t t R. berechnet. Das Gaußsche Eliminationsverfahren läuft damit prinzipiell in zwei Phasen ab: 1. Bringe das gegebene lineare Gleichungssystem von oben beginnend in Stufenform indem die Einträge der weiter unten liegenden Spalten durch Addition geeigneter Vielfacher der oberen Zeile auf Null gebracht werden. 2. Löse das entstandene lineare Gleichungssystem in Stufenform von unter her, indem jede der verbliebenen Gleichungen eine der Unbekannten festleft, und eventuell verbleibende Unbekannte als freie Parameter behandelt werden. Wir werden bald eine etwas formalere Beschreibung dieses Algorithmus angeben. Aber bevor wir dies tun, wollen wir noch kurz einige der Vor- und Nachteile des Gaußschen Algorithmus benennen. Ein Vorteil ist natürlich, dass er sich für lineare Gleichungssysteme moderater Größe bequem per Hand durchführen läßt und zuverlässig in allen 10-6.
Fällen zur Bestimmung aller Lösungen führt. Es gibt allerdings auch einige Nachteile, die vor allen zum Tragen kommen, wenn der Algorithmus auf einem Computer ablaufen soll. In der hier gegebenen Form ist das Eliminationsverfahren zum Rechnen mit Fließkommazahlen nicht geeignet. Es werden fortwährend Differenzen gebildet, durch die dann anschließend dividiert wird. In dem unglücklichen, aber durchaus vorkommenden Fall, das dabei die Differenz von Zahlen gebildet wird, die relativ ihrer Größenordnung nahe beeinander liegen, verschwindet der wesentliche Teil dieser Zahlen in der Differenz, aber in den hinteren Dezimalstellen überlegen bereits aufgetretene Rundungsfehler, ein Effekt der als Auslöschung bezeichnet wird. Wird dann anschließend durch dieses Ergebnis geteilt, so können diese Rundungsfehler soweit vergrößert werden, dass die ganze Rechnung nur noch an Fehlern herumrechnet. Dies ist nicht das einzige numerische Problem des, Eliminationsverfahrens aber eine weitergehende Analyse unter numerischen Gesichtspunkten liegt außerhalb des Themas dieses Vorlesung. Ein anderes Problem ist, dass der Rechenaufwand beim Gaußschen Eliminationsverfahren grob gesagt mit der dritten Potenz n 3 der Anzahl n der Unbekannten im linearen Gleichungssystem wächst. Dadurch wird die Behandlung großer linearer Gleichungssysteme mit unserem Algorithmus praktisch unmöglich. Leider sind lineare Gleichungssysteme mit vielen Unbekannten gerade Anwendungsfragen ein häufig auftretendes Phänomen. Eine typische Quelle derartiger großer Gleichungssysteme ist die numerische Lösung gewisser (partieller) Differentialgleichungen auf dem Computer. In einer solchen Gleichung wird nach einer Funktion f, beispielsweise in zwei Variablen also f(x, y), gesucht und die Gleichungen bestehen aus Bedingungen an Ableitungen von f. Sehr viele physikalische und praktische Probleme führen auf derartige Gleichungen. Ein Ansatz zur numerischen Behandlung ist es den für (x, y) interessierenden Bereich durch ein ausreichend feines Gitternetz aufzuteilen, und die unbekannte Funktion f anzunähern indem nur die Werte von f auf den Gitterpunkten betrachtet werden. 1 0 0 1 Die Ableitungen in einem Gitterpunkt werden dann durch gewisse Linearkombinationen der Werte der Funktion in diesem und in den umliegenden Gitterpunkten approximiert. Dadurch übersetzt sich die Differentialgleichung in ihrer Näherung durch ein 10-7
lineares Gleichungssystem, das für jeden Funktionswert f(x, y) in einem der Gitterpunkte (x, y) eine Unbekannte hat. Unterteilen wir etwa für 0 x, y 1 das Quadrat in ein Gitter der Maschenweite 0.01, so haben wir auf jeder der beiden Achsen 100 Gitterpunkte, also im gesamten Quadrat 100 100 = 10000 Gitterpunkt. Damit hätten wir es bereits mit linearen Gleichungssystemen in 10000 Unbekannten zu tun. Hierfür wird dann sicher nicht der Gauß-Algorithmus eingesetzt, sondern es kommen ganz andere Verfahren zum Zug. Aber dies ist ein Thema einer spezialisierteren Vorlesung, und wir hier nicht behandelt werden. 10-8