Lineare Algebra und Datenwissenschaften in Ingenieur- und Informatikstudiengängen

Transkript

1 Lineare Algebra und Datenwissenschaften in Ingenieur- und Informatikstudiengängen Heiko Knospe Technische Hochschule Köln 6. September 26 / 2

2 Einleitung Das Management und die Analyse großer Datenmengen gewinnen an Bedeutung, z.b. in Zusammenhang mit vernetzten Systemen und dem Internet of Things (IoT). Welche Konsequenzen ergeben sich für die Mathematikausbildung in Ingenieur- und Informatikstudiengängen und insbesondere für die Lineare Algebra? Was kann in Grundlagen-Lehrveranstaltungen behandelt werden? Ziele ist dabei unter anderem, die Grundlagen für datenbasierte Algorithmen und Verfahren bereitzustellen, z.b. für Machine Learning, aber auch für Themen wie Kodierung und Kryptographie. 2 / 2

3 Lineare Algebra in Ingenieurwissenschaften Bisher im Vergleich zur Analysis untergeordnete Bedeutung: Vektorrechnung und analytische Geometrie, häufig R 2 und R 3, Lineare Gleichungssysteme mit wenigen Variablen und Gleichungen, Matrizen und Determinanten. Datenwissenschaften u.a. Bereiche der I&K-Technik benötigen: Allgemeine Vektorräume und lineare Abbildungen, Hochdimensionale Beispiele, Eigenvektoren, Basiswechsel, Matrixzerlegungen. 3 / 2

4 Lineare Algebra und Daten Daten und Datenmengen als Vektoren, Matrizen, Verallgemeinerung durch Tensoren. Datensatz der Länge n als Vektor v = (v,v 2,...,v n ) R n Datenmengen als Elemente von R m R n, d.h. als m n Matrix mit m Zeilen (Datensätze) und n Spalten (Attribute, Merkmale oder Variablen). Beispiel: Die Tages-Schlusskurse der 3 DAX Unternehmen seit 2 werden durch eine Matrix dargestellt A = Zeilen: 4..2,..., Spalten: ADS.DE, ALV.DE, BAS.DE, BAY.DE,..., VOW3.DE 4 / 2

5 Binäre Vektorräume Vektorräume und Untervektorräume von GF(2) n. Binäre Daten als Vektoren im GF(2) n. Beispiel: (7, 4)-Hamming Code. Die Codewörter sind das Bild der Matrix (der linearen Abbildung) G bzw. der Kern der Kontrollmatrix H. G = H = 5 / 2

6 Binäre Vektorräume II Vektorräume und Untervektorräume von GF(2) n. Beispiel: Der nichtlineare Anteil der AES Verschlüsselung (S-Box) ist eine Abbildung f : GF(2) 8 GF(2) 8 mit f(x) = A x b = A x + b für x wobei x als Element des Körpers GF(2 8 ) angesehen wird. A = b = 6 / 2

7 Hyperebenen im Datenraum Trennung von zwei Klassen von Datenvektoren mit n Variablen durch eine Hyperebene im R n (Support Vector Machine). b x + b 2 x b n x n + b = / 2

8 Eigenvektoren und Eigenräume Eigenvektoren v als Hauptachsen von A: A < v > < v > Diagonalisierung, falls eine Basis von Eigenvektoren existiert: Basiswechsel mit Eigenvektoren A = T D T Spektralzerlegung für symmetrische Matrizen: A = TDT T, wobei die Spalten von T orthogonale und normierte Eigenvektoren v,v 2,...,v n von A sind mit den Eigenwerten λ,λ 2,...,λ n. Dann gilt: A = λ v v T + λ 2 v 2 v T λ n v n v T n Rang- bzw. Dimensionsreduktion durch Weglassen von λ i v i vi T kleine Eigenwerte λ i. für 8 / 2

9 Hauptachsen Ziel: bestimme die Hauptachsen (Hauptrichtungen) einer Menge von m Datenvektoren im R n, d.h. ermittle die Achsen größter Varianz. Zentriere zunächst die m n Datenmatrix, d.h. subtrahiere den Mittelwert jeder Variable (jeder Spalte). Dann ist S = m AT A die Kovarianzmatrix. S ist eine symmetrische und positiv semidefinite n n Matrix mit den Eigenwerten λ λ 2 λ n. S hat eine Spektralzerlegung S = λ v v T + λ 2 v 2 v T λ n v n v T n Die Eigenvektoren sind die Hauptkomponenten (Principal Components), v ist die erste Hauptkomponente und die Richtung (d.h. die Variablengewichtung) mit der größten Varianz. 9 / 2

10 Beispiel: Hauptachsen Matrix A der DAX Werte, zentriert und normalisiere bezüglich der Variablen (Unternehmen). S = m AT A ist dann die Korrelationsmatrix, PC und PC2 sind die ersten Eigenvektoren und Hauptkomponenten PC PC PC DAX PC und PC2 sind die ersten beiden Hauptstreuungsrichtungen der Daten. PC stimmt sehr gut mit dem (völlig anders zusammengesetzten) DAX überein (nach Normalisierung). / 2

11 Beispiel: Projektion auf die Hauptachsen und Clusteranalyse Sei w ein Datenvektor und PC, PC2 die Hauptkomponenten. Dann ist (w,w 2 ) = (PC w,pc2 w) R 2 die Projektion von w bezüglich der Hauptachsen. Der k-means-algorithmus bestimmt die k Clustermittelpunkte (z.b. k = 4) und bildet k Gruppen / 2

12 Singulärwertzerlegung Sei A eine reelle m n Matrix vom Rang r. Dann existiert eine orthogonale n n Matrix V, eine orthogonale m m Matrix U und eine m n Matrix S in Diagonalform mit r Diagonaleinträgen σ σ 2 σ r >, so dass A = U S V T Seien u,...,u n die Spaltenvektoren von U und v,...,v m die Spaltenvektoren von V. Dann gilt: A = σ u v T + + σ r u r v T r Dies kann u.a. zur Approximation von A durch eine Matrix mit Rang < r verwendet werden. 2 / 2