9. Vorlesung Lineare Algebra, SVD und LSI

Transkript

1 9. Vorlesung Lineare Algebra, SVD und LSI Grundlagen lineare Algebra Vektornorm, Matrixnorm Eigenvektoren und Werte Lineare Unabhängigkeit, Orthogonale Matrizen SVD, Singulärwerte und Matrixzerlegung LSI:Latent Semantic Indexing Seite 248

2 Matrix-Vektor Multiplikation Symbolisch Seite 249

3 Beispiel Seite 250

4 Alternative Präsentation von Matrix-Vektor Multiplikation Sei aj der j-te Spaltenvektor von A y ist eine Linearkombination der Spalten von A Seite 251

5 Matrix-Matrix Multiplikation Sei und dann ist Jede Zeile in B wird mit A multipliziert. Seite 252

6 Beispiel Seite 253

7 Vektor Normen L1 Norm: L2 Norm, Euklidische Norm Lunendlich, Maximum Norm Lp Norm Seite 254

8 Allgemeine Definition von Vektornormen Eine Norm ist eine Funktion Seite 255

9 Distanz zwischen Vektoren Distanz zwischen x und y ist wobei eine beliebige Norm ist Oft Euklidische Norm Alternative: Winkel zwischen Vektoren Skalarprodukt Beziehung zu Euklidischer Norm Cosinus des Winkels zwischen zwei Vektoren (Ähnlichkeit) Seite 256

10 Beispiel Term-Dokument Matrix Termhäufigkeiten Mit Euklidischer Dist. sehen 1 und 2 unähnlich aus und 2 und 3 ähnlich, nur wegen der Dokumentlängen Mit Cosinus Ähnlichkeit sind 1 und 2 ähnlich und unähnlich zu 3. Seite 257

11 Eigenwerte, Eigenvektoren Sei A eine n x n Matrix und v ein Vektor mit Dann ist v ein Eigenvektor von A und lambda ist ein Eigenwert Seite 258

12 Beispiel Seite 259

13 Matrixnormen Sei eine Vektornorm und die korrespondierende Matrixnorm ist Wurzel des größten Eigenwertes von Max. der Zeilensummen Max. der Spaltensummen Frobeniusnorm: korrenspondiert zu keiner Vektornorm Seite 260

14 Lineare Unabhängigkeit Die Vektoren sind linear unabhängig, wenn gdw. für alle Eine Menge von m linear unabhängigen Vektoren aus wird Basis für genannt. Alle Vektoren aus können als Linearkombination der Basisvektoren ausgedrückt werden. Seite 261

15 Beispiel Die Spalten sind nicht linear unabhängig, da für Seite 262

16 Rang einer Matrix Rang einer Matrix ist die maximale Anzahl linear unabhängiger Spalten. Eine quadratische Matrix mit Rang n ist nicht-singulär und hat eine Inverse mit Die äußere Produktmatrix hat Rang 1 Seite 263

17 Orthogonalität Zwei Vektoren sind orthogonal wenn Seien orthogonal mit dann sind sie lin. unabhängig Sei die Menge orthogonaler Vektoren normalisiert mit dann ist sind sie eine orthonormale Basis Eine Matrix mit orthonormalen Spalten, heißt orthogonale Matrix Seite 264

18 Warum sind orthogonale Matrizen nett? Eine orthogonale Matrix hat Rang m Inverse einer orthogonalen Matrix Q ist Euklidische Länge eines Vektors ist invariant bei einer orthogonalen Transformation Q Das Produkt von orthogonalen Matrizen ist orthogonal: Seite 265

19 Matrixdekomposition Eine Matrix A soll in ein Produkt von ein oder mehreren Matrizen zerlegt werden Die rechten Seiten sollen nützliche Eigenschaften haben Seite 266

20 Beispiel SVD Seite 267

21 Beispiel SVD Seite 268

22 Singulärwertzerlegung Jede Matrix A mit kann zerlegt werden wobei und orthogonal sind und ist diagonal Abgespeckte Version: Seite 269

23 Singulärwerte und Vektoren Die Diagonalelemente von sind die Singulärwerte der Matrix A. Die Spalten von U und V sind linke und rechte Singulärvektoren. Äquivalente Form der SVD: Seite 270

24 Äußere Produktform Beginnt mit abgespeckter Form Summe von Matrizen mit Rang 1. Seite 271

25 Matrix Approximation Satz: Sei und und definiere dann ist Seite 272

26 Was bedeutet das? Die beste Approximation mit Rang k einer Matrix A ist Sinnvoll für Kompression Rauschunterdrückung Finden von Konzepten oder Themen, LSI Korrekter Rang durch Singulärwerte Seite 273

27 Beispiel: Rauschunterdrückung Angenommen eine Matrix besteht aus einer Matrix mit niedrigem Rang und Rauschen Singulärwerte Seite 274

28 Log der Singulärwerte Seite 275

29 Konsequenzen Beste Rang 1 Approximation von A ist Angenommen dann d.h. der Rang ist die Anzahl der Nicht-Null Singulärwerte von A Seite 276

30 Störungstheorie Satz: Seien A und A+E in mit dann ist für E wird als Rauschen gedacht Seite 277

31 Log der Singulärwerte Eigengap Seite 278

32 Eigenwert- und Singulärwertzerlegung deshalb: d.h. in Spaltenschreibweise Äquivalent gilt mit Seite 279

33 Singulärwerte und Vektoren Die Singulärwerte sind die nicht-negativen Wurzeln der Eigenwerte von Die Spalten von V sind die Eigenvektoren von Die Spalten von U sind die Eigenvektoren von Seite 280

34 Latent Semantic Indexing Annahme: es gibt eine verborgene Struktur in den Daten Diese Struktur kann erhellt werden durch die Projekttion der Daten (Term-Dokument Matrix) in einen Unterraum mit niedriger Dimension durch SVD Seite 281

35 LSI Methode Normalisiere die Spalten auf Länge 1 (sonst dominieren lange Dok. die ersten Singulärwerte und Vektroren). Berechne SVD der Term-Dokument-Matrix und approximiere orthogonale Basis für alle Dokumente Spalte j hat die Koodinaten von Dok. j in der neue Basis ist eine Projektion von A auf den von aufgespannten Unterraum Seite 282

36 Datenkompression hält die Koordinaten der Dokumente bezüglich der ersten k linken Singulärvektoren Seite 283

37 Beispiel Seite 284

38 Dk fuer k=2 Dokumente Seite 285

39 Themen Tk sind die Koordinaten der Terme bezüglich der ersten k rechten Singulärvektoren Seite 286

40 Themen, k=2 Toddler Safety Health Baby Child Guide Proofing Seite 287

41 Fehler der Approximation Relativer Fehler Beispiel: Oft wird Frobeniusnorm statt Euklidischer Norm genutzt Seite 288

42 Anfragen mit LSI Repräsentiere Term-Dok. Matrix als Berechne Folding In der Anfrage Ähnlichkeit Anfrage wird im k-dimensionalen Unterraum bearbeitet Seite 289

43 LSI Zusammenfassung LSI erhöht die Retrieval Qualität Auch wenn der Approximationsfehler hoch ist LSI kann mit Synonymen umgehen... und auch mit Mehrfachbedeutungen Seite 290