INTELLIGENTE DATENANALYSE IN MATLAB. Mathematische Grundlagen

Transkript

1 INTELLIGENTE DATENANALYSE IN MATLAB Mathematsche Grundlagen

2 Überblck Lneare Algebra: Vektoren, Matrzen, Analyss & Optmerung: Dstanzen, konvexe Funktonen, Lagrange-Ansatz, Stochastk: Wahrschenlchketstheore, Statstk, Numerk: Fehlerfortpflanzung, Näherungsverfahren, 2

3 Lneare Algebra Vektoren Vektor: x x x 1 m [ x x ] 1 m T x Vektorsumme: n x 1 x x 11 n1 1m x x nm x x 2 1 x x x x 3 Skalarprodukt: y, x x, y x y T x, y x y cos m 1 xy x y 3

4 Lneare Algebra Matrzen Matrx: x11 x1 n x11 xm 1 [ x1 xn] x x x x m1 mn 1n mn T Matrxsumme: Matrxprodukt: x11 y11 x1 n y1 n Y x m1 ym 1 xmn y mn n n x1 y 1 x1 yk x11 x1 n y11 y 1k 1 1 Y Y x x y y n n m1 mn n1 nk xm y 1 xm y k 1 1 4

5 Lneare Algebra Geometre Hyperebene: H w Hw x f x x w w T { ( ) 0 0} w z f ( z) w Ellpsod: w 0 w EA x x x Ax T { g( ) 1} 5

6 Lneare Algebra Matrx-Egenschaften Quadratsch: Symmetrsch: Spur (trace): Rang (rank): Determnante: Postv defnt: n m A A T m tr( A) a 1 T x Ax 0 x 0 a A a 11 1n rk( A) #lnear unabhänger Zelen/Spalten det( A) 0 falls alle Zelen/Spalten lnear unabh. m1 a a mn 6

7 Lneare Algebra Spezelle Matrzen Ens-Vektor/-Matrx: Enhetsvektor: Dagonalmatrx: Enhetsmatrx: , T e [ ] 1 dag( a) [ a e a e ] a 1 1 m m 1 0 Idag() a 0 m 7

8 Lneare Algebra Matrx-Faktorserung LU-Zerlegung (m = n): A l11 0 u11 um 1 LU l l 0 u m1 mm mm T Cholesky-Zerlegung (m = n): A GG Egenwert-Zerlegung (m = n): T exstert nur falls Matrx A symmetrsch und postv defnt 1 0 T T T 1 falls A VΣV [ v1 vm] [ v1 vm] v v j 0 falls 0 m j j Egenvektoren Egenwerte falls Matrx A symmetrsch 8

9 Lneare Algebra Matrx-Faktorserung Sngulärwert-Zerlegung (m > n): Sngulärwerte 0 1 falls vv j 0 falls 0 1 falls uuj 0 0 falls 1 T T T AUΩV [ u1 um] [ v1 vn] n T Berechnung durch Egenwert-Zerlegung: j j j j T 0 T T T A A U U, AA V, 0 V n 0 n 0 0 9

10 Analyss Dstanzen Defnton: d( x, y) 0 x y d( x, y) d( y, x) d( x, y) d( x, z) d( z, y) Bespele für Vektor-Dstanzen bzw. Normen: Mnkowsk-Dstanz: Manhattan-Dstanz: Eukldsche Dstanz: Bespel für Matrx-Dstanzen: Schatten-Dstanz: Trace-Dstanz: Frobenus-Dstanz: x m y p x p 1 x y x y 1 2 m Y p p 1 tr p Y Y Y Y F 1 2 y p Norm von x: x d( x, 0) Sngulärwerte der Matrx Y Norm von : d(,0) 10

11 Analyss Dfferentalrechnung Erste Abletung ener Funkton: Nach enem Skalar x: Nach enem Vektor x: df f dx f f x f grad ( f ) x1 xm T Zwete Abletung ener Funkton: Nach enem Skalar x: Nach enem Vektor x: Gradent Partelle Abletung f 2 d f dx x1 x1x m 2 f H ( f ) x 2 2 Hesse-Matrx f f f xmx1 x f 2 m 11

12 Analyss Integralrechnung Integral ener Funkton: Über enem Skalar x: Über enem Vektor x: Bestmmtes Integral: Umkehroperaton: Fx f ( x)dx F f x x f x x x x b a ( )d ( )d 1 d m f ( x)d x F ( b) F ( a) f( x) d dx F x x x Berechnung analytsch durch Integratonsregeln oder numersche Approxmaton (Quadraturformeln). 12

13 Analyss Konvexe & konkave Funktonen Konvexe Funkton: f ( tx (1 t) y) tf ( x) (1 t) f ( y) Konkave Funkton: f ( tx (1 t) y) tf ( x) (1 t) f ( y) Streng konvex bzw. konkav: bzw. wrd zu bzw.. Es exstert maxmal en Mnmum bzw. Maxmum. Zwete Abletung st überall postv bzw. negatv. Tangente an f(x) st untere bzw. obere Schranke von f. 13

14 Optmerung Defntonen Optmerungsaufgabe (OA): f Zelfunkton. S zulässger Berech (defnert durch Nebenbedngungen). f * Optmalwert. x * optmale Lösung. En x S wrd zulässge Lösung genannt. Konvexe Optmerungsaufgabe: Zelfunkton und zulässger Berech konvex. Lokales Optmum = globales Optmum. * * f f x x f x xs xs mn ( ) mt arg mn ( ) 14

15 Optmerung Egenschaften Notwendge Optmaltätskrteren für x * : Wenn f n x * * dfferenzerbar st, dann st ( ) 0. Wenn f n x * zwemal dfferenzerbar st, dann st ene postv (sem-)defnte Matrx. OA ohne Nebenbedngungen: S m OA mt n Nebenbedngungen: m S { x g ( x) 0, g ( x) 0, 1... k, j k 1... n} j f x x 2 f * x ( x ) 15

16 Optmerung Lagrange-Ansatz Lagrange-Ansatz für konvexe Optmerungsaufgabe mt Nebenbedngungen: Zulässger Berech: Lagrange-Funkton: Dualtät: m S { x g ( x) 0, g ( x) 0, 1... k, j k 1... n} n 1 L( x, α) f ( x) g ( x) * f f L L xs m m x 0 0 x mn ( x ) mn max ( x, α ) max mn ( x, α ) j Wegen Konvextät von f, g und g j Prmale OA: Duale OA: f ( ) p x f ( α) f( x) falls x S mn f ( ) mt ( ) m p x fp x x falls x S max f ( α) mt f ( α) mn L( x, α) 0 d d x m d 16

17 Stochastk Wahrschenlchketstheore Zufallsexperment: Defnerter Prozess n dem ene Beobachtung ω erzeugt wrd (Elementareregns). Eregnsraum Ω: Menge aller möglchen Elementareregnsse; Anzahl aller Elementareregnsse st Ω. Eregns A: Telmenge des Eregnsraums. Wahrschenlchket P: Funkton welche Wahrschenlchketsmasse auf Eregnsse A aus Ω vertelt. P( A) : P A 17

18 Stochastk Wahrschenlchketstheore Wahrschenlchketsfunkton = normertes Maß defnert durch Kolmogorow-Axome. Wahrschenlchket von Eregns A : 0 PA ( ) 1 Scheres Eregns: P( ) 1 Wahrschenlchket dass Eregns A oder Eregns B entrtt mt A B (bede Eregnsse snd nkompatbel): P( A B) P( A) P( B) Allgemen glt: P( A B) P( A) P( B) P( A B) 18

19 Stochastk Satz von Bayes Für zwe unabhängge Zufallsexpermente glt: Wahrschenlchket dass Eregns A (m ersten Experment) und Eregns B (m zweten Experment) entrtt st P( A, B) P( A) P( B) Allgemen glt: P( A, B) P( A B) P( B) Bedngte Wahrschenlchket: Wahrschenlchket von A unter der Bedngung dass B engetreten st. Wahrschenlchket dass Eregns B entrtt. Satz von Bayes: P( A, B) P( B, A) P( A B) P( B) P( B A) P( A) P( A B) P( B A) P( A) PB ( ) 19

20 Stochastk Zufallsvarablen Zufallsvarable st Abbldung enes elementaren Eregnsses auf enen numerschen Wert, : bzw. auf enen m-dmensonalen Vektor, : x x m. Vertelungsfunkton ener Zufallsvarable : P ( x) : P( x) : P({ ( ) x}) Dchtefunkton ener Zufallsvarable : P ( x) p ( a) : P ( a) p ( x)dx Für endlchen Eregnsraum ( Ω < ) glt: p ( x) : P( x) : P({ ( ) x}) x xa a 20

21 Stochastk Informatonstheore Informatonsgehalt der Realserung x enes Zufallsexperments (mt Zufallsvarable ): h ( x) : h( x) Informaton der Realserungen x, y zweer unabhängger Zufallsexpermente (mt Zufallsvarablen, Y): Aus wobe 0 log p ( x, y). h ( x, y) h( x) h( Y y) Y p ( x, y) P( x, Y y) P( x) P( Y y) Y Informatonsgehalt: h ( x) : log p ( x). folgt: log p ( x, y) log P( x) log P( Y y) Y Y 21

22 Stochastk Kenngrößen von Zufallsvarablen Vertelungs- und Dchtefunkton. Werteberech: stetg/dskret, endlch/unendlch,... Erwartungswert (erwartete Realserung): wobe C: { ( ) }. E[ ] ( )d P( ) xp ( x)dx Varanz (erwartete Abwechung vom Erwartungswert): C E ( ) ( ) d P( ) x p ( x)dx Entrope (erwarteter Informatonsgehalt): C H E[ h( )] p( ( ))log p( ( ))d p ( x)log p ( x)dx C 22

23 Stochastk Stochastscher Prozess Stochastscher Prozess: Abbldung (, t) aus T auf Menge der reellen Zahlen de für jedes fxerte tt ene Zufallsgröße t und für jedes fxerte ene gewöhnlche reelle Funkton x(t) darstellt. Jede Zufallsgröße t nmmt für en Zufallsexperment enen Wert x t (Realserung von t ) an. Realserung enes (unvaraten) stochastschen Prozesses = Sequenz von Werten { x : t 1... n}. t 23

24 Stochastk Mathematsche Statstk Annahmen: Datenpunkt x st ene Belegung der Zufallsvarable (Realserung des dazugehörgen Zufallsexperments). Stchprobe von n Datenpunkten x resultert aus n-malger Wederholung des Zufallsexperments. Zel: Bestmmung der Egenschaften von (bspw. Vertelungsfunkton) baserend auf Stchprobe. Entwcklung von Schätz- und Testverfahren für solche Aussagen, z.b.: Schätzer für Parameter von Vertelungsfunktonen. Sgnfkanztests für Aussagen. 24

25 Stochastk Schätzer Idee: Ersetzen der Dchtefunkton 1 Dchte pˆ ( x) : C x1,..., xn. durch emprsche Erwartungswert-Schätzer = Emprscher Erwartungswert (Mttelwert bzw. mttlere Realserung): n 1 xp ( x)d x ˆ xpˆ ( x)dx x n C C 1 Varanz-Schätzer = Emprsche Varanz (mttlere quadratsche Abwechung vom Mttelwert): Erwartungstreuer Schätzer: n 1 n ( )d ˆ ˆ ( )d ( ˆ x p x x x p x x x ) n C C 1 lm fˆ n p f ( x) 25

26 Numerk Überblck Zel: Konstrukton und Analyse von Algorthmen für kontnuerlche mathematsche Probleme falls Kene analytsche Lösung für en Problem exstert, oder Analytsche Lösung ncht effzent gefunden werden kann. Konstruktonsprnzpen: Exakte Verfahren: Exakte Lösung be unendlcher Rechnergenaugket. Näherungsverfahren: Approxmatve Lösung. Analysen: Laufzet, Stabltät/Fehleranalyse und Robusthet. 26

27 Numerk Fehler Fehlerarten: Engabefehler, Messfehler, Rundung auf Maschnengenaugket. Systematsche Fehler (z.b. Dskretserung), Rundungsfehler. Bespele: Addton von x und y mt x y : Logarthmeren/Potenzrechnen: Fehlerfortpflanzung: Summeren n ähnlch großer Zahlen n ln 1e y x 1 a b a b y f (1, n) mt f ( a, b) f a, f 1, b und f ( a, a) x a 27

28 Numerk Anwendungen Lösung lnearer Glechungssysteme. Interpolaton/Approxmaton von reellen Funktonen. Fnden von Extremwerten (Nullstellen, Mnma, Maxma, Sattelpunkte, ) nchtlnearer Glechungen. Numersche Dfferentaton/Integraton. Anfangswert-/Randwertprobleme für Dfferentalglechungen. Egenwertprobleme und Matrx-Faktorserung. 28

29 Numerk Bespel: Nullstellenproblem 0 0 Zel: Fnden von x mt gx ( ) 0. Newtonsches Näherungsverfahren (Newton-Verfahren): xt 1 xt g( xt ) g( xt ) Anwendung: Lösen von Optmerungsaufgabe ohne NB; für optmale Lösung x * * glt xf ( x ) 0 g( x) : xf ( x) : * * 2 * 1 * x t 1 x t x f ( xt ) x f ( xt ) H( f) Quas-Newton-Verfahren: Approxmaton von 1 bzw. H( f). 1 grad ( f ) g 1 29

30 Zusammenfassung Maschnelles Lernen st zum großen Tel de Anwendung von Mathematk aus zahlrechen Gebeten, nsbesondere der Statstk & Optmerung. Inhalt der Veranstaltung st Verstehen, Implementeren und Anwenden von Algorthmen des Maschnellen Lernens. Inhalt der Veranstaltung st NICHT Herleten der zugrunde legenden Mathematk. 30