Methoden der Datenanalyse AI-basierte Decision Support Systeme WS 2006/07

Transkript

1 Multple Regresso Methode der Dateaalse AI-baserte Decso Support Ssteme WS 6/7 Ao.Uv.Prof. Dr. Marcus Hudec Isttut für Scetfc Computg, Uverstät We

2 Multple Regresso Kovaraz Kovaraz: Zusammehagsmaß be tervallskalerte Merkmale, das sch umttelbar aus der Varaz abletet s XX ( x x)( x x) x x xx sxy Nachtel: kee Normerug ( x x)( ) x x

3 3 Multple Regresso Korrelatoskoeffzet Der Korrelatoskoeffzet st e Maß für de leare Zusammehag zwsche zwe Varable X ud Y. Er st durch folgede Formel charaktersert: r x corr XY ( x x)( ) ( ) x x ( ) x x x ( ) ( ) x

4 4 Multple Regresso Korrelatoskoeffzet x II. Quadrat III. Quadrat ( x x) I. Quadrat ( ) IV. Quadrat

5 5 Multple Regresso Korrelatoskoeffzet Der Korrelatoskoeffzet legt stets m Itervall [-,+]. Korrelatoskoeffzet ahe -: De Mehrzahl der Datepukte kozetrere sch um ee Gerade mt egatver Stegug. Korrelatoskoeffzet ugefähr : De Datepukte sd etweder auf alle ver Quadrate ugefähr glechmäßg vertelt oder se lege um ee Gerade de parallel zu eer Achse verläuft. Korrelatoskoeffzet ahe +: De Mehrzahl der Datepukte kozetrere sch um ee Gerade mt postver Stegug.

6 6 Multple Regresso Uabhäggket ud Kausaltät Sd zwe Varable uabhägg, so folgt daraus, dass der Korrelatoskoeffzet de Wert ammt. Umgekehrt ka aus eer Korrelato cht auf Uabhäggket geschlosse werde, da de Korrelato ur de leare Zusammehag msst. Keesfalls darf Korrelato mt Kausaltät glechgesetzt werde. Problem: Schekorrelato De Pukte m lke Bespel habe Korrelato ull!

7 7 Multple Regresso Hohe postve Korrelato Korrelato

8 8 Multple Regresso Hohe egatve Korrelato Korrelato

9 9 Multple Regresso Mttlere postve Korrelato Korrelato

10 Multple Regresso Korrelato ahe Korrelato

11 Multple Regresso Test auf Sgfkaz Wll ma Hpothese der Form H : corr versus H A : corr (zwesetg) bzw. H : corr< versus H A : corr> (esetg) teste, so ka des uter der Aahme eer bvarate Normalvertelug mt folgeder Statstk erfolge: r t mt r Frehetsgrade

12 Multple Regresso Bespel X Y X² XY Y² Summe Wr wolle de Nullhpothese teste, dass de Merkmale X ud Y ukorrelert sd. Kovaraz Sx 484 Varaz X Sxx 6 Varaz Y S 467 Korrelato Rx,7 Teststatstk Zähler, Neer,7 t 3, Tabellewert t -;,975,3 > Ho ablehe

13 3 Multple Regresso Bespel Lestug kw ud Kraftstoff-Verbrauch l pro km vo sebe verschedee VW-Golf Bezmotore [] kw l/km 55 6,4 74 7,6 77 6,8 85 7,9 9,3 5,8 [] Quelle:

14 4 Multple Regresso Streudagramm: Lestug - Verbrauch Kraftstoffverbrauch l/km Lestug kw

15 5 Multple Regresso Grudmodell Zelgröße (abhägge Varable; Regressad) Y Eflussgröße (uabhägge Varable; Regressor) X Im Bespel: Y... Kraftstoffverbrauch X... Lestug Aahme: Es besteht e fuktoaler Zusammehag zwsche de bede Merkmale: Y f(x)

16 6 Multple Regresso De Regressosaalse st e Istrumet zur Utersuchug ees fuktoale Zusammehags zwsche zwe Merkmale. Im Utersched zur Korrelatosaalse hadelt es sch also um e gerchtetes Modell Mt der Regressosaalse ka e fuktoaler Zusammehag erkat werde ma ee solche Bezehug achwese Art ud Größe ees Zusammehags geschätzt werde fehlede oder zuküftge Werte progostzert werde

17 7 Multple Regresso Dabe hadelt es sch cht um ee exakte Fukto m streg mathematsche Se Aufgrud vo Messfehler ud Zufallseflüsse werde de ezele Messuge cht dealtpsch auf dem Fuktosgraphe lege, soder zufällg abweche Wr erweter user Modell daher um ee Fehlerterm (zufällge Kompoete) e, we folgt: Y f(x) + e

18 8 Multple Regresso Stochastscher Fuktoszusammehag

19 9 Multple Regresso Leare Regresso De efachste Form ees fuktoale Zusammehages stellt ee leare Fukto dar Modellvorstellug: der Zusammehag zwsche X ud Y ka (zumdest stückwese) durch ee Grade beschrebe werde: Y b + b X + e b... Abstad der Gerade vom Ursprug auf der Ordate b... Stegug der Gerade

20 Multple Regresso Learer stochastscher Fuktoszusammehag 5 4 Asteg: b 3 b 4 6 8

21 Multple Regresso Bestmmug der Regressosgerade We ka de Gerade am beste a de Datepukte agepasst werde? x

22 Multple Regresso Notato De Ausgagspukt blde Beobachtugspaare (x, ), de wr als Datepukte eem Streudagramm vsualsere köe. X Y x x x x

23 3 Multple Regresso Learer stochastscher Fuktoszusammehag e ˆ Asteg: b b x b + b x ˆ

24 4 Multple Regresso Bestmmug der Regressosgerade Idee: Gerade so wähle, dass de Summe aller Abwechuge mmal wrd. Nachtel: kee edeutge Lösug, da postve ud egatve Abwechuge eader aufhebe. - + ( b b x ) m! x

25 5 Multple Regresso Bestmmug der Regressosgerade Idee: Gerade so lege, dass de Summe des Betrages aller Abwechuge mmal wrd Nachtele: mathematsch aufwädg (Betragsfukto cht zwemal dfferezerbar) hat der Praxs relatv gergere Bedeutug ( b b x ) m!

26 6 Multple Regresso Bestmmug der Regressosgerade Idee: Gerade so lege, daß de Summe der QUADRATE aller Abwechuge mmal wrd. Klest-Quadrate-Przp De optmale Regressosgerade ergbt sch da durch Lösug folgeder Optmerug: S e ( ) b b x m!

27 7 Multple Regresso Mathematsche Herletug ( ) x b b b S ( ) x x b b b S () b b x + () x b x b x + Aus () b b x ach Substtuto: ˆ x x x x b

28 8 Multple Regresso Tabellarsches Recheschema Nr. X Y X X*Y Y 55 6, , , ,4 57, , ,6 46, , ,5 6,4 5 9,3 3 86,49 6 5, ,64 Summe 55 48, ,5 4,5 Mttelwert vo X: 9,83 Mttelwert vo Y: 8,3 Berechug vo b : Neer 3399, b,5 Zähler 66, b 3,73 bˆ x x x x b bx

29 9 Multple Regresso Graphsche Darstellug Streudagramm: Lestug - Verbrauch Kraftstoffverbrauch l/km 8,5x + 3, , 6, 8,,, 4, 6, 8, Lestug kw

30 3 Multple Regresso Automatserte Berechug mt EXCEL

31 3 Multple Regresso Regressosgerade als Istrumet zur Vorhersage Basered auf de geschätzte Parameter köe wr für ee x Wert de zugehörge Wert schätze Progose-Szeare Wert vo x Schätzwert für 4 5,65

32 3 Multple Regresso Gefahre ud Greze der Progostk Wewet ka e learer Tred svoll fortgeschrebe werde? 5 5 Erkee vo Wedepukte Problem vo Strukturbrüche

33 33 Multple Regresso Wchtge Egeschafte der Regressosgerade Fehlerausglechede Gerade e De Summe der Abwechuge vo der ach dem Kl. Quadrate Przp optmale Gerade st glech Null. b + b x Regressosgerade läuft durch Schwerpukt

34 34 Multple Regresso K.Q. - Gerade geht durch de Schwerpukt 4 3 x 4 6 8

35 35 Multple Regresso Varabltät der Regresso ŷ P( x, ) ŷ b + b x ŷ ŷ ( ) ( ŷ ) + ( ŷ ) SQT SQR SQE ( ) ( ˆ ) ( ˆ ) x e x Totale Quadratsumme der Abwechuge vom arthmetsche Mttel cht erklärte (resduale) Abwechugsquadratsumme erklärte Abwechugsquadratsumme

36 36 Multple Regresso Zerlegug der Quadratsumme SQT SQR + SQE ( ) + ( ) e ˆ r SQE SQT ( ˆ ) ( ) r Bestmmthetsmaß (~ Atel der erklärte Varaz a der gesamte Varaz) r Korrelatoskoeffzet

37 37 Multple Regresso Iterpretato vo r² r² ka Werte zwsche Null (ke learer Zusammehag zwsche Y ud X) ud Es (alle Pukte lege exakt auf eer Gerade) aehme Je äher r² be es legt, desto besser wrd Y durch X mttels eer leare Regresso erklärt r² st der Atel der Varato vo Y, der durch X erklärt werde ka

38 38 Multple Regresso Bestmmug vo r² m Bespel Nr. X Y X X*Y Y e e 55 6, ,96 6,37,3, 3, -,77 3, 74 7, ,4 57,76 7,8,3,,8 -,85, , ,6 46,4 7,4 -,6,39,78 -,7, , ,5 6,4 7,8,9,,5 -,33, 5 9,3 3 86,49 9,,3,9,36,87,76 6 5, ,64,9 -,, 7,,79 7,77 Summe 55 48, ,5 4,5 48,8,,6 3,59,,99 Mttelwert vo X: 9,83 Mttelwert vo Y: 8,3 ŷ ( ) ( ˆ ) ( ˆ ) Berechug vo b: Neer 3399, b,5 Zähler 66, b 3,73 SQT 3,59,% SQR,6 4,4% SQE,99 95,6%

39 39 Multple Regresso Iferezstatstk Es wrd ageomme, daß de Werte der uabhägge Varable feste (chtzufällge) Größe sd. Es wrd ageomme, daß sch de Beobachtuge der abhägge Varable durch ee X leare Term plus eer zufällge Störkompoete ergebe. Über de Störkompoete werde folgede Aahme getroffe Kee sstematsche Störug, d.h. Erwartugswert st ull E(e ) Kostate Streuug der Störkompoete Var(e ) cost. De Störuge sd uabhägg voeader Cov(e, e j ) De Störkompoete se ormalvertelt mt Erwartugswert ud der Varaz σ²

40 4 Multple Regresso Sgfkaz der Regressosbezehug Frage st der Atel der erklärte Varaz sgfkat? Atwort: F-Test Erklärte durch chterklärte mttlere Quadratsumme (d.. de Quadratsumme durch de Zahl der Frehetsgrade dvdert) Dese Prüfgröße st F-vertelt mt ud - Frehetsgrade F SQE/ SQR/( ) r / ( r )/( )

41 4 Multple Regresso Durchführug des Tests ANOVA (Aalss of Varace) Frehetsgrade (df) Quadratsumme (SS bzw. SQ) Mttlere Quadratsumme Prüfgröße (F) P-Wert Regresso,99,99 86,95,7 Resdue 4,63,5 Gesamt 5 3,593 r²,956 (-r²),44 (-r²)/4,

42 4 Multple Regresso Iferez für Regressoskoeffzete Schätzug der ubekate Varaz der Störkompoete ˆ σ σˆ e Schätzug der Varaz der Regressoskoeffzete x ˆ b σ ( x x) ˆ σ b ˆ σ ( x x)

43 43 Multple Regresso Iferez für Regressoskoeffzete ) t s b t s (b P / ; b / ; b α + α α ] t s b t s b [ / ; b / ; b α α + -α Kofdeztervall für de Regressoskoeffzete: α α α < < > > > ; ; / ; )/ ( )/ ( )/ ( b b b t s b t s b t s b H H H wrd verworfe, falls

44 44 Multple Regresso Test für de Regressoskoeffzete Nullhpothese: b Koeffzet Stadardfehler t-statstk P-Wert b 3,73,5 7,465,7 b,48,5 9,84,7 Iterpretato: b... Geht de Regresso durch de Ursprug? b... Ist de Stegug sgfkat vo Null verschede? Das etsprcht m Fall der Efachregresso der zuvor dskuterte Fragestellug: Ist der Atel der erklärte Varaz sgfkat?

45 45 Multple Regresso Kofdeztervall für de Koeffzete Koeffzet Stadardfehler Utere 95% Obere 95% b 3,73,5,344 5, b,48,5,34,6 t-wert mt DF4 ud alpha,5,776

46 46 Multple Regresso Kofdeztervall für de durchschttlche Progosewert T Ŷ E(Y S t-vertelt mt - Frehetsgrade Ŷ ) P(Ŷ ts E(Y ) Ŷ + ts ) α Ŷ Ŷ Für ee kokrete Stchprobe ergbt sch damt das folgede Kofdeztervall für de durchschttlche Progosewert: ŷ ts E(Y ) ŷ + ts Ŷ Ŷ ŷ b + b x ud s Yˆ ( x x) σˆ + ( x x)

47 Progosetervall für dvduelle Progosewert Y 47 Multple Regresso T Ŷ Y S F t-vertelt mt - Frehetsgrade P(Ŷ ts Y Ŷ + ts ) α F F Aus eer kokrete Stchprobe ergbt sch somt das folgede Kofdeztervall für de Progose ees bestmmte Ezelwertes a der Stelle x : ŷ ts Y ŷ + ts F F ŷ b + b x ud s F ( x x) ˆσ + + ( x x)

48 48 Multple Regresso Awedug m Bespel Progosetervall für Ezelwerte (dvduelle Progosewerte) x S F Progose UG OG se,388 5,477 6,88 4,887 7, t:,78 55,464 6, , , ,454 6,6758 5, , ,446 6,8473 5,69 8,7333 7,434 7,8687 5,8836 8,949 75,48 7,365 6,3756 8, ,437 7,5667 6, , ,48 7,858 6, , ,494 8,4546 6, , ,496 8,85 7,6 9,454,44 8,5476 7, , ,448 8,7644 7, ,9438,497 9,45 7,869,974 5,436 9,437 8,335,45435,4438 9, ,53,7558

49 49 Multple Regresso Graphsche Darstellug

50 5 Multple Regresso Datesatz: Oemle Nr weght pulse stregth quarter oemle

51 5 Multple Regresso Aalse mt Excel: Aalss Tool Package SUMMARY OUTPUT Regresso Statstcs Multple R,936 R Square,853 Adjusted R Square,896 Stadard Error 8,675 Observatos 3 ANOVA df SS MS F Sgfcace F Regresso 4 936,55 984,63 36,995, Resdual 5 55,365 8,545 Total 9 399,8667 Coeffcets Stadard Error t Stat P-value Lower 95% Upper 95% Lower 95,% Upper 95,% Itercept -3,686 56,7 -,645,949-9,64,97-9,64,97 weght,676,869 4,488,,6768,8585,6768,8585 pulse -,55,868 -,687,548 -,3,57 -,3,57 stregth -,55,459 -,536,56 -,5,5 -,5,5 quarter 3,93,7477 5,99,,363 5,443,363 5,443

52 5 Multple Regresso Aalse mt Clemete

53 53 Multple Regresso

54 54 Multple Regresso

55 55 Multple Regresso

56 56 Multple Regresso Bassmodell Matrxotato -Beobachtuge; pro Beobachtug uabhägge ud p abhägge Varable x x p p,, ε ε p px x p p p x x x x x x x X p ε ε ε ε X + ε Modellaahme: ) (; ~ N σ I ε

57 57 Multple Regresso Least Squares Estmato Mmerugsaufgabe: X X X X X X X X X S X X X X X X X S X X S ' ˆ ' ˆ ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ) ( ) )'( ( ' ) ( ε ε Falls X volle Rag hat (d.h. Rg(X) p) ' ) ' ( ' ) ' ( ˆ ˆ ' ) ' ( ˆ X X X X H mt H X X X X X X X X H st ee x Matrx; dempotet, smmetrsch (Orthogoalprojekto) H I H X e ) ( ˆ

58 58 Multple Regresso Hpothesetests m multple Regressosmodell Overall F-Test Besteht überhaupt e Zusammehag? Ist zumdest e Parameter uglech Null? H H : : j p SSexplaed/( p) F Statstk SSresdual/( p ) Test für Idvduelle Regressoskoeffzete Lestet de j-te Vraable ee sgfkate Erklärugsbetrag? H H : : j j ˆ j t Statstk se( ˆ ) mt -p- Frehetsgrade j se( ˆ ) j ˆ σ Cjj Cjj st das j te Dagoalelemet vo ( X' X)