Datenauswertung. Künstliche neuronale Netze. Professur Psychologie digitaler Lernmedien. Institut für Medienforschung Philosophische Fakultät

Transkript

1 Professur Psychologe dgtaler Lernmeden Insttut für Medenforschung Phlosophsche Fakultät Künstlche neuronale Netze Datenauswertung

2 Überblck Statstsche Verfahren als Unvarate Varanzanalyse (ANOVA) Spezalfälle neuronaler Netze Indkatorcoderung Mttelwerteverglech zwschen zwe Kanonsche Korrelaton Gruppen Methode der klensten Quadrate Multvarate Varanzanalyse (MANOVA) Krtk an der Methode der klensten Quadrate Lneare Strukturglechungsmodelle Lneare, bvarate Regresson Neuronale Netze Multple (unvarate) Regresson Aktvtätsfunkton und Aktvtätslevel Ermttlung der Beta-Gewchte Gradentenabstegsverfahren Erfassung von Interaktonseffekten Captalzaton on Chance Moderator- und Ausblck Medatorvarablen Varanzaufklärung Beurtelung der Modellgüte 2

3 Lernzele We lassen sch herkömmlche statstsche Verfahren als Spezalfälle künstlcher neuronaler Netze darstellen? Was snd Unterschede und Gemensamketen zwschen künstlchen neuronalen Netzen (m engeren Snne) und tradtonellen Analyseverfahren (z.b. multple Regresson)? Welche Vor- und Nachtele bestzen künstlche neuronale Netze (m engeren Snne) m Verglech zu tradtonellen Analyseverfahren? Was versteht man unter dem Begrff Captalzaton on Chance? 3

4 Welche statstschen Verfahren kennen Se? Kolmogorov- U-Test Faktorenanalyse Smrnov- Allgemenes χ 2 -Test Anpassungstest Lneares Modell Metaanalyse Kruskal-Walls H Wlcoxon-Test Regresson Test z-test Neuronale Netze Bootstrap Multple Kovaranzanalyse Korrelaton F-Test Mttelwert ANOVA Clusteranalyse Scheffé-Test t-test Kovaranz Partalkorrelaton Bnomalvertelung Korrelaton Fshers Z- Strukturglechungsmodelle Normalvertelung Transformaton Streuung Tukey HSD MANOVA Exzess Kanonsche Korrelaton Schefe Dskrmnanzanalyse 4

5 Überblck: Ene (unvollständge) Klassfkaton statstscher Verfahren Prädktoren bzw. Unabhängge Varablen (UVs) Kategoral Kontnuerlch Kategoral und kontnuerlch Ene UV (2 Faktorstufen) > 2 Faktorstufen oder > UVs Ene UV Mehr als ene UV Mehr als ene UV Krteren bzw. abhängge Varablen (AVs) Kategoral Ene AV Mehr als ene AV Ene AV Mehr als ene AV Häufgketsverglech mt zwe Stufen Häufgketsverglech / Konfguratonsfrequenzanalyse Multvarate Häufgketsanalyse Kontnuerlch Mttelwerteverglech Multvarater Mttelwerteverglech ANOVA MANOVA 2 bzw. n-gruppen Dskrmnanzanalyse oder kompettve Netze Logstsche Regresson Faktorelle Dskrmnanzanalyse oder kompettve Netze Enfache Regresson Enfache, multvarate Regresson Multple Regresson Kanonsche Korrelaton oder Faktorenanalyse multple Regresson oder ANCOVA Kanonsche Korrelaton oder MANCOVA 5

6 Sämtlche (deskrptv-)statstsche Verfahren: Spezalfälle der Kanonschen Korrelatonsanalyse (Bortz, 2004) des Allgemenen Lnearen Modells (Moosbrugger, 2002) künstlcher neuronaler Netze 6

7 Überblck Neuronale Netze Lneare Strukturglechungsmodelle Allgemenes lneares Modell (ALM) MANOVA / Kanonsche Korrelaton ANOVA / Multple Regresson Mttelwerteverglech / bvarate Regresson 7

8 Überblck Neuronale Netze Lneare Strukturglechungsmodelle Allgemenes lneares Modell (ALM) MANOVA / Kanonsche Korrelaton ANOVA / Multple Regresson Mttelwerteverglech / bvarate Regresson 8

9 Gruppe B Gruppe A Mttelwerteverglech zwschen zwe Gruppen (Tranngsphase) ŷ = m x + b Zwe Gruppen A und B (codert als x A = 0 und x B = ) werden hnschtlch hrer y- Werte mtenander verglchen Dem Netz werden 0 Messwerte (je 5 pro Gruppe) dargeboten x y x b m y

10 We werden b und m ermttelt? Prnzpell möglch: Ausproberen Zel: ŷ soll bestmöglch mt y überenstmmen Summe der Abwechungsquadrate (SAQ) soll Mnmum annehmen y-werte Gruppe A Gruppe B 0 SAQ b 6.3 m 0.7 0

11 We werden b und m ermttelt? In der Praxs: Bestmmung der b und m-gewchte mttels Methode der klensten Quadrate (Lernregel für de Gewchte) Supervsed learnng Batch tranng SAQ soll en Mnmum ergeben Bldung der ersten Abletung für de Glechung SAQ n 2 y yˆ y m x b n 2 mn y = beobachtete Werte ŷ = vorhergesagte Werte x = Gruppenzugehörgket = Versuchsperson Abletung soll den Wert 0 annehmen

12 We werden b und m ermttelt? Graphsche Veranschaulchung Im zwedmensonalen Raum: Parabel (führt zu ener Regressonsgeraden) Im dredmensonalen Raum: Parabolod (führt zu ener Regressonsgerade bzw. Regressonsebene) Im n-dmensonalen Raum: n-dmensonaler Parabolod (führt zu ener n - dmensonalen Regressons-Hyperebene) SAQ SAQ SAQ mn b mn b (oder m) SAQ mn b mn b m mn m Für en Gewcht Für zwe Gewchte 2

13 We werden b und m ermttelt? Berechnung über de erste Abletung der Glechung SAQ Erste Abletung ermtteln und auf Null setzen ergäbe sofern man ledglch de Gruppe A (x = 0) untersuchen würde: b n 2 y yˆ y m x b n n y y n b = gesuchter Parameter (her: Achsenabschntt ) = Versuchsperson n = Stchprobenumfang y = beobachteter Wert der Versuchsperson y = Mttelwert der untersuchten Stchprobe Interessanterwese resultert mttels Methode der klensten Quadrate der (arthmetsche) Mttelwert für den gesuchten Parameter b 2 mn 3

14 4 Berechnung über de erste Abletung der Glechung Erste Abletung ermtteln und auf Null setzen ergbt für m und b: We werden b und m ermttelt? x m y b n n n n n x x n y x y x n m 2 2 b = gesuchter Parameter (her: Achsenabschntt ) m = gesuchter Parameter (her: Stegung ) = Versuchsperson n n b x m y y y SAQ 2 2 mn ˆ

15 5 Für zwe Gruppen (x A = 0 und x B = ) be glechgroßer Zellenbesetzung glt: We werden b und m ermttelt? x m y b n n n n n x x n y x y x n m 2 2 x0 y b 0 x y x y m

16 Krtk an der Methode der klensten Quadrate Warum werden de Werte quadrert? Begründungen aus Lehrbüchern Fehlerwerte stets postv Vermedung großer Enzelabwechungen Stärkere Berückschtgung bzw. Gewchtung größerer, nhaltlch bedeutsamerer Abwechungen als klenerer, auf Messungenaugketen zurückführbarer Abwechungen Krtk Fehlerwerte auch dann stets postv, wenn statt Quadrerung Beträge der Enzelabwechungen herangezogen werden Enfluss der Ausreßerwerte auf de Parameter b und m besonders stark aufgrund der Quadrerung Warum soll das gut sen? Persönlche Vermutung Wahrer Grund für de Quadrerung Abletung kann be Betragswerten mathematsch ncht ermttelt werden, da de Funkton zwar stetg, aber ncht mehr dfferenzerbar st. 6

17 Mttelwerteverglech zwschen zwe Gruppen (Ausbretungsphase) ŷ = m x + b Für zwe Gruppen (codert als x A = 0 und x B = ) glt: b = Mttelwert der Gruppe A (x = 0) b + m = Mttelwert der Gruppe B (x = ) m = Mttelwertsdfferenz zwschen beden Gruppen x b m y 7

18 Mttelwerteverglech zwschen zwe Gruppen (Ausbretungsphase) Bespele: Gruppe A (x = 0) Mttelwert von 6.3 Gruppe B (x = ) Mttelwert von b 7 7 x m y 6.5 b = m = b + m = Gruppe A Gruppe B 8

19 Mttelwerteverglech zwschen zwe Gruppen (Ausbretungsphase) ŷ = m x + b Bespele Erwarteter Wert (ŷ) für ene Person der Gruppe A (x = 0): ŷ = ŷ = 6.3 Erwarteter Wert (ŷ) für ene Person der Gruppe B (x = ): ŷ = ŷ = 7.0 x b m ŷ 9

20 Lneare, bvarate Regresson (Tranngsund Ausbretungsphase) ŷ = m x + b Genau we bem Mttelwerteverglech zwschen zwe Gruppen b Enzger Untersched: Es exsteren ncht zwe Gruppen (x = 0 oder x = ), sondern theoretsch belebg vele Gruppen, wobe de x-werte mndestens ntervallskalert snd, z. B. bem Alter x m ŷ 20

21 Überblck Neuronale Netze Lneare Strukturglechungsmodelle Allgemenes lneares Modell (ALM) MANOVA / Kanonsche Korrelaton ANOVA / Multple Regresson Mttelwerteverglech / bvarate Regresson 2

22 Multple (unvarate) Regresson (Tranngsphase) ŷ = b 0 + x b + + x m b m Bespel: Studenerfolg (= AV) vorhersagen anhand verschedener Prädktoren Intellgenz Lestungsmotvaton Selbstdszpln Ambgutätstoleranz Usw. x x 2 b 0 b b 2 b m ŷ x m 22

23 Multple (unvarate) Regresson (Tranngsphase) ŷ = b 0 + x b + + x m b m x x 2 x 3 x 4 y Intellgenz Lestungsmotvaton Selbstdszpln Ambgutätstoleranz Studenerfolg b x b ŷ b x 2 b m x m

24 Ermttlung der Beta-Gewchte Bestmmung der b-gewchte weder mttels Methode der klensten Quadrate (Lernregel für de Gewchte) Supervsed learnng Batch tranng SAQ soll weder en Mnmum ergeben Enzger Untersched zu den Ausführungen auf den vorhergen Folen ( We werden b und m ermttelt? ): Statt mt Zahlen wrd mt Matrzen gerechnet 24

25 Ermttlung der Beta-Gewchte Berechnung über de erste Abletung der Glechung SAQ n n 2 y yˆ Abletung soll den Wert 0 annehmen 2 mn ε = Fehlergröße y = beobachtete Werte ŷ = vorhergesagte Werte = Versuchsperson Erste Abletung ermtteln und auf Null setzen ergbt für den Vektor b: b ( X X ) X y 25

26 Ermttlung der Beta-Gewchte Bewes SAQ n 2 y X ' y X y X y X y y X y y 2 X y y X y X X X X (Quadratsche) Glechung für SAQ nach Vektor β' dfferenzeren und de erste Abletung glech dem Nullvektor setzen: SAQ 2 X y 2 X X 0 ε = y X β Dstrbutvgesetze der Transposton Ausmultplzeren für de skalaren Größen glt: β' X' y = y' X β wegen: β' X' y = (y' X β)' 26

27 Ermttlung der Beta-Gewchte Bewes SAQ 2 X y 2 X X 0 +2 X' y 2 X X 2 X y :2 X X X y X X X X X X X y b X X X y X X X y Multplkaton von lnks mt (X' X) - (X' X) - X' X = I Sofern (X' X) - ncht sngulär st, glt: 27

28 Multple (unvarate) Regresson (Tranngsphase) Berechnungsschrtte. Schrtt: (X' X) 2. Schrtt: (X' X) 3. Schrtt: K' zu (X' X) 4. Schrtt: (X' X) - 5. Schrtt: X' y 6. Schrtt: (X' X) - X' y X' b ( X X ) X X (X' X) = y x x 2 x m b 0 b b 2 b m X' X ŷ 28

29 Multple (unvarate) Regresson (Ausbretungsphase) ŷ = b 0 + x b + + x m b m Oder als Skalarprodukt zweer Vektoren Bespel: Vorhersage des Studenerfolgs ener bsher ncht untersuchten Person n Abhänggket hrer Intellgenz (x ), 0 Lestungsmotvaton (x 2 ), usw.... m x x 2 b 0 b b 2 b m ŷ x x... x m x m 29

30 Interakton zwschen Prädktoren (unabhänggen Varablen) Interaktonseffekt = Moderatoreffekt = Wechselwrkungseffekt Bespel: Studenerfolg legt nur dann vor, wenn IQ und Motvaton hoch snd Studenerfolg IQ Motvaton 30

31 Interakton zwschen Prädktoren (unabhänggen Varablen) ŷ = b 0 + x b + x x 2 b 3 + x 2 b 2 Bzw. neue Varable (x 3 = x x 2 ) blden und ensetzen: ŷ = b 0 + x b + x 2 b 2 + x 3 b 3 x b 0 b ŷ b 3 x x 2 b 2 x 2 3

32 Exkurs: Moderator- vs. Medatorvarablen Moderatorvarable: Drttvarable (z. B. x 2 ), de den Enfluss ener unabhänggen Varable (z. B. x ), auf ene abhängge Varable verändert Moderatorterm = x x 2 = Moderatoreffekt = Interaktonseffekt = Wechselwrkung x x x 2 x 2 ŷ Medatorvarable = Drttvarable (z. B. x 2 ), durch welche ene unabhängge Varable (z. B. x ) de abhängge Varable beenflusst x x 2 ŷ 32

33 Exkurs: Moderator- vs. Medatorvarablen Bespele Moderatorvarable: Sozale Ressourcen (z.b. Famle, Freunde usw), de den Zusammenhang zwschen Stress und Gesundhet modereren Medatorvarable: Wahrgenommene Ressourcen als vermttelnder Prozess zwschen Stress und Gesundhet Gesundhet Stress Wahrgenommene Ressourcen Ressourcen hoch nedrg Stress Gesundhet Ausblck: Es gbt auch modererte Medatoren und medaterende Moderatoren 33

34 Varanzaufklärung Beurtelung der Modellgüte SAQ nmmt durch Berechnung der Beta-Gewchte mttels Methode der klensten Quadrate mmer en Mnmum an Ist damt berets schergestellt, dass es sch um ene sehr gute Vorhersage handelt? Nen, stattdessen wrd de Gesamtvaranz der abhänggen Varable addtv zerlegt n aufgeklärte und unaufgeklärte Varanz Durch das Modell aufgeklärte Varanz = R Gesamtvaranz 2 Quotent als Maßzahl für de Güte des Gesamtmodells: R 2 = Determnatonskoeffzent 34

35 Varanzanalyse (Tranngs- und Ausbretungsphase) ŷ = b 0 + x b + + x m b m Genau we be der multplen (unvaraten) Regresson b 0 Enzger Untersched: De Prädktoren snd ncht ntervallskalert, sondern ledglch nomnal- oder ordnalskalert x b ŷ Mathematscher Trck : Indkatorcoderung = Nomnal- oder ordnal-skalerte UVs werden n künstlche, ntervallskalerte UVs transformert x 2 b 2 b m Durch Indkatorcoderung glt: ANOVA = multple (unvarate) Regresson x m 35

36 Indkatorcoderung Indkatorcoderung: Transformaton ener nomnal- oder ordnalskalerten Varable n ene oder mehrere Indkatorvarablen Indkatorvarable: Künstlch erzeugte Varable, de alle Informatonen enes nomnal- oder ordnalskalerten Merkmals n coderter Form enthält Bespel: Geschlecht Nomnalskalert; Indkatorvarable z. B. männlch = 0 und weblch = Enthält nur en Intervall, welches zu sch selbst äqudstant st Intervallskalennveau 36

37 Indkatorcoderung Verschedene Möglchketen der Indkatorcoderung Dummycoderung: Mt der ersten Indkatorvarable (x ) wrd entscheden, ob Person auf der ersten Faktorstufe untersucht wurde (x = ) oder ncht (x = 0). Zwete Indkatorvarable für Stufe zwe usw. De letzte Gruppe (= Referenzgruppe) wrd für sämtlche Indkatorvarablen mt 0 codert Effektcoderung: Referenzgruppe erhält kene 0 we be Dummycoderung, sondern durchgängg ene Kontrastcoderung: Soll an deser Stelle ncht n aller Ausführlchket erläutert werden. Es werden orthogonale (d.h. vonenander unabhängge) Enzelkontraste gebldet, z.b. Faktorstufe gegen 2 Trendcoderung: Ncht weter erläutert, da nur sehr selten engesetzt Wahl der Coderung st für de Höhe der Varanzaufklärung und den anschleßenden Sgnfkanztest ohne Bedeutung 37

38 Indkatorcoderung Bespel: Für ene verfachgestufte UV wrd Indkatorcoderung vorgenommen Je 3 UVs resulteren Kontrastcoderung Faktorstufe Faktorstufe 2 Faktorstufe 3 Faktorstufe 4 VPN Dummycoderung Effektcoderung x x 2 x 3 x x 2 x 3 x x 2 x 3 0 /2 0 /2-0 /2-0 /2 0 -/2 0 -/ / /2 38

39 Überblck Neuronale Netze Lneare Strukturglechungsmodelle Allgemenes lneares Modell (ALM) MANOVA / Kanonsche Korrelaton ANOVA / Multple Regresson Mttelwerteverglech / bvarate Regresson 39

40 Kanonsche Korrelaton / MANOVA Ŷ = B X Mt Hlfe verschedener Prädktoren (bzw. UVs) sollen mehrere Krteren (bzw. AVs) vorhergesagt werden Be der kanonschen Korrelaton snd de Prädktoren ntervallskalert Be der MANOVA snd de UVs nomnal- oder ordnalskalert x ŷ ŷ 2 x 2 ŷ 3 x m 40

41 Überblck Neuronale Netze Lneare Strukturglechungsmodelle Allgemenes lneares Modell (ALM) MANOVA / Kanonsche Korrelaton ANOVA / Multple Regresson Mttelwerteverglech / bvarate Regresson 4

42 Lneare Strukturglechungsmodelle In der Sprache neuronaler Netze: Lneare Strukturglechungsmodelle = Neuronale Netze mt Hdden-Unts und lnearer Aktvtätsfunkton Auch wetere statstsche Verfahren lassen sch als neuronale Netze darstellen U U 2 U 3 Y Y 2 Y 3 Y 4 Y 5 Y 6 Y 7 Y 8 Y 9 Y 0 Y Y 2 Y 3 Y 4 Y 5 Y 6 Y 7 Y 8 e e 2 e 3 e 4 e 5 e 6 e 7 e 8 e 9 e 0 e e 2 e 3 e 4 e 5 e 6 e 7 e 8 42

43 Überblck Neuronale Netze Lneare Strukturglechungsmodelle Allgemenes lneares Modell (ALM) MANOVA / Kanonsche Korrelaton ANOVA / Multple Regresson Mttelwerteverglech / bvarate Regresson 43

44 Neuronale Netze Wchtge Unterschedung Neuronale Netze m weteren Snne: Neuronale Netze als Oberbegrff für de bsher aufgeführten, deskrptvstatstschen Verfahren Neuronale Netze m engeren Snne: Neuronale Netze als neue Form der Datenauswertung und Alternatve zu tradtonellen Analyseverfahren (z. B. multple Regresson) Auf den nachfolgenden Folen wrd der Begrff neuronale Netze nur noch n der engeschränkten Varante verwendet! 44

45 Neuronale Netze Unterschede zu tradtonellen Analyseverfahren Neuronale Netze Verschedene Aktvtätsfunktonen können engesetzt werden, auch nnerhalb enes Netzes Hdden-Unts möglch Sehr häufg verwendete Lernregel: Backpropagaton (an deser Stelle ncht so wchtg) plus Gradentenabstegsverfahren Tradtonelle Analyseverfahren (z. B. Multple Regresson) Immer: Lneare Aktvtätsfunkton bzw. genauer gesagt: Identtätsfunkton (nonlneare Zusammenhänge nur durch entsprechende Modellterme (z. B. x 2 ) erfassbar) Außer be lnearen Strukturglechungsmodellen kene Hdden- Unts In aller Regel Methode der klensten Quadrate (Ausnahme: z.b. lneare Strukturglechungsmodelle) 45

46 Neuronale Netze Gradentenabstegsverfahren vs. Methode der klensten Quadrate Gradentenabstegsverfahren Zufällger Startpunkt Bldung der ersten Abletung Veränderung der Gewchte Erneute Bldung der ersten Abletung usw. Wederholung bs Abbruchkrterum errecht st F Methode der klensten Quadrate Bldung der ersten Abletung für de Vorhersageglechung Soll den Wert 0 annehmen Unmttelbare Ermttlung des globalen Mnmums n enem Berechnungsschrtt F F mn W w mn W 46

47 Neuronale Netze Vor- und Nachtele Vortele Häufg deutlch bessere Varanzaufklärungen Zum Tel sehr gute Erfassung nonlnearer Zusammenhänge Kene Vorgabe von Modelltermen (z. B. x²) notwendg Aufdeckung komplexer Zusammenhänge (Muster) Forschungsanregend durch mehrere Lösungen be mehreren Berechnungen Nachtele Inferenzstatstsche Abscherung noch ncht ausgearbetet ( möglch z. B. über Bootstrap) Interpretaton (der Gewchte) z. T. sehr schwerg Bestmmung der Gewchte häufg vom Zufall abhängg Dverse Probleme bem Gradentenabstegsverfahren (rechenaufwendg, Zufallsabhänggket, ledglch Kenntns der lokalen Umgebung usw.) Großer Rechenaufwand Captalzaton on Chance hoch 47

48 Exkurs: Captalzaton on Chance Problem: Captalzaton on Chance = Overfttng = Bas-Varanz-Dlemma Problem, dass Modell bzw. Beta-Gewchte de Daten der ursprünglchen Stchprobe sehr gut prognostzert, aber ncht de Werte ener neuen aus der Populaton gezogenen Stchprobe Ich sehe komplexe Muster n den Zahlen, de n Wrklchket ncht vorhanden snd, sondern zufallsbedngt zustande gekommen snd Lässt sch de berechnete Vorhersageglechung noch generalseren? Lösungen Replkaton: Untersuchung wederholen, um zu überprüfen, ob man das zuvor gefundene Muster wederfndet Kreuzvalderung: Ähnlch we Replkaton, Telung der Stchprobe n Tranngsmenge: Telstchprobe zur Berechnung der Gewchte Valderungsmenge: Kene Gewchtsmodfkaton, Prüfstchprobe Andere Indkatoren (RMS/Y m ) anstelle von R² verwenden 48

49 Zusammenfassung Neuronale Netze Lneare Strukturglechungsmodelle Allgemenes lneares Modell (ALM) MANOVA / Kanonsche Korrelaton ANOVA / Multple Regresson Mttelwerteverglech / bvarate Regresson 49

50 Prüfungslteratur Rey, G. D. & Wender, K. F. (208). Neuronale Netze. Ene Enführung n de Grundlagen, Anwendungen und Datenauswertung (3., überarbetete Auflage). Göttngen: Hogrefe. Datenauswertung (S ) 50