Beispielberechnung Vertrauensintervalle

Transkript

1 Beispielberechnung Vertrauensintervalle Auszug Kursunterlagen MAS Berufs-, Studien- und Laufbahnberatung Juni 2015 Prof. Dr. Marc Schreiber

2 Beispielberechnung Vertrauensintervalle Vorbereitung - Statistische Kennwerte zur Beschreibung von Stichprobendaten - Messgenauigkeit eines Fragebogens (Reliabilität) Vertrauensintervalle am Beispiel des Fragebogen zur Erfassung der Persönlichkeit (IPIP-240; 240 Fragen) 2

3 Statistische Kennwerte zur Beschreibung der Verteilung von Stichprobendaten 3

4 Beschreibung von Stichprobendaten: Mittelwert und Standardabweichung 4

5 Beschreibung von Stichprobendaten: Mittelwert und Standardabweichung Mittelwert «In welchem Wertebereich liegen am meisten Personen?» - Mittelwert ( ) eines Items, einer Unterskala oder einer Dimension x i x i N v= = 1 N x vi x vi = Messwert einer Person (v) auf einem Item, einer Unterskala oder einer Dimension (i) N = Anzahl der Personen 5

6 Beschreibung von Stichprobendaten: Mittelwert und Standardabweichung Standardabweichung «Wie stark verteilen sich die einzelnen Personen um den Mittelwert herum?» - Standardabweichung ( ˆ ) eines Items, einer Unterskala oder einer Dimension σ i ˆ σ i = N v=1 (x vi x i ) 2 N 1 x vi = Messwert einer Person (v) auf einem Item, einer Unterskala oder einer Dimension (i) N = Anzahl der Personen x i = Mittelwert eines Items, einer Unterskala oder einer Dimension (i) 6

7 Beschreibung von Stichprobendaten: Beispiel IPIP-240 Beispiel Dimension Verträglichkeit aus dem Fragebogen zur Erfassung der Persönlichkeit (IPIP-240) - Verträglichkeit beinhaltet die Unterskalen Vertrauen, Freimütigkeit, Altruismus, Entgegenkommen, Bescheidenheit und Gutherzigkeit und wird mit insgesamt 48 Items gemessen - Die verschiedenen Antwortalternativen werden wie folgt in Zahlen ausgedrückt: 7

8 Beschreibung von Stichprobendaten: Beispiel IPIP-240 Beispiel Dimension Verträglichkeit aus dem Fragebogen zur Erfassung der Persönlichkeit (IPIP-240) - Verträglichkeit beinhaltet die Unterskalen Vertrauen, Freimütigkeit, Altruismus, Entgegenkommen, Bescheidenheit und Gutherzigkeit und wird mit insgesamt 48 Items gemessen - Beispiel Mittelwert und Standardabweichung: x i = 3.67; σˆ i = 0.35; N = 125 Stand Januar

9 Messgenauigkeit eines Fragebogens (Reliabilität) 9

10 Messgenauigkeit eines Fragebogens (Reliabilität) Reliabilität (r tt oder ρ tt ) = Messgenauigkeit eines Tests oder Fragebogen Unterschiede in den Messwerten sind idealerweise auf die Leistungsfähigkeit zurückzuführen - Aber: tatsächliche Leistungsfähigkeit und unsystematische Fehler (Messfehler) bedingen die Unterschiede - Unsystematische Fehler (Messfehler) entstehen beispielsweise - weil eine Frage falsch verstanden wird oder - weil die Angabe einer Person aufgrund der aktuellen Stimmungslage verfälscht wird Für die Berechnung des Vertrauensintervalls eignet sich Cronbach s alpha als Wert für die Reliabilität 10

11 Messgenauigkeit eines Fragebogens (Reliabilität): Beispiel IPIP-240 Reliabilitäten IPIP-240 (Cronbach s alpha), N=125 - Neurotizismus: α =.93 - Extraversion: α =.91 - Offenheit: α =.89 - Verträglichkeit: α =.86 - Gewissenhaftigkeit: α =.91 Stand Januar 2015 Beispiel Extraversion: Der Cronbach s alpha Wert von α =.91 bedeutet, dass die Items bei der Dimension Extraversion zu 91% etwas Gemeinsames (Extraversion) messen und nur gerade zu 9% etwas Zufälliges (Messfehler). Wenn Cronbach s alpha über einem Wert von 0.7 liegt, so geht man von einer zufriedenstellenden Messgenauigkeit (Reliabilität) aus. 11

12 Berechnung des Vertrauensintervalls am Beispiel IPIP

13 Vertrauensintervalle am Beispiel IPIP Hintergrund Vertrauensintervall - Je genauer ein Fragebogen eine Dimension oder Unterskala misst, desto näher liegt der wahre Wert der Person um den im Fragebogen erreichten Wert - Mangelnde Messgenauigkeit muss bei der Interpretation von Fragebogenwerten berücksichtigt werden - Deswegen sollte bei der Interpretation immer ein Vertrauensintervall einbezogen werden - Vertrauensintervall = Bereich, der den wahren Wert mit einer gewissen Wahrscheinlichkeit (Sicherheitswahrscheinlichkeit) überdeckt. Interpretation des Vertrauensintervalls - stellt ein konkretes Mass für die Schätzpräzision eines psychologischen Fragebogens dar 13

14 Vertrauensintervalle am Beispiel IPIP-240 Beispielprofil 14

15 Vertrauensintervall am Beispiel IPIP-240 Berechnung in 3 Schritten Das Vertrauensintervall einer Unterskala oder Dimension wird in 3 Schritten berechnet 1. Berechnung der Standardabweichung der Unterskala oder Dimension und Bezug zum Antwortformat des Fragebogens 2. Berechnung des Standardmessfehlers der Unterskala oder Dimension 3. Berechnung des Vertrauensintervalls 15

16 Vertrauensintervall am Beispiel IPIP Schritt: Standardabweichung und Antwortformat Stand Januar 2015 Beispielprofil Antwortformat: 1=trifft nicht zu; 2=trifft eher nicht zu; 3=neutral; 4=trifft eher zu; 5=trifft zu 16

17 Vertrauensintervall am Beispiel IPIP Schritt: Standardmessfehler Standardmessfehler (Formel) Standardmessfehler (IPIP-240) σ Ei = ˆ σ i 1 a Beispiel Verträglichkeit: σ Ei = 0.35*WURZEL(1-0.86) = 0.13 Dabei ist: σ Ei ˆ σ i α = Standardmessfehler der Dimension = Standardabweichung der Dimension (siehe Folie 6) = Reliabilität des Dimension (Cronbach s alpha) Standardmessfehler Verträglichkeit 0.13 Gewissenhaftigkeit 0.13 Extraversion 0.14 Neurotizismus 0.14 Offenheit 0.14 Stand Januar

18 Vertrauensintervall am Beispiel IPIP Schritt: Vertrauensintervall Vertrauensintervall ist abhängig vom Standardmessfehler Formel Vertrauensintervall IPIP-240 (5% Fehlerwahrscheinlichkeit, 2-seitig) VI u,o = x vi ±σ Ei z Beispiel Verträglichkeit: Erreichter Wert einer Person: 3.7 Dabei ist: VI u,o = Vertrauensintervall der Dimension (untere, obere Grenze) x vi = Erreichter Wert einer Person σ Ei = Standardmessfehler der Dimension z = kritischer z-wert für eine bestimmte Fehlerwahrscheinlichkeit (z=2 à Fehlerwahrscheinlichkeit 5%, 2-seitig) VI u,o = ± 0.13 * 2 = 3.7 ± 0.26 Der wahre Wert der Person liegt zwischen (mit einer Sicherheitswahrscheinlichkeit von 95%) Standardmessfehler Vertrauensinterv. (5%, 2-seitig) Verträglichkeit Gewissenhaftigkeit Extraversion Neurotizismus Offenheit Stand Januar

19 Hilfreiche Literatur Bühner, M. (2011). Einführung in die Test- und Fragebogenkonstruktion (3., aktualisierte Auflage). München: Pearson Studium. Bühner, M. & Ziegler, M. (2009). Statistik für Psychologen und Sozialwissenschaftler. München: Pearson Studium. 19