Messen und Statistik

Transkript

1 Messen und Statistik Statistische Grundkonzepte: Reliabilität, Validität, Skalen Bachelor Seminar SoSe 2009 Institut für Statistik LMU Monika Brüderl

2 Gliederung Philosophische Grundlagen - Einige philosophische Grundbegriffe - Der repräsentationale Ansatz - Der pragmatische Ansatz Grundbegriffe Skalen Gütekriterien der Messung Monika Brüderl - Statistische Grundkonzepte: Reliabilität, Validität, Skalen 2

3 Philosophische Grundlagen Measurement is the contact of reason with nature. Henry Margenau (1959) Erkenntnistheorie befasst sich mit den Quellen, dem Wesen und den Grenzen von Erkenntnis. Die Frage nach dem Messen ist erkenntnistheoretisch Im Mittelpunkt steht die Beziehung zwischen einem erkennenden Subjekt und einem Objekt, zwischen Vernunft und Natur Monika Brüderl - Statistische Grundkonzepte: Reliabilität, Validität, Skalen 3

4 Einige philosophische Grundbegriffe Empirismus: einzige Erkenntnisquelle ist die Erfahrung keine angeborenen Ideen Rationalismus: Das Denken, nicht die Erfahrung ist der Erkenntnis wesentlich Es gibt a priori Bedingungen von Erkenntnis Realismus: Es gibt eine reale, zum Teil erkennbare Außenwelt Sachverhalte bestehen objektiv, unabhängig vom Subjekt Monika Brüderl - Statistische Grundkonzepte: Reliabilität, Validität, Skalen 4

5 Einige philosophische Grundbegriffe Idealismus: Gegenstand von Erkenntnis sind unsere Ideen Die Realität wird durch die Ideen geformt Operationalismus: Eine neue Messmethode definiert einen neuen Begriff; eine mögliche zugrunde liegende Realität wird nicht beachtet Gegenstandsbereiche können durch Handlungen bzw. Operationen konstruiert werden antirealistische Position Monika Brüderl - Statistische Grundkonzepte: Reliabilität, Validität, Skalen 5

6 Was ist Messen? Mittel zum Erkenntnisgewinn Quantifizierung: Zuordnung von Zahlen zu Objekten Ist alles messbar? Wie wird etwas gemessen (direkt/indirekt)? Zwei Ansätze zur Bestimmung des Begriffs Messen : repräsentational vs. pragmatisch Monika Brüderl - Statistische Grundkonzepte: Reliabilität, Validität, Skalen 6

7 Der repräsentationale Ansatz Geht von einer realen Beziehung zwischen Objekten aus Suche nach einer geeigneten formalen Darstellung oder Repräsentation Beziehungen zwischen Objekten sollen in den Relationen zwischen den Zahlen widergespiegelt werden strukturkonform Der repräsentationale Ansatz ist empiristisch und realistisch Monika Brüderl - Statistische Grundkonzepte: Reliabilität, Validität, Skalen 7

8 Der repräsentationale Ansatz Einteilung in verschiedene Relationen: - Äquivalenzklassen, z.b. Hobbies - Ordnungsrelationen, z.b. Körpergröße - additive Relationen, z.b. Conjoint-measurement Monika Brüderl - Statistische Grundkonzepte: Reliabilität, Validität, Skalen 8

9 Der pragmatische Ansatz Pragmatischer Ansatz, wenn das zu messende Objekt nicht genau bekannt ist, z.b. Psychologie Geht davon aus, dass das Objekt nicht vorhanden wäre (oder eine Komponente fehlen würde), wenn die Messung nicht gemacht worden wäre Messung definiert die Variable, keine Realität zugrunde gelegt Der pragmatische Ansatz ist operationalistisch Monika Brüderl - Statistische Grundkonzepte: Reliabilität, Validität, Skalen 9

10 Der pragmatische Ansatz Beispiele: Intelligenz: allgemeine Idee von Intelligenz vorhanden, aber keine Definition indirekte Messung über verschiedene Items, die in der Summe der Scores (IQ) das Maß für Intelligenz liefern Lebensqualität: latentes Konstrukt, umfasst Aspekte aus verschiedenen Lebensbereichen, die indirekt gemessen ein Maß für Quality of Life liefern Monika Brüderl - Statistische Grundkonzepte: Reliabilität, Validität, Skalen 10

12 Grundbegriffe Definition: Eine Messung ist die Zuordnung von Zahlen zu Objekten nach bestimmten Regeln. (Stevens, 1951) Problem mit Strukturtreue: bestehende Relationen sollen beibehalten werden Empirisches Relativ: Menge von Objekten, die über eine Relation definiert wurde Numerisches Relativ: Menge von Zahlen, die über eine Relation definiert wurde Monika Brüderl - Statistische Grundkonzepte: Reliabilität, Validität, Skalen 12

13 Grundbegriffe Isomorphismus: umkehrbar eindeutige Abbildung Homomorphismus: nicht-umkehrbar eindeutige Abbildung Isomorphismus A 1 A Homomorphismus B 2 B 2 C 3 C 3 D 4 D 4 Allgemeine Definition: Man spricht von einer Messung, wenn ein Iso- oder Homomorphismus zwischen einem empirischen und einem numerischen Relativ existiert Monika Brüderl - Statistische Grundkonzepte: Reliabilität, Validität, Skalen 13

15 Skala Def.: Eine Skala ist eine homomorphe Abbildung eines empirischen Relativs in ein numerisches Relativ, wenn die Anzahl der Relationen und die Menge der zulässigen Transformationen in beiden Relativen identisch sind, also wenn gilt: Repräsentationstheorem: gibt Bedingungen/Axiome an, die im empirischen Relativ erfüllt sein müssen, um eine homomorphe Abbildung zu gewährleisten (Bsp. Transitivität) Eindeutigkeitstheorem: gibt zulässige mathematische Operationen im numerischen Relativ an, um die Strukturtreue der Abbildung sicherzustellen (Bsp. Temperatur in C/ F) Monika Brüderl - Statistische Grundkonzepte: Reliabilität, Validität, Skalen 15

16 Skala Skalenniveau (Messniveau, Skalenqualität) meint die Klassifizierung der Skala nach ihren zulässigen Transformationen mit steigendem Skalenniveau nimmt die Anzahl der vorausgesetzten empirischen Relationen zu und die Menge der zulässigen Transformationen ab Meistverwendete Klassifizierung nach Stevens (1946) Monika Brüderl - Statistische Grundkonzepte: Reliabilität, Validität, Skalen 16

17 Skalentypen Nominalskala Unterstes Messniveau Klassifikation von Objekten nach der Relation gleich oder ungleich Äquivalenzklassen Werte können nicht der Größe nach sortiert werden Ein-eindeutige Transformationen zulässig Modus als Lageparameter Bsp.: Geschlecht, Familienstand, Haarfarbe Monika Brüderl - Statistische Grundkonzepte: Reliabilität, Validität, Skalen 17

18 Skalentypen Ordinalskala Rangordnung von Objekten bzgl. einer Eigenschaft Keine Aussage über Abstände zwischen den Klassen möglich Transitivitätsaxiom erforderlich: o 3 >o 2 und o 2 >o 1 => o 3 >o 1 Eindeutige positive monotone Transformationen zulässig Median als Lageparameter Bsp.: Schulnoten, Bildungsabschluss Monika Brüderl - Statistische Grundkonzepte: Reliabilität, Validität, Skalen 18

19 Skalentypen Intervallskala: Rangordnung liefert jetzt auch die gleichen Abstände/Intervalle Nullpunkt und Skaleneinheit willkürlich; keine inhaltliche Bedeutung keine Aussage über Verhältnisse möglich Eindeutig bis auf positiv lineare Transformationen Arithmetisches Mittel als Lageparameter Bsp.: Temperatur in C/ F Monika Brüderl - Statistische Grundkonzepte: Reliabilität, Validität, Skalen 19

20 Skalentypen Ratio-/Verhältnisskala: Existenz eines natürlichen Nullpunktes, Null entspricht der Abwesenheit des Merkmals Eindeutig bis auf positive proportionale Transformationen Geometrisches Mittel als Lageparameter Verhältnisse sinnvoll Bsp.: Anzahl der Schuljahre, Einkommen, Preise Monika Brüderl - Statistische Grundkonzepte: Reliabilität, Validität, Skalen 20

21 Übersicht Skalentyp Zulässige Transformation Interpretation von Skalenwerten Mittelwert Beispiel Nominalskala eineindeutig gleich oder verschieden Modus Geschlecht Ordinalskala positiv monoton größer, kleiner oder gleich Median Schulabschluss Intervallskala positiv linear Vergleichbarkeit von Differenzen Arithmetisches Mittel Temperatur in C oder F Verhältnisskala positiv proportional Verhältnisse, prozentuale Vgl. Geometrisches Mittel Einkommen Monika Brüderl - Statistische Grundkonzepte: Reliabilität, Validität, Skalen 21

23 Gütekriterien der Messung Grundlegende Annahmen in der klassischen Testtheorie: Gemessener Wert = wahrer Wert + Messfehler Mittelwert der Messfehler = 0 Messfehler korrelieren nicht mit wahren Werten Messfehler zweier Messwerte unkorreliert Messfehler einer Messreihe korreliert nicht mit Messwerten einer anderen Messung Messungen sollen möglichst objektiv, zuverlässig und gültig sein! Monika Brüderl - Statistische Grundkonzepte: Reliabilität, Validität, Skalen 23

24 Objektivität Objektivität Grad der Objektivität gibt an, in welchem Ausmaß die Ergebnisse der Messung unabhängig von der messenden Person ist. Vollständige/maximale Objektivität: Person A und B gleiches Ergebnis; Korr.koef. = 1 Minimale Objektivität: Person A gegenteiliges Ergebnis zu Person B; Korr.koef. = -1 Durchführungsobjektivität: z.b. kann Interviewer Antwortverhalten beeinflussen Auswertungsobjektivität: bei gleichem Antwortverhalten unterschiedliche Ergebnisse berichtet Monika Brüderl - Statistische Grundkonzepte: Reliabilität, Validität, Skalen 24

25 Reliabilität Reliabilität Grad der Reliabilität gibt an, in welchem Ausmaß die Messung reproduzierbare und konsistente Ergebnisse liefert unter effektiv identischen Bedingungen. Unterschiede zwischen mehreren Messungen sollen möglichst klein gehalten werden Vgl. Varianz Zwei Varianten: Reliabilität von einem Instrument/Verfahren und R. von zwei oder mehreren Instrumenten/Verfahren/Auswertern (Inter-rater-R.) Quantifizierung: ρ x = σ 2 wahr /σ2 beob Monika Brüderl - Statistische Grundkonzepte: Reliabilität, Validität, Skalen 25

26 Reliabilität Beispiele für mögliche Messfehler: Verschiedene Personen führen Messung durch Veränderung der Bedingungen Verschmutzung auf dem Objekt oder Messgerät Fehler beim Zurücksetzten auf Null Fehler beim Ablesen Rundungsfehler Großes Problem oft Reaktion oder Adaption an Messprozedur (Ermüdung, Erinnerung, Lernen) Monika Brüderl - Statistische Grundkonzepte: Reliabilität, Validität, Skalen 26

27 Reliabilität Methoden zur Untersuchung der Reliabilität (wird immer als Korrelationskoeffizient angegeben): Test-Retest-Methode: gleiches Messinstrument/Verfahren nach einem Zeitintervall erneut angewendet; Problem: Annahmne: Ermüdung und Erinnerung ausgeschlossen, Stabilität Paralleltest-Methode: zwei vergleichbare Messinstrumente/Verfahren am gleichen Objekt Methode der Testhalbierung (Split-half-method): Messung mit multiplen Indikatoren wird halbiert und dann zur gleichen Zeit gemessen je nach Aufteilung verschieden Monika Brüderl - Statistische Grundkonzepte: Reliabilität, Validität, Skalen 27

28 Validität Validität Objektivität und Reliabilität Minimalanforderungen; Hauptziel: Validität Grad der Validität gibt an, in welchem Ausmaß das Messinstrument tatsächlich das misst, was es messen sollte Systematische Fehler/invalide Messungen sollen vermieden werden vgl. Bias Monika Brüderl - Statistische Grundkonzepte: Reliabilität, Validität, Skalen 28

29 Validität Beispiele für mögliche Verzerrungen: Unpräzise Frageformulierung Schwierige Begriffe/Fachbegriffe Unterstellende Fragen Mehrfach implizierte Antworten Doppelte Verneinung Nur eine vernünftige Antwort möglich Retrospektive Fragen Monika Brüderl - Statistische Grundkonzepte: Reliabilität, Validität, Skalen 29

30 Validität Formen von Validität: Inhaltsvalidität: gibt an, inwieweit die verwendeten Aspekte in einer Messung die wahren und relevanten Punkte beinhalten; Sind alle Items relevant und alle relevanten Aspekte berücksichtigt? Kriteriumsvalidität: gibt den Grad der Korrelation der erzielten Resultate mit Außenkriterien an (unabhängig mit einem anderen Messinstrument erhoben) - Übereinstimmungsval. (concurrent validity): zeitgleich - Vorhersageval. (predictive validity): Messdaten werden vor Außenkriterien erhoben Monika Brüderl - Statistische Grundkonzepte: Reliabilität, Validität, Skalen 30

31 Validität Konstruktvalidität: - Konstrukt meint theoretische Beziehungen - Konstruktvalidität bezieht sich auf die Zulässigkeit der Aussagen des theoretischen Konstrukts der Messung - abgeleitete Hypothesen müssen einer empirischen Prüfung standhalten - Vorteil ggü. Kriteriumsvalidität: bezieht innere und äußere Faktoren mit ein, braucht keine externen Messungen Monika Brüderl - Statistische Grundkonzepte: Reliabilität, Validität, Skalen 31

32 Reliabilität Validität Campbell + Fiske (1959): Reliabilität ist die Übereinstimmung von zwei Messversuchen des gleichen Attributs durch maximal ähnliche Methoden. Validität entspricht der Übereinstimmung zweier Messmethoden zur Messung desselben Merkmals durch maximal verschiedene Methoden. Instrument ist umso reliabler, je weniger zufällige Fehler ( Varianz) valider, je weniger systematische Fehler ( Bias) auftreten Monika Brüderl - Statistische Grundkonzepte: Reliabilität, Validität, Skalen 32

33 Vielen Dank für die Aufmerksamkeit! Monika Brüderl - Statistische Grundkonzepte: Reliabilität, Validität, Skalen 33