Einführung in die quantitative und qualitative Sozialforschung

Transkript

1 Einführung in die quantitative und qualitative Sozialforschung 8. Sitzung Empirische Forschung III Operationalisierung Messung und Skalierung

2 Wiederholung: Untersuchungsdesigns Experimentelles Design: Der Forscher (Versuchsleiter) bestimmt, welche Ausprägungen der erklärenden Variablen (Treatment) bei den Untersuchungseinheiten hervorgerufen werden. Nach der Setzung des Treatments erfolgt die Messung der abhängigen Variable. Randomisiertes Experiment: Zuordnung zu Experimental- und Kontrollgruppen erfolgt per Zufall daher: erklärende Variablen sind statistisch unabhängig von beliebigen anderen denkbaren Einflussgrößen. Der Effekt des Treatments kann durch statistische Tests abgesichert werden. Quasi-experimentelles Design: keine randomisierte Zuordnung der Untersuchungseinheiten zu den Gruppen oder keine vollständige Beeinflussung der erklärenden Größe durch Experimentator. Zeitlicher Abstand zwischen Erfassung der erklärenden Variable (Treatment) und der Erfassung der abhängigen Variable. Ex-post-facto-Design: Forscher hat überhaupt keine Kontrolle über die Ausprägungen der erfassten Variablen. Gleichzeitige Erfassung von abhängigen und erklärenden Variablen

3 Klassifikation von Untersuchungen nach Zeitbezug Querschnittserhebungen Alle Informationen werden zu einem Zeitpunktgemessen LängsschnittuntersuchugenWiederholte Messungen (der gleichen Variablen!) zu verschiedenen Zeitpunkten Trend Zu jedem Zeitpunkt werden verschiedene Untersuchungseinheiten betrachtet Panel Zu jedem Zeitpunkt werden die selben Untersuchungseinheiten betrachtet echtes Panel Datenerhebung zu verschiedenen Zeitpunkten Retrospektiverhebung ex-post-erhebung der Daten vergangener Zeitpunkte Zeitreihe Erfassung einer Variable bei einer Untersuchungseinheit (i.a. Aggregatgröße) zu sehr vielen Zeitpunkten

4 Gefährdungen der Gültigkeit von Untersuchungsergebnissen Verletzung der internen Validität: Existenz einer anderen Ursache als postuliert bzw. Ursache-Wirkungs-Richtung wirkt entgegengesetzt als vermutet Verletzung der externen Validität: Fehlerhafte Verallgemeinerung der Untersuchungsergebnisse von der speziellen Untersuchungssituation Verletzung der statistischen Schlussvalidität: Beobachteter (statistischer) Zusammenhang ergibt sich allein durch die Zufälligkeit der Aufteilung der beobachteten Untersuchungseinheiten in Treatment- u. Kontrollgruppen Verletzung der Konstruktvalidität: Bezeichnungen der Einfluss- und/oder Wirkungsgrößen ist falsch.

5 Gefährdungen der Gültigkeit von Untersuchungsergebnissen Maßnahmen zur Erhöhung der internen Validität: a) experimentelles Design statt Ex-Post-facto-Design b) Drittvariablenkontrolle In der Drittvariablenkontrolle werden die bivariaten Zusammenhänge bei jeweils gleichen Werten von anderen möglichen Einflussgrößen betrachtet (= Konstanthalten der Ausprägungen von Drittvariablen) Scheinkausalität: Ein beobachtbarer Zusammenhang (Korrelation) verschwindet bei Drittvariablenkontrolle (z.b. Zusammenhang zwischen Telefonbesitz und Haltung zur Abtreibung bei Kontrolle des Erhebungsgebiets)

6 2.6 Operationalisierung und Messen Operationalisierung= Herstellung einer Beziehung zwischen Begriff und beobachtbarem Sachverhalt Begriffesexplikation : Bedeutung eines Begriffes : Extension: Gesamtheit der Objekte, auf die ein Begriff zutrifft; extensionale Aufzählung nicht immer möglich Intension: Gesamtheit der gemeinsamen Eigenschaften, die die Objekte haben, auf die ein Begriff zutrifft. Voraussetzungen für eine konsistente Verwendung eines Begriffs: Eindeutigkeit: Begriffsverwendung in immer gleicher, einheitlicher Bedeutung Präzision: Für jeden Begriff soll entscheidbar sein, ob etwas unter diesen Begriff fällt.(extensionale Präzision); alle Eigenschaften des Begriffs sollen bekannt sein (intensionale Präzision) Präzisierung vager Begriffe: Extensionale Festlegung (Aufzählung) Einengung der Extension (Einführung zusätzlicher Merkmale) Erweiterung der Extension (Eliminierung von Merkmalen) Konzeptspezifikation= Explizierung der Bedeutung eines Begriffes;

7 Definitionen = Gleichsetzungen (unbekannter) Begriffe mit bekannten Begriffen: Definiendum: zu definierender Begriff; Definiens: Aussagen, die ausschließlich bekannte Begriffe enthalten. a) Nominaldefinitionen sprachliche Festlegung, nach der das Definiendum mit dem Definiens gleichgesetzt wird Daher ist jede Nominaldefinitionen eine Tautologien, d..h.. können nicht falsch sein; jedoch inadäquat sein. Kriterien bei Nominaldefinitionen: Eliminierbarkeit: Definiens und Definiendum müssen austauschbar sein. Nichtkreativität: Bei Austausch von Definiens und Definiendum darf keine zusätzliche Bedeutung erzeugt werden. Nicht-Zirkularität: Der zu definierende Begriff darf nicht unmittelbar oder mittelbar im Definiens vorkommen. Keine Mehrfachdefinitionen: Ein Begriff darf nur einmal definiert werden

8 b) Realdefinitionen Realdefinition = Behauptung über die richtige Verwendung eines Begriffes Beispiel: Handy ist eine in Deutschland übliche Bezeichnung für Mobiltelefone. = empirische Aussage, d.h. empirisch wahr oder falsch unterschiedliche Konzeptionen von Sprache und Sprechen: Begriffskonventionalismus: Bedeutung eines Begriffs wird durch Konvention vereinbart Problem: infiniter Regress Begriffsessentialismus: Bedeutung eines Begriffes ist naturnotwendig vorgegeben Problem: intersubjektive Erkennbarkeit der wahren Bedeutung ; keine Berücksichtigung der kulturellen Bedingtheit von Begriffen

9 2.6.3 Operationalisierung Operationalisierung = Formulierung von Regeln, mit deren Hilfe festgestellt wird, bzw. in welchem Ausmaß der durch einen Begriff bezeichnete Sachverhalt vorliegt. = Verknüpfungen von Begriffen mit beobachtbaren Sachverhalten. operationalen Definitionen = Gleichsetzung eines (empirischen) Begriffs mit seinem Messinstrument. Beispiel: Intelligenz ist, was der Intelligenztest misst. Problem: Missachtung der Unterschiedlichkeit von Definition und Operationalisierung. Operationalisierungen = Anwendung einer Messtheorie, die Annahmen über die Konsequenzen der in einem theoretischen Begriff enthaltenen Eigenschaften auf empirisch beobachtbare Sachverhalte beinhaltet. Korrespondenzhypothesen = Annahmen der Messtheorie Korrespondenzregeln = Anwendungen von Korrespondenzhypothesen

10 Beispiel: Hypothese: Abhängigkeit des Ausmaßes an Systemunterstützung von der Bewertung der Beeinflussbarkeit des politischen Systems und der Reaktionsbereitschaft des Systems Notwendigkeit der Definition und Operationalisierung der drei Begriffe Systemunterstützung, Beeinflussbarkeit und Reaktionsbereitschaft Def.: Systemunterstützung = Zufriedenheit mit dem politischen System und seiner Komponenten Operationalisierung : Was würden Sie allgemein zu der Demokratie in der Bundesrepublik, d.h. zu unseren politischen Parteien und zu unserem ganzen politischen System sagen? Sind Sie damit sehr zufrieden, eher zufrieden, eher unzufrieden oder sehr unzufrieden? Auswertung: starke Systemunterstützung, wenn Befragte die Antwort sehr zufrieden gibt, eine geringere Systemunterstützung, wenn sie die Antwort eher zufrieden gibt, eine geringe Systemablehnung, wenn sie die Antwort eher unzufrieden gibt und eine starke Systemablehnung, wenn sie die Antwort sehr unzufrieden gibt.

11 Korrespondenzhypothesen: (1) Je zufriedener eine Person mit dem politischem System ist, desto größer ist die geäußerte Zufriedenheit in der Antwort auf die Frage: Sind Siemit der Art und Weise, wie die Demokratie in der Bundesrepublik funktioniert sehr zufrieden, eher zufrieden, eher unzufrieden oder völlig unzufrieden? (2) Wenn eine Person A auf die Frage nach der Demokratiezufriedenheit eine positivere Antwort gibt als eine Person B, dann ist Person A zufriedener mit der Demokratie als Person B. Korrespondenzregeln: sehr zufrieden = große Systemzufriedenheit, eher zufrieden = geringere,aber vorhandene Systemzufriedenheit, eher unzufrieden = geringe Unzufriedenheit völlig unzufrieden = große Unzufriedenheit mit dem politischen System

12 Notwendigkeit der Operationalisierung aller Begriffe, soweit sie empirische Bedeutung haben. Beispiel: Begriff Alter Wenn mit Alter das tatsächliche biologische Lebensalter gemeint ist, dann ist Alter definiert als die Anzahl der Tage oder Jahre, die seit der Geburt einer Person vergangen sind. Operationalisierung des so definierten Begriffs: Frage in einem Fragebogen: Sagen Sie mir bitte, wie alt Sie sind. Frage: Sagen Sie mir bitte, in welchem Jahr Sie geboren sind. Notieren des Geburtstages aus dem Personalausweis (Dokumentenanalyse) Einschätzung des Alters durch den Forscher (Beobachtung) Problem: verschiedene Operationalisierungen können bei manchen Personen zu verschiedenen Ergebnissen führen.

13 Vom Begriff zur Variablen Durch die Operationalisierung werden Begriffen in einer empirischen Aussage beobachtbare Sachverhalte zugeordnet. Beobachtbare Sachverhalte beziehen sich auf Variablen. Folge: Über die Operationalisierung werden daher gleichzeitig die Variablen festgelegt, die in einer empirischen Untersuchung erhoben werden. Problem: keine eindeutige Korrespondenz zwischen einem Begriff und einer Variablen, da ein Begriff mehrere Eigenschaften beinhalten kann. Unterschiedliche Möglichkeiten der Operationalisierung des Begriffs Systemunterstützung : eine Frage nach der Zufriedenheit mit den Politikern, nach der Zufriedenheit mit den Parteien, nach der Zufriedenheit mit dem Funktionieren der Demokratie. Die Befragung ergibt hier also drei Variablen, die zusammen das Ausmaß der Systemunterstützung bei einer Person erfassen sollen.

14 Indikatoren und unbeobachtbare Variablen Viele Eigenschaften von Untersuchungseinheiten sind nicht direkt beobachtbar. Beispiel: Einstellung oder Meinung sind nicht direkt beobachtbar. Beobachtbar ist allein das Verhalten der Menschen, zu dem auch das Beantworten einer Frage gehört. Folge: Sinnvoll zu unterscheiden zwischen der unbeobachtbaren tatsächlichen Systemzufriedenheit und der Antwort auf die Frage nach der Systemzufriedenheit. Differenz zwischen unbeobachtbaren oder latenten Variablen (= Faktoren) und ihren Indikatoren. tatsächliche Systemzufriedenheit = latente Variable; Antwort auf die Frage im Fragebogen = ein Indikator, der zur Messung (Erfassung) der latenten Variablen herangezogen wird. Messfehler = Abweichungen zwischen latenten Variablen und Indikatoren Bei einer engen Auffassung sind (nahezu) alle in einer Untersuchung interessierenden Größen latente Variablen, da sie nicht mit Sicherheit messfehlerfrei erfasst werden können. Beispiel: Abweichung des erfassten Alters einer Person von ihrem tatsächlichen Alter.

15 2.6.4 Beobachten und Messen Messinstrument/ Erhebungsinstrument = Ergebnis der Operationalisierung Messen = Vorgang der Datengewinnung= tatsächliche Anwendung der Korrespondenzregeln bei Untersuchungseinheiten. Beispiel für ein Erhebungsinstrument: sehr kurzer Fragebogen zur Untersuchung, ob Systemzufriedenheit von der Bewertung der Beeinflussbarkeit und der Reaktionsbereitschaft des Systems abhängt. Neben den drei Variablen, die diese drei Begriffe operationalisieren, wird noch das Alter über das Geburtsjahr und das Geschlecht der befragten Personen erfasst. Berücksichtigung von fehlenden (item non-response) oder ungültigen Antworten: die Zahl 9 (bzw beim Alter) = keine Angabe die Zahl 8 = Weiß nicht

16 Beispiel: Erhebungsinstrument zur Prüfung vermuteter Ursachen von Systemunterstützung Frage 1: Systemzufriedenheit Zufriedenheit mit politischem System Frage 2 a. subjektiv wahrgenommene Beeinflussbarkeit des politischen Systems b. subjektiv wahrgenommene Reaktionsbereitschaft des politischen Systems Geschlecht Alter F R A G E A N T W O R T Code 1. Sind Sie mit der Art und Weise, wie die Demokratie in der Bundesrepublik funktioniert, alles in allem gesehen Nun einige Aussagen, über die man verschiedener Ansicht sein kann. Sagen Sie mir bitte jeweils, ob Sie der Aussage eher zustimmen oder eher nicht zustimmen. a) Leute wie ich haben so oder so keinen Einfluss darauf, was die Regierung tut b) Die Parteien wollen nur die Stimmen der Wähler, ihre Ansichten interessieren sie nicht 3. ohne Abfrage eintragen! Das Interview wurde geführt mit Zum Schluss noch eine Frage zur Statistik. Sagen Sie mir bitte, in welchem Jahr Sie geboren sind...sehr zufrieden,......eher zufrieden,......eher unzufrieden,......oder_völlig unzufrieden?. weiß nicht 1 keine Angabe stimme stimme weiß keine eher eher nicht nicht Angabe zu zu einem Mann... einer Frau... Geburtsjahr vierstellig eintragen! keine Angabe Kursiver gedruckter Text ist für den Interviewer bestimmt und wird nicht vorgelesen

17 zwei unterschiedliche Bedeutungen des Begriffs Messen : (1) Messen im weiteren Sinne = Akt der Datenerhebung (= Beobachtung) (2) Messen im engeren Sinne = Zuordnung von Zahlen zu den beobachteten empirischen Eigenschaften eines Objekts. = Codierung Wenn Person A auf die Frage nach der Zufriedenheit mit dem Funktionieren der Demokratie die Antwort eher zufrieden gibt: Messen im weiteren Sinne = das Stellen der Frage und das Beobachten (Hören) der Antwort; Messen im engeren Sinne = das Notieren bzw. Ankreuzen z.b. der Zahl 2 im Fragebogen In der empirischen Sozialforschung und Statistik wird das Wort Messen i.a. nur im engeren Sinne der Codierung verwendet, unter Verweis auf axiomatische Messtheorie: Messen = homomorphe (strukturtreue) Abbildung eines empirischen Relativs in ein numerisches Relativ.

18 Messen als homomorphe Abbildung eines empirischen in ein numerisches Relativ: Möglichkeit der Vergleichbarkeit von Merkmalsträgern (Untersuchungseinheiten, Objekte) hinsichtlich der Ausprägungen eines Merkmals Beispiel: zwei Personen können die gleiche politische Zufriedenheit aufweisen, oder eine Person kann unzufriedener sein als die andere. empirisches Relativ = mögliche Beziehungen (Relationen), die sich aufgrund der Ausprägungen des betrachteten Merkmals zwischen einer Menge von Merkmalsträgern herstellen lassen. numerisches Relativ = eine Menge von Zahlen, zwischen denen mathematische Beziehungen (Relationen) bestehen. Strukturtreue (homomorphe) Abbildung = Zuordnung von Zahlen zu den einzelnen Ausprägungen eines Merkmals, sodass den empirischen Eigenschaften zwischen den Merkmalsträgern mathematische Beziehungen zwischen den Zahlen entsprechen. Beispiel: Abbildung einer empirischen Relation zufriedener als zwischen zwei Personen als mathematische Relation größer als zwischen Zahlen

19 Mess- oder Skalenniveau Nicht allen mathematischen Beziehungen zwischen Zahlen entsprechen auch empirische Beziehungen zwischen den gemessenen Eigenschaftsausprägungen. Zahl 2 = doppelt so groß wie die Zahl 1; Frage nach der Demokratiezufriedenheit; völlig unzufrieden (Code 1 ); eher unzufrieden (Code 2 ); Problem: Person 1 muss nicht genau halb so zufrieden sein, wie ein anderer Befragter Folge: Notwendigkeit der Beachtung des Mess- oder Skalenniveaus = Angabe, welchen numerischen Informationen tatsächlich empirische Informationen entsprechen: Nominalskalenniveau enthält nur Informationen, ob gleiche oder ungleiche Ausprägungen einer Eigenschaft vorliegen; Ordinalskalenniveau gibt zusätzlich Auskunft über ein Mehr oder Weniger des Ausmaßes einer Eigenschaft; Intervallskalenniveau erlaubt zusätzlich den Abstand zwischen einzelnen Werten inhaltlich zu interpretieren; Ratioskalenniveau (= Verhältnisskalenniveau, Proportionalskalenniveau) ermöglicht zusätzlich Interpretation des Verhältnisses zweier Werte.

20 Hierarchische Ordnung zwischen den Messniveaus: Folge: Alle Informationen eines geringeren Messniveaus gelten auch bei einem höherem Messniveau. Die Informationen eines höheren Messniveaus können aber nicht bei einem tieferen Messniveau genutzt werden: Interpretierbare Relationen Identität Ränge Abstände Bezugspunkt Nominalskala ja nein nein nein Ordinalskala ja ja nein nein Intervallskala ja ja ja nein Ratioskala ja ja ja ja metrische Skalen: Intervall- und Ratioskalen

21 Generell gilt: Je höher das Skalenniveau, desto informativer ist eine Messung, Beispiel: Religionsgemeinschaften werden auf Nominalskalenniveau gemessen: Feststellung sinnvoll, dass zwei Personen der gleichen Religionsgemeinschaft oder aber verschiedener Religionsgemeinschaften angehören. Aber sinnlos zu behaupten, dass Person A mit dem Messwert 1 (katholisch) eine geringere oder größere Religiosität aufweist als Person B mit dem Messwert 2 (islamisch).

22 Systemzufriedenheit = ordinales Skalenniveau Nominalskaleninformation : Person A weist eine gleiche oder eine unterschiedliche Systemzufriedenheit als Person B auf. Ordinalskaleninformation: Person A weist eine größere Systemzufriedenheit auf als Person B. Aber sinnlos zu interpretieren, dass die Systemzufriedenheit zwischen Person A, die sehr unzufrieden ist (Code: 1), und Person B, die eher unzufrieden ist (Code: 2), geringer ist als der Abstand zwischen Person B und Person C, die sehr zufrieden ist (Code 4), obwohl die Messwerte auf größere Abstände hinweisen (2-1 < 4-2). Allerdings ist der Abstand zwischen Person A und B geringer als zwischen Person A und C! Messung von Temperatur in Celsius = Intervallskala sinnvoll, zu behaupten, dass der Abstand zwischen 20 Grad Celsius und 40 Grad Celsius (um das Zweifache) größer ist als der zwischen 20 Grad Celsius und 10 Grad Celsius. Aber nicht sinnvoll, zu behaupten, dass eine Temperatur von 40 Grad Celsius doppelt so heiß ist wie eine Temperatur von 20 Grad.

23 Alter = Ratioskala: Ratioskaleninformation: vierzigjährige Person ist doppelt so alt wie eine zwanzigjährige Person Intervallskaleninformation: Der Abstand zwischen einer vierzigjährigen und einer zwanzigjährigen Person ist größer als der Abstand zwischen einer zwanzigjährigen und einer achtzehnjährigen Person Ordinalskaleninformation: eine zwanzigjährige Person ist älter als eine zehnjährige Person Nominalskaleninformation: zwei zehnjährige Personen sind gleich alt

24 Beispiele für unterschiedliche Skalenniveaus: Nominalskala (Klassifikation): Religion, Familienstand, Parteineigung Ordinalskala (Rangordnung): Einstellungsmessungen, z.b. Demokratiezufriedenheit Intervallskala (Abstand): Temperatur in Celsius oder Fahrenheit, Geburtsjahr Ratioskala (Verhältnis): Alter, Einkommen Welche Zahlen den Ausprägungen eines Merkmals zugeordnet werden, ist solange willkürlich, solange die strukturtreue Abbildung der empirischen Beziehungen in die mathematischen Beziehungen erhalten bleibt. Ob bei der Ordinalskala Demokratiezufriedenheit die Zahlen (Codes) 1,2,3,4 oder 0,1,2,3 oder 10,11,15,20 verwendet werden, ist beliebig, solange eine größere Zahl stets für eine größere Demokratiezufriedenheit steht. Es ist aber unzulässig, die Codes 1, 2, 4, 3 zu verwenden, da dann eher zufrieden (Code: 4) für eine größere Zufriedenheit stehen würde als sehr zufrieden (Code 3):

25 Ursprünglich Alternative Codierungen zulässig unzulässig völlig unzufrieden: eher unzufrieden: eher zufrieden: sehr zufrieden: Codierung

26 Zulässige Transformationen Messniveau legt fest, was die zulässigen Transformationen sind, die die Information der Messung erhalten: Nominalskala: alle ein-eindeutigen Transformationen z.b.: 1 2, 2 1, 3 4, 4 3 aber nicht nicht-ein-eindeutige Transformationen z.b.: 1 2, 2 2, 3 1, 4 3 Ordinalskala:alle monoton steigenden, die Rangordnung bewahrenden Transformationen z.b.: 1 1, 2 4, 3 9, 4 16 (Quadrieren positiver Zahlen) aber nicht nicht-monoton steigende Transformationen z.b.: 1 2, 2 2, 3 4, 4 5 Intervallskala: alle positiven, linearen Transformationen (Y = a + b X mit b>0) z.b.: 1 3, 2 5, 3 7, 4 9 (Y=1+2 X) aber nicht beliebige, monoton steigende Transformationen z.b.: 1 1, 2 4, 3 9, 4 16 (Quadrieren positiver Zahlen), da die Abstandsinformation verloren geht:

27 Ursprungswerte Abstände transformierte transformierte Werte Abstände unzulässig 1,2,3 2-1=3-2 1,4,9 4-1<9-4 zulässig 1,2,3 2-1=3-2 3,5,7 5-3=7-5 Ratioskala: alle Streckungen und Stauchungen (Y = b X mit b>0) z.b.: 1 3, 2 6, 3 9, 4 12 (Y=3 X) aber nicht beliebige, linear steigende Transformationen z.b.: 1 3, 2 5, 3 7, 4 9 (Y=1+2 X), da die Verhältnisinformation verloren geht: Ursprungswerte Verhältnisse transformierte Verhältnisse Werte Unzulässig 1,2 2/1=2 3,5 5/3=1.67 zulässig 1,2 2/1=2 3,6 6/3=2 Messungen auf verschiedenen Messskalen, die sich durch zulässige Transformationen ineinander umrechnen lassen, sind äquivalent. Beispiel: Temperaturmessungen in Celsius oder in Fahrenheit

28 Bedeutung des Skalenniveaus für die Sozialforschung: Angemessenheit statistischer Analysemodelle: nicht gegeben, wenn sich nach der Transformation einer Messwertreihe mit einer zulässigen Transformation die inhaltliche Aussage ändert. Die Ergebnisse sind dann Artefakte. Beispiel: Berechnung von Mittelwerten bei ordinalen Messungen Angenommen, eine ordinale Messung ergäbe bei einer Teilgruppe von drei Merkmalsträgern die Rangwerte 1,3,6, bei einer zweiten Teilgruppe die Rangwerte 2,4,5. Nach diesen Messwerten ist der Durchschnittswert in der ersten Gruppe (10/3) geringer als der Durchschnittswert in der zweiten Gruppe (11/3). Quadriert man die Werte erhält man für die erste Gruppe die Werte 1,9,36 und für die zweite Gruppe die Werte 4,16,25. Die Transformation ist zulässig, da die transformierten Werte die ordinale Information bewahren. Nach der Transformation ist aber der Mittelwert der ersten Gruppe (46/3) größer als der Mittelwert der zweiten Gruppe (45/3). Folge: Die auf Ordinalskalenniveau zulässige Transformation verändert also die Relation zwischen Mittelwerten. Mittelwerte sind daher bei ordinal gemessenen Größen unbrauchbar und damit unzulässig.

29 Wie wird das Messniveau festgelegt? Repräsentationstheorem: Bedingungen im empirischen Relativ, die Voraussetzung einer strukturtreuen Abbildung sind Eindeutigkeitstheorem: Möglichkeit von mathematischen Funktionen im numerischen Relativ, ohne die Strukturtreue der Abbildung zu verletzen. Nach der axiomatischen Messtheorie muss zum Nachweis eines Messniveaus die empirische Gültigkeit beider gezeigt werden. 'measurement per fiat' = Festlegung des Messniveaus als eine Konvention (Setzung) Drei Aspekte sind zu beachten: a. Messniveau einer Größe kann nicht theorielos (d.h. ohne ungeprüfte theoretische Annahmen) ermittelt werden. b. Empirisches Gesetz kann bestimmtes Messniveau für die beteiligten Konzepte voraussetzen. Ist dieses nicht gegeben, ist Gesetz nicht oder nur eingeschränkt prüfbar. c. Bei latenten Variablen kann Messniveau von manifester Variable (Indikator) und latenter Variable abweichen.

30 Notwendigkeit der Möglichkeit der inhaltlichen Interpretierbarkeit der Zahlen: Beispiel: Befragung zur Einstellung zur Abtreibung: Operationalisierung durch die Frage: 'Welche Position haben Sie: Sollen Ihrer Ansicht nach Abtreibungen grundsätzlich verboten werden, sollen Abtreibungen grundsätzlich erlaubt sein oder sollen Abtreibungen nur in bestimmten Situationen erlaubt sein?' Zuordnung von Zahlen: Ausprägung 'grundsätzlich erlaubt' = die Zahl +1, Ausprägung 'grundsätzlich verboten' = die Zahl 1, Ausprägung 'eingeschränkt erlaubt' = die Zahl 0 Mittelwert über die drei Zahlen = informative Größe: Wenn von 100 Personen 20 für ein grundsätzliches Verbot von Abtreibungen, 40 für eine Freigabe in bestimmten Situationen, 40 für eine generelle Freigabe sind, dann ist der Mittelwert 0.2 (=(20 (-1) )/100): Der Anteil der generellen Befürworter ist also mit 40% um 20% (=0.2) größer als der Anteil der generellen Ablehner mit 20%. Folge: Einzelfallentscheidung notwendig: Abwägen zwischen Gefahr der Artefaktproduktion oder unzureichende Analyse der Daten. Lösung: Prüfung auf Robustheit der Ergebnisse

31 2.6.5 Gütekriterien von Messungen: Objektivität, Reliabilität und Validität von Messungen Kriterien für möglichst gute Messungen: Objektivität: Die Anwendung des Messinstruments durch unterschiedliche Forscher (Versuchsleiter) führt zum gleichen Ergebnis. Reliabilität: Gegeben, wenn verschiedene Messungen einer Eigenschaft beim gleichen Objekt zum gleichen Ergebnis führen, solange sich die Eigenschaft zwischen den Messungen nicht verändert hat. Validität: Eine Messung ist valide (gültig), wenn sie tatsächlich das misst, was sie messen soll. Validität = wichtigste Kriterium. Reliabilität = notwendige, aber nicht hinreichende Voraussetzung für Validität, da Möglichkeit, reliable Messung zu erhalten, die aber etwas anderes misst, als angestrebt wird. Beispiel Schuhgröße Objektivität = Spezialfall der Reliabilität, Intercoder-Reliabilität

32 Klassische Testtheorie klassische psychologischen Testtheorie: Messung als Summe aus einem wahren Wert und einem Messfehler. Unterscheidung zwischen systematischen und zufälligen Messfehlern Messwert = wahrer Wert + systematischer Fehler + zufälliger Fehler valider Teil reliabler Teil unreliabler Teil invalider Teil Messung = valide, wenn es weder systematische, noch zufällige Messfehler gibt, Messung = reliabel, wenn es nur systematische, aber keine zufälligen Messfehler gibt, Messung ist nicht reliabel (und auch nicht valide), wenn es zufällige Messfehler gibt.

33 Reliabilität: Reliabilitätskoeffizient: Nicht perfekte Reliabilität wird als Anteil der Unterschiedlichkeit (Variation) der Messungen definiert, der auf zufällige Messfehler zurückzuführen ist. unterschiedliche Verfahren und Kenngrößen zur Beurteilung der Reliabilität: 1) Mehrere Indikatoren für gleiches Konstrukt: Skalembildung Crombach s Alpha (α), = Maß der internen Konsistenz = Schätzung der Reliabilität eines summativen Index (Likert-Skala) unter der Annahme, dass alle im Index zusammen gefassten Fragen den gleichen wahren Wert messen und nur zufällige Messfehler zu unterschiedlichen Ergebnissen führen. nur Werte zwischen 0 und 1, hoher Wert entspricht hoher interner Konsistenz 2) Mehrfachmessungen über Zeit: Test-Retest-Methode = Eigenschaft mindestens zweimal in einem zeitlichen Abstand messen. Interpretation der Korrelation, (= statistischer Kennwert zur Erfassung der Übereinstimmung zwischen zwei Datenreihen), zwischen den Messungen als Reliabilitätsmaß Problem: Möglichkeit der Veränderung der Eigenschaft zwischen den Messungen

34 Validität: Schwere Erfassbarkeit der Validität Inhaltsvalidität = face-validity : Analyse beschränkt sich auf eine rein semantische Analyse der Bedeutung von Fragen, Bsp Interviews Kriteriumsvalidität: Untersuchung der Beziehung (Korrelation) mit einem externen Kriterium. Korrelation = hoch, dann gilt ein Maß als valide. Problem: Annahme, dass zumindest das Kriterium valide gemessen werden kann und die Hypothese über die Art der Beziehung zum Kriterium (positive Korrelation oder aber negative Korrelation) zutrifft. Konstruktvalidität = Ausweitung dieser Vorgehensweise Prüfung, ob die Beziehung zwischen dem Messinstrument und einer Menge von anderen Größen in der erwarteten Richtung ist. Folge: Nicht nur Prüfung des Messinstruments, sondern auch der inhaltlichen Theorien Hinweis: sog. Validitätsindex = eher eine Größe zur Beurteilung der Reliabilität