BM 23 Forschungspraktikum - Empirisch-quantitative Verfahren am Modell eines konkreten Forschungsvorhabens I SE

Transkript

1 BM 23 Forschungspraktikum Empirisch-quantitative Verfahren am Modell eines konkreten Forschungsvorhabens I Mag. Dr. Rudolf Beer Lindenberg, A u. Wagner, I.: Statistik macchiatto. 2007, S. 19

2 S p e z i e l l e Vo ra u s s e t z u n g e n Voraussetzungen fundierte Kenntnisse empirischer Forschungsmethoden, Teamkompetenz, Interesse an quantitativer Forschung, Notebook + Programmpaket (systematischer Verwendung des Statistik Programms für Sozialwissenschaften / SPSS / PASW!) w e r p u n k t e I n h a l t l i c h e S c h Ziele Mitarbeit an einem konkreten empirisch-quantitative Forschungsvorhaben im Forschungsfeld Schule/Unterricht/Bildung Forschungspraktikum mit Feldforschung an einem vorgegeben Themenbündel Literaturrecherche, Forschungsfragen, Forschungsdesign, Hypothesen, Prüfhypothesen, Testungen, Befragungen, Datenmanagement, Auswertungen, Reflexion, Forschungsberichte für Teilaspekte

3 o r m a t i o n e n A l l g e m e i n e I n f Diese Lehrveranstaltung soll fundierte Kenntnisse empirischer Forschungsmethoden aufbauen und erweitern, Anregung/Anleitung zu selbständigem kritisch- wissenschaftlichen Reflektieren und Arbeiten bieten und modellhaft systematisch eine empirisch-quantitative Untersuchungen durchführen/auswerten/verschriftlichen Forschungsmethoden: Bortz, J. u. Döring, N.: Forschungsmethoden und Evaluation.. Berlin Heidelberg, Lienert, G.: Testaufbau und Testanalyse.. München Weinheim, Atteslander, P.: Methoden der empirischen Sozialforschung.. Berlin New York, Eder, A.: Statistik für Sozialwissenschaftler.. Wien, 2003 Diekmann, A.: Empirische Sozialforschung.. Reinbek Hamburg, 2009 Weiß, C.: Basiswissen Medizinische Statistik.. Berlin Heidelberg New York, 2002 Schwetz, H. et al.: Einführung in das quantitativ orientierte Forschen.. Wien, 2010 Forschungsdesigns best practise: Beer, G.: Leadership. Eine quantitative empirische Studie an Pflichtschulen,, Wien Berlin Münster, Beer, R. u. Steiner, A.: Qualitätsentwicklung im Mathematikunterricht ein regionales Projekt, Ztschr. Erziehung und Unterricht, 157/1-2, , 144, Beer, R.: Bildungsstandards: Einstellungen von Lehrerinnen und Lehrern,, Wien Berlin Münster, Beer, R.: Standards guter Bildung Kinder im Zentrum der Innovation. Ztschr. Erziehung und Unterricht, 160. Jahrgang, Heft 3 4, , 227, Beer, R.: Kinder forschen, Ztschr. Erziehung und Unterricht, 161/3-4, , u.a.

4 l a n u n g S e m e s t e r p Prüfungsimmanente Lehrveranstaltung/Anwesenheit Mitarbeit an praktischen Übungen Selbststudium Erhebungen im Feld Präsentationen/Referate Abschlussklausur BAC-ArbeitArbeit Lindenberg, A u. Wagner, I.: Statistik macchiatto. 2007, S. 183 o r m a t i o n e n A l l g e m e i n e I n f NIG Hörsaal 3D, NIG Universitätsstraße 7/Stg. II/3. Stock, 1010 Wien Mo: Internetplattform zum Seminar: bea.meier87@gmail.com rudolf.beer@univie.ac.at

5 Das Problem als Ausgangspunkt sozialwissenschaftlicher Forschung von der Fragestellung zur Hypothese Forschungsidee Literaturstudium Fragestellung Haupttestung Hypothese Itemselektion/revision Merkmalsanalyse Aufgabenanalyse Forschungsdesign Aufgabenkonstruktion Vortestung Vorrevision

6 wissenschaftliches Forschen Fragestellung hermeneutische Methode empirisch- qualitative Methode empirisch- quantitative Methode weitere Forschungsfeld Forschungsidee Fragestellung Hypothesen Methode Quantitativ, Fragebogenerhebung

7 Rechercheauftrag Information Literaturstudium Hypothese: Annahme über einen realen (empirisch erfassbaren) Sachverhalt in Form eines Konditionalsatzes ( Wenn- Dann -Satz, Je-Desto Desto -Satz). Wissenschaftliche Hypothesen müssen über den Einfall hinausgehen (Generalisierbarkeit, Allgemeinheitsgrad) und anhand von Beobachtungsdaten falsifizierbar sein (Bortz u. Döring 2002, S. 679).

8 Bedingungen / Hypothese allgemein widerspruchsfrei empirische überprüfbar neu Hypothese: Annahme über einen realen (empirisch erfassbaren) Sachverhalt in Form eines Konditionalsatzes ( Wenn-Dann Dann -Satz, Je-Desto Desto -Satz) (Bortz u. Döring 2002, S. 679). Wenn-Dann Dann-Hypothesen: abhängige und unabhängige Variable dichotom Je-Desto-Hypothesen: abhängige und unabhängige Variable mindestens ordinalskaliert Wissenschaftliche Hypothesen müssen über den Einzelfall hinausgehen (Generalisierbarkeit, Allgemeinheitsgrad) und anhand von Beobachtungsdaten falsifizierbar sein (Bortz u. Döring 2002, S. 679).

9 Grundgesamtheit empirische Sozialforschung soziale Phänomene (?) Aussagen über die Gesellschaft Gesamtheit aller Menschen, über die ein Sachverhalt/Phänomen erklärt wird Population Stichprobe (n=zahl) untersuchte Population, Teil der Grundgesamtheit repräsentativ = der Zielpopulation entsprechend, dann Schluss auf Gesamtpopulation möglich Zufallsstichprobe = unverzerrte Stichprobe Größe der Stichprobe möglichst groß!

10 Randomisierung Zufällige Zuordnung von Untersuchungsobjekten zu Untersuchungsbedingungen bzw. den Untersuchungsleiter. Die Randomisierung ist das kennzeichnende Merkmal einer experimentellen Untersuchung (Borz u. Doring 2002, S. 688) Schritte eines empirisch quantitativen Forschungsvorhabens Begriffe

11 empirische Forschung eine auf, aus der Erfahrung, der Beobachtung erwachsenen bzw. dem Experiment entnommenen Erkenntnissen basierende Wissenschaft (Erkenntniswissenschaft) empirisch auf Erfahrung beruhend Quantitative Forschung: Empirische Forschung, die mit besonderen Datenerhebungsverfahren in erster Linie quantitative Daten erzeugt und statistisch verarbeitet, um dadurch neue Effekte zu entdecken (Exploration), Populationen zu beschreiben und Hypothesen zu prüfen (Explanation) (Bortz u. Döring 2002, S. 687). Quantitative Daten: Den Merkmalsausprägungen werden Zahlen zugewiesen, es wird gemessen. Die Menge aller Merkmalsmessungen bezeichnet man als (quantitative) Daten (Samac 2008, S. 4). Quantitative Variable sind kontinuierlich. Jeder Person wird ein Wert zugeordnet. (stetige Werte)

12 Quantitative Methoden der Datenerhebung Zählen Messen (Be)Urteilen Testen Variable: Variable sind Ausschnitte aus der Beobachtungsrealität. Sie symbolisieren die Menge der verschiedenen Ausprägungen eines Merkmals. Merkmalsausprägungen können verbal gesammelt (gezählt) werden (qualitative Variable) bzw. kann jeder Merkmalsausprägung eine Zahl zugeordnet werden (quantitative Variable). Bsp.: Variable: Schultyp - Merkmalsausprägungen: VS, HS, AHS, ASO, BMHS, BAKI, HTL, BS, BMS

13 quantitative Variable Messen... individuelle Merkmalsausprägungen werden mit einem Messinstrument erhoben und jedem Objekt bzw. Person zugeordnet (Be)Urteilen... Eigenschaften die sich einer direkten physikalischen Messung entziehen können mit Hilfe der menschlichen Urteilsfähigkeit und -möglichkeit erfasst werden unabhängige Variable abhängige Variable Hypothese behauptet einen Zusammenhang: wenn A, dann B Merkmalsausprägung A Merkmalsausprägung B ausgedrückt/operationalisiert/gemessen unabhängige Variable abhängige Variable

14 Variable unabhängige abhängige Variable unabhängige Variable (X) vermutete Einflussgröße auf Y vorausgesetztes Merkmal wird vom Forscher variiert Bedingung z.b. Intelligenz, soziale Schicht, Unter. Methode, Persönlichkeitsstruktur, Schulklima, Angst, Motivation abhängige Variable (Y oder f(x)) auf diese werden Schlüsse gezogen Auswirkung auf dieses Merkmal Veränderung wird beobachtet Folge, Effekt zeigt sich z. B. Leistung intervenierende Variable = Störvariable unabhängige Variable abhängige Variable intervenierende Variable wirkt auf die abhängige Variable unberücksichtigt ein

15 intervenierende Variable Kontrollvariable unabhängige Variable abhängige Variable Kontrollvariable wirkt auf die abhängige Variable ein, kann konstant gehalten/kontrolliert werden intervenierende Variable wird zur Kontrollvariable Skalenniveau Rationalskala (Verhältnisskala) Intervallskala Ordinalskala (Rangskala) Nominalskala

16 Intervallskala Info über Messwertdifferenz... Temperaturunterschiede, Testscores, Intelligenzscores (?), gleich oder ungleich, beschreibend + größer/kleiner Relationen + Gleichheit von Differenzen... polytom/dichotom Nominalskala Geschlecht, Familienstand, Farbe, ja/nein- Entscheidungen, Nationalität, Sprache, Blutgruppe gleich oder ungleich, beschreibend Rationalskala natürlicher Nullpunkt... Länge, Gewicht, physikalische Größen gleich oder ungleich, beschreibend + größer/kleiner Relationen + Gleichheit von Differenzen + Gleichheit von Verhältnissen Ordinalskala (Rangskala) Ranginformation... Schulnoten, Rangplätze, Ausbildungsabschlüsse, Dienstgrade, Windstärken, Beliebtheit, Befragungsergebnisse (?) gleich oder ungleich, beschreibend + größer/kleiner Relationen Anwendung von Rechenverfahren Rationalskala Intervallskala Ordinalskala Nominalskala arithmetisches Mittel, t-test, Varianzanalyse, ev. parametrische Verfahren ev. nonparametrische Verfahren, U-Test, Rangplätze, Median, Modalwert

17 Ansprüche an ein Testverfahren: Hauptgütekriterien eines Tests Objektivität Reliabilität (Zuverlässigkeit) Validität (Gültigkeit) Objektivität Unter Objektivität eines Tests verstehen wir den Grad, indem die Ergebnisse eines Tests unabhängig vom Untersucher sind (Lienert 1989, S. 13). Durchführungsobjektivität Auswertungsobjektivität Interpretationsobjektivität

18 Reliabilität Unter der Reliabilität eines Tests versteht man den Grad der Genauigkeit, mit dem er ein bestimmtes Persönlichkeits- oder Verhaltensmerkmal misst (Lienert 1989, S. 14). Validität Die Validität des Tests gibt den Grad der Genauigkeit an, mit dem dieser Test dasjenige Persönlichkeitsmerkmal oder diejenigen Verhaltensweisen, das (die) er messen soll oder zu messen vorgibt, tatsächlich misst (Lienert 1989, S. 16). inhaltliche Validität Konstruktvalidität kriteriumsbezogenen Validität

19 Wechselbeziehungen Objektivität Reliabilität Validität Validität Reliabilität Objektivität Nebengütekriterien eines Tests Normierung Vergleichbarkeit Ökonomie Nützlichkeit

20 Normierung versteht man, daß über einen Test Angaben vorliegen sollen, die für die Einordnung des individuellen Testergebnisses als Bezugssystem dienen können (Lienert 1989, S. 18). Einordnung des Pn in die Verteilung (Position) in Bezug auf die Grundgesamtheit, soziale Gruppe, individuelle Aussagen (diagnostische Brauchbarkeit) Vergleichbarkeit Ein Test ist dann vergleichbar, wenn: 1. ein oder mehrere Parallelformen vorhanden sind, 2. validitätsähnliche Tests verfügbar sind (Lienert 1989, S. 18). intraindividuelle Reliabilitätskontrolle interindividuelle Validitätskontrolle

21 Ökonomie Ein Test ist dann ökonomisch, wenn er: 1. eine kurze Durchführungszeit beansprucht, 2. wenig Material verbraucht, 3. einfach zu handhaben, 4. als Gruppentest durchführbar, 5. schnell und bequem auswertbar ist (Lienert 1989, S. 19). Nützlichkeit Ein Test ist dann nützlich, wenn er ein Persönlichkeitsmerkmal mißt, für dessen Untersuchung ein praktisches Bedürfnis besteht (Lienert 1989, S. 19).

22 Konstruktionsschritte und Merkmale eines Fragebogens (FB) existierende Fragebögen? Hinweise - Literatursuche Testkatalog herausgegeben von der Testzentrale (2000) oder unter Psychologische u. pädagogische Tests (Brickenkamp, 1997) Psychosoziale Messinstrumente (Westhoff, 1993) Psychodiagnostische Tests (Hiltmann, 1977)

23 Das Item ist die kleinste Beobachtungseinheit in einem FB, sozusagen der elementare Baustein, aus dem ein FB aufgebaut ist. An einem Item lassen sich zwei Komponenten unterscheiden, nämlich der sogenannte Itemstamm und das Antwortformat. Itemstamm Frage Aussage (Statement) Bild Geschichte Zeichnung Rechenaufgabe, etc.

24 Jedes Item sollte nur einen einzelnen Aspekt ansprechen. direkte oder indirekte Fragen (z.b.:.: Halten Sie sich für rücksichtsvoll? oder Halten Sie mit dem Auto an, wenn eine Person die Fahrbahn überqueren möchte? hypothetischer oder tatsächlicher Sachverhalt (z.b.:.: Was würden Sie tun, wenn... oder Haben Sie schon einmal... getan? konkreter oder abstrakter Sachverhalt (z.b.:.: Sammeln Sie Briefmarken? oder Sammeln Sie gerne irgendwelche Sachen? personalisierte oder depersonalisierte Frage (z.b.:.: Würden Sie gegen ein geplantes Kernkraftwerk demonstrieren? oder Sollten möglichst viele Menschen gegen ein geplantes Kernkraftwerk demonstrieren? freie Antwortformate Die Itemantwort wird von der getesteten Person selbst formuliert. gebundene Antwortformate Vorgefertigtes System von Antwortmöglichkeiten.

25 gebundene Antwortformate hohe Auswertungsobjektivität und Auswertungsökonomie disjunkt d.h. einander ausschließend exhaustiv d.h. den Bereich aller Verhaltensmöglichkeiten ausschöpfend Ratingformate ( = Untergruppe unter den gebundenen Antwortformaten) mehr als zwei abgestufte Antwortkategorien item-unspezifisch formuliert

26 4 Aspekte zur Konstruktion einer Ratingskala 1. Eine Ratingskala kann unipolar, von einem Nullpunkt in eine Richtung gerichtet, oder bipolar, von einem negativen Pol zu einem positiven Pol, aufgebaut sein. 2. Die Verwendung einer mittleren bzw. neutralen Antwortkategorie, oder auch das Verwenden einer ungeraden Anzahl von Stufen ist problematisch. Eine derartige Antwortkategorie kann nämlich für die antwortende Person Verschiedenes bedeuten. 3. Die Anzahl der Stufen spielt eine wichtige Rolle, da dadurch sogenannte Antworttendenzen (oder response sets) auftreten und somit auch vermieden werden können. Unter einem response set versteht man die von der zu messenden Personeneigenschaft unabhängige Neigung einer Person, die Ratingskala in einer bestimmten Art und Weise zu gebrauchen. Zum Beispiel macht sich die Tendenz zu einem extremen Urteil bei einer vierstufigen Skala weniger bemerkbar als bei einer zehnstufigen Skala.

27 4. Benennung der Kategorien: Ratingskalen können rein numerisch, graphisch, symbolisch oder verbal verankert sein. Auch Kombinationen sind möglich. Der Item-Pool entsteht durch Literaturrecherche, etc. Anzahl der zu sammelnden Items hängt von der endgültigen Zahl der FB-Items ab mindestens das Dreifache der letztlich erforderlichen Itemzahl ist nötig jedoch sollte im Zweifelsfall die Qualität vor der Quantität stehen

28 Prinzip der Passung Maximierung der Varianz der Antwortvariablen Das zufällige Auswählen von Items aus einem Item- Pool ist wenig sinnvoll. Items, die von allen Befragten in gleicher Art und Weise beantwortet werden, sind als ungeeignet anzusehen, da sie kaum zur Differenzierung der Probanden beitragen. Die Erstellung einer Präambel übliche Instruktionen für die Beantwortung von FB: alle Items durchzulesen und zu beantworten; die Items nacheinander zu bearbeiten und keine auszulassen; aufrichtig zu antworten Anonymität und ausreichender Datenschutz wird garantiert; möglichst zügig zu antworten; bei Persönlichkeitsfragebögen gibt es keine richtigen oder falschen Antworten, die für alle Vpn zutreffen, sondern nur individuell richtige Antworten; dass die Untersuchung nur zu Forschungszwecken ausgeführt wird und nicht der Bestimmung individueller Diagnose dient;

29 Beeinflussung des Antwortverhaltens durch die Position des Items im Fragebogen durch die Selbstdarstellung des Probanden durch die soziale Erwünschtheit mancher Antwortmöglichkeiten Es existieren Techniken, die diese Tendenz zu reduzieren oder zumindest zu kontrollieren versuchen. z. B.: Lügenfragen Revision im Expertenkreis: Revision der Items, vor allem unter sprachlichen Gesichtspunkten. Diese Revision soll vor allem auf gute Verständlichkeit, auf die notwendige Kürze und Prägnanz der Formulierungen, auf die Fragerichtung und die Reihenfolge der Items im Fragebogen achten. Vortestung der Testvorform an der Zielpopulation Aufgabenanalyse Itemselektion Haupttestung der Testendform an der Zielpopulation

30

31 Erfassung von Daten Strichliste Fragebogen Protokoll Listen

32 Datenansicht Variablenansicht Beschreiben / Zählen / Darstellen Häufigkeitstabellen Diagramme Prozenttabellen Listen

33 Körpergröße (cm) Gültig 156,00 158,00 160,00 163,00 164,00 165,00 166,00 167,00 168,00 169,00 171,00 172,00 174,00 176,00 178,00 180,00 183,00 Gesamt Kumulierte Häufigkeit Prozent Prozente 1 2,8 2,8 1 2,8 5,6 3 8,3 13,9 4 11,1 25,0 1 2,8 27,8 3 8,3 36,1 2 5,6 41,7 2 5,6 47,2 3 8,3 55,6 2 5,6 61,1 1 2,8 63,9 3 8,3 72,2 6 16,7 88,9 1 2,8 91,7 1 2,8 94,4 1 2,8 97,2 1 2,8 100, ,0 Häufigkeitstabelle Gültig weiblich männlich Gesamt Geschlecht Gültige Kumulierte Häufigkeit Prozent Prozente Prozente 32 88,9 88,9 88,9 4 11,1 11,1 100, ,0 100,0 Häufigkeitstabelle Balkendiagramm 40 Kreisdiagramm Geschlecht weiblich männlich 30 Absolute Werte weiblich Geschlecht männlich

34 7 6 Histogramm 5 Häufigke eit ,00 160,00 165,00 170,00 175,00 180,00 185,00 Körpergröße (cm) Mean = 168,3611 Std. Dev. = 6,30715 N = 36 80,00 Geschlecht weiblich männlich 75,00 icht (kg) Körpergewi 70,00 65,00 60,00 55,00 50,00 155,00 160,00 165,00 170,00 175,00 180,00 185,00 Körpergröße (cm) Streudiagramm

35 Beschreiben: Lageparameter (Maße der zentralen Tendenz) Maßzahlen der zentralen Tendenz (Mittelwerte) Maßzahlen der Dispersion (Streuungsmaße) Modalwert: Der in einer Verteilung am häufigsten vertretene Wert (Bortz u. Döring 2002, S. 684). Median: Der Median teilt eine Verteilung mindestens ordinalskalierter Meßwerte in Hälften (Bortz u. Döring 2002, S. 683). Der Median ist die mittlere Maßzahl, in der Größe der Maßzahlen geordneten Fälle (Resch 2001, S. 20). Arithmetisches Mittel: Der Mittelwert (genauer: das arithmetische Mittel) als Summe aller Meßwerte dividiert durch die Anzahl der eingehenden Werte (Bortz u. Döring 2002, S. 684). Geometrisches Mittel: Der geometrische Mittel ist die N te Wurzel aus dem Produkt von N Messwerten (Diekmann 2009, S. 290).

36 Spannweite (range, Variationsbreite): (x max x min ) Differenz zwischen der größten und kleinsten Maßzahl (Resch 2001, S. 36). Mittlere Variation: Summe aller Abweichungen vom Mittelwert, dividiert durch n (Eder 2003, S. 30). Standardabweichung (standard deviation): die Wurzel aus dem Durchschnitt der quadrierten Abweichungen der Maßzahlen von ihrem Mittelwert (Resch 2001, S. 36). Varianz (standard deviation): die Summe der quadrierten Abweichungen aller Einzelwerte von ihren Mittelwert, dividiert durch deren Anzahl (Eder 2003, S. 31). Mittelwert und Streuungsmaße Statistiken N Mittelwert Standardabweichung Varianz Gültig Fehlend Körpergröße Körperge (cm) wicht (kg) , ,1667 6, , ,780 68,657

37 Schritte eines empirisch quantitativen Forschungsvorhabens Darstellung und Auswertung von Daten Darstellung von Daten: Häufigkeitstabelle absolute Häufigkeit relative Häufigkeit prozentuale Häufigkeit kumulierte prozentuale Häufigkeit

38 Arbeit mit SPSS I Anlegen der Datenmaske Codierung der einzelnen Fragebögen Dateneingabe Datenkontrolle/Fehlerkontrolle Fehlerbereinigung

39 Anlegen der Datenmaske: : Variablenansicht pro Variable eine Zeile definieren Codierung der einzelnen Fragebögen Je nach Art des Forschungsdesigns muss eine durchdachte Codierung vorgenommen werden, die es ermöglicht jeden Datensatz einem Fragebogen, aber auch einem Testleiter, einem Untersuchungszeitpunkt, einer Untersuchungsgruppe, zuzuweisen. z.b Zeitpunkt / Gruppe / laufende Nummer od. Testleiter

40 Dateneingabe: Datenansicht je Datensatz (Fragebogen) eine Zeile ausfüllen Datenkontrolle 1. Analysieren 2. Deskriptive Statistiken 3. Häufigkeiten

41 Sie sind dran Lindenberg, A u. Wagner, I.: Statistik macchiatto. 2007, S. 183 Beschreiben / Zählen / Darstellen Häufigkeitstabellen Diagramme Prozenttabellen Listen

42

43 Phasen der Testentwicklung Itemerstellung, Itemselektion, Vortestung, Aufgabenanalyse: Schwierigkeitsindex, Trennschärfeindex

44 Itemerstellung / Itemselektion Festlegungen Validitätsbereich Geltungsbereich Testkonzept (rational bzw. empirisch) Merkmalsanalyse Aufgabenkonstruktion Aufgabenkonzept sprachlicher Aufbau Testaufbau Vorrevision Vortestung Aufgabenanalyse Vortestung(en) Auswahl von Analysestichproben Einzel bzw. Gruppendurchführung Darbietungstechniken Gesamtdarbietung vollständige Gesamtdarbietung unvollständige Gesamtdarbietung Einzeldarbietung unvollständige Gesamtdarbietung mit Zufallsreihung

45 Aufgabenanalyse 1. Revision des Tests in Hinblick auf eine höhere Reliabilität uns Validität durch Ausschaltung und Verbesserung nicht genügend geeigneter Aufgaben. 2. Überprüfung der Testpunkteverteilung hinsichtlich einer höheren Reliabilität und einer besseren Normierbarkeit (Lienert 1989, S. 70). Rohwerteverteilung Schwierigkeitsanalyse Trennschärfeanalyse Validitätskoeffizient Homogenität Dimensionalitätsprüfung Häufigkeitsverteilung der Testwerte: Beispiel: Normalverteilte Testwerte sind erstrebenswert, weil viele ( ) Verfahren normalverteilte Werte voraussetzen (Bortz u. Döring 2002, S. 217). Rohwerteverteilung H ä u fig ke it A L L E 2,0 0 1,9 4 1,8 8 1,8 1 1,7 5 1,6 9 1,6 3 1,5 6 1,5 0 1,4 4 1,3 8 1,3 1 1,2 5 1,1 9 1,1 3 S td.a b w. =,1 5 M itte l = 1,6 6 N = 3 2 6,0 0

46 Schwierigkeitsanalyse Schwierigkeitsindex: Der Schwierigkeitsindex einer Aufgabe ist gleich dem prozentualen Anteil P der auf diese Aufgaben entfallenden richtigen Antworten in einer Analysestichprobe (Lienert u. Raatz 1994, S. 73) Beispiel: P = 85 leichte Aufgabe P = 30 schwierige Aufgabe Schwierigkeitsanalyse Bestimmung des Schwierigkeitsindex: P = 100 N R N Beispiel 1: N = 120 (Anzahl der Probanden) ; NR N = 102 (Anzahl der richtigen Lösungen) P = : 120 = 85 leichte Aufgabe Beispiel 2: N = 120 ; NR N = 36 P = : 120 = 30 schwierige Aufgabe

47 Schwierigkeitsanalyse Bestimmung des zufallskorrigierten Schwierigkeitsindex: P = 100. N R - N N F m - 1 Beispiel 3: N = 120 ; NR N = 102 ; NF N = 18 (Anzahl der falschen Lösungen) ; m = 4 (Anzahl der Antwortmöglichkeiten) P = 100 (102 (18 : 3 )) : 120 = = 100. (102 6 ) : 120 = = : 120 = 80 leichte Aufgabe Schwierigkeitsanalyse Bestimmung des plausibilitätskorrigierten Schwierigkeitsindex: P = 100. N R N F(max) N Beispiel 4: N = 120 ; A = 102 (NR) ; B = 4 ; C = 12 (NF(max));); D = 2 (NF(max) Anzahl der plausibelsten falschen Lösung) P = 100 (102 12) : 120 = = : 120 = 75 leichte Aufgabe

48 Schwierigkeitsanalyse Bestimmung des Schwierigkeitsindex mit Inangriffnahme-Korrektur: P = 100. P = 100. N R - N R N B N B N F m - 1 Beispiel 5: NR = 102 ; NB= 110 P = : 110 = 92,7 Schwierigkeitsindex wird höher, d.h. das Item ist leichter als zunächst angenommen NB Anzahl der Personen die das Item in Angriff genommenen haben) Schwierigkeitsindex: P = 100 N R N Zufallskorrigierter Schwierigkeitsindex: plausibilitätskorrigierter Schwierigkeitsindex: P = 100. N R - N N F m - 1 P = 100. N R N F(max) N

49 Schwierigkeitsanalyse normbezogene Teste lernzielbezogene Tests Die Aufgabenschwierigkeit ist also nicht nur das Merkmal einer bestimmten Aufgabe, sondern auch Merkmal einer bestimmten Stichprobe (Mietzel 1993, S. 322). Danke für Ihre Aufmerksamkeit!