VO 2ABGM6 Schulforschung und Unterrichtspraxis

Transkript

1 Dr. Rudolf Beer Hochschulprofessor 2017/ VO 2ABGM6 Schulforschung und Unterrichtspraxis 2 Methodische Grundlagen empirischer Bildungsforschung II

2 Internetplattform zum Seminar: Die Studienunterlagen dienen wissenschaftlichen Zwecken und sind ausschließlich für den privaten, persönlichen Gebrauch der Studentinnen und Studenten bestimmt und explizit nur für die Verwendung im Rahmen dieser Veranstaltung hergestellt. Die Studienunterlagen sind für den Schul-, Studien- und Unterrichtsgebrauch bestimmt und daher von der freien Werknutzung zum eigenen Schulgebrauch ausgenommen. Das Zugänglichmachen, Vervielfältigen oder die Weitergabe an Dritte als Ganzes oder auszugsweise ist unabhängig von der Form, wenn nichts anderes vereinbart, untersagt. Programmübersicht 1. Methodische Grundlagen empirschen Bildungsforschung I Mittwoch Methodische Grundlagen empirschen Bildungsforschung II Mittwoch Bedingungen internationaler Schulleistungsvergleiche Mittwoch Analysemodelle der Schul-und Unterrichtsforschung Mittwoch Internationale schulleistungsvergleichende Studien:«Progress in International Reading Literacy Study» (PIRLS) Mittwoch Internationale schulleistungsvergleichende Studien:«Third International Mathematics and Science Study» (TIMSS) Mittwoch Internationale schulleistungsvergleichende Studien:«Programme for International Student Assessment» (PISA - Teil I) Mittwoch Internationale schulleistungsvergleichende Studien:«Programme for International Student Assessment» (PISA-Teil II ) Mittwoch Studien aus der Forschungspraxis(Schulqualität, Emotionale Kompetenz, ) Mittwoch Forschungen zu «Effective Schools» -Was sind gute Schulen? Mittwoch Prozess-Produkt-Paradigma der Unterrichtsforschung Mittwoch Metaanalysen in der Schul-und Unterrichtsforschung, WH & Prüfungsinformationen Mittwoch Prüfungstermin (MC-Fragen) Mittwoch

3 Prüfungsmodalitäten: Vorlesung: o o o o o keine Anwesenheitsverpflichtung Selbststudium Folienpräsentationen (pdf) Pflichtliteratur lt. Angaben Abschlussprüfung am 31. Jänner 2018 (schriftlich, 45 Min.) o weitere Termine: SS Methodische Grundlagen empirischer Bildungsforschung II Quantitative Forschungsmethoden Testen Messen Variable Hypothesen Hauptgütekriterien Korrelation Signifikanz

4 2 Quantitative Forschungsmethoden Quantitative Forschung: Empirische Forschung, die mit besonderen Datenerhebungsverfahren in erster Linie quantitative Daten erzeugt und statistisch verarbeitet, um dadurch neue Effekte zu entdecken (Exploration), Populationen zu beschreiben und Hypothesen zu prüfen (Explanation) (Bortz u. Döring 2002, S. 687).

5 Quantitative Daten: Variable sind Ausschnitte aus der Beobachtungsrealität. Hier wird gemessen. Quantitative Variable sind kontinuierlich. Jeder Person wird ein Wert zugeordnet. Quantitative Variable: kontinuierlich z.b.: Kompetenz 45 es wird gemessen z.b.: Pb26: 47 Pkt.

6 Kriterien wissenschaftlicher Experimente Herstellung und systematische Variation von Bedingungen (Olechowski 2008, S. 3) Versuchs- und Kontrollgruppe Intersubjektive Überprüfbarkeit wiederholbarer Aufbau Ergebnisse sollten auch quantitativ, somit zahlenmäßig, darstellbar sein Replizierbarkeit der Ergebnisse Experiment (= geplante, systematische Beobachtung) Ein wissenschaftliches Experiment ist eine planmäßige Beobachtung, die wiederholbar und systematisch variierbar ist (Olechowski 2008, S. 3). Ein Experiment ist eine (...) wiederholbare Beobachtung unter kontrollierten Bedingungen, wobei eine (oder mehrere) unabhängige Variable(n) derartig manipuliert wird (werden), dass eine Überprüfungsmöglichkeit der zugrunde liegenden Hypothesen in unterschiedlichen Situationen gegeben ist (Zimmermann 1972, S. 37).

7 Experiment Effekte: unabhängige abhängige Variablen Resultate: replizierbar + intersubjektiv überprüfbar experimentellen Bedingungen willkürlich hergestellt + systematisch variiert Störvariablen ausgeschaltet bzw. kontrolliert äußere Störvariablen kontrollierbar innere Störvariablen durch Randomisierung (=zufällige Zuordnung!) ausgeglichen Quasi-Experiment Untersuchung mit natürlichen Gruppen. Die unabhängige Variablen sind sämtlich oder zum Teil Personenvariablen, so daß eine Randomisierung nicht möglich ist, sondern nur eine Parallelisierung (...) Quasiexperimentelle Untersuchungen haben eine geringere interne Validität als experimentelle Untersuchungen (Bortz u. Döring 2002, S. 687f). = abgeschwächte Form des Experimentes ohne Randomisierung, natürlich vorkommende Gruppen werden verglichen

8 Laborexperiment Untersuchung, bei der die äußeren Rahmenbedingungen (Räumlichkeiten, Gegenstände, Beleuchtung, ect.) genau kontrolliert werden können und die tatsächlich häufig in einem Labor bzw. in einem speziellen Untersuchungsraum stattfinden. In einer Laboruntersuchung ist die interne Validität relativ hoch, die externe Validität dagegen oft verringert (Bortz u. Döring 2002, S. 682). Feldexperiment Untersuchungen, die im natürlichen Umfeld stattfinden, d.h. Störvariable können kaum kontrolliert werden (geringe interne Validität), Dafür ist jedoch die externe Validität durch die Natürlichkeit der Situation ggf. höher als bei Laboruntersuchungen (Bortz u. Döring 2002, S. 678).

9 Querschnittsuntersuchung vs. Längsschnittuntersuchung Zeit = Variable LS: VP werden mehrmals zu verschiedenen Zeitpunkten untersucht verbundenen Stichproben nicht verbundene Stichproben QS: einmalige Untersuchung Hauptgütekriterien empirisch-quantitativer Forschung o Objektivität o Reliabilität (Zuverlässigkeit) o Validität (Gültigkeit)

10 Hauptgütekriterien Objektivität Unter Objektivität eines Tests verstehen wir den Grad, indem die Ergebnisse eines Tests unabhängig vom Untersucher sind (Lienert, 1989, S. 13). o Durchführungsobjektivität o Auswertungsobjektivität o Interpretationsobjektivität Hauptgütekriterien Reliabilität Unter der Reliabilität eines Tests versteht man den Grad der Genauigkeit, mit dem er ein bestimmtes Persönlichkeits-oder Verhaltensmerkmal misst (Lienert, 1989, S. 14). o Retest-Methode (Testwiederholungsmethode) o Paralleltest-Methode (Einsatz von parallelen oder aquivalenten Testformen) o Testhalbierungsmethode (split-half-verfahren) (Sedlmeier u. Renkewitz, 2013, S. 73ff)

11 Hauptgütekriterien Validität Die Validität des Tests gibt den Grad der Genauigkeit an, mit dem dieser Test dasjenige Persönlichkeitsmerkmal oder diejenigen Verhaltensweisen, das (die) er messen soll oder zu messen vorgibt, tatsächlich misst (Lienert, 1989, S. 16). o Inhaltsvalidität o Kriteriumsvalidität o Konstrukvalidität (Übereinstimmungsvalidität vs. Vorhersagevalidität) (Sedlmeier u. Renkewitz, 2013, S. 76ff) Wechselbeziehungen Objektivität Reliabilität Validität Validität Reliabilität Objektivität

12 Forschung Hypothese Annahme über einen realen (empirisch erfassbaren) Sachverhalt in Form eines Konditionalsatzes ( Wenn-Dann -Satz, Je-Desto -Satz) (Bortz u. Döring 2002, S. 679). Wenn-Dann-Hypothesen: abhängige und unabhängige Variable dichotom Je-Desto-Hypothesen: abhängige und unabhängige Variable mindestens ordinalskaliert Wissenschaftliche Hypothesen müssen über den Einzelfall hinausgehen (Generalisierbarkeit, Allgemeinheitsgrad) und anhand von Beobachtungsdaten falsifizierbar sein (Bortz u. Döring 2002, S. 679).

13 Hypothesen Zusammenhangshypothese Aussage über einen Zusammenhang zwischen zwei Variablen/Merkmalen einer Gruppe Unterschiedshypothese Aussage über einen Unterschied zwischen z.b. zwei Gruppen von Personen in Bezug auf ein Merkmal Statistisches Hypothesenpaar Eine statistische Hypothese wird stets als statistisches Hypothesenpaar, bestehend aus Nullhypothese(H 0 ) und Alternativhypothese(H 1 ) formuliert. Die Alternativhypothese postuliert dabei einen bestimmten Effekt, den die Nullhypothese negiert (Bortz u. Döring 2001, S. 29). komplementäres Verhältnis H1 und H0 : gilt H0 so ist H1zurückzuweisen gilt H0 nicht so ist H1gültig Hypothese: es gibt einen Unterschied Prüfhypothese: es gibt keinen Unterschied

14 Falsifikation Widerlegung einer Hypotheseoder Theorie. Nach dem Wissenschaftstheoretiker Karl Popper ( ) und dem von ihm begründeten kritischen Rationalismus sind Theorien anhand einzelner empirischer Untersuchungen niemals zu verifizieren ( ) sondern nur zu falsifizieren (Bortz u. Döring 2002, S. 677). Zurückweisung, Ungültigerklärung Falsifikationsprinzip Falsifikation von H0 vorläufige Bestätigung H1 Verifikation Bestätigung einer Hypotheseoder Theorie. Die Verifikation von allgemeingültigen Aussagen über die Population anhand von Stichprobendaten ist logisch nicht möglich, da man nie weiß, ob nicht ein hypothesenkonformes Ergebnis in der Stichprobe durch eine andere nicht untersuchte Stichprobe in Frage gestellt werden könnte (Bortz u. Döring 2002, S. 677). Bestätigung, Gültigerklärung

15 Messen o Messen besteht in der Zuordnung von Zahlen zu Objekten oder Personen (Sedlmeier u. Renkewitz, 2013, S. 53). o Gemessen werden stets nur einzelne, definierte Eigenschaften von Objekten oder Menschen, also etwa die Länge eines Tisches oder die Intelligenz einer Person (Sedlmeier u. Renkewitz, 2013, S. 53). o Zahlen erlauben damit auch feine Differenzierungen zwischen verschiedenen Merkmalsausprägungen (Sedlmeier u. Renkewitz, 2013, S. 54). o Von einer Messung kann erst dann gesprochen werden, wenn es eine Zuordnungsregel gibt (Sedlmeier u. Renkewitz, 2013, S. 54). Variable Variable sind Ausschnitte aus der Beobachtungsrealität. Sie symbolisieren die Menge der verschiedenen Ausprägungen eines Merkmals. Merkmalsausprägungenkönnen verbal gesammelt (gezählt) werden (qualitative Variable) bzw. kann jeder Merkmalsausprägung eine Zahl zugeordnet werden (quantitative Variable). Bsp.: Variable: Schultyp - Merkmalsausprägungen: VS, HS, AHS, ASO, BMHS, BAKI, HTL, BS, BMS

16 Variable o etwas, das variiert o ein Symbol, dem Zahlen zugeordnet werden o unabhängige abhängige Variable (X Y) o dichotome polytomevariable o kontinuierliche diskontinuierliche Variable o intervenierende Variable o Kontrollvariable (un)abhängige Variable unabhängige Variable abhängige Variable Hypothese behauptet einen Zusammenhang: wenn A, dann B Merkmalsausprägung A Merkmalsausprägung B ausgedrückt/operationalisiert/gemessen unabhängige Variable abhängige Variable

17 Variable Intervenierende Variable intervenierende Variable = Störvariable unabhängige Variable abhängige Variable intervenierende Variable wirkt auf die abhängige Variable unberücksichtigt ein

18 Kontrollvariable intervenierende Variable Kontrollvariable unabhängige Variable abhängige Variable Kontrollvariable wirkt auf die abhängige Variable ein, kann konstant gehalten/kontrolliert werden intervenierende Variable wird zur Kontrollvariable Variable qualitative vs. quantitative Variable Qualitative Variable sind diskontinuierlich, es werden Ereignisse, Personen gezählt. Quantitative Variable sind kontinuierlich. Es wird gemessen. Jeder Person wird ein Wert zugeordnet. (stetige Werte)

19 Skalenniveau Verhältnisskala Intervallskala Ordinalskala (Rangskala) Nominalskala Messwerte auf einem höheren Skalenniveau erlauben also sinnvollere Aussagen über Messobjekte als Messwerte auf niedrigeren Niveaus (Sedlmeier u. Renkewitz, 2013, S. 54). Nominalskala o... polytom/dichotom o Geschlecht, Familienstand, Farbe, ja/nein-entscheidungen, Nationalität, Sprache, Blutgruppe o qualitative Variable gleich oder ungleich, beschreibend fast beliebig transformierbar Häufigkeiten, Modalwert

20 Ordinalskala o Ranginformation o... Schulnoten, Rangplätze, Ausbildungsabschlüsse, Dienstgrade, Windstärken, Beliebtheit, Befragungsergebnisse (?) o Tabellenplätze, Rangplätze, Ränge im Einlaufprotokoll, gleich oder ungleich, beschreibend + größer/kleiner Relationen Transformationen die die Rangreihe erhalten zulässig Häufigkeiten, Modalwert, Median Intervallskala o Info über Messwertdifferenz o... Temperaturunterschiede (Celsius), Testscores, Intelligenzscores, Ratingskalen o Keine natürlicher Nullpunkt gleich oder ungleich, beschreibend + größer/kleiner Relationen + Gleichheit von Differenzen Lineare Transformationen zulässig Häufigkeiten, Modalwert, Median, arithm. Mittel, alle Streuungsmaße

21 Verhältnisskala o inhaltlich bedeutungsvoller Nullpunkt bestimmbar (Rationalskala) o... Länge, Gewicht, physikalische Größen gleich oder ungleich, beschreibend + größer/kleiner Relationen + Gleichheit von Differenzen + Gleichheit von Verhältnissen Ähnlichkeitstransformationen (proportionale Transformationen) zulässig Häufigkeiten, Modalwert, Median, arithm. Mittel, alle Streuungsmaße, geom. Mittel Art Beispiel Verfahren Nominalskala (niedrigstes Niveau) Ordinalskala (Rangskala) Intervallskala (Einheitenskala) Rationalskala (Verhältnisskala) natürlicher Nullpunkt Geschlecht, Augenfarbe, Tel. Nr. Noten, Windstärken Gleichheit/Verschiedenheit Gleichheit/Verschiedenheit größer-kleiner-gleich Temperatur, Testscores, IQ Gleichheit/Verschiedenheit größer-kleiner-gleich Größe Differenzen =gleich Länge, Zeit, Alter, Gewicht Gleichheit/Verschiedenheit größer-kleiner-gleich Größe Differenzen =gleich Verhältnisse = gleich

22 Test 1. Ein Verfahren zur Untersuchung eines Persönlichkeitsmerkmals. 2. Der Vorgang der Durchführung der Untersuchung. 3. Die Gesamtheit der zur Durchführung notwendigen Requisiten. 4. Jede Untersuchung sofern sie Stichprobencharakter hat. 5. Gewisse mathematische-statistische Prüfverfahren (z.b. Chi-Quadrat-Test) (Lienert, 1989, S. 7). Test Ein Test ist ein wissenschaftliches Routineverfahren zur Untersuchung eines oder mehrerer empirisch abgrenzbarer Persönlichkeitsmerkmale mit dem Ziel einer möglichst quantitativen Aussage über den relativen Grad der individuellen Merkmalsausprägung (Bortz u. Döring, 2002, S. 189). Leistungstests Power-Tests Lernzielorientierte Tests Diagnostische Tests Intelligenztests standardisierte Tests Speed-Tests Niveautests Normorientierte Tests Persönlichkeitstests informelle Tests

23 Beschreiben: Lageparameter (Maße der zentralen Tendenz) Maßzahlen der zentralen Tendenz (Mittelwerte) Maßzahlen der Dispersion (Streuungsmaße) Mittelwerte Modalwert: Der in einer Verteilung am häufigsten vertretene Wert (Bortz u. Döring 2002, S. 684). Median: Der Median teilt eine Verteilung mindestens ordinalskalierter Meßwertein Hälften (Bortz u. Döring 2002, S. 683). Der Median ist die mittlere Maßzahl, in der Größe der Maßzahlen geordneten Fälle (Resch 2001, S. 20). Arithmetisches Mittel: Der Mittelwert (genauer: das arithmetische Mittel) als Summe aller Meßwerte dividiert durch die Anzahl der eingehenden Werte (Bortz u. Döring 2002, S. 684). Geometrisches Mittel: Der geometrische Mittel ist die N te Wurzel aus dem Produkt von N Messwerten (Diekmann 2009, S. 290).

24 Streuungsmaße Spannweite (range, Variationsbreite): (xmax xmin) Differenz zwischen der größten und kleinsten Maßzahl (Resch, 2001, S. 36). Mittlere Variation: Summe aller Abweichungen vom Mittelwert, dividiert durch n (Eder, 2003, S. 30). Standardabweichung (standarddeviation): die Wurzel aus dem Durchschnitt der quadrierten Abweichungen der Maßzahlen von ihrem Mittelwert (Resch, 2001, S. 36). Varianz (standarddeviation): die Summe der quadrierten Abweichungen aller Einzelwerte von ihren Mittelwert, dividiert durch deren Anzahl (Eder, 2003, S. 31). Korrelation Zusammenhänge zwischen Variablen Allgemeine Beziehung zur Beschreibung von Zusammenhängen von Variablen (Bortz u. Döring 2002, S. 681). Prädiktor Kriterium Prädiktor unabhängige Variable in der Korrelationsanalyse, Faktor Kriterium abhängige Variable in der Korrelationsanalyse, vorhergesagtes Merkmal

25 Zusammenhangsmaß Korrelationskoeffizient (r): Quantitatives Maß für Enge und Richtung des Zusammenhangs (Bortz u. Döring 2002, S. 682). 1 r +1 Der Korrelationskoeffizient gibt Enge des Zusammenhangs»Schlankheit«des Punktschwarmes (Ponocny-Seliger u. Ponocny 2001, S. 21) an. Korrelationskoeffizient r > 0 positiver Zusammenhang ( je mehr desto mehr ) r = 0 kein Zusammenhang ( kein ) r < 0 negativer Zusammenhang ( je mehr desto weniger )

26 Signifikanzfragestellung Die Signifikanz beantwortet die Frage: Ist eine begrenzte Stichprobe als Beweis für einen Zusammenhang, der in der Grundgesamtheit besteht, zu interpretieren oder nicht? (Eder 2003, S. 25) Signifikanzniveaus: Ab welcher Irrtumswahrscheinlichkeit (p) wird die Nullhypothese verworfen? (Konventionen: 5 %; 1 %; 0,1 %) Die Signifikanz ist abhängig von der Größe des Unterschiedes/Stärke des Zusammenhanges und von der Stichprobengröße n. Signifikanztest Signifikanztest bestimmt die Irrtumswahrscheinlichkeit. Der Signifikanztest berechnet als Entscheidungsgrundlage eine Irrtumswahrscheinlichkeit die angibt, wie gut sich das Stichprobenergebnis mit den in der Nullhypothese postulierten Populationsverhältnissen vereinbaren lässt (Bortz u. Döring 2001, S. 31). Erkenntnisgewinn: Falsifikationsprinzip des kritischen Realismus Falsifikation: die Untauglichkeit einer Theorie nachweisen

27 Signifikanzwert p Irrtumswahrscheinlichkeit (p): p 0,05 das Ergebnis ist signifikant: Die gefundenen Mittelwertsdifferenzen, bzw. der gefundene Zusammenhang in der Stichprobe darf für die Grundgesamtheit behauptet werden. Ergebnisse werden mit einem (*) gekennzeichnet. p > 0,05 das Ergebnis ist nicht signifikant Die gefundenen Mittelwertsdifferenzen, bzw. der gefundene Zusammenhang in der Stichprobe darf für die Grundgesamtheit nicht behauptet werden. Eminenzen vs. Evidenzen normative Satzungen, Grundsätze, Glaubenssätze statistische Zusammenhänge, signifikante Unterschiede, belegbare Häufigkeiten Argumentation über das eigene Wissen, das Können, die eigene Position Argumentation über beobachtbares Verhalten, vorliegende Daten, Fakten

28 Eminenzen vs. Evidenzen Glauben Wissen Literatur o Atteslander, P.: Methoden der empirischen Sozialforschung. Berlin New York, o Bortz, J. u. Döring, N.: Forschungsmethoden und Evaluation. Berlin Heidelberg, o Brunner, H. et al.: Leitfaden zur Bachelorarbeit. Marburg, o Diekmann, A.: Empirische Sozialforschung. Reinbek Hamburg, o Eder, A.: Statistik fur Sozialwissenschaftler. Wien, o Lienert, G.: Testaufbau und Testanalyse. München Weinheim, o Sedlmeier, P. u. Renkewitz, F.: Forschungsmethoden und Statistik. Pearson, Atteslander, P.: Methoden der empirischen Sozialforschung. Berlin New York, o Bortz, J. u. Döring, N.: Forschungsmethoden und Evaluation. Berlin Heidelberg, o Brunner, H. et al.: Leitfaden zur Bachelorarbeit. Marburg, o Diekmann, A.: Empirische Sozialforschung. Reinbek Hamburg, o Eder, A.: Statistik fur Sozialwissenschaftler. Wien, o Lienert, G.: Testaufbau und Testanalyse. München Weinheim, o Mayring, P.: Einführung in die qualitative Sozialforschung Basel, o Patry, J.L.: Wissenschaftliche Publikationen, in: Benischek, I. et al. (Hg.): o Empirische Forschung zu schulischen Handlungsfeldern, Wien-Berlin, o Trimmel, M.: Wissenschaftliches Arbeiten in Psychologie und Medizin. Wien, o Weis, C.: Basiswissen Medizinische Statistik. Berlin Heidelberg New York, 2002.

29 Dr. Rudolf Beer Hochschulprofessor 2017/2018