Techniken zum Erreichen von Konstanz

Transkript

1 Wozu Konstanz? Techniken zum Erreichen von Konstanz Um interne Gültigkeit zu erreichen, muss man Techniken benutzen, die den differenziellen Einfluss von Störvariablen ausschalten. Möglichkeiten dazu: statistische Technik wie Varianzanalyse (nicht besprochen) Kontrolltechniken Versuchsaufbau Literatur: L.B. Christensen, Experimental Methodology, Allyn and Bacon, 2001, Kap. 8, 9, Wozu Konstanz? I. Kontrolltechniken Beispiel: Wir untersuchen den Einfluss von Nachhilfe (unabh. Variable) auf Noten (abh. Variable). Der Unterschied in Noten sollte also auf Nachhilfe zurückzuführen sein. Wenn aber die Schüler mit Nachhilfe intelligenter waren als die ohne Nachhilfe, dann könnte eine Verbesserung auf die höhere Intelligenz (Störvariable) zurückzuführen sein. Kontrolltechniken halten den Einfluss von Störvariablen konstant für den Variationsbereich der unabhängigen Variablen. Sie werden in Versuchsaufbauten eingesetzt (siehe diese) 3 4

2 Randomisierung Randomisierung: Selektion Randomisierung ist die wichtigste und grundlegendste Technik, um zu vermeiden, dass Störvariablen (bekannte und unbekannte) das Ergebnis systematisch beeinflussen. 1. Zufällige Selektion der Teilnehmer 2. Zufällige Zuweisung der Teilnehmer zu Versuchsbedingungen. Zunächst ist man bemüht, eine repräsentative einer Population als Teilnehmer zu bekommen. Beispiele: weibliche Professoren, Schüler unter 12, Autofahrer/innen, Informatikstudenten, Programmierer. Eine randomisierte, repräsentative Selektion ist meist sehr teuer; wenn sie nicht gelingt, dann ist das Ergebnis nicht generalisierbar. Für die Kontrolle von Störvariablen ist randomisierte Selektion nicht erforderlich. Die (mehr oder weniger) zufällig selektierten Teilnehmer werden dann echt zufällig auf Versuchsbedingungen verteilt. 5 6 Randomisierung: Zuweisung Angleichung (Matching) Zufällige Zuweisung der Teilnehmer an Versuchsbedingungen erzielt eine zufällige Verteilung aller Störgrößen, die zufällig auftreten. Daher sollte der Einfluss dieser Störvariablen (bekannt oder unbekannt) in allen Versuchsbedingungen etwa gleich sein. Randomisierung reicht nicht aus bei Subjekt- und Experimentator- Effekt. Diese sind nicht zufällig verteilt. Natürlich kann man trotzdem eine ungleichmäßige Verteilung erhalten. Dies kann man bei bekannten Störvariablen überprüfen, z.b. bei Intelligenz durch IQ-Test oder Noten. Man soll auch bei kleinen Gruppen zufällig zuweisen, da damit die Wahrscheinlichkeit eines systematischen Einflusses der Störvariablen sinkt. Wenn der zu beobachtende Effekt sehr klein ist, kann Randomisierung zu insensitiv sein. D.h. der Ausschlag der abhängigen Variablen ist so klein, dass er im Rauschen untergeht. Durch Angleichung der Teilnehmer in den Gruppen kann die Empfindlichkeit des Experiments erhöht werden. Angleichung ist aber kein Ersatz für Randomisierung, sondern ein Zusatz. 7 8

3 Angleichung: Störvariable konstant halten Wenn möglich kann man den Einfluss einer Störvariablen minimieren, in dem man sie festhält. Wenn z.b. das Geschlecht der Teilnehmer eine Störvariable sein könnte, könnte man nur männliche Teilnehmer aus der wählen und diese dann zufällig auf die Versuchsbedingungen verteilen. Nachteil 1: nicht generalisierbar auf Populationen, für die die Störvariable andere Werte annimmt. Nachteil 2: die kann zu klein werden. Angleichung: Einschließung der Störvariable in den Versuchsaufbau. Die Störvariable wird dann zu einer weiteren unabhängigen Variablen (faktorielles Experiment, s. später). Beispiel: wir wollen bestimmte Lernstrategien untersuchen. Die Intelligenz ist aber ein Störfaktor. Also variieren wir nicht nur die Lernstrategie, sondern auch den IQ-Wert (ähnlich für Alter) Strat. A Strat. B mit IQ von mit IQ mit IQ mit IQ Angleichung durch Paarung Man formt Paare, die in den wesentlichen Störfaktoren ähnlich sind, z.b. im Alter, Geschlecht, IQ, etc. Die Paare werden dann zufällig auf die Gruppen verteilt. (ähnlich wie vorige Methode, nur dass sich die Anzahl der Gruppen nicht erhöht). D.h. für jede Kombination von Störfaktoren gibt es einen weiteren Teilnehmer mit der gleichen Kombination in der anderen Gruppe Nachteile: was sind die wesentlichen Variablen? Paarung bei vielen Variablen kann schwierig werden. Angleichung der Häufigkeitsverteilung Gruppen werden so gewählt, dass sie ähnliche Verteilung der Störvariablen haben. Beispiel 1: wähle eine erste Gruppe. Bestimme IQ Mittelwert, Varianz, Verteilung der IQ-Werte. Selektiere daraufhin eine weitere Gruppe mit ähnlichen Werten. Beispiel 2: Stratifzierung: Bestimme die 20% der Teilnehmer mit der besten Vorbildung. Verteile diese auf die verschiedenen Gruppen. Wiederhole für eine oder zwei weitere Vorbildungsniveaus. (benutze z.b. die Dauer der praktischen Erfahrung in der Programmierung) 11 12

4 Subjekt-Effekt (1) Wir benötigen eine Konstanz dessen, wie Teilnehmer ihr Bedürfnis der positiven Selbstdarstellung meinen erfüllen zu können. Doppel-blinder Versuch mit Placebo: erzeuge Variationen die allen Beteiligten unter allen Umständen als gleich erscheinen. Subjekte erhalten entweder eine echte oder eine Scheinbehandlung (Placebo). Alle Subjekte glauben, sie haben die gleiche erfahren. Experimentator weiß nicht, welche gewählt wurde, kann dies also nicht kommunizieren. Subjekt-Effekt (2) Doppel-blinde Versuche sind oftmals nicht möglich, da nicht alle Versuchsbedingungen so gestaltet werden können, dass sie gleich erscheinen. Behelf: Bewusste Irreführung: Den Teilnehmern wird eine plausibler Zweck des Experiments angegeben, der aber unabhängig von der wirklich getesteten Hypothese ist. Damit haben alle den gleichen Anreiz, sich positiv darzustellen, der aber (hoffentlich) das Ergebnis nicht beeinflusst. Verborgenes Experiment: Teilnehmer wissen nicht, dass sie an einem Experiment teilnehmen, z.b. als Teil einer Klausur oder in dem man Leute auf der Straße in ein Gespräch verwickelt. Ethische Problem mit beiden Subjekt-Effekt (3) Experimentator-Effekt Wenn Subjekt-Effekte konstant gehalten wurden, muss man trotzdem wissen, welche Werte sie hatten. Das macht man mit einem Fragebogen am Ende des Experiments. Fragen: Was war der Zweck des Experiments? Was wollte der Experimentator herausfinden? Welche Arten von Antworten haben Sie gegeben und warum? Wie haben andere auf das Experiment reagiert? Antworten auf diese Fragen helfen, die Annahmen der Teilnehmer zu bestimmen und ob dadurch Fehler im Experiment auftraten. Messfehler: automatische Erfassung oder Erfassung durch einen Unbeteiligten oder durch mehrere Erfasser, die ihre Werte abstimmen müssen. Blinder Versuch: Experimentator kennt die Zuordnung der Teilnehmer zu den Gruppen nicht (Zuteilung automatisch oder durch einen Unbeteiligten). partiell blinder Versuch: Experimentator kennt die Zuordnung nicht bis zum letzt möglichen Moment. Z.B. könnte er die Anweisungen allen geben und dann als letztes die Zuteilung randomisiert durchführen

5 Folge-Effekt Folge-Effekt: Gegenbalanzierung(1) Wenn Teilnehmer unter mehreren, aufeinanderfolgenden Versuchsbedingungen arbeiten, können Folge-Effekte auftreten. Lernen (Methoden und Werkzeuge) Vertrautheit mit der Versuchsanordnung, Umgebung Übertragungseffekt von einer Bedingung auf die nächste. Gegenmaßnahmen: Zunächst Ausbildung der Teilnehmer an Werkzeugen und Methoden, vertraute Umgebung benutzen. 17 Intra-Subjekt Gegenbalanzierung: bei zwei Versuchsbedingungen (A und B), gib jedem Teilnehmer beide Reihenfolgen: ABBA. Beispiel: Coca Cola vs. Pepsi Cola Geschmackstest. Angenommen, bei jedem wiederholten Versuch steigt die Bewertung um einen konstanten Wert, dann ist die Summe der Bewertungen für A und B gleich. Damit ist der Folge-Effekt neutralisiert. Bedingung A B B A Bewertung Bewertung A: 3 Bewertung B: 3 18 Folge-Effekt: Gegenbalanzierung (2) Wenn die Steigerung der Bewertung nicht linear ist (z.b. 0, 4, 6, 8), dann kann man den Ordnungseffekt damit kontrollieren, indem man die andere Hälfte der Teilnehme die Reihenfolge BAAB durchführen lässt. Bedingung Bewertung A B B A B A A B Bewertung A: 18 Bewertung B: 18 Gegen Effekte, die durch Übertragung entstehen (dadurch, dass man einen Test gemacht hat, verhält man sich beim nächsten anders, ist meist außer Training wenig zu machen) Folge-Effekt: Gegenbalanzierung (3) Anstelle von Intra-Subjekt-Gegenbalanzierung kann man auch Gruppen gegenbalanzieren. D.h. eine Gruppe führt AB aus, die andere BA. Insbesondere für mehr als zwei Versuchbedingungen notwendig. Angenommen, wir untersuchen den Effekt von Entwurfsmustern. Eine Gruppe bekommt erst eine Aufgabe ohne Entwurfsmuster, dann eine mit (AB); die zweite Gruppe in umgekehrter Reihenfolge (BA). Allerdings braucht man hierzu jeweils andere Aufgaben. Man kann innerhalb einer Gruppe nicht die gleiche Aufgabe zweimal verwenden

6 II Versuchsaufbau (Research Design) Ungeeignete Aufbauten Eine Gruppe, mit oder Vor- und Der Versuchsaufbau beschreibt den Plan, wie man eine Forschungsfrage beantworten wird Wichtiger Aspekt ist Kontrolle über ungewollte Variablen, aber auch die Messungen und Aufteilung in Gruppen Der Aufbau bestimmt, ob sinnvolle und objektive Aussagen getroffen werden können. Teilnehmer Teilnehmer X Vortest 1 Test X 2 betrachte 2-1 Beispiel: ist eine spezielle Ausbildung, Vorund sind standardisierte Tests. Schwächen dieses Aufbaus? Nichtäquivalente Gruppen Ungeeignete Aufbauten (2) Nichtäquivalente Gruppen entstehen, wenn die Zugehörigkeit zu einer Gruppe nicht zufällig festgelegt wird. Zwei nichtäquivalente Gruppen mit Versuchsgruppe erhält, Kontrollgruppe keine. Unterschiede in unabhängigen Variablen sind die Folge Beispiel: Teilnehmer entscheiden selbst, in welche Gruppe sie gehen ( Selbstselektion ) Beispiel: Einteilung in Gruppen nach Verfügbarkeit der Teilnehmer Vergleich aufgrund von Tests Beispiel: Die Aufteilung in Gruppen war aufgrund von Noten in standardisierten Tests, Alter und Geschlecht. Ergebnis: Versuchsgruppe unterscheidet sich von Kontrollgruppe. Schwächen dieses Aufbaus? 23 24

7 Anforderungen an Versuchsaufbau 1. Der Aufbau muss erlauben, die Forschungsfrage zu beantworten. Einfach nur irgendwelche Daten zu sammeln ist selten zielführend. 2. Störvariablen müssen kontrolliert werden, um sicher zu sein, ob der beobachtete Effekt auf die unabhängige Variable zurückzuführen ist. Alternative Hypothesen können mit Kontrollmethoden (z.b. Randomisierung) oder einer Kontrollgruppe eliminiert werden. 3. Ergebnis muss auf andere Individuen oder Gruppen als die Teilnehmer generalisierbar sein. Mögliche Aufbauten Versuchsgruppe erhält die unabhängige Variable zu einem gewissen Maß. Kontrollgruppe wird entweder einer unabhängigen Variablen nicht ausgesetzt oder erhält einen standardisierten oder typischen Wert für diese Variable. Kontrollgruppe dient als Vergleichsbasis und als Kontrolle für rivalisierende Hypothesen. Sie muss dazu alle Störvariablen möglichst genauso wie die Versuchsgruppe erhalten haben Geeignete Versuchaufbauten Eigenschaften Inter-Subjekt-Experiment mit von Teilnehmern zufällig verteilt auf Versuchsgruppe Kontrollgruppe X Messung Vergleich Mit genügend vielen Teilnehmern erzeugt die Randomisierung gleichwertige Gruppen Nachteile: möglicherweise nicht empfindlich genug möglicherweise keine Gleichwertigkeit der Gruppen erreicht Ausgleich: Angleichung der Gruppen. Allerdings braucht man hierzu mehr Teilnehmer. Beispiel: Käufer akzeptieren einen höheren Preis, wenn sie vorher einem Kauf zugestimmt haben. Untersucht mit einem Experiment, das um Teilnahme an einem Experiment bittet. Versuchsgruppe wird vorher nicht gesagt, dass das Experiment schon um 7:00 morgens stattfindet, Kontrollgruppe schon. Von der Versuchsgruppe erscheinen mehr, weil sie vorher Teilnahme schon zugesagt hatten

8 Angeglichenes Inter-Subjekt- Experiment mit Einfaches randomisertes Experiment (Inter-Subjekt, ) von Teilnehmern Messung Messung Jeder Teilnehmer wird mit einem anderen gepaart Paare zufällig aufspalten Versuchsgruppe Kontrollgruppe X Vergleich Kontrollgruppe Versuchsgruppe 1 Versuchsgruppe 2 Versuchsgruppe 3 R X1 X2 X3 Vergleich Für mehr als zwei unterschiedliche Werte oder Niveaus der unabhängigen Variable. (R bedeutet zufällige Zuweisung zu Gruppen.) Z.B. die verschiedenen Arten, eine Inspektion durchzuführen Faktorielles Experiment Interaktionen beim faktoriellen Entwurf Zwei oder mehr Variablen werden gleichzeitig untersucht, um ihre unabhängigen Auswirkungen und ihre Interaktionen zu bestimmen. Angenommen, Variable A hat drei Werte A1, A2, A3; Variable B habe zwei Werte (, ); sechs Gruppen erforderlich. a) nur Haupteffekt A b) nur Haupteffekt B A1 A2 A3 Mittel A1 A2 A3 Mittel Mittel A1 Mittel A2 Mittel A3 Haupteffekt B c) nur Interaktion (Spaltensummen gleich und Zeilensummen gleich) Haupteffekt A d) Haupteffekt A und B, keine Interaktion (Parallelen)

9 Interaktionen (2) Intra-Subjekt-Experiment mit Alle Teilnehmer nehmen an allen en teil. e) Haupteffekt A und Interaktion (Zeilensummen gleich) f) Haupteffekt B und Interaktion (Spaltensummen gleich) Messung Wenn Haupteffekt oder Interaktion allein signifikant sind, werden diese interpretiert. Wenn gemischt, dann hauptsächlich die Interaktion interpretieren. P1, P2, P3, P4,..., Pn P1, P2, P3, P4,..., Pn P1, P2, P3, P4,..., Pn X1 X2 X3 Vergleich g) Haupteffekt A und B und Interaktion Intra-Subjekt-Experiment (2) Intra-Subjekt-Experiment (3) Vorteile Nachteile perfekte Angleichung: jeder Teilnehmer ist seine eigene Kontrolle; daher hohe Empfindlichkeit. Variablen wie Alter, Geschlecht, Erfahrung bleiben konstant für das gesamte Experiment. weniger Teilnehmer erforderlich als beim Inter-Subjekt- Experiment. Folge-Effekte: lineare Folgeeffekte durch Gegenbalanzierung ausgleichen nicht-lineare Folgeeffekte durch Gegenbalanzierung nicht ausgleichbar Einfluss von Reifung und Historie nicht feststellbar

10 Intra-Subjekt-Experiment (4) Gegenbalanciertes Experiment Das Intra-Subjekt-Experiment kann mit faktoriellen Experiment kombiniert werden. Man kann alle Kombinationen auf alle Teilnehmer anwenden Oder mischen: ein Teil Variablen werden intra-, ein Teil inter-subjekt-haft angewandt. Zwei en und zwei Datenpunkte pro Teilnehmer. Vorteile wie bei Intra-Subjekt-Experiment Prüfe auf Folgeeffekt von 1. zu 2. und subtrahiere diesen. Messung Messung Gruppe1 Gruppe2 R X1 1 X2 2 X2 2 X1 1 Vergleiche: Grupe1-1 + Gruppe2-1 with Gruppe1-2 + Gruppe Experiment mit Vor- und Quasi-Experiment Kontrolliert Historie und Reifung, wenn alle Teilnehmer Historie und Reifung gleich unterliegen. Von einem Quasi-Experiment spricht man, wenn nicht alle Forderungen an einen experimentellen Versuchsaufbau erfüllt werden können, z.b. Randomisierung Vortest Unterschied dies ist oft bei Experimenten außerhalb des Labors der Fall Versuchsgruppe R X Vor- - Nach Vergleich Hier muss man darauf achten, dass die Gefährdungen der Gültigkeit durch andere Maßnahmen gering gehalten werden. Kontrollgruppe Vor- - Nach 39 40

11 Quasi-Experiment Quasi-Experiment mit Vor-und Wichtige Gefährdungen der Gültigkeit: Selektion Historie (auch lokale Historie, d.h., die nur auf eine Gruppe wirkt) Reifung Ein Aufbau wie beim Experiment mit Vor- und, aber ohne zufällige Zuweisung erlaubt es, Selektion und Historie wenigstens zu beobachten. Wenn die Kontrollgruppe im Vor- und gleich bleibt, dann können Änderungen in der Versuchsgruppe auf einen Selektionseffekt oder lokale Historie zurückzuführen sein. Wenn Kontroll- und Versuchsgruppe unterschiedlich starke Änderungen vom Vortest zum aufweisen, kann es sich um ein Selektionseffekt (unterschiedliche Reifung) oder lokale Historie handeln, die dem wahren Effekt überlagert ist (Unter- oder Überschätzung) Quasi-Experiment mit Vor-und (2) Wichtige Begriffe Nur wenn es eine Überkreuzung gibt, kann man einigermaßen sicher sein, dass es sich nicht um einen Selektionseffekt handelt. Bei einer Überkreuzung hat die schwächere Versuchsgruppe im Vortest schlechtere, im bessere Ergebnisse als die Kontrollgruppe. Kontrollgr. Versuchsgruppe Versuchsaufbau nichtäquivalente Gruppen Einzelne Gruppe mit Vor- und Inter-Subjekt-Experiment mit Angeglichenes Inter-Subjekt-Experiment Einfaches randomisertes Experiment Faktorielles Experiment, Haupteffekt, Interaktionseffekt, Zelle Intra-Subjekt-Experiment mit Experiment mit Vor- und Quasi-Experiment Vortest 43 44