Kapitel 3: Ablauf empirisch-analytischer Forschung: Empirie Multiple-/Dual-Choice Fragen 1. Sie machen sich Gedanken zur Validität der von Ihnen verwendeten Indikatoren. Worüber zerbrechen Sie sich am meisten den Kopf? a. Darüber, ob die von mir gewählten Indikatoren das messen, was sie messen sollen. b. Darüber, ob eine Wiederholung der Untersuchung dieselben Resultate ergeben würde. c. Darüber, ob meine Theorie zum ausgewählten empirischen Fall passt. d. Darüber, ob ich die gewählte Datenerhebungsmethode korrekt angewandt habe. 2. Sie fragen sich, weshalb manche Studenten/-innen in der Universitätskantine essen und andere nicht. Zu diesem Zweck stellen sie sich zur Mittagszeit vor den Kantineneingang und befragen jeden/jede siebte Studenten/-in, der/die die Kantine betritt. Damit haben Sie... a....eine Zufallsstichprobe, weil die befragten Studenten/-innen zufällig (jeder/jede siebte) ausgewählt wurden. b....keine Zufallsstichprobe, weil durch diese Auswahl der Befragten die Leute, die nicht in der Kantine zu Mittag essen, nicht befragt werden und die Stichprobe somit verzerrt ist (selection bias). c....eine Zufallsstichprobe, weil Sie zur Analyse der Daten statistische Methoden verwenden. d....keine Zufallsstichprobe, weil Sie durch die genannte Vorgehensweise nicht sicherstellen können, dass gleich viele Männer und Frauen befragt werden. 3. Welche der folgenden Aussagen ist/sind falsch? Berichtigen Sie diese. a. In der quantitativen Forschung kommen statistische Methoden zum Einsatz. b. Qualitative Methoden eignen sich zur Untersuchung von Fragestellungen, die sich nur schwer in Zahlen fassen lassen. Fast jede Forschungsfrage kann man sowohl mit quantitativen als auch mit qualitativen Methoden untersuchen. Ein Wissenschaftler sollte daher diejenige Methode wählen, die er am besten beherrscht. c. Wissenschaftliche Studien, die quantitative und qualitative Methoden miteinander verbinden sind häufig besonders aussagekräftig. 4. Welche der folgenden Aussagen ist/sind falsch? Weshalb ist es bei qualitativen Fallstudien wichtig, die Kontrollvariablen (Drittvariablen) zu benennen und konstant zu halten? a. Kontrollvariablen sind Variablen, welche entweder sowohl die unabhängige als auch die abhängige Variable beeinflussen oder einen Einfluss auf den Zusammenhang zwischen unabhängiger und abhängiger Variable haben. Um zu vermeiden, dass der beobachtete Zusammenhang zwischen den beiden Variablen auch wirklich von der unabhängigen Variable stammt und nicht das Resultat von Drittfaktoren ist (Scheinkorrelation), ist es wichtig, diese übrigen Faktoren (Kontroll- oder Drittvariablen) möglichst konstant zu halten. Der Effekt der primär interessierenden unabhängigen Variablen kann so isoliert betrachtet werden. b. Kontrollvariablen sind Variablen, die kontrollieren, ob das Ergebnis einer Studie wirklich stimmt. Um sicherzustellen, dass in der Studie die Hypothese nicht falsifiziert wird, muss darauf geachtet werden, dass die Kontrollvariablen konstant bleiben. Ändern sich die Kontrollvariablen, so deutet dies darauf hin, dass kein Zusammenhang existiert, d.h. die Hypothese falsch ist. Übungsfragen zu Kapitel 3, Bernauer/Jahn/Kuhn/Walter 2013 Seite 1 von 6
c. Kontrollvariablen sind Variablen, welche auf die unabhängige Variable wirken. Um sicherzustellen, dass die unabhängige Variable nicht von irgendwelchen exogenen Faktoren beeinflusst wird, müssen die Kontrollvariablen konstant gehalten werden. Wenn sie möglichst wenig variieren ist das Ergebnis der Studie am ehesten verallgemeinerbar. d. Kontrollvariablen sind Variablen, welche die interne Validität einer Studie messen. Je höher die interne Validität einer Studie, desto qualitativ hochwertiger ist die Studie. Da eine geringe Varianz der Kontrollvariablen auf eine hohe interne Validität hindeutet, versuchen gute Studien diese Drittvariablen konstant zu halten. 5. Sie wollen mittels einer vergleichenden Fallstudie untersuchen, wie sich Unterschiede in der wirtschaftlichen Lage eines Staates (Rezession vs. ökonomisch prosperierend) auf dessen Umweltperformanz auswirken. Aus bisherigen Studien wissen Sie, dass das politische System und der Dezentralisierungsgrad eines Staates einen signifikanten Einfluss auf dessen Umweltperformanz haben. Bei der Fallauswahl haben Sie sich für ein "Most Similar Systems Design" entschieden. Die folgenden Länder mit den folgenden Merkmalen stehen Ihnen zur Auswahl: A: totalitär, zentralistisch, Rezession; B: demokratisch, föderalistisch, Rezession; C: demokratisch, zentralistisch, ökonomisch prosperierend; D: demokratisch, föderalistisch, ökonomisch prosperierend Welche zwei Länder sollten Sie gemäß dem von Ihnen gewählten Design der Fallauswahl prioritär vergleichen? a. A und B b. A und C c. A und D d. B und C e. B und D f. C und D 6. Welche der folgenden Aussagen sind richtig, und welche falsch? 1. Externe Validität bezeichnet das Ausmaß, in dem die Resultate einer Studie vom Sample auf die Grundgesamtheit generalisierbar sind. 2. Beim Erstellen eines Forschungsdesigns ist meist automatisch klar, wie eine sinnvolle Abwägung zwischen interner und externer Validität aussehen sollte. 3. Mit der Anzahl der untersuchten Fälle/Beobachtungen steigt meist auch die externe Validität der Resultate. 4. Feldexperimente bezwecken u.a. eine im Vergleich zu Laborexperimenten verbesserte externe Validität von Forschungsresultaten. 5. Die interne Validität von Feldexperimenten ist meist höher als diejenige von Laborexperimenten. 6. Kriegsursachenforschung wird häufig mit Feldexperimenten betrieben. 7. Ein Quasi-Experiment ist ein randomisiertes Experiment mit einer Treatmentgruppe und einer Kontrollgruppe. 8. Die externe Validität von Quasi-Experimenten ist oft höher als diejenige von Experimenten. 9. Die interne Validität von nicht-experimentellen Studien ist stärker gefährdet als bei experimentellen Studien, weil die Ausprägungen der unabhängigen Variablen in solchen Studien nicht zufällig verteilt sind. 10. Die quantitative Forschung interessiert sich vor allem für kausale Effekte in einzelnen Fällen/Beobachtungen. 11. Qualitative Studien befassen sich meist stärker mit wenigen Fällen und besitzen somit häufig eine stärkere interne Validität als statistische Studien. Übungsfragen zu Kapitel 3, Bernauer/Jahn/Kuhn/Walter 2013 Seite 2 von 6
12. Eine verzerrte Fallauswahl bei qualitativen Studien birgt ein hohes Risiko von verzerrten bzw. falschen Ergebnissen. (das ist auch bei quantitativen so) 13. Überdeterminierte Erklärungsmodelle sind Modelle mit zu vielen empirischen Fällen/Beobachtungen. 14. Zufallsstichproben sind Stichproben, die möglichst viele Beobachtungen umfassen. (Wahrscheinlichkeit, aus der Grundgesamtheit ausgewählt zu werden, für jedes Mitglied der GG gleich) 15. Quotenstichproben umfassen immer gleich viele Beobachtungen für bestimmte Kategorien (z.b. ländliche vs urbane Wähler). 16. Die Zahl der untersuchten Fälle sollte mindestens gleich gross sein wie die Zahl der Ausprägungen der erklärenden Variablen. 17. Die Zahl der benötigten Fälle/Beobachtungen steigt exponentiell mit der Anzahl der unabhängigen Variablen an. 18. Das Ziel eines Most Different Systems Designs ist, die Varianz auf der abhängigen Variablen zu maximieren. 19. Alle theoretischen Konzepte können mit einem einzigen Indikator gemessen werden. 20. Dichotome, binäre, und Dummy Variablen sind das Gleiche. 21. Der Familienstand ist eine binäre Variable. 22. Diskrete und stetige Variablen umfassen je vier Ausprägungen. 23. Reliabilität ist gleichbedeutend mit Zuverlässigkeit von Messverfahren. 24. Rassismus, Macht und Demokratie sind wichtige politikwissenschaf tliche Konzepte, die sich jedoch nur schwer messen lassen. 25. Feldexperimente sind dazu geeignet, Daten für die Untersuchung von sensiblen Themenbereichen zu sammeln. 26. Die Reliabilität von Dokumenten- und Inhaltsanalysen ist naturgemäss hoch. 27. Die Inferenzstatistik dient vor allem der beschreibenden Analyse quantitativer Daten. 28. Die qualitativen Methoden eignen sich am besten für die Analyse von Sekundärdaten. 29. Die Steigung der Regressionsgeraden wird mit dem Regressionskoeffizienten gemessen. Sie zeigt, wie signifikant die Ergebnisse aus statistischer Sicht sind. 30. In die Regressionsgleichung können die realen Werte einzelner Beobachtungen eingesetzt werden. Damit lässt sich unter anderem abschätzen, wie gut die Prognosefähigkeit des statistischen Modells ist. Kurzantwortfragen 1. Ein empirisch-analytischer Politikwissenschafter sucht eine Antwort auf die folgende Frage: Welchen Einfluss hat die Stellung eines Bundestags- resp. Nationalratskandidaten in seiner politischen Partei auf seine Wahlchancen? Zur Beantwortung dieser Frage formuliert er die folgende empirisch überprüfbare kausale Hypothese: Je höher ein Kandidat innerhalb der Parteihierarchie eines Wahlkreises positioniert ist, desto höher sind seine Wahlchancen. Der Forscher vermutet diesen Zusammenhang, da Personen, die innerhalb der Partei eines Wahlkreises eine höhere Stellung haben, erstens bekannter sind und zweitens eine größere Chance haben, auf der Wahlliste der Partei weiter oben zu stehen. Diese verbessert (ceteris paribus) die Wahlchancen. Identifizieren Sie die Untersuchungseinheit sowie die abhängige und unabhängige Variable der genannten Hypothese und machen Sie zu jeder der beiden Variablen einen Operationalisierungs-Vorschlag. Diskutieren Sie kritisch die Validität und Reliabilität der von Ihnen vorgeschlagen Indikatoren. Übungsfragen zu Kapitel 3, Bernauer/Jahn/Kuhn/Walter 2013 Seite 3 von 6
Nennen Sie schließlich mindestens eine mögliche Drittvariable und begründen Sie, weshalb die Nichtberücksichtigung dieser Drittvariablen den empirisch untersuchten Zusammenhang verzerren würde. 2. Ein Politikwissenschaftler will das theoretische Konzept Lebensstandard operationalisieren. Machen Sie einen qualitativen und einen quantitativen Operationalisierungsvorschlag und diskutieren sie kritisch die Validität und Reliabilität der beiden von Ihnen vorgeschlagenen Indikatoren (Messgrössen). 3. Entwerfen Sie ein Forschungsdesign für ein potentiell interessantes politikwissenschaftliches Feldexperiment, das jedoch aus ethischen Gründen vermutlich nicht durchführbar ist. Ganz nach dem Motto: Thinking the unthinkable! 4. (Zusatzaufgabe Box) Interpretieren Sie die Resultate folgender Regressionstabelle, die Sie aus Kapitel 2 kennen. Wie lautet die Regressionsgleichung? Wie stark (Signifikanz, substantieller Effekt) sind die Effekte der wichtigsten Erklärungsvariable und der Kontrollvariablen? Wie ist die Erklärungskraft des Modells insgesamt zu beurteilen? Welche Kontrollvariablen könnte man zusätzlich noch in das Modell einbauen? Übungsfragen zu Kapitel 3, Bernauer/Jahn/Kuhn/Walter 2013 Seite 4 von 6
Weitere Fragen 1. Welche Bedingungen muss ein Erklärungsmodell erfüllen um intern valide zu sein? Welche Bedingungen muss es erfüllen um extern valide zu sein? 2. Weshalb muss man in einem Erklärungsmodell Drittvariablen kontrollieren? 3. Ist die externe Validität eine Voraussetzung für die interne Validität, oder umgekehrt? 4. Welches sind die Hauptmerkmale eines Experiments? 5. Was bezweckt die Randomisierung bei einem Experiment? 6. Was ist ein survey embedded experiment? 7. Welches ist der wichtigste Vorteil, welches der wichtigste Nachteil eines Feldexperiments gegenüber einem Laborexperiment? 8. Skizzieren Sie ein politikwissenschaftlich interessantes Experiment, das jedoch aus ethischen Gründen nicht realisierbar ist. Welche ethischen Gründe sprechen dagegen? 9. Was ist ein get-out-the-vote Experiment? Skizzieren die die Grundzüge eines solchen Experiments. 10. Weshalb ist das von Maliniak und Tierney durchgeführte Experiment ein survey embedded experiment? 11. Geben Sie ein Beispiel für ein Quasi-Experiment. Welche Grundmerkmale hat ein solches Quasi-Experiment? 12. Welche Vorteile haben quantitative Untersuchungen, welche Vorteile haben qualitative Untersuchungen? 13. Ist ein statistisch signifikanter Effekt automatisch ein starker Effekt? Begründen Sie! 14. Inwiefern können einer numerischen Messgrösse qualitative Messungen zugrunde liegen? Argumentieren Sie anhand des Polity IV Indexes. 15. Was ist ein überdeterminiertes Erklärungsmodell? Was sind die Probleme dabei? Übungsfragen zu Kapitel 3, Bernauer/Jahn/Kuhn/Walter 2013 Seite 5 von 6
16. Formulieren Sie eine politikwissenschaftliche Hypothese. Skizzieren Sie ein Experiment zum Testen dieser Hypothese, das Sie durchführen würden, wenn Sie keinerlei ethische, logistische oder finanzielle Beschränkungen hätten. Weshalb ist es sinnvoll, sich ein solches Experiment zu überlegen, auch wenn es nicht realisierbar ist? 17. Weshalb ist die Fallauswahl bei qualitativen Untersuchungen extrem wichtig? 18. Was ist eine Zufallsstichproble, was ist eine Vollerhebung? Wann ist eine Zufallsstichprobe sinnvoll, wann eine Vollerhebung? 19. Was bedeutet Inferenz im Zusammenhang mit einer Untersuchung, die auf einer Stichprobe beruht? 20. Weshalb unterminiert das Problem der Selbstselektion die externe Validität einer Studie? Geben Sie ein Beispiel. 21. Was ist ein Imputationsverfahren? 22. Wie viele Fälle brauchen Sie mindestens, wenn Ihr Erklärungsmodell zwei unabhängige Variablen hat? Illustrieren Sie dies mit einer kleinen Tabelle, die Variablen und ihre Werte enthält Sie können dazu eine beliebige politikwissenschaftliche Erklärung herbeiziehen. 23. Was ist ein most similar case/systems design, was ist ein most different case /systems design? Geben Sie dazu Beispiele. 24. Was ist eine Längsschnittsanalyse, was ist eine Querschnittsanalyse? 25. Was bedeutet verzerrte Fallauswahl und weshalb kann dieses Problem z.b. zu völlig irreführenden Erklärungen oder Prognosen führen? Geben Sie ein Beispiel anhand von Wahlprognosen. 26. Nennen Sie ein theoretisches Konzept und zwei mögliche Operationalisierungen dafür. 27. Erläutern Sie die Unterschiede zwischen dichotomen, diskreten und stetigen Variablen. 28. Was bedeutet Validität bei der Operationalisierung, im Gegensatz zur Validität bei Erklärungsmodellen. 29. Was bedeutet Reliabilität empirischer Messverfahren? Geben Sie ein Beispiel. 30. Was ist ein standardisierter Fragebogen? Welche Vorteile hat ein solcher gegenüber einem offenen/unstrukturierten Interview/Befragung? 31. Erläutern Sie das Problem der sozialen Erwünschtheit und strategischer Antworten bei Umfragen. Geben Sie Beispiele. 32. Nennen Sie die drei wichtigsten Merkmale einer hervorragenden Forschungsarbeit. 33. Wird eine probabilistische Hypothese durch eine Beobachtung widerlegt, die der Hypothese widerspricht? Begründen Sie. Wie geht die Statistik mit der Frage um, wieviel unterstützende Evidenz genug ist um eine Hypthese zu bestätigen? Übungsfragen zu Kapitel 3, Bernauer/Jahn/Kuhn/Walter 2013 Seite 6 von 6