Philsphische Fakultät Institut für Kmmunikatinswissenschaft Ringvrlesung Einführung in die Methden der empirischen Szialfrschung I Sziale Experimente und Evaluatinsstudien Sziale Experimente? http://einestages.spiegel.de/static/tpicalbumbackgrund/5911/1/d urchbrueche_der_durchgeknallten.html Prf. Dr. Lutz M. Hagen Di 2.2.2010 13.00 14.30 Uhr Prf. Dr. Lutz M. Hagen Experimente und Evaluatinsstudien Die Klausur Ringvrlesung Methden der empirischen Szialfrschung I wird am Di, den 09.02.2010, in der 4. DS stattfinden (13.00-14.30 Uhr). Die Aufteilung erflgt auf drei Hörsäle in flgender Weise: Die Studierenden mit den Anfangsbuchstaben des Nachnamens A L im M R im S Z im Hörsaal HSZ / Audi HSZ / 004 HSZ / 003 Bitte bringen Sie für Stichprbenkntrllen Ihren Studenten-/der Persnalausweis mit (zumindest muss das Ft namentlich zuzurdnen sein). Prf. Dr. Lutz M. Hagen Experimente und Evaluatinsstudien Prf. Dr. Lutz M. Hagen Experimente und Evaluatinsstudien 1
Literatur Prblem der Interpretatin vn Kvariatin G Brsius, H. B./ Kschel, F. (2003): Methden der empirischen Kmmunikatinsfrschung. Eine Einführung. pladen: Westdeutscher Verlag, 204-246. G Diekmann, A. (2003): Empirische Szialfrschung. Grundlagen, Methden, Anwendungen. 9. Aufl., Reinbek bei Hamburg: Rwhlt, 30-39, 289-324. F Brtz, J. / Döring, N. (2002): Frschungsmethden und Evaluatin für Human- und Szialwissenschaftler. 3., überarb. Aufl., Berlin; Heidelberg: Spinger, 101-136. 0,8 Y Z GLesen! F Durchsicht empfhlen Prf. Dr. Lutz M. Hagen Experimente und Evaluatinsstudien Prf. Dr. Lutz M. Hagen Experimente und Evaluatinsstudien Definitin des Experiments Zielsetzung Kurz: Bebachtung (Messung) unter kntrllierten Bedingungen (in zwei Vergleichsgruppen) Die Wirkung (AV) eines bestimmten, interessierenden Merkmals (UV) Ausführlich: Wiederhlbare Bebachtung (Messung) unter kntrllierten Bedingungen, wbei mindestens eine unabhängige Variable derart manipuliert wird, dass eine zugrunde liegende Hypthese, d.h. die Behauptung eines Kausalzusammenhangs, ermöglicht wird. sll möglichst genau bemessen werden. Untersucht wird als der Kausaleinfluss einer der mehrerer UV auf eine der mehrere AV. Hauptunterschied zu allen anderen Designs: der Frscher initiiert und inszeniert die Wirklichkeit, die er erfrschen will. Vrgehen ist streng deduktiv. Prf. Dr. Lutz M. Hagen Experimente und Evaluatinsstudien Prf. Dr. Lutz M. Hagen Experimente und Evaluatinsstudien 2
Faktren und Stufen Bedingungen für die Experimentalmethde Die UV heißen FAKTREN Die Ausprägungen der UV heißen STUFEN. Man spricht dann z.b. vn einem 2x3-faktriellen Design, wbei der erste Faktr zwei- und der zweite Faktr dreistufig ist. Beispiel: Fördert der hemmt Emtinalisierung im Fernsehen den Wissenserwerb? Drei Fernsehfilme mit unterschiedlich starker Emtinalisierung im Nachrichten- und im Magazingenre. Ein Stimulus, der das interessierende Merkmal enthält, wird systematisch variiert (bzw. gegen einen Kntrllstimulus gesetzt). Vrgehen und Resultat der Manipulatin werden exakt dkumentiert. Alle anderen Merkmale des Stimulus bleiben unverändert bzw. werden vm Frscher ausgeschaltet bzw. anderweitig kntrlliert. VPn werden zufällig den Experimental- bzw. Kntrllgruppen zugeteilt. (Randmisierung) VPn sllen das Untersuchungsziel nicht kennen. Die Experimentalsituatin ist für alle VPn identisch. -> Wirkungen können eindeutig und ausschließlich auf unterschiedliche Stimuli zurückgeführt werden. Prf. Dr. Lutz M. Hagen Experimente und Evaluatinsstudien Prf. Dr. Lutz M. Hagen Experimente und Evaluatinsstudien Einfache Experimentalanrdnung Experimentalanrdnung mit Vrmessung t 3 Kntrllgruppe Kntrllgruppe Prf. Dr. Lutz M. Hagen Experimente und Evaluatinsstudien Prf. Dr. Lutz M. Hagen Experimente und Evaluatinsstudien 3
Slmn Experimentalanrdnung Vrexperimentelle Designs t 3 t 3 1 Kntrllgruppe1 1 2 2 Kntrllgruppe 2 Prf. Dr. Lutz M. Hagen Experimente und Evaluatinsstudien Prf. Dr. Lutz M. Hagen Experimente und Evaluatinsstudien Beispiel: Priming-Experiment Beispiel: Habitualisierung durch Prngraphie Ergebnisse vn Experimenten in deren Verlauf die Prbanden in drei n innerhalb einer Wche drei Nachrichtenbeiträge jeweils über ein bestimmtes Thema sahen. Tabelle enthält Krrelatinskeffizienten zwischen Bewertungen des Präsidenten im Hinblick auf jedes der drei Themen mit der Gesamtbewertung des Präsidenten nach Ablauf der Wche. Treatment pr Sessin Stimulus- Intensität 4h48 EG1 6 Filme pr 2h24 EG2 3 Filme pr 0h EG3 Unert.Filme 0h KG Keine Filme Prblem Arms cntrl Civil rights Unemplyment N TV Cverage (Baseline).03.24.37 Prf. Dr. Lutz M. Hagen Experimente und Evaluatinsstudien TV Cverage (Primed).49.68.83 Difference: Primed Minus Baseline.46*.44*.46* *p<.01 Quelle: Iyengar, Shant/ Kinder, Dnald R.: News That Matters. Chicag/Lndn: 1987, S.68 Abhängige Variablen (gemessen nach 3 Wchen) Strafzumessung für einen Vergewaltiger Einschätzung der Nrmalität sexueller Praktiken Beeindruckung durch weitere prngr. Darstellungen affektive Reaktinen sexistische Ansichten Zillmann, D. & Bryant, J. (1982): Prngraphy, sexual callusness*, and the trivializatin f rape. Jurnal f Cmmunicatin 32 (4), 10-21 * Gefühllsigkeit Prf. Dr. Lutz M. Hagen Experimente und Evaluatinsstudien 4
Strafzumessung bei Vergewaltigung in Mnaten Unterstützung für die Frauenbewegung 160 140 120 100 80 60 40 male female 90 80 70 60 50 40 30 20 male female 20 10 0 Keine Filme Mittlere Dsis Hhe Dsis Kein treatment Zillmann/ Bryan982 0 Keine Filme Mittlere Dsis Hhe Dsis Kein treatment Zillmann/ Bryan982 Prf. Dr. Lutz M. Hagen Experimente und Evaluatinsstudien Prf. Dr. Lutz M. Hagen Experimente und Evaluatinsstudien Kntrlle vn Störvariablen (Auswahl) Interne und externe Validität Situatin: Eliminatin (Lärm, Wartezeiten) Knstanthaltung (Zimmertemperatur) Messung als Kntrllvariable (Feuchtigkeit) Stimulus Randmisierung Knstanthalten VPn Randmisierung (Matched Pairs) (Matched Grups) Versuchsleiter Knstanthalten Externe Validität betrifft die Generalisierbarkeit der Ergebnisse Beeinträchtigungen durch - untypische Stichprbe - untypische der künstliche Erhebungssituatinen - untypische Medienstimuli bei Experimenten - reaktive Instrumente Interne Validität betrifft die Eindeutigkeit der Mess- und peratinalisierungsbedingungen swie der Ergebnisse. Beeinträchtigungen durch - externe zeitliche Einflüsse - Reifungsprzesse der VPN (z.b. Ermüdung) - Testing (Testübung) - Mrtalität (systematischer Ausfall vn VPN) Prf. Dr. Lutz M. Hagen Experimente und Evaluatinsstudien Prf. Dr. Lutz M. Hagen Experimente und Evaluatinsstudien 5
Fehlerquellen Vrteile und Nachteile Knfundierung Reaktivität (Placeb-Effekt, Hawthrne-Effekt) Labrsituatin (Captive Audience) Reifeprzesse (Lernen) Versuchsleitereffekte (Rsenthal-Effekt, kluger Hans) Vrteile Stimulus wird im Feld prduziert und geht der vermuteten Wirkung definitiv vraus Durch Randmisierung werden Drittvariableneffekte neutralisiert Daher sind Experimente ideal um Kausalhypthesen zu testen Nachteile Externe Validitiät Reaktivität Hhe Aufwand ft kein Möglichkeit zur Randmisierung Prf. Dr. Lutz M. Hagen Experimente und Evaluatinsstudien Prf. Dr. Lutz M. Hagen Experimente und Evaluatinsstudien Experimente i.e.s. und i.w.s. Evaluatinsstudien Labr- vs. Feldexperiment beim Feldexperiment ist die Situatin nicht unter Kntrlle des Frschers Experiment vs. Quasiexperiment beim Quasiexperiment sind die Einflussgrößen (z.b. Merkmale vn Persnen) nicht völlig unter Kntrlle des Frschers. Beispielsweise wird nicht randmisiert der aus der Einflussgröße Vrwissen ein Pst-Hc-Faktr kreiert und als UV in die Analysen einbezgen Experiment vs. Ex-Pst-Fact-Anrdnung. ft können keine Kntrllen eingesetzt werden (z.b. keine Kntrllgruppe der keine Vrhermessung). Slche Anrdnungen sind keine Experimente. Sie heissen Ex-Pst-Fact-Anrdnungen. -> hhe Artefaktgefahr! Anwendungsbezgen Prüfung praktischer Maßnahmen Auf (Un)Wirksamkeit im Hinblick auf Bestimmte Erflgskriterien (Ziele) der unerwartete Effekte ft retrspektiv Typischwerweise quasiexperimentell hne Randmisierung. Prf. Dr. Lutz M. Hagen Experimente und Evaluatinsstudien Prf. Dr. Lutz M. Hagen Experimente und Evaluatinsstudien 6
Prbleme und Lösungsmöglichkeiten Interpretatinsprbleme Prbleme Knfundierung (etwa durch Selbstselektin) Reifeprzesse Prbandenausfall Experimentaldesign nicht ex pst möglich Lösungen Nachträgliches Matching Rechnerische Drittvariablenkntrlle Kntrllgruppe t 3??. Prf. Dr. Lutz M. Hagen Experimente und Evaluatinsstudien Prf. Dr. Lutz M. Hagen Experimente und Evaluatinsstudien Kultivatinseffekt des Fernsehens Questin: What is the prprtin f peple that are emplyed in law enfrcement? TV answer: Abut five per cent. (reality: abut ne) Percent giving the televisin answer All Adult Edu- News Respndents catin Reading Age Gender 59% 50% 45% 41% 66% 73% 64% 63% 66% 59% 55% 58% 57% 46% 49% 52% 51% 42% Evaluatin zur Kampagne Präventin Jan Feb Mär Apr Mai Juni Juli Aug Sep kt Nv Dez Panel 1. Welle 13.-22.07 2. Welle / Kntr. 4.-10.11 Inhaltsanalyse Cllege N Cllege Regular Nt Regular ver 30 Under 30 Male Female Light TV Heavy TV Light viewers: 2 hurs/day r less Prf. Dr. Lutz M. Hagen Experimente und Evaluatinsstudien Heavy viewers: 4 hurs/day r mre Prf. Dr. Lutz M. Hagen Experimente und Evaluatinsstudien 7
Design Bevölkerung BMGS Medien Juli August September ktber 1. Welle Panel (n= 782) Prf. Dr. Lutz M. Hagen Experimente und Evaluatinsstudien Pressearbeit, Infkubus, Infkampagne zum Thema Präventin Berichterstattung über Präventin 2. Welle Panel (n= 504) Kntrllgruppe (n= 764) Keine Veränderung bei Assziatinen mit dem Begriff Präventin 70 60 50 40 30 20 10 0 Frage: "Einmal ganz allgemein gefragt, wran denken Sie, wenn Sie den Begriff Präventin hören" 62 45 59 weiß nicht Paneleffekt!! 23 38 32 Vrbeugung allgemein Juli 2005 ktber 2005 "Kntrllgruppe ktber" 9 11 5 6 6 4 Vrbeugung im Gesundheitsbereich andere Vrbeugung Quelle: Institut für Kmmunikatinswissenschaft der TU Dresden, repräsentative Bevölkerungsbefragung zum Thema Präventin Prf. Dr. 1. Welle Lutz 13.7. M. Hagen - 22.7.2005; Experimente n= 782. und Evaluatinsstudien Przent Wran denkt man bei gesundheitlicher Präventin (ungestützt) Frage: "Und wran könnte man knkret im Zusammenhang mit gesundheitlicher Präventin denken?" Nichts genannt Vrsrge- und Früherkennungsuntersuchungen Auf seine Ernährung achten Sich im Alltag mehr bewegen Bei Erkrankungen recht frühzeitig zum Arzt gehen Sich impfen lassen Blutuntersuchungen durchführen lassen 2 7 6 7 12 11 Quelle: Institut für Kmmunikatinswissenschaft der TU Dresden, repräsentative Bevölkerungsbefragung zum Thema Präventin Prf. Dr. 1. Welle Lutz 13.7. M. Hagen - 22.7.2005; Experimente n= 782. und Evaluatinsstudien 23 23 26 36 38 38 Juli 2005 42 41 ktber 2005 Przent 0 10 20 30 40 50 Realer Anstieg hne Panel-Effekt! 8