Philsphische Fakultät Institut für Kmmunikatinswissenschaft Ringvrlesung Einführung in die Methden der empirischen Szialfrschung II Sziale Experimente und Evaluatinsstudien Prf. Dr. Lutz M. Hagen Web 4, Sprechstunde Mi 12-14 Uhr nach Anmeldung Literatur Brsius, H. B./ Kschel, F. (2003): Methden der empirischen Kmmunikatinsfrschung. Eine Einführung. pladen: Westdeutscher Verlag, 204-246. Diekmann, A. (2003): Empirische Szialfrschung. Grundlagen, Methden, Anwendungen. 9. Aufl., Reinbek bei Hamburg: Rwhlt, -39, 289-324. Brtz, J. / Döring, N. (2002): Frschungsmethden und Evaluatin für Human- und Szialwissenschaftler. 3., überarb. Aufl., Berlin; Heidelberg: Spinger, 101-136. Di 20.6.2005 13.00 14. Uhr Lesen! Durchsicht empfhlen Prf. Dr. Lutz M. Hagen: Inhaltsanalyse Prblem der Interpretatin vn Kvariatin Definitin des Experiments 0,8 Y Kurz: Bebachtung (Messung) unter kntrllierten Bedingungen Ausführlich: Wiederhlbare Bebachtung (Messung) unter kntrllierten Bedingungen, wbei mindestens eine unabhängige Variable derart manipuliert wird, dass eine zugrunde liegende Hypthese, d.h. die Behauptung eines Kausalzusammenhangs ermöglicht wird. Z Hauptunterschied zu allen anderen Designs: der Frscher initiiert und inszeniert die Wirklichkeit, die er erfrschen will. Vrgehen ist streng deduktiv. Prf. Dr. Lutz M. Hagen: Inhaltsanalyse Prf. Dr. Lutz M. Hagen: Inhaltsanalyse 1
Zielsetzung Faktren und Stufen Die Wirkung (AV) eines bestimmten, interessierenden Merkmals (UV) sll möglichst genau bemessen werden. Untersucht wird als der Kausaleinfluss einer der mehrerer UV auf eine der mehrere AV. Die UV heißen FAKTREN Die Ausprägungen der UV heißen STUFEN. Man spricht dann z.b. vn einem 2x3-faktriellen Design, wbei der erste Faktr zwei- und der zweite Faktr dreistufig ist. Beispiel: Fördert der hemmt Emtinalisierung im Fernsehen den Wissenserwerb? Drei Fernsehfilme mit unterschiedlich starker Emtinalisierung im Nachrichten- und im Magazingenre. Prf. Dr. Lutz M. Hagen: Inhaltsanalyse Prf. Dr. Lutz M. Hagen: Inhaltsanalyse Experimentalmethde Einfache Experimentalanrdnung Ein Stimulus, der das interessierende Merkmal enthält, wird systematisch variiert (bzw. gegen einen Kntrllstimulus gesetzt). Vrgehen und Resultat der Manipulatin werden exakt dkumentiert. Alle anderen Merkmale des Stimulus bleiben unverändert bzw. werden vm Frscher ausgeschaltet bzw. anderweitig kntrlliert. VPn werden zufällig den Experimental- bzw. Kntrllgruppen zugeteilt. (Randmisierung) VPn sllen das Untersuchungsziel nicht kennen. Die Experimentalsituatin ist für alle VPn identisch. Kntrllgruppe Wirkungen können eindeutig und ausschließlich auf unterschiedliche Stimuli zurückgeführt werden. Prf. Dr. Lutz M. Hagen: Inhaltsanalyse Prf. Dr. Lutz M. Hagen: Inhaltsanalyse 2
Experimentalanrdnung mit Vrmessung Slmn Experimentalanrdnung 1 Kntrllgruppe Kntrllgruppe1 2 Kntrllgruppe 2 Prf. Dr. Lutz M. Hagen: Inhaltsanalyse Prf. Dr. Lutz M. Hagen: Inhaltsanalyse Vrexperimentelle Designs Priming-Experiment Ergebnisse vn Experimenten in deren Verlauf die Prbanden in drei n innerhalb einer Wche drei Nachrichtenbeiträge jeweils über ein bestimmtes Thema sahen. Tabelle enthält Krrelatinskeffizienten zwischen Bewertungen des Präsidenten im Hinblick auf jedes der drei Themen mit der Gesamtbewertung des Präsidenten nach Ablauf der Wche. 1 2 Prblem N TV Cverage (Baseline) TV Cverage (Primed) Difference: Primed Minus Baseline Arms cntrl.03.49.46* Civil rights Unemplyment.24.37.68.83.44*.46* *p<.01 Prf. Dr. Lutz M. Hagen: Inhaltsanalyse Quelle: Iyengar, Shant/ Kinder, Dnald R.: News That Matters. Chicag/Lndn: 1987, S.68 Prf. Dr. Lutz M. Hagen: Inhaltsanalyse 3
Beispielstudie: Habitualisierung durch Prn Strafzumessung bei Vergewaltigung in Mnaten EG1 EG2 EG3 KG 160 Treatment pr Sessin Stimulus- Intensität Abhängige Variablen (gemessen nach 3 Wchen) 6 Filme pr 4h48 Prf. Dr. Lutz M. Hagen: Inhaltsanalyse 3 Filme pr 2h24 Unert.Filme Strafzumessung für einen Vergewaltiger Einschätzung der Nrmalität sexueller Praktiken Beeindruckung durch weitere prngr. Darstellungen affektive Reaktinen sexistische Ansichten 0h Keine Filme Zillmann, D. & Bryant, J. (1982): Prngraphy, sexual callusness*, and the trivializatin f rape. Jurnal f Cmmunicatin 32 (4), 10-21 * Gefühllsigkeit 0h 140 120 100 80 60 40 20 0 Keine Filme Mittlere Dsis Prf. Dr. Lutz M. Hagen: Inhaltsanalyse Hhe Dsis Kein treatment male female Zillmann/ Bryan982 Unterstützung für die Frauenbewegung Kntrlle vn Störvariablen (Auswahl) 90 80 70 60 50 40 20 10 0 Keine Filme Mittlere Dsis Hhe Dsis Kein treatment male female Zillmann/ Bryan982 Situatin: Eliminatin (Lärm, Wartezeiten) Knstanthaltung (Zimmertemperatur) Messung als Kntrllvariable (Feuchtigkeit) Stimulus Randmisierung Knstanthalten VPn Randmisierung (Matched Pairs) (Matched Grups) Versuchsleiter Knstanthalten Prf. Dr. Lutz M. Hagen: Inhaltsanalyse Prf. Dr. Lutz M. Hagen: Inhaltsanalyse 4
Interne und externe Validität Fehlerquellen Externe Validität betrifft die Generalisierbarkeit der Ergebnisse Beeinträchtigungen durch - untypische Stichprbe - untypische der künstliche Erhebungssituatinen - untypische Medienstimuli bei Experimenten - reaktive Instrumente Knfundierung Reaktivität (Placeb-Effekt, Hawthrne-Effekt) Labrsituatin (Captive Audience) Reifeprzesse (Lernen) Versuchsleitereffekte (Rsenthal-Effekt) Interne Validität betrifft die Eindeutigkeit der Mess- und peratinalisierungsbedingungen swie der Ergebnisse. Beeinträchtigungen durch - externe zeitliche Einflüsse - Reifungsprzesse der VPN (z.b. Ermüdung) - Testing (Testübung) - Mrtalität (systematischer Ausfall vn VPN) Prf. Dr. Lutz M. Hagen: Inhaltsanalyse Prf. Dr. Lutz M. Hagen: Inhaltsanalyse Vrteile und Nachteile Experimente i.e.s. und i.w.s. Vrteile Stimulus wird im Feld prduziert und geht der vermuteten Wirkung definitiv vraus Durch Randmisierung werden Drittvariableneffekte neutralisiert Daher sind Experimente ideal um Kausalhypthesen zu testen Nachteile Externe Validitiät Reaktivität Hhe Aufwand ft kein Möglichkeit zur Randmisierung Labr- vs. Feldexperiment beim Feldexperiment ist die Situatin nicht unter Kntrlle des Frschers Experiment vs. Quasiexperiment beim Quasiexperiment sind die Einflussgrößen (z.b. Merkmale vn Persnen) nicht völlig unter Kntrlle des Frschers. Beispielsweise wird nicht randmisiert der aus der Einflussgröße Vrwissen ein Pst- Hc-Faktr kreiert und als UV in die Analysen einbezgen Experiment vs. Ex-Pst-Fact-Anrdnung. ft können keine Kntrllen eingesetzt werden (z.b. keine Kntrllgruppe der keine Vrhermessung). Slche Anrdnungen sind keine Experimente. Sie heissen Ex-Pst-Fact-Anrdnungen. -> hhe Artefaktgefahr! Prf. Dr. Lutz M. Hagen: Inhaltsanalyse Prf. Dr. Lutz M. Hagen: Inhaltsanalyse 5
Evaluatinsstudien Prbleme und Lösungsmöglichkeiten Anwendungsbezgen Prüfung praktischer Maßnahmen Auf (Un)Wirksamkeit im Hinblick auf Bestimmte Erflgskriterien (Ziele) der unerwartete Effekte Prbleme Knfundierung Reifeprzesse Prbandenausfall Experimentaldesign nicht ex pst möglich ft retrspektiv typischwerweise quasiexperimentell hne Randmisierung. Lösungen Nachträgliches Matching Rechnerische Drittvariablenkntrlle. Prf. Dr. Lutz M. Hagen: Inhaltsanalyse Prf. Dr. Lutz M. Hagen: Inhaltsanalyse Interpretatinsprbleme Kultivatinseffekt des Fernsehens Questin: What is the prprtin f peple that are emplyed in law enfrcement? TV answer: Abut five per cent. (reality: abut ne) Percent giving the televisin answer Kntrllgruppe?? All Adult Edu- News Respndents catin Reading Age Gender 59% 50% 45% 41% 66% 73% 64% 63% 66% 59% 55% 58% 57% 46% 49% 52% 51% 42% Cllege N Cllege Regular Nt Regular ver Under Male Female Prf. Dr. Lutz M. Hagen: Inhaltsanalyse Light TV Heavy TV Prf. Dr. Lutz M. Hagen: Inhaltsanalyse Light viewers: Heavy viewers: 2 hurs/day r less 4 hurs/day r mre 6
Evaluatin zur Kampagne Präventin Design Jan Feb Mär Apr Mai Juni Juli Aug Sep kt Nv Dez Bevölkerung Juli August September ktber 1. Welle Panel (n= 782) 2. Welle Panel (n= 504) 1. Welle 13.-22.07 Inhaltsanalyse Panel 2. Welle / Kntr. 4.-10.11 BMGS Pressearbeit, Infkubus, Infkampagne zum Thema Präventin Kntrllgruppe (n= 764) Medien Berichterstattung über Präventin Prf. Dr. Lutz M. Hagen: Inhaltsanalyse Prf. Dr. Lutz M. Hagen: Inhaltsanalyse Keine Veränderung bei Assziatinen mit dem Begriff Präventin 70 60 50 40 20 10 0 Frage: "Einmal ganz allgemein gefragt, wran denken Sie, wenn Sie den Begriff Präventin hören" 62 45 59 weiß nicht Paneleffekt!! 23 38 32 Vrbeugung allgemein Juli 2005 ktber 2005 "Kntrllgruppe ktber" 9 11 Vrbeugung im Gesundheitsbereich 5 6 6 4 andere Vrbeugung Quelle: Institut für Kmmunikatinswissenschaft der TU Dresden, repräsentative Bevölkerungsbefragung zum Thema Präventin Prf. Dr. 1. Welle Lutz 13.7. M. Hagen: - 22.7.2005; Inhaltsanalyse n= 782. Przent Wran denkt man bei gesundheitlicher Präventin (ungestützt) Frage: "Und wran könnte man knkret im Zusammenhang mit gesundheitlicher Präventin denken?" Przent Nichts genannt 23 38 Vrsrge- und Früherkennungsuntersuchungen 36 42 Auf seine Ernährung achten 26 38 Sich im Alltag mehr bewegen 23 41 Bei Erkrankungen recht frühzeitig zum Arzt gehen 12 11 Realer Anstieg Sich impfen lassen 7 6 hne Panel-Effekt! Juli 2005 Blutuntersuchungen durchführen lassen 2 7 ktber 2005 0 10 20 40 50 Quelle: Institut für Kmmunikatinswissenschaft der TU Dresden, repräsentative Bevölkerungsbefragung zum Thema Präventin Prf. Dr. 1. Welle Lutz 13.7. M. Hagen: - 22.7.2005; Inhaltsanalyse n= 782. 7