Techniken des Web-Experimentierens

Transkript

1 Techniken des Web-Experimentierens Ulf-Dietrich Reips Talk on occasion of the invited workshop "The Internet: A setting for experimental research in the social sciences" by the German Society for Psychology (DGPs) and the Zentrum für Umfragen, Methoden und Analysen (ZUMA), Mannheim. ZUMA, June 20-21, 2002.

2 Techniken des Web-Experimentierens In den letzten Jahren wurden in der Anwendung von Web- Experimenten eine Reihe von Techniken entwickelt, die dabei helfen, die Vorteile der Methode zu nutzen und die Datenqualität bei der Forschung über das Internet zu sichern. Zu diesen Techniken gehören: Ernsthaftigkeitscheck; Hohe Hürde; Motivationstechniken; Kontrolle multipler Teilnahmen; Kontrolle motivationaler Konfundierung; Nicht-offensichtliche Dateibenennung; Angabe von Kontaktinformationen; Randomisierung und Pseudo-Randomisierung; Abbruchreduzierendes Design; und:

3 Die Technik verteilten Web-Experimentierens

4 (Reips, 1997, 2000) (Reips, 1997, 2000)

5 (Reips, 1997, 2000) (Reips, 1997, 2000)

6 Die Warm-up-Technik Warm-up-Phase Experimentalphase

7 Ist 85 eine ungerade Zahl? A B % Fehler, RT=1312ms 4% Fehler, RT=1157ms

8 Die Warm-up-Technik im Web-Experiment von Reips, Morger und Meier (2001) Die Warm-up Technik im Web-Experiment von Reips, Morger und Meier (2001) Verbleibende Teilnehmer in Prozent Warm-up-Phase Start Instr 1 Instr 2 Instr 3 Instr 4 Item 1 Item 12 Letztes Item Webseite Experimentalphase

9 Fehlerquellen beim Web-Experimentieren

10 Konfigurationsfehler In der bisherigen Praxis des Web-Experimentierens hat sich gezeigt, daß der Einsatz dieser Methode häufig von einer Reihe von Konfigurationsfehlern begleitet wird, die schwerwiegende Auswirkungen haben können (Reips, 2001, in press). Konfigurationsfehler I: Erlauben von Außenzugriffen auf ungeschützte Verzeichnisse. Skandalöserweise recht häufig (bis zu einem Drittel!) Konfigurationsfehler II: Veröffentlichen von Versuchspersonendaten per URL. Bei Übertragung der Daten aus Formfeldern können diese in die Logdatei eines fremden Webservers geschrieben werden. Konfigurationsfehler III: Die Datei- oder Feldnamen verraten die Struktur des Experiments. Abhilfe: Mischung aus logischen und zufälligen Zeichenfolgen bei Benennungen.

11 Server- und OS- Sicherheit securityfocus.com (2001)

12 Konfigurationsfehler IV: Nichtberücksichtigung der technischen Varianz im Internet. Es gibt große Unterschiede zwischen verschiedenen Web-Browsern, Netzverbindungen, Hardwarekomponenten etc. So kann es z.b. zu Versuchsabbrüchen kommen, die aus der Interaktion zwischen bestimmten Web-Browser- Versionen und inkompatiblen Elementen auf Webseiten stammen (Eichstaedt, 2000; Schwarz & Reips, 2001). Konfigurationsfehler V: Verzerrte Ergebnisse durch mangelhaften Einsatz von Formelementen. Ungenügende Benennung oder keine neutralen Voreinstellungen (z.b. Hier auswählen ) --> z.b. jede Nichtantwort in einem Pop-Up-Menü wird zu einem Eintrag:

13 Beispiele

14 Längenschätzung in der Archimedischen Spirale (mit H. Krist)

15 Die Länge s einer Archimedischen Spirale ist abhängig von der Anzahl der Umdrehungen n und dem Endradius re

16

17

18

19 Normative Beziehung

20 visuell visuell & motorisch

21 visuell visuell & motorisch

22

23

24

25 10-Schritte-Prozess, begleitet strukturiert Versuchsplanung-bezogenes Denken interaktiv intuitives Lernen von experimentellem Design dynamisches Erstellen zugeschnittener Versuchssteuerung visualisiert den Versuchsplan, ausdruckbar erspart tiefgreifende Programmierarbeit

26 beherrscht: vollständige und unvollständige Versuchspläne experimentelle (between-subjects and within-subject) und quasiexperimentelle Faktoren zufällige Zuteilung der Teilnehmer zu Versuchsbedingungen Zuteilung der Teilnehmer zu Versuchsbedingungen aufgrund von Stufen quasi-experimenteller Faktoren zufällige oder feste Reihenfolge von Versuchsblocks automatische Vermeidung von Seitenanzahl-Kofundierung Javascript-Test-Umleitungsfunktion um Abbruch zu minimieren zufällig generierte session IDs für besseres Datenhandling Generierung kopierfertigen HTML- und Javascript-Codes graphische und listenartige Darstellung des Versuchsdesigns, in Form von Ordnern und Webseiten

27 (aus Reips & Neuhaus, in press)

28 (aus Reips & Neuhaus, in press)

29 live demo (aus Reips & Neuhaus, in press)

30

31

32 Logdateianalyse

33

34

35 Logfile-Format (!) CONNECTION_ID DATE TIME RESULT HOSTNAME URL BYTES_SENT AGENT REFERER TRANSFER_TIME SEARCH_ARGS

36 Loganalyzer: Link

37 Loganalyzer:

38 Standards und Vorschläge 1/3 Benutzen Sie Tools, die Konfigurationsfehler vermeiden helfen und automatisch Internet-Experimentalmethodik einbauen, z.b. WEXTOR Machen Sie Vortests mit den Materialien hinsichtlich Verständlichkeit und Platformunabhängigkeit Wägen Sie ab zwischen den Vor- und Nachteilen von Skriptsprachen und Plug-Ins Überprüfen Sie Ihr Web-Experiment auf Konfigurationsfehler (Reips, in press) Verlinken Sie Ihr Web-Experiment mit verschiedenen Internet sites und -Services (multiple site entry technique), um den Einfluss von Selbstselektion und die Generalisierbarkeit abschätzen zu können Führen Sie Ihr Experiment online und offline durch, zum Vergleich

39 Standards und Vorschläge 2/3 Wenn Dropout vermieden werden soll: Warm-up-Technik Dropout nutzen, um motivationale Konfundierung festzustellen Nutzen Sie die Hohe-Hürde-Technik, Incentive-Informationen, und Fragen nach persönlichen Angaben, um Zeitpunkt und Grad von Dropout zu beeinflussen Filterfragen (Ernsthaftigkeit der Teilnahme, Expertenstatus, Sprachbeherrschung etc.) an den Anfang des Experiments Keine offensichtliche Benennung von Dateien, Bedingungen und, falls vorhanden, Passwörtern Mehrfachteilnahmen können mit Teilnehmer-Pools (Online-Panels) und Passworttechniken eingeschränkt werden Konsistenzprüfungen durchführen

40 Standards und Vorschläge 3/3 Rohdaten sollten 1. gesammelt und 2. aufbewahrt werden für spätere Re-Analysen durch andere Mitglieder der scientific community Berichten Sie Dropoutverläufe oder zumindest Dropoutraten, getrennt für die Versuchsbedingungen Die Experimentalmaterialien sollten im Internet weiterhin verfügbar gehalten werden, da sie oft einen viel besseren Eindruck des Experiments vermitteln als es verbal je möglich ist.

41 Literatur* Eichstaedt, J. (2001). Reaction time measurement by JAVA-applets implementing Internet-based experiments. Behavior Research Methods, Instruments, and Computers, 33, Reips, U.-D. (1996). Experimenting in the World WideWeb. Paper presented at the 1996 Society for Computers in Psychology conference, Chicago. Reips, U.-D. (1997). Das psychologische Experimentieren im Internet. In B. Batinic (Ed.), Internet für Psychologen (pp ). Göttingen: Hogrefe. Reips, U.-D. (1999). Online research with children. In U.-D. Reips, B. Batinic, W. Bandilla, M. Bosnjak, L. Gräf, K. Moser, & A. Werner (Eds.), Current Internet science - trends, techniques, results. Aktuelle Online- Forschung - Trends, Techniken, Ergebnisse. Zürich: Online Press. Retrieved April 7, 2002 from Reips, U.-D. (2000). The Web Experiment Method: Advantages, disadvantages, and solutions. In M. H. Birnbaum (Ed.), Psychological experiments on the Internet (pp ). San Diego, CA: Academic Press. Reips, U.-D. (2001). Merging field and institution: Running a Web laboratory. In U.-D. Reips & M. Bosnjak (Eds.), Dimensions of Internet Science (pp. 1-22). Lengerich: Pabst. Reips, U.-D. (2001). Web-Experimente: Eckpfeiler der Online-Forschung. In A. Theobald, M. Dreyer & T. Starsetzki (Hrsg.). Online-Marktforschung: Beiträge aus Wissenschaft und Praxis (S ). Wiesbaden: Gabler. Reips, U.-D., Morger, V., & Meier, B. (2001). "Fünfe gerade sein lassen": Listenkontexteffekte beim Kategorisieren. Reips, U.-D., & Neuhaus, C. (2002). WEXTOR: A Web-based tool for generating and visualizing experimental designs and procedures. Behavior Research Methods, Instruments, & Computers, 34, Reips, U.-D., & Stieger, S. (2004). Scientific LogAnalyzer: A Web-based tool for analyses of server log files in psychological research. Behavior Research Methods, Instruments, & Computers, 36, Schwarz, S., & Reips, U.-D. (2001). CGI versus JavaScript: A Web experiment on the reversed hindsight bias. In U.-D. Reips & M. Bosnjak (Eds.), Dimensions of Internet Science (pp ). Lengerich: Pabst. *later updated for PDF of this presentation to reflect final published versions

42 Ausblick Offene Frage: Werden die neuen Medien die Arbeitssituation von Experimentalpsychologen verbessern?

43 Vielen Dank für Ihre Aufmerksamkeit!