Forschen via Web? Online-Studien einfach selber machen Dr. Meinald Thielsch Studium der Psychologie an der Westfälischen Wilhelms-Universität Münster Promotionsstudium Psychologie mit Nebenfach Wirtschaftsinformatik, Wissenschaftlicher Mitarbeiter am Psychologischen Institut Universität Münster (AE Psychologische Diagnostik und Medienpsychologie) Lehrauftrag im ZEM, Bonn Mitgliedschaft in: DGOF - Deutsche Gesellschaft für Online Forschung e.v. German UPA - Usability Professionals' Association e.v. PWM - Psychologie in Wirtschaft und Medien e.v. Literatur: Thielsch, M. T. & Weltzin, S. (2009). Online-Befragungen in der Praxis. In T. Brandenburg & M. T. Thielsch (Hrsg.). Praxis der Wirtschaftspsychologie: Themen und Fallbeispiele für Studium und Praxis (S. 69-85). Münster: Monsenstein und Vannerdat. (unter www.meinald.de downloadbar) Kontakt: thielsch@uni-muenster.de Geschichte des WWW & des Internets Das World Wide Web wie wir es kennen entstand 1990 im CERN (Conseil Européen pour la Recherche Nucléaire), der Europäischen Organisation für Kernforschung, durch den britischen Informatiker und Oxford-Absolventen Sir Tim Berners-Lee (ebenfalls Erfinder der HTML, Hypertext Markup Language). Damals gab es für das Internet keine grafische Oberfläche. Berners-Lee entwickelte das WWW als Open Source-Browser. Er gab seine Ideen frei und patentierte seine technischen Umsetzungen nicht. 1989 schlug Berners-Lee seinem Arbeitgeber CERN ein Projekt vor, das auf dem Prinzip des Hypertexts beruhte und den weltweiten Austausch sowie die Aktualisierung von Informationen zwischen Wissenschaftlern vereinfachen sollte. [Damals war es im CERN üblich, dass sich Mitarbeiter 10% ihrer Arbeitszeit mit anderen kreativen Dingen beschäftigen durften und während dieser Kreativpausen kam das Projekt ins Leben]. Er verwirklichte dieses Projekt und entwickelte dazu den ersten Browser WorldWideWeb und den ersten Webserver unter dem Betriebssystem NeXTStep. Dies sollte den Ursprung des World Wide Webs darstellen. Berners-Lee erstellte die erste Webpräsenz, http://info.cern.ch. 1994 gründete Berners-Lee das World Wide Web Consortium (W3C) am Massachusetts Institute of Technology. Wichtig: World Wide Web und das Internet sind nicht das Gleiche! Das Internet ist als Oberbegriff zu verstehen und WWW ist EINE grafische Oberfläche.
Onlineforschung seit dem Jahr 2000 bis heute Laut Befragung kann man deutlich einen kontinuierlichen Anstieg des Anteils von Online- Befragungen in den letzten 10 Jahren erkennen. Im Jahr 2008 lag der Anteil der Online- Studien bei 31 Prozent aller quantitativen Befragungsformen. Im Vergleich dazu sind face-toface- und v.a. schriftliche Interviews sehr stark gesunken, aber Telefoninterviews werden gerne in der Marktforschung verwendet und halten sich stabil mit steigender Tendenz. Grund für den Erfolg der Online-Methode sind neben dem kontinuierlichen Wachstum des Nutzerkreises des Internets und der Verfügbarkeit stetig besserer Online-Befragungssoftware besonders die zahlreichen Vorteile von Online-Untersuchungen. Vor allem die Ökonomie dieser Befragungsform, die es einfach macht große Stichproben in kurzer Zeit zu erheben, ist für viele Anwender das entscheidende Kriterium. Nachteile liegen vor allem in der unklaren Identität der Befragten und der geringen Kontrolle über die Durchführungsbedingungen. Nicht ganz auszuschließen sind auch technische Schwierigkeiten bei einzelnen Befragten, vor allem wenn diese veraltete Software und ältere Anzeigegeräte nutzen. Trotz der zunehmenden Verbreitung der Methodik ist bisher nur an wenigen Hochschulen die Konzeptionierung und Durchführung von Online-Studien fester Teil der (psychologischen) Ausbildung. Der Trend von Online-Untersuchungen geht aktuell aber zurück, da es nicht mehr so angesagt ist. Der Höhepunkt des Trend war 2005 und man sagt, dass 1 Online-Jahr vier Offline-Jahren entspricht. Methoden bei Online-Erhebungen - Befragung - Paarvergleich, Rangreihen - Experiment within subjects (Vergleich von Subjekten mit sich selbst z.b. mehrmals gemessene Leistung) between subjects (Vergleich veschiedener Gruppen z.b. Personen unterschiedlichen Geschlechts) schwieriger sind z.b. Beobachtungsmethoden Ethische Aspekte Juristische Normen Konsensfähige Normen Kontroverse Normen Datenschutz & Anonymität müssen gewährleistet sein Freiwilligkeit Genaue Instruktionen Information zu Untersuchungszielen, VL und der dahinter stehenden Institution Hinweis auf Erhebung von non-reaktiven Daten (z.b. Verweildauer des Probanden für die jeweilige Webseite) muss unbedingt erfolgen Aufklärende Informationen nach Abschluss z.b. bei Täuschungsstudien
Vor- und Nachteile von Online-Untersuchungen Vorteile - Zeiteffizienz bei Erhebung, Auswertung und Präsentation der Daten - Aufwand und Kosten für Druck, Austeilung und Kodierung von Fragebögen, Interviewer und Dateneingaben entfallen - Automatisierbarkeit und somit teilweise hohe Objektivität: Keine Fehlerquellen durch Dateneingabe, keine Versuchsleiter-Effekte, keine Gruppeneffekte - Heterogenere Stichprobenzusammensetzung als bei durchschnittlichen offline durchgeführten Studien - Alokalität des Mediums: Manche offline schwer erreichbare Personenkreise sind online ansprechbar, an Online-Untersuchungen kann man überall teilnehmen - Hohe Datenqualität; Kontrollskripte verhindern missing data ; Konsistenzprüfungen der Daten anhand von Zeitprotokollen u. ä. möglich - Zumeist hohe Akzeptanz aufgrund von Freiwilligkeit, Flexibilität und Anonymität - Verfahrenstransparenz, Ethik: Online-Studien sind transparenter, da sie stärker öffentlich zugänglich sind als Offline-Studien Nachteile - Die Programmierung der Online-Untersuchung braucht einen gewissen zeitlichen Vorlauf. Gegebenenfalls Aufwand für Einarbeitung in entsprechende Befragungssoftware - Die Durchführungsbedingungen der Datenerhebung können nicht kontrolliert werden, daher Probleme bei der Durchführungsobjektivität. - Keine Repräsentativität für die Gesamtbevölkerung erreichbar - Nicht alle Zielgruppen sind online, nicht alle Computer bezüglich Soft- und Hardware auf ausreichend aktuellem Stand - Mehrfachteilnahmen von Befragten sind technisch nur bedingt kontrollierbar, Rückfragen können nur asynchron und auf Initiative des Befragten hin beantwortet werden - Akzeptanzprobleme wenn die Befragten Direktmarketing oder andere unerwünschte Datennutzungen vermuten - Daten(banken) der Online-Studie müssen gegen unberechtigten Zugriff geschützt werden. Datenfilterung Wenn man besonders korrekt sein will, sollte man sich das vorher sehr gut überlegen und seine Kriterien sorgfältig definieren. Beispiele: - Die Entfernung der Daten z.b. wenn der Proband die eigentliche Erhebung beendet hat, aber bei der Frage nach demographischen Daten abbricht, da er die Speicherung dieser Daten nicht wünscht - bei extremen Unterschieden vom Durchschnitt z.b. bei einer sehr kurzen oder sehr langen Teilnahmedauer [zur Überprüfung sollte man sich die Histogramme der Reaktionszeiten ansehen] [Die durchschnittliche Reaktionszeit beträgt 5 Sekunden, Psychologie-Studierende sind mit 3 Sekunden besonders schnell]
Pretests Wenn die Befragung online umgesetzt ist, sollte man vor der Feldphase immer Prestests durchführen, um: - falsche Kodierungen zu entdecken - Verständnis- und Usability-Probleme zu lösen (Nutzerfreundlichkeit z.b. angenehme Schriftgröße und Größe der Buttons) - die Notwendigkeit aller Fragen zu prüfen, da zu viele Fragen zu einer höheren Abbrecherquote führen können - Aspekte zu erkennen, die bisher vergessen wurden Stichprobenrekrutierung Aktive Rekrutierung E-Mail-Adresslisten [Nicht alle Kontakte mit einer gleichen Einladung anschreiben eher z.b. Psychologie- Studierenden mit Hallo, liebe Psychologen etc. anreden etc.] Mailinglisten/ Verteiler wie German Internet Research List (GIR-L) [ Anbieter schätzen es aber nicht, wenn man nur für die eine Rekrutierung eintritt also sollte man sich vorher ein wenig darin aufhalten etc.] Online-Panel [auch (Online-)Access-Pools genannt]: Eine große Sammlung von E-Mail-Adressen von Personen, die prinzipiell bereit sind, an Untersuchungen teilzunehmen. Der Betreiber des Panels stellt sicher, dass jede Person nur einmal im Panel angemeldet sein kann und erhebt bestimmte demographische Basisvariablen der so genannten Panelisten. Die Panel-Befragung ist der Königsweg der Online-Befragung. Die Kosten betragen bei einem Anbieter einer Probanden-Datenbank am Beispiel von 300 VPs ca. 2000 Euro also etwa 8 Euro/Proband. Snowball-Technique: Einladungsmails werden an die Zielgruppe geschickt und man bittet die Angeschriebenen in den versendeten Einladungen diese Nachricht auch an andere Personen weiterzuleiten. Passive Rekrutierung Einen Text auf einer Webseite, in Online-Foren, in Web 2.0-Anwendungen wie studivz & Newsgroups hinterlassen Offline-Ansprache durch Handzettel in Fussgänger-Zonen & Diskos verteilen klappt richtig gut!!! Aushänge, Handzettel, Flyer, Auslagen Weblabs wie Web Experiment List und POF nutzen Hinweise in anderen bereits laufenden Befragungen Pop-ups sind nicht mehr up-to-date, aber kann man benutzen Allgemein kann man die Stichprobe nicht bereits bei der Einladung quotieren, um beispielsweise eine repräsentative Schichtung der Befragten zu erreichen. In der Praxis werden aktive und passive Auswahlmethoden bei Bedarf kombiniert.
Es empfiehlt sich die Einladung zur Befragung in der Zielgruppe möglichst breit zu streuen (Reips, 2002) und große Stichproben zu erheben, um Stichprobeneffekte zu reduzieren. Im Vergleich zu traditionellen Untersuchungen in der Psychologie ist empirisch erwiesen, dass online erhobene Stichproben eine deutlich größere Diversität (was das Alter, Beruf und ähnlichen Variablen anbelangt) als offline erhobene Stichproben aufweisen (Gosling et al., 2004). Eine weibliche Person, die Probanden einlädt, sorgt für mehr Teilnehmer!!! evtl. um Hilfe bei Kommilitoninnen bitten Einladung Falls jemand eine Einladung nicht wahrnimmt, kann man noch einmal nachfassen, das heißt die Person erneut um eine Teilnahme bitten. Es sollte jedoch nicht mehr als eine Erinnerungsmail versendet werden, ansonsten wäre Reaktanz bei den Angeschriebenen zu befürchten und Befragungseinladungen landen bei diesen dann zukünftig im Spam-Filter. Generell hat zudem das erste Nachfassen den größten Effekt. Der Text sollte immer an die Zielgruppe angepasst sein etwa: Hier eine Studie, die auch für (Studierende,...) interessant sein könnte. Befragung - Kurzer Einladungstext und die weiteren Instruktionen auf einer anderen Seite - Startseite & Instruktionstexte kurz und maximal verständlich zu halten (hohe Usability= Benutzbarkeit) - kurzer Hinweis zur Anonymität und Datenschutz - Die Ansprechpartner der Studie sollten wenn möglich verlinkt sein. - Falls vorhanden kann man an dieser Stelle auch auf eine Vergütung der Teilnahme, eine Verlosung oder einen Ergebnisbericht hinweisen. aber: eine Bezahlung lässt die Teilnehmerzahlen sinken (wiss. belegt) stattdessen als Student auf die Tränendrüse drücken oder das Interesse wecken, mal an einer Studie teilzunehmen unbedingt geschützte Seiten (https://) verwenden High hurdle technique (Reips, 2002) = persönliche und eher sensitive Aspekte werden als Erstes abgefragt,, um die Ernsthaftigkeit der Teilnahme zu begünstigen und um die Motivation eines Teilnehmers zu überprüfen Beispiele: - demographischen Daten (statistischer Vergleich von Abbrechern mit den Nicht-Abbrechern und so kann ein selektiver Abbruch ausgeschlossen oder zumindest näher analysiert werden) - reale Zeitangaben über die Dauer (rächt sich sonst) - die ersten Befragungsseiten enthalten mehr Texte, Items oder Informationen als auf den späteren Befragungsseiten wer die ersten umfangreicheren Seiten bearbeitet, wird wahrscheinlich auch die nachfolgenden angenehmeren und inhaltlich spannenderen Seiten bearbeiten
Warm-up-technique Der Hauptteil des Versuchs findet erst nach einigen Webseiten statt; zuvor Instruktion, Übungsseiten Pbn orientieren sich im Versuch & entscheiden dann, ob sie endgültig teilnehmen Offene Fragen nur begrenzt oder zumindest eher ans Ende der Befragung gestellt werden (senkt die Teilnahmemotivation und führt zu erhöhten Abbruchquoten, da Teilnehmer befürchten, sie müssten im weiteren Verlauf selbst viel Text produzieren) Keinesfalls sollten die Befragten irgendwelche Plug-ins oder andere zusätzliche Software installieren müssen Eine Bildschirmbreite von 800 Punkt ist am besten geeignet Der Teilnehmer sollte möglichst wenig oder am besten gar nicht auf den Seiten scrollen müssen Wenn möglich kann ein Fortschrittsbalken eingeblendet werden, um die Befragten über den jeweiligen Bearbeitungsstand zu informieren. Bei einer Bitte, Störvariablen wie Musik, Fernsehen etc. nicht zu benutzen, machen die Probanden es oft absichtlich, daher sollte darauf verzichtet werden. Die Korrektheit der Eingaben/unsinnige Eingaben sollten an verschiedenen Stellen direkt durch Kontrollskripte (Checks) überprüft werden: - Enthalten Felder für numerische Angaben wirklich nur Zahlen? - Enthält ein Textfeld nur Text? - Wurden alle Fragen auf der Seite beantwortet? Eine gezielte Filterführung, so dass Teilnehmer bestimmte Fragen entsprechend ihrer vorherigen Angaben dargeboten bekommen, erspart den Teilnehmern Fragen, die für sie nicht relevant sind spart Zeit und macht die Befragung effizienter Es zeigt sich, dass die Bereitschaft von Teilnehmern an der Befragung teilzunehmen steigt, wenn sie diese in ihrer Muttersprache durchführen können (vgl. Gertz, 2008). In der Praxis hat sich die Darstellung von Flaggen nicht bewährt, eindeutiger ist die Einfachauswahl aus einer Liste der unterschiedlichen Sprachen. Am Ende der Umfrage sollte den Teilnehmern die Möglichkeit gegeben werden Anmerkungen zu machen. Diese Kommentare bieten frühzeitig die Gelegenheit zu schauen, ob wirklich alles in der Befragung funktioniert. Zum anderen können die Befragten dann direkt online ihre Bemerkungen abgeben und der Befragungsverantwortliche wird weniger Emails zu der Untersuchung in seinem Posteingang haben. Nicht zu vergessen ist am Ende der Umfrage den Teilnehmern zu danken und noch einmal den Ansprechpartner zu nennen, falls noch weitere Rückfragen auftreten oder andere Kontaktwünsche herrschen. Die Angebot an Interessierte Teilnehmer Ergebnisberichte zu verschicken könnten v.a für Fachleute anderer Disziplinen wie Ärzte sehr interessant sein. An dieser Stelle kann auch gegebenenfalls noch ein Hinweis auf weitere Befragungen eingefügt werden.
Kontrolle der Daten Mehrfachteilnahme sind in der Praxis eher unwahrscheinlich (Birnbaum, 2004) oder führen zu keiner Verzerrung der Ergebnisse (Srivastava et al., 2003). Man könnte sie aber auch über eine Erfassung der IP-Adresse, einem Vergleich der Antwortmuster oder der direkten Frage nach einer Mehrfachteilnahme (Gosling et al., 2004) bzw. der Fragen Haben Sie ernsthaft teilgenommen? Oder wollten Sie eher nur ausprobieren/spielen? Diese Fragen erzielen, dass man mehr ehrliche Antworten bekommt und Mehrfachnennungen reduziert werden. Bei Online-Panels tritt dieses Problem üblicherweise nicht auf (wegen individuellen Zugangscodes). Die oftmals hohen Abbrecherquoten in Online-Befragungen (Dropout, siehe Birnbaum, 2004) stellen nur dann ein Problem dar, wenn der Abbruch selektiv erfolgt. Unter selektivem Drop-out, versteht man den Effekt, dass Versuchspersonen das Experiment mit verschiedener Häufigkeit je nach Versuchsbedingung verlassen. Er ist immer ein Hinweis auf Konfundierung. Das könnte zum Beispiel bedeuten, dass sich Versuchsbedingungen nicht nur hinsichtlich der unabhängigen Variable sondern etwa auch in Bezug auf die Aufgabenschwierigkeit zu stark unterscheiden, sodass ein Redesign des Experiments angedacht werden sollte. Fazit - um hohen Drop-Out zu vermeiden: High Hurdle-Technique z.b. Demographische Daten am Anfang - selten Kompatibilitätsprobleme mit vers. Browsern - typische Datenrücklaufkurven - bei Online-Stichproben eher jüngere Probanden (ca. 30 J.), eher höheres Bildungsniveau und die Mehrheit der Teilnehmer sind weiblich - E-Mail-Support während der Testung sehr sinnvoll also nicht einfach vor sich hin laufen lassen - Non-reaktive Daten können leicht erhoben werden - Datenqualität ist erstaunlich gut, aber eine gute Filterung ist notwendig - Je kürzer und spannender, desto mehr VPs (super Teilnahme bei unter 15 Min. Dauer, 16-30 Min. auch noch ok) hängt aber vom Thema ab: bei einem langweiligen Thema mit 10 Minuten, können trotzdem 70% Abbrecher dabei sein Linktipps Befragungen selber erstellen: http://ofb.msd-media.de http://www.unipark.de [vermutlich aktuell die beste Software auf dem Markt] http://www.limesurvey.org Der Fragebogenchecker: http://iscience.deusto.es/fbchecker/ Checkliste für Online-Befragungen: Dzeyk, W. (2001). Ethische Dimensionen der Online-Forschung. Kölner Psychologische Studien, 6 (1), 1-30. Als Onlinedokument abrufbar unter: http://kups.ub.uni-koeln.de/volltexte/2008/2424/pdf/ethdimon.pdf
Literaturempfehlungen Birnbaum, M. H. (2004). Human research and data collection via the internet. Annual Review of Psychology, 55, 803-832. Bühner, M. (2006). Einführung in die Test- und Fragebogenkonstruktion (2. Aufl.). München: Pearson Studium. Döring, N. (2003). Sozialpsychologie des Internet. Die Bedeutung des Internets für Kommunikationsprozesse, Identitäten, soziale Beziehungen und Gruppen (2. Aufl.). Göttingen:Hogrefe. Gosling, S. D., Vazire, S., Srivastava, S., & John, O. P. (2004). Should we trust webbased studies? A comparative analysis of six preconceptions about Internet questionnaires. American Psychologist, 59, 2, 93-104. Kaczmirek, L. (2009). Human survey-interaction: Usability and nonresponse in online surveys. Köln: Halem. Reips, U. D. (2002). Standards for internet-based experimenting. Experimental Psychology,49, 4, 243-256. Welker, J., Werner, A. & Scholz, J. (2005). Online Research. Markt und Sozialforschung mit dem Internet. Heidelberg: dpunkt.verlag.
Checkliste für Online-Befragungen Vor der Befragung: Regeln der Item- und Fragebogenkonstruktion einhalten! Sind alle Fragen und Instruktionen verständlich? Sind wirklich alle Items notwendig? Fehlen womöglich noch wichtige Items? Umsetzung der Befragung: Sind alle wichtigen Informationen auf der Startseite? Sind die Angaben zur Bearbeitungsdauer realistisch? Funktionieren alle Filterführungen und Kontrollchecks in der Befragung? Gibt es irgendwelche Usability-Probleme? Wird die Befragung in gängigen Browsern gut dargestellt? Vortest der Online-Befragung mit Personen aus der Zielgruppe! Online-Datenerhebung: Wie und wo sollen die Probanden rekrutiert werden? Ist der Einladungstext knapp aber gut formuliert? Sind alle wichtigen Informationen genannt? Sind auf der Startseite der Befragung alle wichtigen Informationen genannt? Zu Beginn der Feldphase: Nennen die Befragten in den offenen Anmerkungen irgendwelche technischen oder inhaltlichen Probleme? Nach der Datenerhebung: Analyse von Abbruch und Datenqualität: Gab es selektiven Abbruch? Müssen Datensätze ausgeschlossen werden? Bei einer Quotierung: Sind alle Gruppen voll oder muss gezielt nachgeschichtet werden? Soll an die Befragten noch ein Ergebnisbericht o.ä. versendet werden?