SE Forschungsseminar: Neuere psychometrische Ansätze ao. Univ.-Prof. Dr. Mag. Martin Arendasy

Transkript

1 SE Forschungsseminar: Neuere psychometrische Ansätze ao. Univ.-Prof. Dr. Mag. Martin Arendasy Verfasserin: Michaela Holzer, SS 2007 ( )

2 Einführung in die Grundlagen von Online Research

3 Überblick Allgemeines zum Thema Erhebungsverfahren Kernmerkmale/Vorteile/Schwächen/Verfahrensvergleich Sicherung der Datenqualität/häufige Fehler Rekrutierung und Durchführung Verfahren Aktive und passive Rekrutierung Besonderheiten bei der Rekrutierung über das Internet Ethische Richtlinien Aufrufgestaltung und Gestaltung der Fragen und Antwortmöglichkeiten Einschub: Erstellung eines Online-Fragebogens Datenspeicherung Fragebogengeneratoren Abschluss/Ausblick

4 Allgemeines Internet zur Ökonomisierung und Optimierung der Datenerhebung heute gehört Online Research zur alltäglichen Forschungspraxis unterschiedlichster Professionen Def. Online Research :... das Erheben von Daten in computerbasierten Netzwerken (Batinic, 2004) Erweiterung der gängigen Forschungsmethoden umfangreiche Gestaltungsmöglichkeiten und Features (Reaktionszeitmessung, Filterfragen, Bilder, Filme, Ausfüllkontrollen, direkter Datenexport, Fortschrittsanzeige, Zugangsbeschränkungen, randomisierte Zuweisung, etc.) eher geringere Verbreitung von Umsetzungswissen und Werkzeugen zur Online- Forschung Kenntnisse des Untersuchungsgegenstandes, der Methode und der Technik nötig

5 Erhebungsverfahren in computerbasierten Netzwerken Reaktive Verfahren: Online-Fragebogenuntersuchungen, WWW- Experimente, Online-Interviews, Gruppendiskussionen im WWW-Chat Nicht-reaktive Verfahren: Analyse von Protokolldateien zur Server-Aktivität, Beobachtungen in virtuellen Welten

6 Kernmerkmale von Fragebogenuntersuchungen im WWW (nach Bosnjak & Batinic, 2000) Asynchronität (Zeitunabhängigkeit der Befragung) Alokalität (Ortsunabhängigkeit der Befragung) Automatisierbarkeit der Durchführung und Auswertung Dokumentierbarkeit (Daten über Befragungszeitpunkt, Dauer, Unterbrechungen, usw.) Flexibilität (Integration unterschiedlicher Medientypen) Objektivität der Durchführung und Auswertung Ökonomie (hinsichtlich Zeit und Kosten)

7 Weitere Vorteile des Internets als Untersuchungsmedium Mulitidimensionalität (Fragebögen sind um die dritte Dimension zu virtuellen Realitäten erweiterbar) Vermeidung von Medienbrüchen Verfügbarkeit von non-reaktiven Daten (Navigationsverhalten, Drop-Out-Analyse!) Randgruppen können relativ einfach erreicht werden Erleichterung der Untersuchung von strafbarem oder gesellschaftlich unterwünschtem Verhalten vollständige Anonymität

8 Schwächen browserbasierter Online-Untersuchungen Grenzen beim Einlesen von Daten von Schnittstellen am Client (z.b. physiologische Messungen) und bei Aufgaben bei denen Ladegeschwindigkeiten eine Rolle spielen können (Leistungstests) Funktionstüchtigkeit von Client-Rechner, Internet und Server Angst vor und Vertrautheit mit neuen Technologien Umgebungsbedingungen/Zustand der Teilnehmer größere Variabilität (Monitor, PC-Ausstattung, Anwesenheit anderer, Ort,...) kaum Möglichkeiten zur Rücksprache bei Unklarheiten oder Nachbesprechung Abbruch bei Versuchsleiterabwesenheit wesentlich wahrscheinlicher mangelnde Kontrolle über Probanden und Situation Selektionsverzerrungen

9 Verfahrensvergleich mit traditionellen Datenerhebungsverfahren populationsbeschreibende Aussagen, die eine repräsentative Stichprobe benötigen, sind auch mit Hilfe des Internets nicht umzusetzen, geringere Rücklaufzeit bei Befragungen im Vergleich zu PP-Fragebogen, bei offenen Fragen kein Unterschied hinsichtlich der Anzahl produzierter Wörter, sign. geringere Anzahl sozial erwünschter Antworten, Überlegenheit bezüglich fehlerhaft oder nicht beantworteter Items bei elektronischer Befragung, vergleichbare Validität.

10 Sicherung der Datenqualität (nach Gräf, 1999) Technische Erfordernisse bedenken. Formulierungen nach den Regeln der empirischen Sozialforschung. Glaubwürdige Kommunikation mit den Respondenten herstellen. Aufmerksamkeit erzeugen und wach halten. Anspruchsvolles Design verwenden und Usability-Kriterien umsetzen. Zentrale Textstellen hervorheben. Matrixfragen vermeiden. Fragebögen kurz halten. Filterfragen einsetzen. Pretest durchführen.

11 Fehler bei Online-Untersuchungen (nach Gräf, 1999) handwerkliche Fehler (z.b. überlappende Antwortkategorien, vorselektierte Kategorien bei Radio-Buttons oder Select- Boxen,...) Gestaltung (soll interessant sein um Aufmerksamkeit zu erhalten, häufig zu lange FB, Übertragung muss rasch erfolgen,...) Usability-Forschung (es wird auf hervorgehobene Textpassagen geachtet, es werden nur wenige Satzfragmente wahrgenommen, geringere Lesegeschwindigkeit bei Bildschirmtexten, Text darf nicht die ganze Bildschirmbreite einnehmen, Matrixfragen in Tabellenform sind ungeeignet,...)

12 Rekrutierungsverfahren im Internet Freie Rekrutierung (Werbung an möglichst vielen Stellen im Internet; kostengünstig, zeitaufwendig), Rekrutierung auf Basis vorhandener Adressenlisten und die Rekrutierung mit Hilfe von online-panels, online-werbung (z.b. Bannerwerbung, etc.,verspricht jedoch nur geringe Ausschöpfungsquoten und geht mit hohen Kosten einher).

13 Aktive und passive Rekrutierung Aktive Rekrutierung: aus einem Verzeichnis aller Personen der intendierten Population werden zufällig Teilnehmer ausgewählt - nur diese zuvor festgelegten Personen werden zur Teilnahme eingeladen (möglichst persönlicher Aufruf) eher selten, da Verzeichnis aller Personen meist nicht vorhanden ist möglich bspw. über Communities, Pannels, , etc. Passive Rekrutierung (Selbstauswahl): die Teilnahme ist prinzipiell für alle Personen der Population zugänglich Aufruf über Werbebanner, Newsgroups, Diskussionsforen, Schneeballsystem via , Eintrag in Suchmaschinen, etc. Probleme: Mehrfachteilnahme, Stichprobenverzerrung, etc. beachten: Kollegen, Gestaltungseffekte, angepasste Vergabe von Incentives, Vermeiden von systematischem Drop-Out, Strategien um Lurker ( passive Leser in Newsgroups geben über sich selbst nichts preis) zu identifizieren.

14 Besonderheiten bei der Rekrutierung über das Internet Unit Non Response (Aufruf erhalten, jedoch keine Teilnahme) Selbstselektion (Anteil professioneller Befragungsteilnehmer steigt Repräsentativität?) Volunteer Bias ( Freiwilligenbias ; annähernd Gleichverteilung von Männern und Frauen über dieses Medium) Gestaltung (Teilnehmermotivation) Feldzeit/Schnelligkeit der Teilnahme (Feldzeiten von mehr als 6 Tagen sind nicht notwendig danach evt. Erinnerungsschreiben; davor High-User-Bias) Unbemerkte Mehrfachteilnahme (IP-Adresse) Kollegen/Professionals (über Fragen identifizieren, z.b. meine Ergebnisse nicht berücksichtigen ) Systematischer Drop-Out

15 Ethische Richtlinien bei der Verwendung von Internettechnologie öffentliche Untersuchungen tragen zur Meinungsbildung über und zum Image von Psychologen bei datenschutzrechtliche Bestimmungen beachten (IP-Adresse untersch. diskutiert; personenbezogene Daten anonymisieren) Schutz der Daten vor Dritten durch technische Verfahren (SSL- Secure Sockets Layer) bei sensiblen Inhalten bei Versuchsleiterabwesenheit: Hinweis zur Kontaktmöglichkeit, Bedeutung/Zweck der Untersuchung nur so viele Teilnehmer rekrutieren, wie für die Fragebeantwortung tatsächlich nötig sind (Kraut et al., 2004), auch wenn via Internet die Rekrutierung einfach und kostengünstig ist

16 Aufrufgestaltung Förderlich für einen gelungenen Aufruf sind: die Besonderheit des Aufrufs (ansprechend, evt. persönliche Anrede) evt. Incentives bieten (Verfälschung beachten) kein Medienbruch (bessere Rücklaufquoten) Teilnahmeaufruf wiederholen

17 Aufrufgestaltung Prestige (Autoren, Layout, Titel der Studie, etc.) Gestaltung (soll Interesse wecken und graphisch ansprechend sein) Aufwand möglichst gering halten (die Mehrheit der Teilnehmer investiert zw Minuten für eine wissenschaftliche Untersuchung) Passwörter sind Hürden und senken die Teilnehmerzahl Berücksichtigung unterschiedlicher Browser Ladezeiten berücksichtigen Fortschrittsanzeigen einbauen

18 Gestaltung der Fragen und des Antwortformates Fragen und Antwortmöglichkeiten sollen klar ersichtlich beieinander stehen Orientierung linksbündig Antwortmöglichkeiten übersichtlich gestalten Frage und AWM müssen auf einer Bildschirmseite - auch bei niedrigerer Auflösung - Platz finden Radiobuttons (lassen nur eine Alternative zu), Checkboxen (mehrere Antworten auf eine Frage zulässig), Select-Listen bzw. Drop Down Listen (sind platzsparend); Achtung: keine Alternative automatisch vorschlagen

19 Einschub: Erstellung eines Online Fragebogens Grundkenntnisse: HTML (HyperText Markup Language zur Definition des grundsätzlichen Aufbaus einer Web-Site), PHP, Java Script (z.b.: Eingabeüberprüfung), Datenbank oder sonstige Speicherung, FTP (File Transfer Protocol) / SSH (Secure Shell) sichere verschlüsselte Verbindung zwischen zwei Rechnern Editoren: WYSIWYG Editoren (z.b. Frontpage kaum HTML Kenntnisse nötig, längere Ladezeiten, etc.) Quelltexteditoren (z.b. phase 5, Kenntnisse in HTML nötig, leicht zu besorgen, etc.) Dateien in den html-ordner des Unet-Accounts speichern (

20 Einschub: Erstellung eines Online Fragebogens Hilfe im Netz: (webspace) (HTML-Referenz) (Farbauswähler) Datenbank anlegen:

21 Datenspeicherung möglichst wenig manuelles Nachbearbeiten anstreben Speicherung in ein Textfile oder in eine Datenbank (z.b. MySQL, Oracle,...) Textfile: einfach zu programmieren, keine zusätzlichen Programme nötig, sequentielle Speicherung (Problem bei Verwendung der Funktion Zurück / Aktualisieren ) Datenbanken: müssen installiert sein, Vorteil ist der direkte Zugriff auf einzelne Variablen, Speicherung in einem Format, das direkt vom Auswertungsprogramm verarbeitet werden kann großer Vorteil

22 Fragebogengeneratoren sozialwissensch. Kenntnisse & technologisches Wissen aus Informatik nötig; Abhilfe: Fragebogengeneratoren Überblick über FBG: Bsp.: WWW-Fragebogen-Generator (WGF) von Batinic, Puhle und Moser (1997) Modul A: Erstellen und Veränderung eines HTML- Fragebogens Modul B: zum Versenden und Speichern der Daten Modul C: zur Weiterverarbeitung der Daten

23 Abschluss/Ausblick Problem der fehlenden Generalisierbarkeit (soziodemographische US zw. Internetnutzern) Methodenwahl bedenken darf nicht Selbstzweck sein eigenständige Betrachtung von Online Untersuchungen/spezifische Reaktionen der Probanden/innen zukünftig weitere Popularität von Online Research und Entwicklung neuer Erhebungsverfahren Aneignung von Techniken von Online Research

24 Literaturauszug zum Thema Batinic, B., Werner, A., Gräf, L. & Bandilla, W. (Hrsg.) (1999). Online Research. Methoden, Anwendungen und Ergebnisse. Göttingen: Hogrefe. Batinic, B. (Hrsg.) (2000). Internet für Psychologen. Göttingen: Hogrefe. Janetzko, D. (Hrsg.) (2002). Das experimentalpsychologische Praktikum im Labor und WWW. Göttingen: Hogrefe. Mangold, R., Voderer. P. & Bente G. (2004). Lehrbuch der Medienpsychologie. Göttingen: Hogrefe. Österreichisches Datenschutzgesetz (2000). [Online im Internet]. URL: Deutsche Gesellschaft für Online-Forschung: [Online im Internet]. URL:

25 Danke für die Aufmerksamkeit!