Pretesting: Theorie und Praxis!

Pretesting: Theorie und Praxis! Pretesting-Methoden-Workshop 21. September 2015, Fakultätszentrum für Methoden der Sozialwissenschaften, Universität Wien! Michael Ochsner!

Struktur!! Wieso Pretesting?! Typologien von Pretesting! Eigene Typologie: Wann welche Methode?! Beispiel aus der Praxis! Pretests und Kosten! Pretests und Forschung! 3!

Wieso Pretesting?! Identifizierung von Problemen der Messinstrumente! Missverständliche Formulierungen! Unbekanntheit der zu untersuchenden Konzepte! Übersetzungsfehler! Entdeckung von Fehlern im Ablauf des Fragebogens! Filterführungen! Länge des Fragebogens, Ermüdung! Anschreiben, Rücklauf, Erreichbarkeit, Mode! Erkenntnisse über Schwierigkeiten im Bezug auf die Studie! Soziale Erwünschtheit! Sensible Themen! 4!

Typologie 1 (Scheuren, 2004, ASA)! Vor Feldphase! Ziel: Sicherstellen, dass die Konzepte verstanden warden! Methoden:! Feldphase! Respondenten Fokusgruppen! Kognitive Interviews! Ziel: Sicherstellen, dass der Fragebogen funktioniert! Methoden:! Qualitativ:! Behaviour Coding, Respondent Debriefing, Interviewer Debriefing! Quantitativ:! Split-Sample Tests, Item-Nonresponse Analysen, Analysen der Antwortverteilungen! 5!

Typologie 2 (Presser et al., 2004)! Konventionelle Pretests (Feldtests)! Quantitativ: Analyse von Antwortverteilungen! Qualitativ: Interviewer Debriefings! Zweck: offensichtliche Probleme beheben! Nachteil: basieren auf Intuition! Neue Methoden! Kognitive Interviews! Erweiterungen konventioneller Pretests! Behavior Coding, Response Latency, Respondent Debriefings, Vignettes! Experimente (um Änderungen zu testen)! Statistical Modeling! 6!

Typologie 3 (Campanelli, 2008)! Schritt 1: informelles Testing! Sich selbst vorlesen, Mock Interviews! Schritt 2: Experten! Expert review vs. systematische Durchsicht! Schritt 3: Kognitive Interviews! Schritt 4: Feldtest! Respondent Debriefings, Behavior Coding! 7!

Typologien! Scheurens Typologie ist etwas theoretisch! Konzepte und Fragebogen als Ziele! Fehlen von: Anschreiben, Kontaktnahme, Modus, Programmierung und andere technische Aspekte! Typologie von Presser et al. ist etwas unsystematisch (konventionell vs. neu, plus anderes ) dafür umfassend! Campanellis Typologie basiert auf der konkreten Arbeit. Allerdings fehlen die eher organisatorischen Schritte! 8!

Stand der Forschung! Wenig Systematisches! Gesunder Menschenverstand! Resultate manchmal trivial! ex-ante methods point out what could go wrong [ ] whereas the behavior codes and sequence analyses reveal what actually did go wrong. (Presser et al., 2004, S. 116, Hervorhebungen im Original)! Kombination von Methoden am besten! Vignettes, formale Debriefings grundsätzliche besser als Behavior Coding oder Response Latency! Wenig zur Verbindung zwischen Problemerkennung und Problemlösung (Presser et al., 2004, S. 125)! 9!

Eigener Versuch einer Typologie! Methoden für die Frühphase (Itementwicklung)! Methoden für die Feinabstimmung (Funktionieren der Items)! Methoden für technischen Ablauf! Methoden für die Feldphase! Nach der Feldphase ist vor der Feldphase! 10!

Methoden für die Frühphase! Mock Interviews! Wann: neue Fragen! Wofür: Formulierungen, Verständnis, Antwortskala! Expertenmeinung(en)! Wann: neue Fragen! Wofür: Konzepte vollständig erfasst! Pilotstudie (quantitativ)! Wann: neue Fragen, neuer Fragebogen! Wofür: Testen vom Ablauf, inkl. Anschreiben, Durchführung, Modus, Experimente mit verschiedenen Formulierungen, offenen Fragen etc., empirische Analysen (Dimensionen, Validität, Reliabilität)! Response Latency, Verteilungsanalysen, Nonresponse-Analysen, Strukturgleichungsmodelle und andere empirische Methoden! 11!

Methoden für die Feinabstimmung! Kognitive Interviews! Wann: Erste Version einer neuen Fragebatterie, Übersetzungen bestehender Fragen, Ablauf/Reihenfolge eines Fragebogens! Wofür: Erkennen von Missverständnissen, Fehlinterpretationen, Beeinflussung durch Reihenfolge, sensible Themen! Experimente (quantitativ)! Wann: Frageformulierungen bestehen, Übersetzungen, Reihenfolge! Wofür: Verschiedene Versionen von Fragen, Reihenfolge, Tests für Felddokumente (Anschreiben, Organisation)! Experimente (qualitativ)! Wann: Fragebogen besteht, Übersetzungen! Wofür: Erkennen von Unklarheiten, Soziale Erwünschtheit! 12!

Methoden für technischen Ablauf! Programmierungstest! Wann: Fragebogen steht fest, technische Umsetzung! Wofür: Filterführung, Rechtschreibung, Usability! Szenario-Tests! Wann: Kompliziertes Fragebogen-Design! Wofür: Komplexe Filterführung, Usability! Feldmanagement-Tests! Wann: Automatisierte Methoden des Feldmanagements! Wofür: Technischer Ablauf des Panelmanagements (Testen des Versandes/Anrufsteuerung)! 13!

Methoden für Feldphase! Pre-Test im Feld (quantitativ)! Wann: Fragebogen ist fertig und bereit für Feldphase! Wofür: letzte Probleme entdecken (Filter, Nonresponse, Response Latency)! Pre-Test im Feld (qualitativ)! Wann: Fragebogen ist fertig und bereit für Feldphase! Wofür: Erkennen von ungenügenden Instruktionen, Sozialer Erwünschtheit, Sensible Fragen, Vorbereitung für Interviewerschulung! 14!

Beispiel Experiment mit offener Frage! Ethnische Gruppe! In Angelsächsischen Ländern in täglichem Gebrauch! In der Schweiz gar nicht üblich, wird oft nicht verstanden! In internationalen Fragebögen Druck zur Implementierung! Geschlossene Fragen werden beantwortet! Ziel: a) Was würden BewohnerInnen der Schweiz spontan sagen? b) verwirrt der Ausdruck ethnisch?! Experiment mit offener Frage und zwei Formulierungen, einmal mit und einmal ohne ethnisch.! 15!

Kategorisierung (Guttman) und Beispiele! ESS: European Standard Classification of Cultural and Ethnic Groups (Kategorie 3)! SchweizerIn, Deutschschweizer, Romanisch, Holländer, Jude! Ethnische Grupoe, übliche Nutzung in FB (Kategorie 2)! Katholik, English-speaking people, Christ, Ausländer! Eidgenosse, Secondo! Ostschweizer, Südöstliche Alpen, Berner! Europäische Kultur, Caucasian, weiss! Ethnische Gruppe, breite Definition (Kategorie 1)! Klassischer Bünzli-Schweizer! Cosmopolitan Swiss, Traditionalist, Religion, Kultur, Sprache! Nicht-ethnische Gruppe (Kategorie 0)! Bürger, die Steuern zahlen, Bohème, Mittelklasse, urban,! Familie, Verein, Biker, Jugend! 16!

Beispiel Ethnische Gruppe! Item Resp. R. Ethnic breite Def. Ethnic, in FB üblich ESS Klassifika=on N N % N % Resp % Total N % Resp % Total N % Resp % Total Split A 328 91 0.28 1. Nennung 56 0.62 0.17 31 0.34 0.09 15 0.16 0.05 1. oder 2. 60 0.65 0.18 34 0.37 0.10 18 0.20 0.05 1. und 2. 53 18 0.34 0.05 8 0.15 0.02 2 0.04 0.01 Split B 334 87 0.26 1. Nennung 78 0.90 0.23 75 0.86 0.22 39 0.45 0.12 1. oder 2. 80 0.91 0.24 75 0.86 0.22 44 0.50 0.13 1. und 2. 29 22 0.76 0.07 21 0.72 0.06 5 0.17 0.01 Total 662 180 0.27 1. Nennung 134 0.75 0.20 106 0.60 0.16 54 0.30 0.08 1. oder 2. 140 0.78 0.21 109 0.61 0.16 62 0.34 0.09 1. und 2. 82 40 0.49 0.06 29 0.35 0.04 7 0.09 0.01 17!

Pretests und Kosten! Grundsätzlich: Möglichst viel testen! Methodenkombinationen! Änderungen sollten auch getestet werden! Praxis: Budgets sind beschränkt! Kombination verschiedener Methoden! Experimente mit Interviewer und Respondent Debriefings! Übersetzungen mit Teams aus anderen Ländern absprechen! 18!

Diskussion! Viele verschiedene Methoden verwenden! Nicht nur Probleme identifizieren, sondern auch lösen (Zeitpunkt, Möglichkeiten im Blick behalten)! Überlegt einsetzen (in welcher Phase welches Instrument? Was will ich für Fehler entdecken?)! Pretests immer auch für Forschung nutzen! Einführung von Experimenten in Pilotstudien! Kognitive Interviews zu einer bestimmten Fragestellung! Anschreiben, Anreize und andere organisatorische Dinge experimentell mittesten! Kostensparend, Synergien nutzen! 19!

Literatur (unvollständige Auswahl, 1/3)! Systematische Überblicke! Campanelli, P. (2008). Testing survey questions. In E. D. de Leeuw, J. J. Hox & D. A. Dillman (eds.), International Handbook of Survey Methodology. New York, NY: Lawrence Earlbaum! Lessler, J. T., & Kalsbeek, W. D. (1992). Nonsampling error in surveys. New York, NY: Wiley.! Presser, S., Couper, M., Lessler, J. T., Martin, E., Martin, J., Rothgeb, J. M., & Singer, E. (2004). Methods for testing and evaluating survey questions. Public Opinion Quarterly, 68(1), 109-130.! Scheuren, F. (2004). What is a survey? Pamphlet of the American Statistical Association. Retrieved from:! Presser, S., Rothgeb, J. M., Couper, M., Lessler, J. T., Martin, E., Martin, J., & Singer, E. (eds.) (2004). Methods for testing and evaluating survey questionnaires. New York, NY: Wiley! Effekte/Wirkungen/Evaluation von Pre-Testing! Conrad, F., & Blair, J. (2004). Data quality in cognitive interviews. In S. Presser, J. M. Rothgeb, M. Cooper, J. L. Lessler, E. Martin, J. Martin, & E. Singer (eds.), Methods for testing and evaluating survey questionnaires. New York, NY: Wiley! Presser, S., & Blair, J. (1994). Survey pretesting: Do different methods produce different results? Sociological Methodology, 24, 73-104.! 20!

Literatur (unvollständige Auswahl, 2/3)! Methodenbeschreibungen! Bassili, J., & Scott, S. (1996). Response latency as a signal to question problems in survey research. Public Opinion Quarterly, 60, 390-399.! Cannell, C. F., Oksenberg, L., Kalton, G., Bischoping, K., & Fowler, F. J. (1989). New techniques for pretesting survey questions (Final Report). Bethesda, MD: National Information Center for Health Services Research and Health Care Technology Assessment (NICHSR). Retrieved from: http://www.psc.isr.umich.edu/dis/infoserv/ isrpub/pdf/newtechniquespretestingsurveyquestions_ocr.pdf! Dillman, Don A. (2000). Mail and internet surveys: the tailored design method. 2nd ed. New York, NY: Wiley.! Draisma, S., & Dijkstra, W. (2004). Response Latency and (para)linguistic expressions as indicators of response error. In S. Presser, J. M. Rothgeb, M. Cooper, J. L. Lessler, E. Martin, J. Martin, & E. Singer (eds.), Methods for testing and evaluating survey questionnaires. New York, NY: Wiley! Fowler, F. J., & Cannell, C. F. (1996). Using behavioral coding to identify cognitive problems with survey questions. In N. Schwarz & S. Sudman (eds.), Answering questions: methodology for determining cognitive and communicative processes in survey research (S. 15-36). San Francisco, CA: Jossey-Bass.! 21!

Literatur (unvollständige Auswahl, 3/3)! Methodenbeschreibungen (Fortsetzung)! Goerman, P.L., & Caspar, R. A. (2010). Managing the Cognitive Pretesting of Multilingual Survey Instruments: A Case Study of Pretesting of the U.S. Census Bureau Bilingual Spanish/ English Questionnaire. In J. A. Harkness, M. Braun, B. Edwards, T. P. Johnson, L. Lyberg, P. Ph. Mohler, B.-E. Pennell, & T. W. Smith (eds.), Survey methods in multinational, multiregional, and multicultural contexts (S. 75-90). Hoboken, NJ: Wiley.! Hansen, S. E., & Couper, M. (2004). Usability testing to evaluate computer-assisted instruments. In S. Presser, J. M. Rothgeb, M. Cooper, J. L. Lessler, E. Martin, J. Martin, & E. Singer (eds.), Methods for testing and evaluating survey questionnaires. New York, NY: Wiley! Presser, S., Rothgeb, J. M., Couper, M., Lessler, J. T., Martin, E., Martin, J., & Singer, E. (eds.) (2004). Methods for testing and evaluating survey questionnaires. New York, NY: Wiley! Pan, Y., Landreth, A., Park, H., Hinsdale-Shouse, M., & Schoua-Glusberg, A. (2010). Cognitive Interviewing in Non-English Languages: A Cross-Cultural Perspective. In J. A. Harkness, M. Braun, B. Edwards, T. P. Johnson, L. Lyberg, P. Ph. Mohler, B.-E. Pennell, & T. W. Smith (eds.), Survey methods in multinational, multiregional, and multicultural contexts (S. 91-113). Hoboken, NJ: Wiley.! 22!

Vielen Dank für Ihre Aufmerksamkeit!! FORS Géopolis CH-1015 Lausanne! www.forscenter.ch! Michael.Ochsner@fors.unil.ch! 23!