Automatische Fragebogenerfassung Testresultate. Zürich, November 2012

Transkript

1 Testresultate Zürich, November 2012

2 2 Prozess der Fragebogenerfassung CH-8832 Wollerau Erstverarbeitung Ausgefüllte Fragebögen gehen bei Kunz & Huber ein, werden gescreent und zu Kaiser Data weitergeleitet Scanprozess Fragebögen werden vorbereitet und gescannt Geschwindigkeit: ca. 30 A3-Bögen/Min. Verarbeitung von offenem Text Software verwaltet Bildausschnitte der offenen und ermöglicht effiziente Texteingabe Finaler Datensatz Fertiger SPSS-Datensatz und alle Fragebögen als PDF Lieferung per FTP oder als CD Optional: Instant Feedbacks Während der Feldphase: Scanning-Prozess zweimal pro Woche Lieferung der Daten und PDFs per FTP

3 3 Test des Scanning-Verfahrens Probeerfassung: 100 Fragebögen à 78 Fragen aus der Kundenumfrage 2011 einer mittelgrossen Bank (7800 Werte) Vergleich des automatischen Scanning (Kaiser Data) mit der manuell doppelten Dateneingabe eines Instituts Resultat: 100 abweichende Werte 7700 korrekt erfasste Werte Automatisches Scanning (Kaiser Data) Doppelte manuelle Eingabe (Institut) Falsch erfasst 9 Werte 2 Werte Fragebogenlogik verletzt (einfach korrigierbar) 89 Werte Anzahl unbekannt

4 4 Aufgetretene Fehler Art Typ/Auftreten Beschreibung offenen Undeutliche Angaben bei offenen Fragen Falsch erfasst (9 Fehler) geschlossenen Durchstreichen von Fragen über Antwortboxen Kommentare/ungültige Kreuze auf Antwortboxen Kreuze zwischen Antwortboxen Flecken auf Antwortboxen Fragebogenlogik verletzt (89 Fehler) gefilterten abhängigen von im Zusammenhang stehenden Variablen inkonsistent (Filter ignoriert) Fehlende Konsistenz zwischen geschlossenen und dazugehörenden offenen

5 5 Fehler durch falsche Erfassung Typ spiele Beschreibung offenen 2 statt angegebener 3 erfasst (vgl. spiel) 5 statt angegebener 4-5 erfasst Durchgestrichene Antwortbox als Antwort erfasst Kommentar über Antwortbox als Antwort erfasst geschlossenen Eigentlich ungültiges Kreuz als Antwort erfasst Kreuz zwischen Antwortboxen nicht erfasst Fleck (z.b. durch Antippen des Papieres mit Stift) auf Antwortbox als Antwort erfasst

6 6 Fehler bei verletzter Fragebogenlogik Typ spiele Beschreibung gefilterten Trotz Angaben in der offenen Frage nein in geschlossener Frage erfasst korrekt: Antwort auf ja setzen Obwohl keine Verärgerung besteht, Antwort in Frage zu Beschwerde erfasst korrekt: Antwort auf keine Angabe setzen Wenn gar nicht angekreuzt wurde, ist die Anzahl Kontakte auf 0 zu setzen abhängigen Wenn möchte ich nicht sagen leer und keine Bank genannt ist, sind beide auf keine Angabe zu setzen

7 7 Vermeiden der Erfassungsfehler Fehlertyp Beschreibung Lösungen & Status Falsch erfasst offenen geschlossenen Undeutliche Angaben bei offenen Fragen Durchstreichen von Fragen über Antwortboxen Kommentare/ungültige Kreuze auf Antwortboxen Kreuze zwischen Antwortboxen Flecken auf Antwortboxen Grösseres Scanningfeld Boxen zum Einfügen von Zahlen: Prescreening Prescreening Prescreening/Validierung 1 Prescreening/Validierung 1 Tiefenscreening/Validierung 1 Fragebogenlogik verletzt gefilterten abhängigen von im Zusammenhang stehenden Variablen inkonsistent (Filter ignoriert) Fehlende Konsistenz zwischen geschlossenen und dazugehörenden offenen Standard Datacleaning 1 Validierungsprozess: Wenn zwei Kreuze oder gar kein Kreuz vorhanden sind, wird die betreffende Frage manuell überprüft und allenfalls korrigiert Fehler effizient vermeidbar Nur mit hohem Aufwand vermeidbar

8 8 Wirksamkeit von Datacleaning und Prescreening Automatisches Scanning (Kaiser Data) Doppelte manuelle Eingabe (Institut) Falsch erfasst 9 Werte 2 Werte Fragebogenlogik verletzt 89 Werte Anzahl unbekannt Datacleaning Datacleaning Fragebogenlogik verletzt 0 Werte 0 Werte Prescreening Prescreening Qualität des automatischen Scanning mindestens gleichwertig zu doppelter manueller Eingabe Falsch erfasst 1 Wert 2 Werte

9 9 Vorschläge für einen optimalen Scanning-Prozess Ebene Vorschläge Format & Checkliste Hohe Qualität des Papiers (glatt und homogen) Fragebogen insgesamt Hoher Kontrast (am besten hellweisses Papier) Fünf oder mehr Justierpunkte pro Seite ideal Sprachversion an festem Merkmal erkennbar spiele: Kundenumfrage de 10 leere Fragebogen pro Typ/Sprache/Version Quadratische Antwortboxen zwingend Antwortfelder Ausreichende Grösse der Boxen (ca. 3x3 mm) Schwarze durchgehende Linie in Stärke 1 Punkt 3 mm (min. 2.5 mm) 3 mm (min. 2.5 mm) Stärke: 1 Punkt In schattierten Zeilen weisse Antwortboxen Ideal: Zahlenangaben ein Feld pro Stelle Anzahl Kontakte: obligatorisch empfehlenswert

10 Löwenstrasse 22 CH-8001 Zürich Florian Kaunzinger Bernhard Kunz