Webinar 27. März Datenqualität ein ernstzunehmendes Problem?

Transkript

1 Webinar 27. März 2018 Datenqualität ein ernstzunehmendes Problem?

2 Inhalte 2 1 Problematik Datenqualität 2 Qualitätssicherungsmaßnahmen bei SKOPOS

3 Datenqualität 3 Mangelnde Datenqualität ein Problem in der Marktforschung? Korrektheit der Daten Genauigkeit der Daten Konsistenz der Daten Gefälschte Interviews Vollständigkeit der Daten Identität der Befragten Manipulierte Umfragen sind keine Ausnahme. (SPIEGEL 02/2018)

4 Datenqualität 4 Felddienstleistungen werden in der Regel extern beauftragt und sind somit der fehleranfälligste Abschnitt im Projektverlauf. 1 Projekt- Setup Fragebogenkonzeption 2 Datenerhebung 3 Wird die Umfrage sachgemäß durchgeführt? Nehmen echte Befragte teil oder sind die Ergebnisse gefälscht? Analyse und Interpretation der Daten Ergebnisbericht Ableitung von Handlungsempfehlungen Entscheidungen auf Basis der Daten

5 Inhalte 5 1 Problematik Datenqualität 2 Qualitätssicherungsmaßnahmen bei SKOPOS

6 ISO-Zertifizierung 6 Als achtes Institut in Deutschland ist seit auch SKOPOS nach der Marktforschungsnorm ISO 20252:2012 zertifiziert. Branchenspezifische Zertifizierung für die Markt-, Meinungs- und Sozialforschung Arbeiten nach hohen Qualitätsstandards Regelmäßige Re-Audits zur Überprüfung der Einhaltung

7 Allgemeine Qualitätsnormen und Prozesse bei SKOPOS 7 Forschungsprozesse werden durch folgende Maßnahmen kontrolliert und damit ein definierter Qualitätsstandard nach internationaler Norm geschaffen. 4-Augen-Prinzip 1. Qualitätsmanagementsystem Interne Prüfungen stellen sicher, dass die aktuelle Norm angewendet und Projektschritte ständig optimiert werden Festhalten projektspezifischer Learnings Interne Audits Beschwerde-Management Kundenzufriedenheitsbefragungen Standards bei Programmierung, Codierung und Datenbereinigung 2. Eingesetztes Personal Alle Mitarbeiter kennen die Regeln und dokumentierten Verfahren und Methoden 3. Datenschutz Vorschriften des Bundesdatenschutzgesetzes (BDSG) Richtlinien der deutschen Markt- und Sozialforschungsverbände

8 Qualitätssicherungsmaßnahmen im Projektverlauf 8 Qualitätssicherungsmaßnahmen finden im gesamten Projektverlauf statt, um eine hohe Datenqualität sicherzustellen. Projekt-Setup Auswahl externer Dienstleister Datenerhebung Kontrolle der Feldarbeit Datenbereinigung

9 Qualitätssicherungsmaßnahmen vor Projektbeginn 9 Bereits im Projekt-Setup wird die Basis für hohe Qualitätsstandards gelegt. Machbarkeitsabschätzung Ist die Studie durchführbar? Ist die Zielgruppe realistisch? Ausführliche Beratung Welche Methode ist geeignet? Wie hoch sollte die Fallzahl sein? Beauftragung Felddienstleister Werden Feldpartner benötigt? Vergleich verschiedener Angebote

10 Auswahl externer Dienstleister 10 Externe Dienstleister werden gezielt ausgewählt und nach Projektabschluss hinsichtlich relevanter Kriterien bewertet. Auswahl von Dienstleistern Sicherstellung der Qualität Bewertung von Dienstleistern Schritt 1: Erfahrungsaustausch im internen Netzwerk ggf. Suche bei Verbundseiten Schritt 2: Unternehmensvorstellung des neuen Dienstleisters Es muss entweder ein Vertrag bestehen, der die Standards des Arbeitens nach Norm enthält oder der Dienstleister einen Beweis für die ordnungsgemäße Überprüfung und Validierung der Leistung nach internationaler Norm vorlegen SKOPOS prüft alle Dienstleister auf ihre Qualität Standardisierte Bewertung von Dienstleistern nach Projektabschluss Zuverlässigkeit (z. B. Kommunikation, Qualität des Ansprechpartners) Qualität der Datenlieferung Eingehaltenes Timing Preiswürdigkeit

11 Datenerhebung 11 Externe Dienstleister und SKOPOS-Mitarbeiter verfügen über die für die Durchführung der Befragung notwendigen Kompetenzen. Erhebung durch externen Dienstleister Erhebung durch SKOPOS Verpflichtung, die Anforderungen der internationalen Norm ISO 20252:2012 einzuhalten Schulung von SKOPOS-Mitarbeitern vor Erstantritt eines Interviewer- oder Moderationsauftrages Interviewerausweis Dokumentation des Rekrutierungsprozesses Interviewer-Briefing Datum und Dauer der Feldarbeit festhalten Dokumentation der Incentives Angabe über Subdienstleistung und Weitergabe Verpflichtungserklärung Fortlaufendes Feedback zur Art der Interviewführung durch den direkten Vorgesetzten Regelmäßige Beurteilung des Schulungsbedarfs und individuelle Auffrischung Interviewer-Steckbrief

12 Kontrolle der Feldarbeit 12 Je nach Erhebungsmethode greifen unterschiedliche Methoden zur Qualitätssicherung und Kontrolle der Identität der Teilnehmer. wenig Kontrolle notwendig viel Kontrolle notwendig Fokusgruppen Community Schriftlich Online Face-to-face Telefonisch Von SKOPOS-Mitarbeitern selbst moderiert oder ein Mitarbeiter ist während der gesamten Erhebung anwesend Identitätsprüfung (ebenso bei anderen Methoden) Bei gelieferten Kundenadressen automatisch gewährleistet, bei eigener Rekrutierung durch Screening inklusive Überprüfung, z.b. Vorzeigen des Fahrzeugscheins, der Urlaubsfotos oder gekaufter Produkte

13 Kontrolle der Feldarbeit 13 Je nach Erhebungsmethode greifen unterschiedliche Methoden zur Qualitätssicherung und Kontrolle der Identität der Teilnehmer. wenig Kontrolle notwendig viel Kontrolle notwendig Fokusgruppen Community Schriftlich Online Face-to-face Telefonisch Identitätsprüfung: bei gelieferten Adressen automatisch sichergestellt, bei eigener Rekrutierung durch Screening Vergleich der Angaben aus verschiedenen Aktivitäten kann Widersprüche aufdecken Live-Reporting gewährleistet volle Transparenz

14 Kontrolle der Feldarbeit 14 Je nach Erhebungsmethode greifen unterschiedliche Methoden zur Qualitätssicherung und Kontrolle der Identität der Teilnehmer. wenig Kontrolle notwendig viel Kontrolle notwendig Fokusgruppen Community Schriftlich Online Face-to-face Telefonisch Kennzeichnung der Fragebögen durch anonyme ID zum Ausschluss von Mehrfachteilnahmen Abfrage bereits bekannter Merkmale zum Abgleich

15 Kontrolle der Feldarbeit 15 Je nach Erhebungsmethode greifen unterschiedliche Methoden zur Qualitätssicherung und Kontrolle der Identität der Teilnehmer. wenig Kontrolle notwendig viel Kontrolle notwendig Fokusgruppen Community Schriftlich Online Face-to-face Telefonisch Störer- und Kontrollfragen IDs und IP-Adressen der Panelisten

16 Kontrolle der Feldarbeit 16 Je nach Erhebungsmethode greifen unterschiedliche Methoden zur Qualitätssicherung und Kontrolle der Identität der Teilnehmer. wenig Kontrolle notwendig viel Kontrolle notwendig Fokusgruppen Community Schriftlich Online Face-to-face Telefonisch Verschiedene Varianten zur Sicherstellung einer sachgemäßen Durchführung der Interviews: SKOPOS-Mitarbeiter führt die Interviews selbst durch SKOPOS-Mitarbeiter ist anwesend oder unangekündigt zu Kontrollzwecken vor Ort Mitarbeiter des Aufraggebers ist anwesend Zuordnung Interviewer zum Interview zum Abgleich mit Datum und Uhrzeit Supervision der Interviewer des Dienstleisters dokumentiert und versichert die Durchführung nach ISO-Norm

17 Kontrolle der Feldarbeit 17 Je nach Erhebungsmethode greifen unterschiedliche Methoden zur Qualitätssicherung und Kontrolle der Identität der Teilnehmer. wenig Kontrolle notwendig viel Kontrolle notwendig Fokusgruppen Community Schriftlich Online Face-to-face Telefonisch Je nach Stichprobenumfang werden 5-25% der Interviews zu mindestens 75% der Länge live bzw. im Nachhinein mitgehört Programmierung des Fragebogens auf dem SKOPOS-Server Supervisor ständig anwesende

18 Datenbereinigung 18 Vor der Datenauswertung findet eine standardisierte Datenbereinigung statt. Ausschluss aller kritischen Fälle Bei Interviewern mit Betrugsverdacht alle Interviews dieser Person Ausfälle werden durch Überrekrutierung von ca. 10% aufgefangen, notfalls muss nacherhoben werden

19 Datenbereinigung 19 Wie lassen sich kritische Fälle identizieren? Ungültige offene Angaben Ausschluss Ausschluss Kein Ausschluss

20 Datenbereinigung 20 Wie lassen sich kritische Fälle identizieren? Logikprüfungen Anzahl der Kinder > Personen im Haushalt? Dauer der Fernreise = 1 Tag? Einkommen = als Chefarzt?

21 Datenbereinigung 21 Wie lassen sich kritische Fälle identizieren? Kontrollfragen Heute ist Dienstag, welcher Wochentag war gestern? Klicken Sie nun bitte die 5 an.

22 Datenbereinigung 22 Wie lassen sich kritische Fälle identizieren? Speeder Dauer kürzer als 40% der Median-Befragungsdauer Flatliner Systematisches Antworten in Matrixfragen.....

23 Datenbereinigung 23 Wie lassen sich kritische Fälle identizieren? Auffällige Interviews Zeitliche Plausibilität nicht gegeben Auffälligkeiten in der Taktung Unterschiede zu Interviews anderer Interviewer Bei Interviewern mit Betrugsverdacht werden alle Interviews dieser Person ausgeschlossen

24 Kontakt 24 Jan Berlin Head of Research & Qualitätsbeauftragter von SKOPOS +49 (0)