Zum Forschungsprojekt. Stichprobenauswahl

Transkript

1 Der Fragebogen Datenbasis, Konstruktion und Auswertung Referenten: Julia Gerick Stephan Jarsinski Zum Forschungsprojekt Veröffentlichung: Kirchhoff, S., Kuhnt, S., Lipp, P. & Schlawin, S. (2008): Der Fragebogen. Datenbasis, Konstruktion und Auswertung. 4., überarbeitete Auflage. Wiesbaden: VS Verlag für Sozialwissenschaften. Im Mittelpunkt des Buches: Praxisrelevante Überlegungen Entscheidungen und Hürden, die sich im Laufe eines Forschungsprozesses ergeben Brücke zwischen Theorie und Praxis Julia Gerick & Stephan Jarsinski Julia Gerick & Stephan Jarsinski 3 Zum Forschungsprojekt Thema: Studienverhalten in den neuen und alten Bundesländern DFG-Projekt: von Anfang 1995 Ende 1996 Forschungsfragen: Wie sehen Dortmunder Studierende ihre Studiensituation? Welche Studienstrategien verfolgen sie? Welche fachkulturellen Unterschiede zeichnen sich ab? Julia Gerick & Stephan Jarsinski 4 Zum Forschungsprojekt Vergleichende Untersuchung der Studiengänge: Wirtschaftswissenschaft Pädagogik Maschinenbau Durchführung an der Uni Dortmund und FH Dortmund sowie TU Dresden Julia Gerick & Stephan Jarsinski 5 Stichprobenauswahl Auswahl der Grundgesamtheit: Wirtschaftswissenschaft, Pädagogik und Maschinenbau (Uni) sowie Wirtschaft, Sozialpädagogik und Maschinenbau/Werkstofftechnik (FH) Definition der Studierenden der sechs Studiengänge als Grundgesamtheit Julia Gerick & Stephan Jarsinski 6 Stichprobenauswahl Keine Vollerhebung möglich (zeitlich, finanziell) Anspruch: Zuverlässige Aussagen für über Dortmunder Studierende der ausgewählten Fachrichtungen Entscheidung: Studierende sollen zufällig ausgewählt werden Studierende sollen Fragebogen per Post erhalten Praktisches Problem bei Zufallsauswahl: Wie gelangt man an die Adressen der Studierenden? Hochschulverwaltung Systematische Auswahl: jeder zweite Studierende wird aus alphabetischer Liste gezogen Stichprobenauswahl Datenschutz von zentraler Bedeutung bei der Durchführung von Forschungsvorhaben Kann zum Scheitern von Projekten führen In der Literatur blieben datenschutzrechtliche Aspekte bis Ende der 90er Jahre so gut wie unbeachtet (Kirchhoff et al. 2008, S.17) Eine Strategie zur Aufrechterhaltung des Datenschutzes: Strikte Trennung zwischen Forscherteam und Adressenverwaltung Fragebogenerhebung: nicht-reaktives Erhebungsinstrument Vorsicht bei Fragebogenformulierung, denn man kann nicht nachfragen Beispiel: Frage nach Ehestand in einer Studierendenzeitung: Ledig 1561 Verheiratet 16 Weiß nicht Julia Gerick & Stephan Jarsinski Julia Gerick & Stephan Jarsinski Julia Gerick & Stephan Jarsinski 9

2 Fragetypen: 1. Meinungsfrage Frage nach persönlichen Einstellungen, Motiven, Werthaltungen Beispiel: Gründe für Wahl eines Studiengangs 2. Faktfrage bezieht sich auf konkreten Sachverhalt ermittelt Fakten Beispiel: Frage, in welchem Bundesland der Bildungsabschluss erworben wurde Fragetypen: 3. Verhaltensfrage Frage zum konkreten Tun der Befragten/Meinungsäußerungen Möglichkeit zur Überprüfung der Angaben bei Meinungsfragen Beispiel: Absicht eine Sprechstunde zu besuchen 4. Fragen zu sozialstatistischen/ demografischen Daten Beispiel: Alter, Geschlecht, Studienfach Frageformen: Geschlossene Fragen Jede mögliche Antwort ist vorgegeben Vorteile: Vergleichbarkeit der Antworten geringerer Zeitaufwand für den Befragten, leichtere Beantwortbarkeit geringer Aufwand bei der Auswertung Halboffene Fragen Offene Fragen Julia Gerick & Stephan Jarsinski Julia Gerick & Stephan Jarsinski Julia Gerick & Stephan Jarsinski 12 Besondere Fragetechniken: Filterfrage stehen vor einem Frageblock, der nur von bestimmten Personen beantwortet werden soll Gabelfrage Erweiterung der Filterfrage Trichterfrage Schrittweise vom Allgemeinen zum Besonderes Besonders bei heiklen Themen zu abweichendem Verhalten etc Julia Gerick & Stephan Jarsinski 13 Fragebogenaufbau: verständliche einleitende Instruktion mit einfachen Fragen zum Einstieg anfangen ( Eisbrecherfragen ) Spannungskurve Thematische Blockbildung Überleitungssätze zwischen thematischen Blöcken auf logischen Aufbau achten, große Gedankensprünge vermeiden sozialstatistische Angaben am Ende Julia Gerick & Stephan Jarsinski Die Verminderung des Wachstums der Umweltverschmutzung ist nur durch Aktivierung der Einzelinitiative nur durch staatlichen Zwang indizierbar Kurz, verständlich und hinreichend präzise Kurze, verständliche Fragen mit einfachen Worten, die hinreichend präzise erklärt sind Keine Bürokratensprache, Vermeidung von nicht Zielgruppen gerechten Fremdworten Julia Gerick & Stephan Jarsinski Wenn ick meene Piepen habe, da hol ick ma auf m Alex ne Wurscht! trifft zu trifft nicht zu Keine platten Anbiederungen Fragen in einfachem Hochdeutsch keine kumpelhafte Anbiederung durch Subkulturdialekt 3. Sind Sie gegen die Aufhebung der Anschnallpflicht bei Kindern? trifft zu trifft nicht zu Vermeidung von doppelter Verneinung Fragen nicht unnötigerweise verkomplizieren, da es leicht zu Missverständnissen kommen kann Zufallsantworten möglich 4. Kernkraftwerke verringern die Kosten der Stromerzeugung, stellen aber ein Sicherheitsrisiko dar. trifft zu trifft nicht zu weiß nicht Eindimensionalität wahren Antworten auf Mehrdimensionalität sind nicht eindeutig einer Zieldimension zurechenbar Julia Gerick & Stephan Jarsinski Julia Gerick & Stephan Jarsinski Julia Gerick & Stephan Jarsinski 18

3 4. Wann reformierte W. von Humboldt das preußische Schulwesen? vor Gründung des deutschen Kaiserreichs während der Gründung des deutschen Kaiserreichs nach Gründung des deutschen Kaiserreichs Eindimensionalität wahren Es wird zugleich nach zwei historischen Ereignissen gefragt Es wird bei Befragten korrektes Wissen attestiert, auch wenn Sie sich in einem doppelten Irrtum befinden. 5. Wie hoch ist Ihr monatliches Einkommen? Mehr als 0 Mehr als 1000 Mehr als Antwortkategorien disjunkt, erschöpfend und präzise Antwortkategorien: sollten zwischen verschiedenen Sachverhalten genau differenzieren Wahl der Antwortkategorie birgt Vorentscheidung über Messniveau und die anwendbaren statistischen Variablen Häufigkeitsantworten sollten wenn möglich relativ genau spezifiziert werden Bei Rating-Formaten: eher mehrstufige Skalierung als dichotome Bei der Abfrage von Gründen/Motiven sollte in der Regel das komplette Spektrum möglicher Antworten vorgegeben werden; dazu sollte eine unspezifische Antwort (z.b. Sonstiges) oder eine offene Antwortmöglichkeit vorhanden sein Julia Gerick & Stephan Jarsinski Julia Gerick & Stephan Jarsinski Julia Gerick & Stephan Jarsinski Ich bin zu jeder Zeit bereit, anderen Menschen zu helfen. ja nein Vermeidung von stark wertbesetzten Formulierungen Formulierungen mit Begriffen wie immer, alle, keiner, niemals sind zu vermeiden Fragen werden für unrealistisch gehalten Julia Gerick & Stephan Jarsinski Alle Menschen spenden gerne in Krisensituationen. Spenden Sie auch gerne? ja nein Vermeidung von suggestiven Fragen Antwort wird in eine neue Richtung gelenkt Echte Hilfsbereitschaft oder sozial erwünschtes Verhalten? Fragen tragen kaum zur Differenzierung bei, weil sie praktisch von allen Befragten bejaht werden Julia Gerick & Stephan Jarsinski Kinder brauchen regelmäßige Schläge. ja nein weiß nicht Vermeidung von Extremaussagen/erwünschten Aussagen stark positiver/negativer Beigeschmack Verwendung von extremen Begriffen kann Antwortreaktion in eine Richtung drängen Julia Gerick & Stephan Jarsinski Wie viel Prozent des Monatseinkommens geben Sie für Miete aus? Befragte nicht überfordern keine komplizierten/zeitaufwändigen Rechenoperationen setzt gutes Erinnerungsvermögen voraus bestärkt das Auslassen der Frage 10. Wie hoch ist Ihr monatliches Einkommen? 11. Wie viel Miete zahlen Sie monatlich? Befragte nicht überfordern dennoch: Bezugsgruppenabhängig Keine Regel ohne Ausnahme!! Auf einen Blick 1. Kurze verständliche Fragen formulieren! 2. Einfache Sprache und Begriffe, die in gleicher Weise verstanden werden! 3. Vermeidung von doppelten Stimuli und Verneinungen! 4. Eindimensionalität der Fragen wahren! 5. Antwortkategorien sollen erschöpfend und disjunkt sein! 6. Vermeidung von stark wertbesetzten Formulierungen! 7. Vermeidung von Unterstellungen und suggestiven Fragen! 8. Vermeidung von Extrem- und erwünschten Aussagen! 9. Befragte sollen nicht überfordert werden! Julia Gerick & Stephan Jarsinski Julia Gerick & Stephan Jarsinski Julia Gerick & Stephan Jarsinski 27

4 Fehlerquellen/Frageneffekte Was ist bei den Items bedenklich? 1. Soziale Erwünschtheit (Furcht vor sozialer Verurteilung führt zu positiven/konformen Antwortverhalten ) neutrale Frage formulieren, Kontrollfragen auf Anonymität hinweisen 2. Response-Sets bei der Beantwortung von Ratingskalen (Einheitlichkeitsdruck) Items positiv und negativ in gewünschter Zieldimension formulieren (Eindeutigkeit der Items) 3. Meinungslosigkeit, die überspielt wird Antwortkategorie: weiß nicht, Filterfrage 4. Halo-Effekt Fragereihen-/Positionseffekt beeinflussbare Frage an den Anfang/ umformulieren/präzisieren Julia Gerick & Stephan Jarsinski 28 Glauben Sie, dass man eine Familie braucht, um wirklich glücklich zu sein, oder glauben Sie, man kann alleine genauso glücklich leben? Die Frage, ob Leute, die auf Dauer zusammenleben wollen, heiraten sollten oder ob es ihnen auch möglich sein sollte, ohne Trauschein eine dauerhafte Verbindung einzugehen, ist in den letzten Jahren immer wieder gestellt worden. Wie ist Ihre Meinung dazu: Glauben Sie, dass man heiraten sollte, wenn man mit einem Partner auf Dauer zusammenleben will? Hören Sie gerne Musik von Beethoven und Wagner? Hat der mangelnde Respekt der Schüler vor ihren Lehrern Ihrer Ansicht nach Einfluss auf die tägliche Unterrichtsgestaltung in den Schulen? Wie viele Vorträge zum Thema Gesundes Leben haben Sie im Jahre 2008 bisher gehört? keinen - einen Vortrag - zwei bis 5 Vorträge - 5 Vorträge oder mehr? Julia Gerick & Stephan Jarsinski 29 Im Forschungsprojekt Studienzufriedenheit : 14seitiger Fragebogen Rückgriff auf bestehende Fragen und Instrumente Vorteile Fehlervermeidung Arbeits- und Zeitersparnis bessere Vergleichsmöglichkeiten Aufbau: A: Hochschulzugang und Studienentscheidung B: Studiensituation und -alltag C: Zukünftige berufliche Erwartungen D: Sozialdemografische Daten Julia Gerick & Stephan Jarsinski 30 Pretest: Zentraler Schritt im Forschungsablauf Ziel: Testung der Instrumente 3 Testläufe: Gruppendiskussion mit Tonaufzeichnung Konsequenz: gründliche Überarbeitung des Fragebogens Beispiel: Bedeutung des Begriffs Hausarbeit in den verschiedenen Studiengängen Fragebogenlayout: Ansprechende Optik Erstellung des Fragebogens mit Word Speichern der Frageformen in Vorlagendatei schnelleres Arbeiten mit Vorlagenskeletten Achtung bei Copy-and-Paste: hohe Fehlergefahr! Zwischenbilanz: ist Teamarbeit logische Regeln und optische Gesichtspunkte beim Fragebogenaufbau berücksichtigen nicht gleich mit der Tür ins Haus fallen! Bei dreisten Fragen an falscher Stelle landet der Fragebogen auf dem Altpapier in der Fragebogen-Kürze liegt die Ausfüll-Würze manche Fragen brauchen Regieanweisungen mehrere Fehler-Suchläufe starten, weil Irren bekanntlich menschlich ist. (nach Kirchhoff et al. 2008, S.27) Julia Gerick & Stephan Jarsinski Julia Gerick & Stephan Jarsinski Julia Gerick & Stephan Jarsinski 33 Vom unausgefüllten zum ausgefüllten Fragebogen Das Anschreiben: enthält notwendige Informationen für die Testperson Name und Adresse des Absenders Thema der Befragung Zusammenhang von Thema, Verwertungsziel und Interesse des Befragten Anonymität der Befragten Begründung für die Auswahl der EmpfängerIn Rücksendetermin evtl. Anreize für die Rücksendung (nach Friedrichs 1985, S.238) Vom unausgefüllten zum ausgefüllten Fragebogen Die Rückgabe: Abgabe beim Pförtner Anreize für die Rücksendung (incentives) Ziel: Testpersonen zur Teilnahme motivieren z.b. Verlosung zusätzlich: Werbung in den Seminaren und Vorlesungen Pressekonferenz Vom unausgefüllten zum ausgefüllten Fragebogen Die Vervielfältigung: Hausdruckerei der Universität 4700 Exemplare (4570 für den Versand, Rest für Ansicht) Die Versendung: Durchlaufende Nummerierung der Fragebögen Namen-Nummer-Zuordnung durch Verwaltung Nach 2 Wochen Versand von Erinnerungspostkarten Julia Gerick & Stephan Jarsinski Julia Gerick & Stephan Jarsinski Julia Gerick & Stephan Jarsinski 36

5 Vom unausgefüllten zum ausgefüllten Fragebogen Der Rücklauf: Rücklaufquote von 31,3% Wirtschaftswissenschaft 33% Maschinenbau 30,5% Erziehungswissenschaft 30,5% Problematisch: Sind Aussagen noch verallgemeinerbar? Verzerrtes Bild? Differenzierte Betrachtung Ergebnis: Stichprobe zeigt (fast) genaues Abbild der Grundgesamtheit bezüglich der Merkmale Studiengang, Geschlecht und Semester Julia Gerick & Stephan Jarsinski Julia Gerick & Stephan Jarsinski 38 Allgemeines: Informationen aus dem Fragebogen Datenfile Eingabe Schwimmen Interne Eingabe lernt man nur Externe im Wasser, Eingabeund den sinnvollen Umgang mit Daten lernt man + Kosten - Kosten nur, indem man sich mit Daten selbst + Einblick - Einblick beschäftigt. - Zeit + Zeit (Krämer, 2007) Julia Gerick & Stephan Jarsinski 39 Grundlegendes Vorgehen: 1. Verkodung des Fragebogens 2. Erstellung einer Datenmaske 3. Eingabe der Daten 4. Fehlerkontrolle 1. Verkodung des Fragebogens: Fragen und Antworten werden mit Zeichen, Zahlen und Abkürzungen übersetzt bzw. kodiert. Fehlende Werte erhalten eigenen Kode. Variables Kodierschema für unterschiedliche Frageformate Verkodung Frage A1 (geschlossen): Julia Gerick & Stephan Jarsinski Julia Gerick & Stephan Jarsinski Julia Gerick & Stephan Jarsinski 42 Verkodung Frage A10 (offen): Verkodung Frage A9 (Fragebatterie): Verkodung Frage B16 (mehrfach Antworten): Julia Gerick & Stephan Jarsinski Julia Gerick & Stephan Jarsinski Julia Gerick & Stephan Jarsinski 45

6 2. Erstellung einer Datenmaske: 2. Erstellung einer Datenmaske: 2. Erstellung einer Datenmaske: Julia Gerick & Stephan Jarsinski Julia Gerick & Stephan Jarsinski Julia Gerick & Stephan Jarsinski 48 Mess-/Skalenniveau: Nominalskala Unterscheidung der Merkmale Ohne Rangfolge Ordinalskala Rangfolge Ohne interpretierbaren Abstand Intervallskala Rangfolge Deutung der Abstände Kein absoluter Nullpunkt Alle Operationen möglich 3. Eingabe der Daten: 4. Fehlerkontrolle: Häufigkeitszählung Variablen kombinieren Fehler: Werte außerhalb der vorgesehenen Kodeziffern Unplausible Werte Inkonsistente Werte Julia Gerick & Stephan Jarsinski Julia Gerick & Stephan Jarsinski Julia Gerick & Stephan Jarsinski Allgemeines: Deskriptive Grundlegendes Vorgehen: 1. Fehlende Werte 2. Datenaufbereitung 3. Häufigkeitsanalysen 4. Ergebnisse in Tabellen darstellen 1. Fehlende Werte Julia Gerick & Stephan Jarsinski Julia Gerick & Stephan Jarsinski Julia Gerick & Stephan Jarsinski 54

7 2. Datenaufbereitung: Vergleichbarkeit zu anderen Studien Ausgaben vereinfachen Weniger ist oft mehr! 2. Datenaufbereitung: 2. Datenaufbereitung: Julia Gerick & Stephan Jarsinski Julia Gerick & Stephan Jarsinski Julia Gerick & Stephan Jarsinski Ergebnisse in Tabellen darstellen Einheitliche Gestaltung Notwendige Inhalte: Nummer der Frage Vollständiger Wortlaut der Frage und Antwort Quellenangabe Wenig Zahlen, viel Inhalt Tabellenmuster Spaltenprozente: Julia Gerick & Stephan Jarsinski Julia Gerick & Stephan Jarsinski Julia Gerick & Stephan Jarsinski 60 Zeilenprozente: Julia Gerick & Stephan Jarsinski 61 Gesamtprozente: Julia Gerick & Stephan Jarsinski Julia Gerick & Stephan Jarsinski 63

8 Allgemeines: Grafik = zusammengefasste Ergebnisse Konzentration auf das Wesentliche Achsen + Beschriftung dezent Goldener Schnitt Diagramm: Wohnsituation - Tortendiagramm: Julia Gerick & Stephan Jarsinski Julia Gerick & Stephan Jarsinski Julia Gerick & Stephan Jarsinski 66 Wohnsituation - Säulendiagramm: Wohnsituation - gestapelte Balken: Meinung - Eisbergdiagramm : Julia Gerick & Stephan Jarsinski Julia Gerick & Stephan Jarsinski Julia Gerick & Stephan Jarsinski Berichterstattung Schriftliche Dokumentation: Fachaufsätze Tabellenband Projektbericht Buch Richtlinien: Festlegung eines einheitlichen Designs Gute Lesbarkeit Angemessene Interpretationen und nachvollziehbares Vorgehen Berichterstattung Auffälligkeiten: Schwerer Weg von der Rohfassung zum akzeptablen Manuskript Interpretationsschwierigkeiten durch methodische Fehler Ideenverlust durch ruhende Publikations-Arbeit Vorwort und Einleitung erst am Ende schreiben Julia Gerick & Stephan Jarsinski Julia Gerick & Stephan Jarsinski Julia Gerick & Stephan Jarsinski 72

9 Vorsicht Falle Literatur Weniger ist oft mehr You can t have it all Wer vorher überlegt, erspart sich späteres Klagen Erstens kommt es anders und zweitens als man denkt Wer nicht fragt, bleibt dumm... Wo ist eigentlich das blaue Buch..? Geteiltes Leid ist halbes Leid Burzan, N. (2005). Quantitative Methoden der Kulturwissenschaften. Konstanz: UVK Verlaggesellschaft mbh. Diekmann, A. (2007). Empirische Sozialforschung. Grundlagen, Methoden, Anwendung. Reinbeck bei Hamburg: Rowohlt Taschenbuch Verlag. Kirchhoff, S., Kuhnt, S., Lipp, P. & Schlawin, S. (2008): Der Fragebogen. Datenbasis, Konstruktion und Auswertung. 4., überarbeitete Auflage. Wiesbaden: VS Verlag für Sozialwissenschaften. Krämer, W. (2007). Statistik verstehen. Eine Gebrauchanweisung. München: Piper Verlag. Vielen Dank für Eure Aufmerksamkeit! Julia Gerick & Stephan Jarsinski Julia Gerick & Stephan Jarsinski Julia Gerick & Stephan Jarsinski 75