Fragebogenkonstruktion Seminar: Applied Quantitative Methods Dr. Sigbert Klinke Freitag, 25.04.2008, 10:00 15:00 Uhr
Literatur Bortz, J. & Döring, N. (2006). Forschungsmethoden und Evaluation. Für Human- und Sozialwissenschaftler. 4. Auflage. Heidelberg et al.: Bühner, M. (2006). Einführung in die Test- und Fragebogenkonstruktion. 2. Auflage. München et al.: Pearson. Bonsen, M. & Büchter, A. (2004). Sozialwissenschaftliche Forschungsmethoden für Schulevaluation. Studienbrief SEM0919. Kaiserslautern: Zentrum für Fernstudium und universitäre Weiterbildung. Krathwohl, D. R. (1998). Educational & Social Science Research. An Integrated Approach. 2nd Edition. New York et al.: Longman.
Aufgabe 1: Erweitern Sie das Mindmap! Bearbeitungszeit 10 Minuten, allein oder in Partnerarbeit Erwartungen an die Veranstaltung Eigenschaften und Konzepte Wissen aus anderen Veranstaltungen Fragebogen Eigene praktische Erfahrungen Einsatzbereiche Relevanz des Themas
Aufgabe 2: Erstellen Sie einen Fragebogen zur Seminarbeurteilung (Qualität) in der BWL/VWL Bearbeitungszeit 20 Minuten, Gruppenarbeit 4 Personen Rollenverteilung während der Gruppenarbeit Gruppenmitglied 1: Perspektive Studierende Gruppenmitglied 2: Perspektive Studierende Gruppenmitglied 3: Perspektive Lehrende Gruppenmitglied 4: Prozessbeobachter Präsentation 1) Arbeitsergebnis (Fragebogen) vorstellen 2) Begründung der Überlegungen 3) Bericht des Beobachters über den Beratungsprozess
Gliederung 1) Fragebogenerhebungen Eigenschaften und Einsatzbereiche 2) Gütekriterien 3) Itemkonstruktion 4) Antwortformate 5) Fragebogenentwicklung 6) Durchführungsstandards für Fragebogenerhebungen
Fragebogenerhebungen (englisch inventory, questionnaire), Sammlung von Fragen, die für eine systematische Befragung von Personen konzipiert werden liegt immer dann vor, wenn Kriterien/Indikatoren anhand quantifizierbarer Sachverhalte oder durch standardisierte Antworten erfasst werden Sofern nicht nur einfach messbare (manifeste) Merkmale sondern komplexere (meistens latente) Merkmale erfasst werden, ist ein theoriegeleitetes und fokussiertes Vorgehen erforderlich
Drei Arten von Aspekten Beschreibungen sind am einfachsten und verlässlichsten zu erfassen, da es um die Beobachtung objektiver Aspekte, wie z. B. physikalische Größen oder Verhalten von Menschen (z. B. Geschlecht, Alter, Konsumverhalten) Bei Einstellungen und Werten werden subjektive Meinungen, Überzeugungen oder Werturteile erfasst (z. B. Zufriedenheit, politische Orientierungen) Latente Konstrukte sind nicht direkt beobachtbar und individuell verschieden ausgeprägt. Latente Merkmale lassen sich nur mit Hilfe geeigneter Indikatoren erfassen (z. B. Intelligenz, Geschäftsklima)
Vorteile Standardisierung Datenerhebung und Interpretation getrennt eine große Gruppe von Befragten kann erreicht werden Ökonomie: Durchführungs- und Auswertungsaufwand (ab einer bestimmten Anzahl von Befragten) Vergleichbarkeit der Ergebnisse, Reproduzierbarkeit liefern quantifizierte Daten für vielfältige statistische Analysen
Nachteile Standardisierung Konstruktionsaufwand Fragen (für nur wenige Befragte) nur ein kleiner Ausschnitt der Realität kann erfasst werden Hypothesen bzw. theoretisches Vorwissen ist gefordert keine Reaktion auf situationale bzw. individuelle Besonderheiten der Befragungssituation keine Reaktion bei Unklarheiten in den Fragen möglich
Gütekriterien Objektivität Reliabilität Validität Normierung (Bezugssystem zur Einordnung der Ergebnisse) Vergleichbarkeit (mit anderen Erhebungen) Ökonomie (Durchführungszeit, Handhabbarkeit, Auswertbarkeit) Nützlichkeit (praktische Relevanz)
Gütekriterien Objektivität steht für das Ausmaß, in dem die Ergebnisse einer empirischen Datenerhebung vom Erhebenden unabhängig sind 1. Durchführungsobjektivität: das Verhalten des Befragten ist unabhängig vom Verhalten des Daten Erhebenden 2. Auswertungsobjektivität: der aufgrund des Verhaltens festgelegte Wert ist unabhängig vom Auswertungsprozedere 3. Interpretationsobjektivität: das aufgrund des Verhaltens gewonnene Ergebnis ist unabhängig von der interpretierenden Person
Gütekriterien Reliabilität beschreibt die Genauigkeit, mit der durch eine empirische Datenerhebung eine Merkmalsdimension erfasst wird, unabhängig davon, ob dieses die intendierte Merkmalsdimension ist 1. Innere Konsistenz: misst den mittleren Zusammenhang der einzelnen Items mit der Skala 2. Retest-Reliabilität: die Befragung wird zu zwei Zeitpunkten durchgeführt und dann die Korrelation zwischen beiden ermittelt 3. Paralleltestreliabilität: es wird die Korrelation zwischen zwei Befragungen ermittelt, die dasselbe erfassen
Gütekriterien Validität entspricht dem Grad, mit dem durch die Datenerhebung diejenigen Merkmalsdimensionen erfasst werden, die auch erfasst sollen 1. Interne Validität: wird das zu untersuchende Konstrukt/die Merkmalsdimension innerhalb der Erhebungsmethode tatsächlich erhoben 2. Externe Validität: können die Ergebnisse der Datenerhebung auf andere Situation übertragen werden (Inhaltsvalidität, Kriteriumsvalidität, Konstruktvalidität)
Itemformate Item = Frage oder Statement + Antwortmöglichkeit Mit Statements können Bewertungen am besten erfasst werden, also Meinungen, Überzeugungen oder Werturteile. Mit Fragen lassen sich konkrete, beobachtbare Sachverhalte besser erfassen allerdings ist es nicht immer einfach, gute Antwortalternativen zu finden.
Aufgabe 3: Diskutieren Sie die Items zur Seminarevaluation. Bearbeitungszeit 10 Minuten, Partnerarbeit Der Dozent erklärt verständlich. trifft nicht zu trifft eher nicht zu trifft eher zu trifft zu Die Seminargestaltung wird manchmal von Studierenden übernommen. nie selten häufig immer Das Seminar finde ich Motivierend ------ ----- ----- ----- Nicht motivierend Der Aufwand für Vor- und Nachbereitung sowie Leistungserstellung in diesem Seminar ist angemessen. ja nein Durch das Seminar habe ich gelernt (Mehrfachantworten sind möglich) theoretische Inhalte praktisch anzuwenden Modelle und Konzepte kritisch zu hinterfragen eigene Forschungsprojekte durchzuführen
Itemkonstruktion 10 Goldene Regeln Aufgabe 4: Finden Sie zu jeder Regel 1 Beispiel (10 Minuten). 1. Eindimensionalität der Items (nur ein Sachverhalt) 2. Antwortmodus für jedes Items sinnvoll 3. Items klar und eindeutig formulieren 4. Keine (doppelten) Verneinungen 5. Invertierte Items implementieren 6. Eindeutige Zuordnung zu einem Konstrukt 7. Starke Verallgemeinerungen (immer, nie) vermeiden 8. Auf Fremdwörter verzichten 9. Keine Wörter mit mehreren Bedeutungen 10. Mittlere Itemschwierigkeit anstreben (Verteilung der Antworten)
Sechs Antwortformate 1) Maßzahlen 2) Bezeichnung 3) Offene Antworten 4) Einfachwahl (ohne und mit Ergänzungsoption) 5) Mehrfachwahl (ohne und mit Ergänzungsoption) 6) Ratingskalen
Beispiele für Ratingformate Häufigkeitsskalen Nie selten gelegentlich oft immer sehr selten selten gelegentlich oft sehr oft Intensität Gar nicht wenig mittelmäßig überwiegend völlig Wahrscheinlichkeit Nicht wahrscheinlich vielleicht sehr wahrscheinlich Bewertung trifft nicht zu trifft eher nicht zu trifft eher zu trifft zu stimmt nicht stimmt
Konstruktionshinweise für Ratingformate Validität und Reliabilität steigen, wenn man mehrere Antwortkategorien zulässt, fallen wieder bei zu vielen Antwortmöglichkeiten Benennung jeder Stufe führt zu besserer Reliabilität und Validität im Antwortformat den Grad der Zustimmung/Häufigkeit von links nach rechts steigern ungerade Anzahl von Polen nur benutzen, wenn mittlere Antwortkategorie interpretierbar Ratingskalen können um eine Kategorie nicht beantwortbar ergänzt werden Forced-Choice Items zwingen zu einer Entscheidung
Entwicklung von Fragen theoriegeleitete Fragebogenerstellung entlang der Evaluationsfrage Operationalisierung von Kriterien und ggf. Indikatoren Itemkonstruktion bevorzugt im Team vornehmen Items vortesten oder bereits geprüfte Items verwenden Iteminterpretation im Vorfeld bedenken
Instruktionen Erläuterung des Zwecks der Untersuchung (es gibt zumeist keinen Grund, die Befragten über Ziele der Befragung im Unklaren zu lassen) Ausfüllhinweise (Erläuterung einzelner Fragebogenteile) und Erklärung des Antwortformates (mindestens anhand der beiden Pole) Hinweise auf anonyme Datenauswertung und Verwendung der Daten Hinweise zur Vermeidung von Antwortschwierigkeiten (Aufforderung auf alle Fragen zu antworten, auch wenn keine perfekt passt, es gibt keine richtigen/falsche Antworten) Abfrage demographischer Daten Dank für Teilnahme
Checkliste Fragebogenentwicklung 1) Enthält der Fragebogen eine Einleitung? 2) Decken die Antwortmöglichkeiten das potentielle Spektrum von Antworten ab und sind nicht suggestiv? 3) Ist jede Frage wirklich erforderlich? 4) Sind die Fragen verständlich, eindeutig und adressatengerecht? 5) Beziehen sich alle Fragen nur auf einen Sachverhalt? 6) Sind die Fragen durch die Befragten beurteilbar? 7) Enthält der Fragebogen genug Abwechslung, um die Motivation der Befragten aufrecht zu erhalten? 8) Ist die Polung der Fragen ausgewogen?
Checkliste für Fragebogenerhebungen a) Was sind die Ziele/Fragestellungen der Erhebung? b) Welches Erhebungsinstrument soll eingesetzt werden bzw. welche theoretischen Überlegungen leiten die Konstruktion? c) Welche Normen gelten bei der Durchführung? d) Wann und wie soll die Durchführung erfolgen? e) Wie erfolgt die Auswertung und Analyse der Ergebnisse? f) Welche Konsequenzen sollen aus den Ergebnissen gezogen werden?
Aufgabe 4: Erstellen Sie einen Fragebogen zur Seminar-beurteilung (Qualität) in der BWL/VWL Bearbeitungszeit 20 Minuten, Gruppen wie in Aufgabe 2