Memoblatt Umfrage-Versuche

Transkript

1 Eidgenössisches Departement des Innern EDI Bundesamt für Statistik BFS Neuchâtel, Oktober 2007 Memoblatt Umfrage-Versuche Ein praxisbezogener Begleiter für Schülerinnen, Schüler und Lehrende mit Checkliste, Erläuterungen und konkreten Beispielen 1 Wichtig - bitte lesen! 2 2 Umfrage-Versuche: Checkliste 3 3 Erläuterungen zur Checkliste Die Zielformulierung Vorbereiten Fragen und Antworten Auswahl der Befragten Notieren Durchführen Auswerten Berichten...8 Autor: Jürg Zimmermann, BFS, Sektion Diffusion und Amtspublikationen Kontakte und Auskünfte: classroom@bfs.admin.ch; Auskunftsdienst: Tel Weiterführende Informationen: Dienstleistungen» Für den Unterricht Dokument-ID: do-d stich-02 Espace de l'europe 10 CH-2010 Neuchâtel

2 1 Wichtig - bitte lesen! Liebe Lernende (und liebe Lehrende) "Umfragen" sind beliebt - auch in Unterrichtsprojekten. Das ist gut so und setzt eine wichtige Einsicht voraus: Wirkliche statistische Umfragen sind Hohe Schule (mit einer ziemlichen Portion Höherer Mathematik). Umfragen von Schülerinnen und Schülern können kaum zum Ziel haben, solche Ansprüche zu erfüllen. Wir reden hier deshalb nicht von "statistischen Umfragen", sondern von "Umfrage-Versuchen". Trotzdem: Umfrage-Versuche sind natürlich ein spannendes Unternehmen und ein vielseitiges Instrument in Schulprojekten aller Art. Und sie tragen Wesentliches zum Verständnis von statistischen Umfragen bei. Viele intelligente Überlegungen müssen da angestellt werden, die auch bei der Durchführung von statistischen Umfragen eine entscheidende Rolle spielen. Dieses Memoblatt bringt wichtige Tipps und Hinweise, die euch bei der Vorbereitung und Durchführung eines Umfrage-Versuchs begleiten sollten. Druckt es aus! 2/8

3 2 Umfrage-Versuche: Checkliste Ausführliche Erläuterungen und Beispiele zu einzelnen Punkten dieser Checkliste stehen im Kapitel 3. 1 Ziele formulieren Kommentare Thema, Interesse 2 Vorbereiten Fragen und Antworten Klassen, Definitionen Auswahl der Befragten Notierung Worüber wollen wir Antworten finden? Was wollen wir auf dem Weg über Befragungen herausfinden? Welches ist unsere Grundgesamtheit? Wie müssen wir die Fragen stellen? So, dass sie - richtig und genau verstanden werden - für alle gleich gestellt werden - in keiner Weise beeinflussen - klar beantwortbar sind? Was für Antworten sind möglich? Welche Antworten bieten wir an? (ein definiertes Angebot ist leichter auszuwerten) Was für Gruppen von befragten Personen müssen wir unterscheiden? Wie unterscheiden, definieren wir sie genau? Nach welcher Methode wählen wir die Befragten aus? Wie teilen wir die Antworten ein? Wie notieren wir sie einheitlich - und so, dass wir sie am Schluss auszählen können? Elektronisch erfassen? Ziele in Frageform! Fragen schriftlich notieren! Einheitliches Frageblatt! Mündlich - oder mit Fragebogen? "ja / nein"? "unbedingt ja / eher ja / weiss nicht /.../"? Multiple Choice? Nach Alter? Geschlecht? Beruf? Wohnort? Familientyp?... z.b.: Jugendliche": gehören 11jährige dazu? Zufallsverfahren bedeutet nicht beliebig auswählen! Vorbereitetes Tabellenblatt Keine Antwort ist auch eine - sie muss gezählt werden! 3 Durchführen Testen, Kontrolle Was läuft nicht wie geplant? Führen unsere Fragen zu brauchbaren Resultaten? Oder müssen wir noch etwas ändern? Befragung Organisation: (Organisationskomitee OK!) Wer tut was - wo - bis wann (Schlusszeit)? Fragebogen: Wurden unsere Fragen so verstanden, wie wir es meinten? Klare Regeln - sonst wird die ganze Arbeit unbrauchbar. 4 Auswerten Auswerten: Rechnen Schlussfolgerungen 5 Berichten Kapitel Sauber arbeiten! Exakt, ehrlich! Von mind. 1 Person nachkontrollieren lassen! Klar trennen: sachliche Feststellungen eigene Erklärungen, Einschätzungen, Vermutungen, Interpretationen 1. Ziele, Fragestellung. 2. Methodisches Vorgehen: a. Fragen, Antworten. b. Auswahl der Befragten. 3. Durchführung: Zeit, eventuelle Probleme 4. a. Ergebnisse: Tabellen, Diagramme b. Schlussfolgerungen. Trennen: Feststellungen Interpretationen c. Evtl. persönliche Folgerungen. Antwortausfälle! Wer konnte / wer wollte nicht antworten? Was können wir aus den Ergebnissen nicht schliessen? Welche Zielfragen führten zu keinen klaren Antworten? 3/8

4 3 Erläuterungen zur Checkliste 3.1 Die Zielformulierung Untersuchungsziel, Fragestellung Grundgesamtheit Zielformulierung Was ist unser Interesse? Welches sind unsere Fragestellungen? (Frageform!) Über welche davon kann man überhaupt durch eine Befragung etwas Sinnvolles erfahren? Welches ist der gesamte Kreis von Personen(gruppen), auf die unsere Fragen sich beziehen = die Grundgesamtheit? Die Ziele müssen am Anfang schriftlich formuliert werden. 3.2 Vorbereiten Fragen und Antworten Wie verstehen die Befragten unsere Fragen? Beeinflussen wir mit unserer Frage die Antworten? Definitionen: Sind alle Begriffe in unseren Fragen klar? Sind unsere Fragen klar, unmissverständlich, vollständig, neutral? Unklare/ unspezifische Fragen: - Sind Sie religiös? Sind Sie Christ? Sind sie gegen Gewalt? - Sind Sie dafür, dass man etwas gegen den Klimawandel tun soll? Nicht allgemein verständliche Fragen: - Haben Sie zu Hause ADSL? - Kaufen Sie Gentech-Produkte? Suggestive / wertende Fragen: - Sind Sie dafür, dass Schweizer Soldaten im Krieg für die UNO geopfert werden? - Finden Sie es in Ordnung, dass reiche Ausländer bei den Steuern so billig wegkommen? Fragen, die zu unehrlichen Antworten führen: - Haben Sie das Handy auch schon am Steuer beim Autofahren gebraucht? Haben wir alle wichtigen Begriffe in unseren Fragen für uns selbst schriftlich definiert? - Haben Sie Familie? Wer gehört zur Kategorie Familie? auch die Grossmutter / ein allein wohnender, geschiedener Vater?... - Sind Sie Zürcher/in? Heimatort, Geburtsort, Wohnort, Arbeitsort? - Kaufen Sie wenn möglich biologisches Gemüse? wenn möglich? biologisch? - Wörter wie oft, lange, manchmal Was genau meinen wir damit? Antworten: Auswahl anbieten Es ist ratsam, den Befragten eine überschaubare Zahl von Antworten zur Auswahl vorzulegen. Sonst wird die Auswertung der Ergebnisse zum Problem. Das ist gar nicht so einfach: - In dem Angebot von Antworten muss möglichst jede befragte Person eine für sie brauchbare Variante finden können - Wir dürfen keine wichtigen Antwortvarianten ausschliessen - Antwortvarianten dürfen nicht mehrdeutig und nicht widersprüchlich sein 4/8

5 - Antwortvarianten dürfen nicht mehrere Fragepunkte kombinieren, auf die man einzeln unterschiedlich antworten könnte - Wir müssen festlegen, ob eine oder mehrere Antworten auf eine Frage erlaubt sind und das muss für die befragte Person immer klar sein! - Fragen können zu persönlich sein. Dann werden sich die Befragten vielleicht nichts anmerken lassen und eine Scheinantwort geben. Testlauf Ein Testlauf mit allen Fragen und Antwortvarianten schützt vor unliebsamen Überraschungen am Ende Auswahl der Befragten Grundüberlegungen In der wirklichen Statistik ist die Auswahl der Befragten eines der kompliziertesten Kapitel der Erhebung sie hat zu tun mit Wahrscheinlichkeiten, Kombinatorik, mit verschiedenen methodischen Varianten der Stichprobenziehung (z.b. einfach, geschichtet, geklumpt...). In schulischen Umfrage-Versuchen können wir den Anforderungen einer Stichprobe niemals genügen. Unsere Resultate werden auch niemals eine kontrollierbare Aussagekraft haben (ausser wir machen statt der Stichprobe eine Voll-Befragung, indem wir eine Grundgesamtheit wählen, in der wir sämtliche Mitglieder befragen können. Doch dann ist unser Gebiet sehr eingeschränkt). Trotzdem ist ein solcher Umfage-Versuch nur sinnvoll, wenn wir die Auswahl so überlegt und sorgfältig wie möglich organisieren. Beispiel: Wenn wir unsere Umfrage am Dienstagmorgen vor dem Einkaufszentrum machen: Wer ist da zu diesem Zeitpunkt beim Einkaufen? Zufallsprinzip bedeutet nicht Auswahl nach Belieben! Wenn wir Personen nach Gutdünken / spontan auswählen, werden wir bestimmte Gruppen unwillkürlich bevorzugen ( sympathische, gleichaltrige, evtl. weibliche...) und andere benachteiligen (eilige, evtl. geschäftlich gekleidete...) Fazit: Unser Vorgehen, wie wir die Befragten aus der Grundgesamtheit finden und auswählen, kann kaum eine wissenschaftliche Methode sein. Dennoch müssen wir das Vorgehen gut überlegen und dann auch schriftlich festhalten. Wenn unser Bericht darüber nicht klar Auskunft gibt, ist er wertlos. Über wen wollen wir etwas wissen? Wie finden wir die Befragten? Wie wählen wir sie aus? Unsere Zielformulierung bestimmt, auf welche Grundgesamtheit sich unsere Fragestellungen beziehen (siehe oben bei Zielformulierung ). Diese Grundgesamtheit müssen wir schriftlich definieren. - Welche Merkmale der Befragten sind für unsere Fragestellungen wichtig zu unterscheiden? Altersklasse, Geschlecht, Wohnort, Nationalität, Zugehörigkeit zu...? - Ist es möglich und sinnvoll, eine vorhandene Liste zu benützen - eine Namenliste, Telefon- oder Adressliste? - Müssen wir verschiedenartige Orte, Lokale berücksichtigen? Alle gleich stark, oder nach Grösse, nach Verkehrsdichte...? Wie gewichten wir sie? - Haben wir bedacht, dass bestimmte Kanäle wie , Handy, SMS nur von bestimmten Personengruppen benützt werden und auch von diesen unterschiedlich? - Wie wählen wir auf möglichst neutrale Weise aus? Durch Abzählen, Würfeln...? 5/8

6 3.2.3 Notieren Unser Werkzeug Die Tabelle Unser Werkzeug ist entscheidend seine Vorbereitung braucht Zeit und Sorgfalt. Ist Kapitel Fragen und Antworten voll berücksichtigt? Eine sorgfältig ausgearbeitete Tabelle mit allen möglichen Fragen und Antwortvarianten ist die unverzichtbare Grundlage für die Zusammenstellung der erhobenen Daten. Fragebögen Merkmale Wer füllt aus? Notierungsformen Individuen separat? Korrekturen Excel-übertragbar? Gesamttabelle vollständig? - Geschlecht, Altersklasse, Wohnort... sind die für uns notwendigen Merkmale der Befragten auf dem Antwortblatt aufgeführt? Die Befragten bleiben unbedingt anonym! - Lassen wir Fragebögen durch die Befragten ausfüllen? Dann schauen wir ihnen dabei nicht auf die Finger. Aber so haben wir auch weniger Kontrolle über die Vollständigkeit der Antworten. Oder notieren wir selbst? Alle Befragenden müssen den gleichen, sauberen, vollständigen Bogen auf die gleiche Weise verwenden! - Wird aus der Tabelle klar, wie wir Personen und Antworten notieren? Auch fehlende und verweigerte Antworten müssen notiert werden! - Nehmen wir für jede befragte Person ein eigenes Blatt, oder sammeln wir die Antworten mit Strichen in 5er-Paketen? Das ist entscheidend: Im zweiten Fall können wir nämlich keine Zusammenhänge zwischen den Antworten einer Person mehr erkennen ( Personen, die bei Frage X Ja angaben, antworteten bei Frage Y zu über 80% mit Nein ). - Wie zeigen wir eventuelle Korrekturen klar und lesbar an? - Haben wir die Tabelle so organisiert, dass wir die Ergebnisse leicht in eine Excel-Gesamttabelle übertragen können? Auch die Namen der Befragenden gehören auf jedes einzelne Blatt! - Die Gesamttabelle zum Zusammenzug aller Ergebnisse am Schluss muss vorbereitet werden. Enthält sie die Felder für alle Personenmerkmale, für alle Fragen und Antwortvarianten? Auch Felder für fehlende und für ungültige Antworten? 3.3 Durchführen Organisationskomitee OK Plan Wenn alle Punkte in Kapitel 3.1 und 3.2 sorgfältig überlegt und vorbereitet sind, braucht es nun eine gute Organisation für die Durchführung. Das Sicherste ist, ein Organisationskomitee (OK) zu bestimmen. Das OK weiss Bescheid über alle Details des Plans und ist während der Befragungszeiten an zentraler Stelle jederzeit telefonisch erreichbar. Ausfälle, Krankheiten, Pannen etc. müssen dem OK sofort gemeldet werden, damit dieses eine Lösung bzw. einen Ersatz organisieren kann. Der Plan zur Durchführung bestimmt: - Personen, Zeiten, Orte, Aufträge: Wer befragt wann wo wen, wieviele? - In welcher Form werden die Ergebnisse dem OK von wem abgegeben? Bis spätestens wann? Das OK ist verantwortlich für die vollständige, saubere Sammlung und Aufbewahrung der eingegangenen Ergebnisblätter. 6/8

7 3.4 Auswerten Zahlenmaterial Kontrolle Zunächst brauchen wir einen fehlerfreien, vollständigen Zusammenzug der Ergebnisse das Resultat sind Zahlen auf einer Excel-Gesamttabelle. Der erste Schritt ist die Kontrolle aller Ergebnisblätter: Fehlen notwendige Angaben? Gibt es Antwortausfälle, Lücken? Gibt es offensichtliche Irrtümer? Erst jetzt übertragen wir die Resultate in die Gesamttabelle. Grundüberlegungen zur Auswertung Was wir mit diesen Zahlen tun wollen, haben wir vom ersten Schritt an gut überlegt (Kapitel 3.2. Zielformulierung, Fragen und Antworten, Auswahl der Befragten ). Unsere Überlegungen bestimmen, welche Zahlen wir kombinieren wollen - addieren, multiplizieren, in Prozentverhältnis zu einer anderen setzen. Wenn wir es mit einer Stichprobe zu tun haben, werden wir versuchen, von ihren Ergebnissen aus mit Hilfe einer Hochrechnung auf die Gesamtheit zu schliessen, aus welcher wir die Stichprobe gezogen haben. Aber: eine sachgerechte Hochrechnung aus einer Stichprobe ist eine sehr komplexe Sache. In ihr muss man Elemente berücksichtigen wie den Stichprobenplan, die Antwortausfälle sowie alle zusätzlich herbeigezogenen Informationen. Diesen Anspruch können wir bei unseren Umfrage- Versuchen ganz einfach nicht erfüllen. Entsprechend bescheiden und mit manchen Fragezeichen müssen wir mit dem Ergebnis umgehen wie dies schon im Einleitungskapitel betont wurde. Resultate tabellarisch Unterscheiden: Feststellungen Interpretationen Die Resultate stellen wir wiederum sauber in tabellarischer Form dar. Diese Tabelle ist die Basis für unsere Feststellungen und Interpretationen. Grafiken sind eine attraktive Form - doch bedenken wir: Grafiken zeigen meist nur einen ausgewählten Teil aus dem gesamten Zahlenmaterial. Eine saubere Auswertung unterscheidet sachliche Feststellungen eigene Erklärungen und Interpretationen. Zuerst die Feststellungen. - Was lässt sich sachlich beobachten? Häufungen, Grössenunterschiede? - Achtung: Zahlen geben den Schein einer Genauigkeit, die unserem Umfrage-Versuch überhaupt nicht entspricht! Kommastellen, kleine Prozentunterschiede sind irreführend - der Bereich unkontrollierter Zufälligkeiten ist viel zu gross für feine Unterscheidungen. Gibt es wirklich markante Unterschiede? Erst dann folgen eigene Erklärungen, Interpretationen: - Unsere Erklärungsversuche sind Vermutungen! Zur Beurteilung, wie weit unsere Ideen wirklich Hand und Fuss haben, fehlt uns wahrscheinlich das nötige Wissen. Vielleicht formulieren wir sie bewusst als Fragen o- der Vermutungen. Und: wären andere Erklärungen ebenfalls denkbar? - Vorsicht mit so genannten Kausalitäten : Wenn zwei Merkmale häufig zusammen auftreten, ist damit noch kein Zusammenhang bewiesen. Störche kommen öfter im Frühling. Babies auch 7/8

8 3.5 Berichten Ein Bericht enthält nicht nur Ergebnisse, sondern alle wichtigen Informationen - von den Fragestellungen am Anfang über den Weg bis zu den Resultaten und Schlussfolgerungen. Ein guter Bericht ist übersichtlich aufgeteilt in sinnvolle Kapitel. Zum Beispiel: 1. Ziele, Fragestellungen 2. Unser methodisches Vorgehen a. Die gestellten Fragen, die angebotenen Antworten (evtl. auch Erfahrungen und Konsequenzen aus dem Testlauf) b. Die Auswahl der Befragten. (Überlegungen, genaues Vorgehen) 3. Durchführung (Zeit, eventuelle Erfahrungsberichte, Probleme, Schlüsse daraus) 4. Ergebnisse, Schlussfolgerungen a. Ergebnisse (Tabellen, Diagramme). Evtl. Begründung der durchgeführten Rechenoperationen.. b. Schlussfolgerungen. Klar trennen: Feststellungen Interpretationen (Punkt 4 oben). c. Eventuell persönliche Folgerungen. 8/8