Fragebogenerstellung - warum nicht mit Excel?

Transkript

1 Fragebogenerstellung - warum nicht mit Excel? Vorteil: Tabstopps und Ausrichtungen sind durch die Spalten vordefiniert Nachteil: schwerfällig in der textlichen Anwendung Leitfaden durch's Semester Herbst/Winter 2016/17 01 Standortbestimmung 02 MMF-Job 03 Viele Wege zum Ziel: Mafo-Anwendungen ("Arbeitstechniken") 04 Messen Skalen Codes 05 Fragebogen 06 Repräsentativität Stichprobe 07 Schwankungsbreiten Stichprobengröße 08 Feldarbeit 09 Grundlagen der Datenanalyse (mit SPSS) 10 Ergebnisinterpretation und Evaluierung 11 Praxisanwendungen: Die "Vermessung" der (Medien-)Welt 12 X + Mag. Dr. Claus Braunecker 55

2 Grundgesamtheit Die Grundgesamtheit ist die Menge aller gleichartigen Objekte (Untersuchungseinheiten), auf die sich eine Untersuchung bezieht. Universum Population Kollektiv Je nach Aufgabenstellung gibt es verschiedene Grundgesamtheiten. Eine exakte Definition der Grundgesamtheit ist unumgänglich: Für wen besitzen die Untersuchungsergebnisse Gültigkeit? Die Definition der Grundgesamtheit ist die Basis aller Forschungen! Ohne Grundgesamtheit keine Forschung! Grundgesamtheit Die Grundgesamtheit ist die Menge aller gleichartigen Objekte (Untersuchungseinheiten), auf die sich eine Untersuchung bezieht. Universum Population Kollektiv Je nach Aufgabenstellung gibt es verschiedene Grundgesamtheiten. Eine exakte Definition der Grundgesamtheit ist unumgänglich: Für wen besitzen die Untersuchungsergebnisse Gültigkeit? Die Definition der Grundgesamtheit ist die Basis aller Forschungen! Ohne Grundgesamtheit keine Forschung! Mag. Dr. Claus Braunecker 56

3 Mögliche Grundgesamtheiten - die österreichische Bevölkerung ab 14 Jahren im Alter von 18 bis 79 - die Wiener Wohnbevölkerung - Kunden eines Flugunternehmens eines Versandhändlers -die Mitarbeiter von IKEA - die Teilnehmerinnen und Teilnehmer dieser Veranstaltung - Mercedesfahrer, die in Wien wohnen - Urlaubsreisende, die im letzten Jahr mind. eine Flugreise unternommen haben - das Management der Post - die Autofahrer-Lobby - alle Ausgaben eines Online-Mediums im letzten Jahr - die Mitarbeiterkommunikation in einem Unternehmen - die Prozesse eines Unternehmens Ist diese Liste überall völlig korrekt? Wem fallen weitere GGH ein? Mag. Dr. Claus Braunecker 57

4 Vollerhebung oder Stichprobe Grundgesamtheit Vollerhebung Stichprobe Abbildung aus: HowToDo Totalerhebung & Stichprobe Totalerhebung: Alle werden erhoben. Bei überschaubarer Grundgesamtheit, kleineren Bevölkerungs- und Personengruppen (Mitarbeitende einer Firma, Institution), Inhaltsanalysen Stichprobe: Ein (meist) repräsentativer Teil der Grundgesamtheit wird stellvertretend erhoben. Die Ergebnisse dieser Teilerhebung werden in der Folge auf alle Elemente der Grundgesamtheit übertragen. Für die Auswahl jener Vertreter bzw. Elemente der Grundgesamtheit, die in die Stichprobe kommen, gelten genaue technische Regeln. Mag. Dr. Claus Braunecker 58

5 Stichprobe: Pro's & Contra's Vorteile von Stichprobenerhebungen: +++ Zeit +++ Kosten +++ Schlägt weniger Wellen +++ Vollerhebungen oft unmöglich +++ Grundgesamtheit oft unbekannt +++ u. U. repräsentativer als Vollerhebungen Nachteile: Stichprobenfehler Stichprobe, Erhebungsmethode, Repräsentativität Stichproben-Auswahlverfahren sind unabhängig von der Erhebungsmethode und unterliegen überall denselben Regeln. Die Nachvollziehbarkeit und Qualität einer Auswahl hängen von einer sorgfältigen Definition der Grundgesamtheit ab. Es ist nicht immer notwendig, auf repräsentative Stichproben zurückzugreifen: In der qualitativen Forschung und bei Experimenten gelten andere Regeln. Mag. Dr. Claus Braunecker 59

6 Repräsentativität Grundgesamtheit repräsentative Stichprobe Jede repräsentative Stichprobe muss ein exaktes, lediglich verkleinertes Abbild der Grundgesamtheit sein! Stichprobe entspricht genau der Struktur der Grundgesamtheit Abbildung aus: HowToDo Fehlende Repräsentativität Grundgesamtheit nicht repräsentative Stichprobe Stichprobe entspricht NICHT der Struktur der Grundgesamtheit Abbildung aus: HowToDo Mag. Dr. Claus Braunecker 60

7 Was ist Repräsentativität? Sind Stichprobe 1 und Stichprobe 2 repräsentativ? Nach welchen Kriterien? Wie viele Personen müssen in den Untergruppen von Stichprobe 3 (n = 100) und Stichprobe 4 (n = ) befragt werden, um völlig repräsentativ zu sein? Kunden Stichprobe 1 Stichprobe 2 Stichprobe 3 Stichprobe 4 Total absolut absolut absolut absolut absolut % % % 100,0 100,0 100,0 Anzahl Anzahl Geschlecht Männer 48,75 47,9 34, Frauen 51,25 52,1 65, Kunde seit... 1 Jahr 14,60 14,5 14, bis 5 J 62,03 62,7 62, mehr als 5 J 23,37 22,8 22, Repräsentativität Was ist Repräsentativität? Wie muß eine für Niederösterreich repräsentative Stichprobe (n = 1.000) bzgl. der Verteilung auf die beiden Geschlechter und 3 Kundengruppen (Kunde seit ) aussehen? Benutzen Sie als Grundlage den File ue_quoten_daten.xls. a) Wie viele Interviews müssen mit Niederösterreichern, wieviele mit Niederösterreicherinnen durchgeführt werden? b) Wieviele Interviews entfallen auf die jeweiligen VertreterInnen der 3 Kundengruppen in diesem Bundesland? Mag. Dr. Claus Braunecker 61

8 Stichproben-Auswahlverfahren Auswahl per Zufall: Herr A (MUSS, weil gezogen!) Auswahl OHNE Zufall: Herr A oder Herr B oder Herr C (KANN, weil jeweils & 39 Jahre!) Mag. Dr. Claus Braunecker 62

9 Arten von Stichproben ZUFÄLLIG: reine Zufallsauswahl ausgewählte Elemente MÜSSEN in die Erhebung hochwertigste Stichprobenart einfach komplex 3.21 zufällige Auswahl aus einer Datenbank vorgeschichtet kleine Untergruppen disproportional verstärkt Faktorengewichtung auf repräsentativ 3.22 NICHT ZUFÄLLIG: systematische Auswahl subjektiv gefärbt KEINE Berechnung von Schwankungsbreiten zulässig willkürlich bewusst 3.23 Auswahl auf's Geratewohl Erheber wählen individuell aus völlig willkürlich Quotenstichprobe Erheber wählen nach Merkmalen aus sehr repräsentativ 3.24 Abbildung aus: HowToDo Arten von Stichproben ZUFÄLLIG: reine Zufallsauswahl ausgewählte Elemente MÜSSEN in die Erhebung hochwertigste Stichprobenart einfach komplex 3.21 zufällige Auswahl aus einer Datenbank vorgeschichtet kleine Untergruppen disproportional verstärkt Faktorengewichtung auf repräsentativ 3.22 NICHT ZUFÄLLIG: systematische Auswahl subjektiv gefärbt KEINE Berechnung von Schwankungsbreiten zulässig willkürlich bewusst 3.23 Auswahl auf's Geratewohl Erheber wählen individuell aus völlig willkürlich Quotenstichprobe Erheber wählen nach Merkmalen aus sehr repräsentativ 3.24 Abbildung aus: HowToDo Mag. Dr. Claus Braunecker 63

10 EINFACHE Zufallsauswahl Diese Verfahren bestehen im zufälligen Ziehen von Untersuchungsobjekten aus einer überschaubaren Grundgesamtheit und sind damit die mathematisch einwandfreisten! keine Kenntnis der Merkmalsstruktur der Grundgesamtheit ist erforderlich. PC-Zufallsgenerator oder Ziehung nach einer gewissen Systematik. zufällig einfach komplex nicht zufällig willkürlich bewusst Mag. Dr. Claus Braunecker 64

11 Zufallsstichprobe Ziehen Sie eine einfache Zufallsstichprobe von n = 500 aus einer Kundendatenbank. Benutzen Sie als Grundlage den File kundendatenbank.xlsx. Zufallsstichprobe Zuerst nach Zufallszahlen sortieren und dann X-beliebige Datensätze entnehmen ZufallsZahl Kunden- Nummer Vorname Zuname Geburtsdatum -Adresse =ZUFALLSZAHL() 05 Ernst Mayer Ernst.Mayer@abc.de 0, Helene Müller Helene.Müller@abc.de 0, John Berger John.Berger@abc.de 0, Emelie Franz Emelie.Franz@abc.de 0, Hermann Mann Hermann.Mann@abc.de 0, Anna Sommer Anna.Sommer@abc.de 0, Wilhelm Huber Wilhelm.Huber@abc.de 0, Ingrid Brauner Ingrid.Brauner@abc.de 0, Herta Muster Herta.Muster@abc.de 0, Otto Gelbmann Otto.Gelbmann@abc.de 0, Rudolf Herbst Rudolf.Herbst@abc.de 0, Linda Schwarz Linda.Schwarz@abc.de 0, Charlotte Weiss Charlotte.Weiss@abc.de Abbildung aus: HowToDo Mag. Dr. Claus Braunecker 65

12 Zufallsauswahl: Überblick Das Erhebungspersonal hat KEINEN Einfluss auf die Auswahl! Voraussetzungen: Bekannte und definierte Grundgesamtheit. Zugängliche Grundgesamtheit. Jedes Element darf nur ein Mal vorkommen. Jedes Element muß eine (berechenbare) Auswahl-Chance haben. Arten von Stichproben ZUFÄLLIG: reine Zufallsauswahl ausgewählte Elemente MÜSSEN in die Erhebung hochwertigste Stichprobenart einfach komplex 3.21 zufällige Auswahl aus einer Datenbank vorgeschichtet kleine Untergruppen disproportional verstärkt Faktorengewichtung auf repräsentativ 3.22 NICHT ZUFÄLLIG: systematische Auswahl subjektiv gefärbt KEINE Berechnung von Schwankungsbreiten zulässig willkürlich bewusst 3.23 Auswahl auf's Geratewohl Erheber wählen individuell aus völlig willkürlich Quotenstichprobe Erheber wählen nach Merkmalen aus sehr repräsentativ 3.24 Abbildung aus: HowToDo Mag. Dr. Claus Braunecker 66

13 Zufallsauswahl: Vorschichtung hier z.b. sollte man vorschichten ;-) KOMPLEXE Zufallsauswahl: Schichtung Schichtung = Ordnung der GGH vor der Ziehung Die Grundgesamtheit wird bzgl. eines ihrer Merkmale in homogene Teile zerlegt (z.b. Bundesland). Erst aus diesen Teilen erfolgt die Zufallsauswahl. Proportionale Schichtung: Der Anteil der Teilgruppen in der Stichprobe entspricht dem Anteil derselben Teilgruppen in der Grundgesamtheit. Disproportionale Schichtung: Wenn der Anteil einzelner Teilgruppen in der Grundgesamtheit für abgesicherte Aussagen zu gering ist, werden die unterrepräsentierten Gruppen verstärkt. zufällig einfach komplex nicht zufällig willkürlich bewusst Mag. Dr. Claus Braunecker 67

14 Vergleich proportionaler & disproportionaler Ansatz Quelle: Firmendaten Kundinnen und Kunden Interviews Interviews absolut in % proportional disproportional Wien , NÖ , Bgld 280 3, OÖ , Sbg 538 6, Trl 710 8, Vbg 373 4, Stmk , Ktn 557 6, Österreich , Exkurs: Gewichtung Wenn die tatsächliche Datenstruktur nicht einer gewünschten bzw. aus der Grundgesamtheit bekannten Verteilung entspricht, werden die Daten gewichtet. In der Stichprobe unterrepräsentierte Datensätze werden mit einem Faktor > 1, überrepräsentierte mit einem Faktor < 1 multipliziert. Je mehr Faktoren je weiter über 1 zu liegen kommen, desto schwieriger wird s Mag. Dr. Claus Braunecker 68

15 Beispiel: Gewichtung bei disproportionaler Stichprobe Stichprobe aus Firmendaten Interviews Interviews Gewichtung proportional disproportional Berechnung Faktor Wien = 221 / 120 1,842 NÖ = 207 / 120 1,724 Bgld = 36 / 120 0,299 OÖ = 182 / 120 1,517 Sbg = 69 / 120 0,575 Trl = 91 / 120 0,759 Vbg = 48 / 120 0,399 Stmk = 155 / 120 1,289 Ktn = 71 / 120 0,595 Österreich Jeder Datensatz aus Wien z.b. ist 1,842 Interviews wert Jeder Datensatz aus dem Burgenland z.b. ist 0,299 Interviews wert Beispiel: Gewichtung bei disproportionaler Stichprobe Stichprobe aus Firmendaten Interviews disproportional Gewichtung Faktor Wien 120 1,842 NÖ 120 1,724 Bgld 120 0,299 OÖ 120 1,517 Sbg 120 0,575 Trl 120 0,759 Vbg 120 0,399 Stmk 120 1,289 Ktn 120 0,595 Österreich Im Beispiel besitzt jetzt jedes Bundesland in der Stichprobe eine für sinnvolle Aussagen über das Bundesland (halbwegs) vernünftige Größenordnung von n = 120. Für ein österreichischen Gesamtergebnis müssen die einzelnen Datensätze jedoch der tatsächlichen Verteilung entsprechend auf- oder abgewichtet werden. Mag. Dr. Claus Braunecker 69

16 KOMPLEXE Zufallsauswahl: mehrstufige Schichtung Viele Grundgesamtheiten sind räumlich weit verbreitet, sehr groß oder in ihrer Zusammensetzung nicht genau bekannt. Die endgültigen Zielpersonen werden hier erst nach mehreren Zwischenauswahlstufen (Schichtungen) ausgewählt. Jede Zwischenauswahl stellt die Grundgesamtheit für die nächstfolgende Auswahlstufe dar. z.b.: Nation Bundesländer Filialen Kundentypen (kurzfristige mittelfristige langfristige) endgültige Zielpersonen Arten von Stichproben ZUFÄLLIG: reine Zufallsauswahl ausgewählte Elemente MÜSSEN in die Erhebung hochwertigste Stichprobenart einfach komplex 3.21 zufällige Auswahl aus einer Datenbank vorgeschichtet kleine Untergruppen disproportional verstärkt Faktorengewichtung auf repräsentativ 3.22 NICHT ZUFÄLLIG: systematische Auswahl subjektiv gefärbt KEINE Berechnung von Schwankungsbreiten zulässig willkürlich bewusst 3.23 Auswahl auf's Geratewohl Erheber wählen individuell aus völlig willkürlich Quotenstichprobe Erheber wählen nach Merkmalen aus sehr repräsentativ 3.24 Abbildung aus: HowToDo Mag. Dr. Claus Braunecker 70

17 Willkürliche systematische Auswahl Willkürliche systematische Auswahl Ohne Zufall oder feste Regeln. Es gibt keinen Auswahlplan. völlig subjektive Auswahl der Zielpersonen durch den Interviewer. = Auswahl auf's Geratewohl (Convenience-Sample) = Anfallsstichprobe zufällig z.b.: Passantenbefragung, Menschen auf öffentlichen Plätzen, einfach komplex nicht zufällig willkürlich bewusst Mag. Dr. Claus Braunecker 71

18 Roter Faden QualiQuanti Repräsentativität Stichprobe Schwankungsbreiten Messniveau Datenanalyse Evaluierung Praxis Arten von Stichproben ZUFÄLLIG: reine Zufallsauswahl ausgewählte Elemente MÜSSEN in die Erhebung hochwertigste Stichprobenart einfach komplex 3.21 zufällige Auswahl aus einer Datenbank vorgeschichtet kleine Untergruppen disproportional verstärkt Faktorengewichtung auf repräsentativ 3.22 NICHT ZUFÄLLIG: systematische Auswahl subjektiv gefärbt KEINE Berechnung von Schwankungsbreiten zulässig willkürlich bewusst 3.23 Auswahl auf's Geratewohl Erheber wählen individuell aus völlig willkürlich Quotenstichprobe Erheber wählen nach Merkmalen aus sehr repräsentativ 3.24 Abbildung aus: HowToDo Roter Faden QualiQuanti Repräsentativität Stichprobe Schwankungsbreiten Messniveau Datenanalyse Evaluierung Praxis Bewusste systematische Auswahl: Quotenbeispiel usw. männlich 10 8 weiblich 10 9 blond 46 brünett 6 schwarz 56 rothaarig 52 erwachsen jugendlich Mag. Dr. Claus Braunecker 72

19 Bewusste systematische Auswahl: Quoten Erhebungspersonal wählt die Zielpersonen selbst nach Quotenanteilen aus. Die Verteilung der Quotenmerkmale in der Stichprobe entspricht zumeist deren Verteilung in der Grundgesamtheit. Quotenauswahlverfahren sind die am häufigsten eingesetzten bewussten Auswahlverfahren. Kenntnisse über die strukturelle Beschaffenheit der Grundgesamtheit sind erforderlich! Im Gegensatz zur reinen Zufallsauswahl dürfen bei Quotenauswahlverfahren keine statistischen Schwankungsbreiten berechnet werden!!! zufällig einfach komplex nicht zufällig willkürlich bewusst Bewusste systematische Auswahl: Quotenstichproben-Regeln Bei Quotenstichproben gilt es, zu beachten: Die Quoten müssen für das Erhebungspersonal leicht erkennbar sein. Quotierungsmerkmale müssen objektiv und ohne Interpretationsspielräume sein. Möglichst viele Interviewpersonen sollten jeweils möglichst wenige Interviews durchführen. Das Interviewendennetz sollte möglichst heterogen sein. Interviews müssen an Orten durchgeführt werden, die von allen Stichprobenteilen bevölkert werden. Mag. Dr. Claus Braunecker 73

20 Quotenstichprobe für Niederösterreich 1. Eine Berechnung Einkaufskette des möchte Anteils an in ÖSTERREICH Interviews, der eine von den repräsentative gesamtösterreichischen KundInnen-Befragung auf mit Niederösterreich insgesamt entfällt. Interviews durchgeführen. 2. Berechnung der prozentuellen Merkmalsverteilung innerhalb Niederösterreichs Wie (in welcher Reihenfolge) gehen Sie vor, damit Sie und Umlegung je Subgruppe auf die unter 1. ermittelten Interviews für Niederösterreich. zu untenstehendem Ergebnis FÜR NIEDERÖSTERREICH gelangen? 3. Aufteilung der unter 2. ermittelten Interviews je Subgruppe auf 10 Interviewpersonen. Quelle: Firmendaten niederösterreichische Stichprobe Interviewpersonal KundInnen gesamt absolut in % Interviews Interviews Geschlecht Männer , Frauen , Kunde seit 1 Jahr , bis 5 J , mehr als 5 J , Gesamt , Quotenstichprobe für Niederösterreich Was ist an dieser Quotenberechnung noch nicht ganz richtig bzw. genau? Es darf keine gerundeten Interviews geben. Komma -Menschen können nicht befragt werden: Händisch nachjustieren! Quelle: Firmendaten niederösterreichische Stichprobe Interviewpersonal KundInnen gesamt absolut in % Interviews Interviews Geschlecht Männer , Frauen , Kunde seit 1 Jahr , bis 5 J , mehr als 5 J , Gesamt , Mag. Dr. Claus Braunecker 74

21 Stichprobenkombination: Vorschichtung, Samplepoints, Quoten Bundesland Interviews Sample-Points Wien NÖ Bgld 34 2 OÖ Sbg 64 4 Trl 84 5 Vbg 68 4 Stmk Ktn 44 3 Österreich Bundesland: Salzburg Einsatzort: Saalfelden Saalfelden Interviews: 15 Männer: 7 Frauen: Jahre: Jahre: 1 usw. usw. 4ff z.b. Sbg Stadt Flachau Tamsweg Bundesland: Salzburg Einsatzort: Tamsweg Interviews: 10 Männer: 5 Frauen: Jahre: Jahre: Jahre: Jahre: Jahre: Jahre: Jahre: Jahre: Jahre: Jahre: 1 3. Abbildung aus: HowToDo Mag. Dr. Claus Braunecker 75

22 Inzidenz = Penetration: Welche Stichprobe ist realistisch? Vor jeder Entscheidung für ein Stichprobenverfahren stellt sich die Frage: Findet man die Stichprobenmitglieder? Beispiel: Man sucht nach VerwenderInnen der Waschmittelmarke Persil in Portugal. Annahme: Die Marke Persil hätte in Portugal etwa VerwenderInnen. Umgelegt auf die ~ PortugiesInnen (exkl. Kinder) bedeutet das: 1% der PortugiesInnen verwenden Persil. In einer Zufallsstichprobe ergibt nur jeder hundertste Fall(!) einen Treffer (= Verwender von Persil). Um wenigstens 100 Nettointerviews mit VerwenderInnen von Persil zu bekommen, müssten 100 * 100 = Personen kontaktiert werden! Mag. Dr. Claus Braunecker 76

23 Mögliche Grundgesamtheiten - die österreichische Bevölkerung ab 14 Jahren im Alter von 18 bis 79 - die Wiener Wohnbevölkerung - Kunden eines Flugunternehmens eines Versandhändlers -die Mitarbeiter von IKEA - die Teilnehmerinnen und Teilnehmer dieser Veranstaltung - Mercedesfahrer, die in Wien wohnen - Urlaubsreisende, die im letzten Jahr mind. eine Flugreise unternommen haben - das Management der Post - die Autofahrer-Lobby - alle Ausgaben eines Online-Mediums im letzten Jahr - die Mitarbeiterkommunikation in einem Unternehmen - die Prozesse eines Unternehmens Welche Stichprobe? Wie kommen Sie zur Grundgesamtheit? Leitfaden durch's Semester Herbst/Winter 2016/17 01 Standortbestimmung 02 MMF-Job 03 Viele Wege zum Ziel: Mafo-Anwendungen ("Arbeitstechniken") 04 Messen Skalen Codes 05 Fragebogen 06 Repräsentativität Stichprobe 07 Schwankungsbreiten Stichprobengröße 08 Feldarbeit 09 Grundlagen der Datenanalyse (mit SPSS) 10 Ergebnisinterpretation und Evaluierung 11 Praxisanwendungen: Die "Vermessung" der (Medien-)Welt 12 X + Mag. Dr. Claus Braunecker 77