1 Quantitative Verfahren

Transkript

1 Birgit Schäfer "Methodendatenbank: Instrumente zur Ergebnissicherung und zum Projektcontrolling" anlässlich des Workshops "Projektsteuerung und Finanzmanagement von SWA-Projekten" am 29. April 2004 in Bielefeld Bevor ich Ihnen die Methodenbank der zentralen wissenschaftlichen Begleitung zum SWA- Programm praktisch vorstelle ich hoffe, das mit dem Internetzugang hier klappt, möchte ich noch kurz auf den theoretischen Background quantitativer und qualitativer Methoden der empirischen Sozialforschung zu sprechen kommen. Dabei ist der bis heute unüberbrückbare Gegensatz zwischen empirisch-analytischen Ansätzen, in denen die Aufklärung über das, was wirklich ist, als Erkenntnisziel gesehen wird und gesellschaftskritisch-dialektischen Ansätzen, in denen nicht nur die Beschreibung und Erklärung sozialer Phänomene, sondern vor allem die kritische Beurteilung der sozialen Tatbestände, als Erkenntnisziel gesehen wird, unüberbrückbar. Während sich die Anhänger der empirisch-analytischen Position den Vorwurf gefallen lassen müssen, sie seien Fliegenbeinzähler, die lediglich den Anspruch haben, mit Hilfe der empirischen Sozialforschung Hypothesen zu falsifizieren bzw. (vorläufig) zu verifizieren, sehen sich die Anhänger der gesellschaftskritisch-dialektischen Position dem Vorwurf ausgesetzt, sie seien emanzipatorische Gesellschaftsveränderer, die die Gesellschaft prinzipiell erst mal in Frage stellen. Die differierenden methodologischen Positionen manifestieren sich darin, dass Anhänger der empirisch-analytischen Position eher zur Verwendung quantitativer Verfahren und Anhänger der gesellschaftskritisch-dialektischen Position eher zur Verwendung qualitativer Verfahren tendieren. Seit geraumer Zeit werden jedoch auch Möglichkeiten der Methodentriangulation bzw. eines multimethodischen Vorgehens diskutiert, bei denen quantitative und qualitative Methoden als gleichberechtigt eingestuft werden. Angenommen wird, dass sich die resultierenden Ergebnisse komplementieren. An einem Beispiel verdeutlicht, heißt das, dass aus einem Blickwinkel heraus z.b. lediglich eine Wand zu erkennen ist, aus einem anderen Blickwinkel heraus u.u. aber ein ganzer Würfel, was als puzzleartige Gesamtbildentstehung von großem Nutzen sein kann. Die Interpretation von quantitativen Daten kann also vom qualitativen Verstehen der sozialen Umwelt abhängen. Vor diesem Hintergrund möchte ich im folgenden quantitative und qualitative Verfahren, die sich als Auswahl der Datenerhebungsverfahren zur Selbstevaluation eignen, etwas näher vorstellen. Zur systematischen Analyse der sozialen Wirklichkeit bieten sich dabei vor allem 1

2 folgende Methoden an: die Inhaltsanalyse, die Beobachtung und die Befragung. Alle drei Methoden können sowohl quantitativ als auch qualitativ zur Anwendung kommen. 1 Quantitative Verfahren Bei der quantitativen Sozialforschung sollen auf Grund von Stichproben repräsentative Aussagen über Parameter von Grundgesamtheiten (z.b. Individuen, Ereignisse, Texte) gewonnen werden. Die gewonnenen Daten werden in der Regel durch Verallgemeinerungen bzw. Wahrscheinlichkeitsaussagen ausgedrückt. Gütekriterien quantitativer Sozialforschung sind Objektivität, Reliabilität und Validität. Objektivität gibt den Grad an, in dem die Ergebnisse unabhängig von der Testleiterin bzw. dem Testleiter sind. Reliabilität oder auch Zuverlässigkeit bezeichnet das Ausmaß, in dem wiederholte Messungen mit einem Messinstrument zu gleichen Ergebnissen führen. Validität bzw. Gültigkeit von Ergebnissen bezeichnet den Grad der Genauigkeit, mit dem ein Test das misst, was er zu messen vorgibt (z.b. bei schulischen Leistungstests: misst der Test auch wirklich das, was gelehrt wurde?). Je nach Forschungsinteresse kommen unterschiedliche Erhebungsmethoden in Betracht. Welche Option letztlich gewählt wird, hängt von den Ressourcen (Zeit, Personal, Sachmittel), vom Forschungsziel und von der eigenen Einschätzung der geeignetsten Methode ab. Jede Methode für sich hat Vor- und Nachteile. 2

3 Vorteile verschiedener quantitativer Erhebungsmethoden Inhaltsanalyse Beobachtung Schriftliche Befragung (postalisch) Mündliche Befragung (Interview) non-reaktives Verfahren, d.h. es treten keine Verzerrungen durch die Erhebungssituation auf; kann Aufschluss über komplexe Interaktionen geben; ehrlichere Antworten als bei der mündlichen Befragung (Anwesenheit einer Interviewerin bzw. eines Interviewers erzeugt Antworten der sozialen Erwünschtheit ) Interviewerin bzw. Interviewer kann Befragten zum Antworten motivieren; erlaubt Untersuchungen über die Vergangenheit; es wird nicht nur wie bei der Befragung verbales, sondern auch non-verbales Verhalten erfasst; Beantwortungszeitpunkt kann selbst bestimmt werden; der Druck durch eine Interviewerin bzw. einen Interviewer entfällt; Zielgenauigkeit keine Verweigerung (der Text kann nicht mehr reagieren); es tritt keine Artikulationsschwierigkeit wie bei der Befragung auf; breite regionale Streuung; Fragen können von der Interviewerin bzw. vom Interviewer erläutert werden; Der Text wird nicht extra für die Analyse erhoben; geringere Kosten der Datenbeschaffung; Vielfältigkeit des einer Analyse zur Verfügung stehenden Materials; die Zusicherung der Anonymität erscheint im Vergleich zur mündlichen Befragung glaubwürdiger; In der Regel werden die Daten nach der Erhebung in einen maschinenlesbaren Datensatz (z.b. SPSS oder Excel) übertragen. Nach der Datenerfassung, Fehlerkontrolle und Fehlerbereinigung können die Daten dann statistisch ausgewertet werden. 2 Qualitative Verfahren Die Prinzipien der qualitativen Sozialforschung lauten: Offenheit, Flexibilität und Kommunikation. Die Auswahl von Untersuchungspersonen, Texten und/ oder Situationen richtet sich nach typischen Fällen zur Herausarbeitung einer Vielfalt von Aspekten. Die Forschungsobjekte werden auch als Subjekte betrachtet, d.h. die an dem Projekt Beteiligten werden systematisch in die Planung, Durchführung und Auswertung der Forschung einbezogen. Bei der qualitativen Sozialforschung wird besonderer Wert auf das Aufdecken von Tiefenstrukturen gelegt. 3

4 2.1 Qualitative Inhaltsanalyse Die Inhaltsanalyse ist ein Datenerhebungsverfahren zur Aufdeckung sozialer Sachverhalte, bei der durch die Analyse eines vorgegebenen Inhalts (z.b. Text, Bild) Aussagen über den Zusammenhang seiner Entstehung, über die Absicht seines Senders, über die Wirkung auf den Empfänger und/ oder auf die soziale Situation gemacht werden. 2.2 Qualitative (teilnehmende) Beobachtung Bei der teilnehmenden Beobachtung müssen Rollen im Feld übernommen werden. Der gesamte Beobachtungsablauf ist flexibel zu gestalten, womit hohe Anforderungen an die Beobachterin bzw. an den Beobachter gestellt werden. Die Rolle im Feld und der Partizipationsgrad machen eine kritische Reflexion des gesamten Forschungsablaufs notwendig. Eine zu starke Identifikation mit der zu beobachtenden Gruppe führt zu einer eingeschränkten Wahrnehmung und damit zu einer Verfälschung der Forschungsergebnisse. Bei der qualitativen Beobachtung ist weniger die Häufigkeit wie das bei der quantitativen Beobachtung der Fall ist von Interesse, sondern vielmehr die Beschreibung der Akteure. Ein deutlicher Unterschied im Vergleich zur quantitativen Beobachtung zeichnet sich bei der qualitativen Beobachtung in der inhaltlichen Offenheit aus. Zwischen der Beobachtung und der Protokollierung sollte nicht allzu viel Zeit (d.h. nicht mehrere Tage) verstreichen, da Protokolle aus der Erinnerung eine spezifische Selektivität aufweisen. 2.3 Qualitative Befragung Die qualitative Befragung unterscheidet sich von der quantitativen Befragung darin, dass keine standardisierten Fragebögen vorliegen, d.h. dass die Fragen nicht vorformuliert sind und es auch keine spezifische Abfolge der Fragen gibt, womit der Interviewerin bzw. dem Interviewer ein vergleichsweise großer Spielraum in Bezug auf das Stellen der Fragen eingeräumt wird. Üblicherweise liegt der Interviewerin bzw. dem Interviewer anstelle eines standardisierten Fragebogens ein sogenannter Leitfaden vor. Aus der Nichtstandardisierung folgt, dass es keine geschlossenen Fragen gibt, sondern ausschließlich offene Fragen, wie: Was sind Deiner Meinung nach die Stärken des Projekts? Was sind Deiner Meinung nach die Schwächen des Projekts? Welche Veränderungen (fachliche Akzente, Lehrformen o.ä.) regst Du an? Im Idealfall erfolgen qualitative Interviews im alltäglichen Milieu der Befragten bzw. des Befragten, um in einer möglichst natürlichen Situation möglichst authentische Informationen zu erhalten. Die Atmosphäre beim Interview muss vertraulich und freundschaftlich-kollegial sein. Große Fallzahlen sind ausgeschlossen. Die Gespräche werden entweder durch Notizen während des Gesprächs, durch Anfertigung von Notizen nach dem Gespräch oder aber im Idealfall durch eine Tonbandaufnahme protokolliert. Die Datenqualität des Interviews hängt sehr stark von den Fähigkeiten der Interviewerin bzw. des Interviewers ab 4

5 (Fähigkeit, aufmerksam zuzuhören; Fähigkeit, die Gesprächspartnerin bzw. den Gesprächspartner nicht zu unterbrechen; Fähigkeit, die eigenen Kommentare, Gesten und Handlungen zu beachten und zu vermerken; Fähigkeit, sicherzustellen, dass genügend Informationen zu den relevanten Themen gewonnen werden sowie Fähigkeit zum souveränen und flexiblen Umgang mit dem Gesprächsleitfaden). Zudem wird eine hohe Anforderung an die Bereitschaft und die sprachliche und soziale Kompetenz der Befragten bzw. des Befragten gestellt. Aufgrund der höheren Anforderungen an die Interviewerin bzw. an den Interviewer ist eine Interviewerinnen- bzw. Interviewerschulung vorweg sehr empfehlenswert. Neben den dargestellten quantitativen und qualitativen Datenerhebungsverfahren der Inhaltsanalyse, der Beobachtung und der Befragung gibt es eine ganze Reihe weiterer Methoden, auf die ich jetzt nicht ausführlich eingehen kann, ich möchte hierzu aber auf die Homepage der zentralen wissenschaftlichen Begleitung des Programms Schule Wirtschaft/ Arbeitsleben hinweisen, die wir uns gleich noch näher ansehen. Während des SWA-Workshops hier in Bielefeld im letzten Jahr wurde mehrfach von Teilnehmenden der Wunsch geäußert, die in den Projekten entwickelten Evaluationsinstrumente sowie ggf. Evaluationskonzepte und Erfahrungen mit Selbstevaluation zwischen den Projekten auszutauschen. Die zentrale wissenschaftliche Begleitung ist diesem Wunsch nachgekommen und hat eine Datenbank zur Verfügung gestellt, die diese Dokumente und zugehörigen Informationen für alle Interessierten zugänglich macht. Auch diese Datenbank werden wir uns gleich näher ansehen. Nach wie vor sind alle SWA-Projekte aufgerufen, sich an diesem Austausch an konkreten Anwendungsbeispielen zu beteiligen. Wir sind an folgenden Informationen interessiert: Vorstellung des (Selbst-)Evaluationsinstruments (z.b. Fragebogen, Interviewleitfaden); Kurzinfos: Wie wird das Instrument eingesetzt bzw. wozu dient es (Zielgruppe)? Ansprechpartner/in für dieses Instrument (wer kann über den Einsatz des Instrumentes Auskunft geben?) mit Tel./ -Adresse; Sonstige Informationen über die Instrumentenentwicklung, zur Gesamt- Evaluationskonzeption, Angabe von Vor- und Nachteilen bzw. Stärken und Schwächen des Instruments und Probleme bei dessen Anwendung. 5