Operationalisierung (nach Meyer 2007: 202f.)

Transkript

1 Operationalisierung (nach Meyer 2007: 202f.) Begriff: Operationalisierung logische Verknüpfung zwischen dem nichtmessbaren Tatbestand und dem zu messenden Indikator mittels einer Korrespondenzregel, die Angaben über die Art des Zusammenhangs macht. Hieraus werden die bei der Messung verwendeten Zuordnungsregeln abgeleitet. Der Prozess der Operationalisierung 1. Schritt: Bestimmung des zu beobachtenden theoretischen Konstrukts und eines potentiellen Indikators (Was soll operationalisiert werden?) 2. Schritt: Erstellung einer logisch abgeleiteten und durch die Messung nicht beeinflussten Korrespondenzregel (Warum misst der Indikator das Konstrukt?) 3. Schritt: Bestimmung der benötigten Zahl vorn Kategorien und der Zuordnungsregel (Wie genau muss der Indikator messen?) 4. Schritt: Festlegung von Falsifikatoren dieser Korrespondenzregel (Wann ist diese Zuordnung zwischen Indikator und Konstrukt unzureichend?) 1

2 1 Was ist ein Indikator: Definition Indikatoren (nach Meyer 2007) Kenngrößen die zur Abbildung eines bestimmten, [häufig] nicht messbaren und oftmals komplexen Sachverhalts herangezogen werden (GTZ, 2003: 19) Sie können qualitativ und quantitativ sein (ebd.) Dank der ermittelten quantitativen oder qualitativen Informationen sind über Vergleiche mit kritischen Stellenwerten (Grenzwertperspektive), früheren Messwerten (Entwicklungsperspektive), ex-ante bestimmten Zielwerten (Zielerreichungsperspektive), oder den Ergebnissen anderer Beobachtungseinheiten (Bilanzierungsperspektive) Bewertungen möglich. (Meyer, 2004: 7) 2

3 Mit Indikatoren kann man messen: Ist Zustand: Wie ist es? Veränderungen: Wie verändert es sich? (Klarheit über das Objekt, Messung in regelmäßigen Abständen sind notwendig) Erklärungen/Prognosen: Wie funktioniert es? (Theorien, Hypothesen, Kausalanalysen sind notwendig) Steuerung: Wie kann man es beeinflussen? (Theorien, Hypothesen, Kausalanalysen sind notwendig; durch Experimente muss die Beeinflussbarkeit der zentralen Merkmale erprobt werden bzw. empirisches Wissen über diese Beeinflussbarkeit muss vorliegen) (nach Zapf, 1977) 2 Wozu brauchen wie Indikatoren? Um komplexe, nicht direkt wahrnehmbare Zustände erfassen zu können, Beispiel Unterernährung z.b. Armumfang Um unvergleichbare Dinge zu vergleichen. Um komplizierte Zusammenhänge einfach darzustellen. Um auf nicht erkannte Steuerungsmöglichkeiten hinzuweisen 3

4 3 Arten von Indikatoren 3.1 Kausalbeziehung bei Interventionen in sozialen Systemen (z.b. durch Programme, Organisationen) Inputindikatoren Outputindikatoren Wirkungsindikatoren Outcomeindikatoren Impactindikatoren Bedarfsindikatoren Zielindikatoren 3.2 Einfache und komplexe Indikatoren Einfacher Indikator Messung eines einzigen Sachverhaltes, Zuordnung zu einem theoretischen Konstrukt Stärken: klare Abgrenzung, eindeutige Zuordnung, selbst für Laien verständlich Nachteil: Aussagen ausschnitthaft, limitiert werden vom Laien leicht falsch interpretiert Beispiel: Weltbankindex 1$ Grenze zur Bestimmung von Armut 4

5 Relative Maßzahlen zwei einfache Indikatoren (Indikatorenwerte Maßzahlen)werden durch eine definierte Rechenregel erknüpft Beispiele: Arbeitslosenquote, Geburtenziffer, Schulabbrecherquote Komplexe Indizes (Nächster Schritt: Zielindikator: Die Schulabbrecherquote ist um 25% abgesunken ) Aus Einzelindikatoren bzw. Einzelaspekten werden komplexe Indizes mithilfe statistischer Verfahren errechnet Beispiele: Bruttosozialprodukt (BSP), Human Development Index (HDI), Bertelsmanntransformationsindex (BTI) 5

6 3.3 Anforderungen am Indikatoren Theoretische Anforderungen Indikatoren müssen das nicht messbare Konstrukt schlüssig abbilden können Methodische Anforderungen Indikatoren müssen gültig und verlässlich Auskunft geben (Validität, Reliabilität) Praktische Anforderungen Indikatoren müssen unter gegebenen Rahmenbedingungen umsetzbar sein. (Kosten, Zeit, Verständlichkeit etc.) Politische Anforderungen Indikatoren müssen für alle Beteiligten akzeptabel sein. Ein guter Indikator ist SMART S Specific M Measurable A Attainable (erreichbar, praktikabel) R Relevant T Trackable (auffindbar) Indikatoren müssen gleichzeitig theoretischen, methodischen, praktischen und politischen Anforderungen genügen. Die Entwicklung guter Indikatoren ist deshalb nicht durch ein Person allein zu bewerkstelligen, sondern erfordert die Beteiligung von Fachexperten, Praktikern und Stakeholdern (Meyer 2004: 24) 6

7 4 Entwicklung von Indikatoren 4.1 Welche Informationen beinhalten Indikatoren: Subjektbezug: Wer? (Beteiligte, z. B. Projektmitarbeiter, Zielgruppe etc.) Räumlicher Bezug: Wo? (z.b. Region) Zeitbezug: Wann?, Wie lange? Quantität: Wie viel(e)? Qualität: Welches Kriterium weist, welche Merkmale auf bzw. verändert sich wie? Beispiel: Schulabbrecherrate in Sachsen Wer: Schüler, die vor dem Examen die Schule verlassen Wo: Schulen in Sachsen., Welche Schulen? Wann: z.b. Projektlaufzeit + 5 Jahre Quantität: Wie viel sollen untersucht werden? Qualität: Zweierskala Schulabbruch Ja/Nein 7

8 Skalen (nach Meyer 2007: 206ff.) Ziel / Aufgabe: Skalen haben die Aufgabe eine Verteilung der verschiedenen gemessenen Merkmale auf die verschiedenendefinierten Kategorien zu gewährleisten. Die Trennung der Merkmale und ihrer messbaren Streuung (Varianz) auf der Skala stellen den wesentlichen Erkenntnisgewinn des Indikators (der Variablen) dar. Doch Vorsicht: Arten: Die Skala sagt nichts über die Messqualität oder den Prozess des Messens aus. Manchmal suggeriert die Präzision der Skala eine Präzision der Messung, die so nicht gegeben ist oder umgekehrt. Bsp. Notengebung, Einschätzungen durch Jurys Nominalskala: Zuordnung eines Objektes zu einer Kategorie erfolgt ausschließlich nach dem Kriterium der Gleichheit zwischen Objekt und Definitionskriterium der Kategorie. Bsp.: Tisch, Stuhl, nicht zuordenbar; laut, leise, nicht zuordenbar Ordinalskala: Rangordnung zwischen den Kategorien ist hergestellt, Objekt kann zwischen diesen Kategorien positioniert relativ werden Bsp.: Laut leise Ausprägungen: Sehr leise, leise, mittel, laut, sehr laut 8

9 Metrische Skala (Intervallskala): weisen quantifizierbare Intervalle zwischen den einzelnen Kategorien aus. Nur mit Hilfe von metrischen Skalen lassen sich Abstände zwischen den Beobachtungsobjekten exakt angeben. Bsp.: Laut leise Ausprägungen: 1, 2, 3, 4, 5 Kategorienfestlegung z.b. nach Dezibel; Metermaß für Länge Allgemeines Vorgehen beim Skalierungsverfahren (Interesse an einer Lehrveranstaltung): 1. Schritt: Entwicklung von Items (Aussagen), z.b. Interesse-Skala Ich komme immer pünktlich. 2. Schritt: Pretest unter Verwendung aller Items 3. Schritt: Überprüfung des Zusammenhangs zwischen jedem einzelnen Item und der resultierenden Skala. Die Itemcharakteristik (Art des Zusammenhangs zwischen Aussage und Skala) soll bestimmten (theoriegestützten) Vorgaben entsprechen wird im Pretest überprüft. 4. Schritt: Auswahl der Items die der Itemcharakteristik am ehesten entsprechen. Die Zahl der Items sollte generell so klein wie möglich und so groß wie nötig sein. (Hängt von der Komplexität des Indikators und der Güte der Items ab) 5. Schritt: Erneute Überprüfung der Skala in einem weiteren Pretest bei dem eventuelle Veränderungen der Itemcharakteristika gemessen werden.) 9