Vom Indikator zum Erhebungsinstrument. am Beispiel des Leitfadens zur Selbstevaluation für Praktikerinnen und Praktiker.

Transkript

1 Vom Indikator zum Erhebungsinstrument am Beispiel des Leitfadens zur Selbstevaluation für Praktikerinnen und Praktiker Svenja Budde

2 Gliederung Was ist ein Indikator und wofür brauche ich Indikatoren? Wie werden Indikatoren gebildet? Erfassung von Indikatoren Der Weg zur Datenerhebung Die eigene Datenerhebung Erstellung eines Fragebogens Exkurs: Zielerreichungsskalen (Goal Attainment Scaling) Angebote des LZG.NRW zum Thema Evaluation in Prävention und Gesundheitsförderung Folie Svenja Budde

3 Was ist ein Indikator und wofür brauche ich Indikatoren? Folie Svenja Budde

4 Was ist ein Indikator und wofür brauche ich Indikatoren? I Indikator: Ein Indikator (lat.: indicare = auf etwas zeigen) ist ein Hilfsmittel, das Informationen zur Verfügung stellt, anhand derer die Veränderung bestimmter Sachverhalte angezeigt werden kann. Mit Hilfe von Indikatoren beziehungsweise Prüfkriterien kann somit sichtbar gemacht werden, ob zum Beispiel die in einem Programm angestrebten Ziele auch wirklich erreicht werden können. Folglich stellt ein Indikator eine Maßeinheit dar, an der der Grad der Erreichung eines Ziels abgelesen werden kann (Loss et al., 2010, S. 30). Folie Svenja Budde

5 Was ist ein Indikator und wofür brauche ich Indikatoren? II Sinn und Zweck von Indikatoren: Mithilfe eines Indikators wird das Erreichen eines Zieles messbar gemacht (operationalisiert). Operationalisierung: Bildung von Indikatoren; Messbarmachen eines Sachverhaltes Eine operationale Definition standardisiert einen Begriff ( ) durch Angabe von messbaren Ereignissen, die das Vorliegen dieses Sachverhaltes anzeigen (Indikatoren) (Bortz & Döring, 2006, S. 67). Folie Svenja Budde

6 Wie werden Indikatoren gebildet? Folie Svenja Budde

7 Wie werden Indikatoren gebildet? I Indikatoren bilden den interessierten Sachverhalt ab und werden nach der Formulierung der Zielstellung gebildet. Die Auswahl und Eingrenzung möglicher Indikatoren erfolgt mittels der z.w.e.r.g.-kriterien. Die z.w.e.r.g.-kriterien: z = zentrale Bedeutung w = wirtschaftlich e = einfach r = rechtzeitig g = genau Quelle: LZG.NRW (2013) Der Indikator weist einen direkten Bezug auf das Ziel auf. Der Indikator kann mit einem vertretbaren Aufwand erhoben werden. Der Indikator ist verständlich und nachvollziehbar. Der Indikator kann zu einem Zeitpunkt erhoben werden, der eine Auswertung und Aufbereitung in der Projektlaufzeit möglich macht. Die Erhebung ist verlässlich (Einsatz von zuverlässigen Fragebögen). Folie Svenja Budde

8 Wie werden Indikatoren gebildet? II Beispiel 1: Programm Obeldicks light Zielgruppe: übergewichtige, nicht adipöse Kinder und Jugendliche Primäre Zielstellung: Reduktion des Übergewichts Weitere Ziele: Verbesserung des Wohlbefindens und der Lebensqualität sowie die Erhöhung der Bewegungsfreude Festlegung der Indikatoren anhand der zuvor definierten Ziele: Übergewichtsreduktion Wohlbefinden Bewegungsfreude Lebensqualität Folie Svenja Budde

9 Wie werden Indikatoren gebildet? III Beispiel 2: Kletterwand auf dem Schulhof (fiktiv) Die Zielgruppe sind Schülerinnen und Schüler. Übergeordnetes Ziel ist die Förderung des Bewegungsverhaltens. Zielstellungen ( smart definiert): Sechs Monate nach Inbetriebnahme der Kletterwand haben 50 % aller Schülerinnen und Schüler die Kletterwand mindestens einmal ausprobiert. Sechs Monate nach Inbetriebnahme der Kletterwand nutzen 25 % aller Schülerinnen und Schüler die Kletterwand regelmäßig (mindestens 1x/Woche). Die Indikatoren orientieren sich an den zuvor definierten Zielen: Nutzung der Kletterwand (einmalig), Nutzung der Kletterwand (regelmäßig). Folie Svenja Budde

10 Wie werden Indikatoren gebildet? IV Beispiel 3: Rauchen während der Schwangerschaft (fiktiv) Zielgruppe: Schwangere, die innerhalb der Erhebungsphase eine gynäkologische Praxis besuchen. Zielstellung: Von 100 rauchenden Schwangeren, mit denen eine Beratung nach den Regeln der Motivierenden Gesprächsführung durchgeführt wird, geben im Projektzeitraum (18 Monate) 80 bis zum Ende der Schwangerschaft das Rauchen vollständig auf. Als Indikator wird der absolute Rauchstopp festgelegt. Folie Svenja Budde

11 Erfassung von Indikatoren Der Weg zur Datenerhebung Folie Svenja Budde

12 Erfassung von Indikatoren Der Weg zur Datenerhebung I Die Indikatoren sind gebildet, wurden eingegrenzt und sollen nun erfasst werden (Messen). Ziel: Indikatoren sollen (z. B. Bewegungsfreude, Wohlbefinden, Wissenszuwachs) in Zahlen ausgedrückt werden (Quantifizieren). Verschiedene Möglichkeiten Daten zu erheben: Nutzung vorhandener Daten (z. B. Daten der Schuleingangsuntersuchungen, bereits erhobene Statistiken z. B. GBE-Daten) oder Erhebung eigener Daten (z. B. mittels Fragebögen, Protokoll- und Beobachtungsbögen, leitfadengestützten Interviews, Tests (u. a. Sprach- oder Motoriktests)) Festlegung: qualitativer (z. B. Interviews) oder quantitativer Ansatz (z. B. Fragebögen) Folie Svenja Budde

13 Erfassung von Indikatoren Der Weg zur Datenerhebung II Beispiel 1: Obeldicks light Indikator Übergewichtsreduktion : Messung von Gewicht und Körpergröße Errechnung des Body Mass Index (m/kg²). Indikatoren Wohlbefinden, Bewegungsfreude und Lebensqualität wurden mit Fragebögen erhoben. Befragung der Kinder und Eltern. Beispiel 2: Kletterwand Für die Indikatoren einmalige Nutzung und regelmäßige Nutzung der Kletterwand entwickelten die Lehrkräfte eigene Fragebögen. Befragung der Schülerinnen und Schüler. Folie Svenja Budde

14 Die eigene Datenerhebung Erstellung eines Fragebogens Folie Svenja Budde

15 Die eigene Datenerhebung Erstellung eines Fragebogens I Die Erstellung eines eigenen Fragebogens ist sehr aufwändig. Nutzung bereits etablierter Fragebögen. Erprobte Fragebögen zur Evaluation von Präventions- und Gesundheitsförderungsmaßnahmen wurden u. a. vom Robert Koch-Institut entwickelt Beispiele: Gesundheit in Deutschland aktuell (Studie zur Gesundheit Erwachsener in Deutschland Auszüge der dort eingesetzten Frage- und Antwortmöglichkeiten sind im Leitfaden zur Selbstevaluation auf den Seiten des LZG.NRW valuation/leitfaden_selbstevaluation/material_frageboegen/index.html zu finden. Weitere Beispiele für Fragebögen sind auf den Seiten des LZG.NRW in den Evaluationstools zu finden ( uationstools/index.html). Folie Svenja Budde

16 Die eigene Datenerhebung Erstellung eines Fragebogens II Fragebogenaufbau im Blick behalten (Einleitung zu Sinn und Zweck, Anonymität, Hinweise zum Ausfüllen etc.) Verwendung einfacher, der Zielgruppe angepasster Sprache Fragen sollten sich immer an den Indikatoren orientieren keine überflüssigen Fragen stellen Klare Gestaltung des Aufbaus (z. B. Unterteilung in verschiedene Themenblöcke) Datenschutz berücksichtigen (besonders bei personenbezogenen Daten) Durchführung eines Pretests im Vorfeld der eigentlichen Erhebung Folie Svenja Budde

17 Die eigene Datenerhebung Erstellung eines Fragebogens III Es können Fragen und Aussagen formuliert werden: Frage: Rauchen Sie zurzeit? Antwortmöglichkeiten: Ja, täglich Ja, gelegentlich Nein, nicht mehr Habe noch nie geraucht (Quelle: modifiziert nach Robert Koch-Institut, Studie zur Gesundheit Erwachsener in Deutschland (DEGS), Gesundheitsfragebogen Jahre) Aussage: Bitte vergeben Sie eine Schulnote für die heutige Veranstaltung. Antwortmöglichkeit: sehr gut gut befriedigend ausreichend mangelhaft ungenügend Folie Svenja Budde

18 Die eigene Datenerhebung Erstellung eines Fragebogens IV Fragen, Aussagen und Antwortmöglichkeiten so einfach wie möglich formulieren Doppelte Verneinungen und Suggestivfragen vermeiden Je Frage nur einen Sachverhalt abfragen Offene vs. geschlossene Antwortmöglichkeiten Beispiel geschlossene Antwort: weiblich männlich stimme sehr zu stimme etwas zu stimme gar nicht zu Beispiel offene Antwort: Was hat Ihnen besonders gut gefallen? Folie Svenja Budde

19 Die eigene Datenerhebung Erstellung eines Fragebogens V Beispiele für Fragen- und Antwortmöglichkeiten: Fragen zur Erfassung des Ernährungsverhaltens Quelle: Evaluationstools.de, LZG.NRW (2013) ( Folie Svenja Budde

20 Exkurs: Zielerreichungsskalen (Goal Attainment Scaling) Folie Svenja Budde

21 Exkurs: Zielerreichungsskalen (Goal Attainment Scaling) Entwickelt vom Institut für Public Health und Pflegeforschung der Universität Bremen Partizipative Erarbeitung einer fünfstufigen Skala zur Ermittlung des Grades der Zielerreichung zuvor festgelegter Ziele Beispiel für die Formulierung einer Zielerreichungsskala Ziel: Förderung der Bewegungsaktivität von Seniorinnen und Senioren Indikator: Einrichtung und Nutzung von 2 Bewegungsangeboten für Seniorinnen und Senioren im Stadtteil + 2 = viel mehr als erwartet Bis Ende des Jahres wurden ausreichend Teilnehmende für ein drittes neu eingerichtetes Bewegungsangebot für Seniorinnen und Senioren gefunden. + 1 = mehr als erwartet Bis Ende des Jahres sind die neu eingerichteten Bewegungsangebote voll ausgelastet. Es können keine weiteren Teilnehmenden aufgenommen werden. 0 = erwartetes Ergebnis Bis Ende des Jahres haben sich ausreichend Teilnehmende für zwei neu eingerichtete Bewegungsangebote im Stadtteil gefunden. - 1 = weniger als erwartet Bis Ende des Jahres haben sich ausreichend Teilnehmende für eines der beiden neu eingerichteten Bewegungsangebote im Stadtteil gefunden. - 2 = viel weniger als erwartet Bis Ende des Jahres haben sich noch keine Teilnehmenden für die beiden neu eingerichteten Bewegungsangebote im Stadtteil gefunden. Quelle: eigene Darstellung nach LIGA.NRW (2011) Folie Svenja Budde

22 Angebote des LZG.NRW zum Thema Evaluation in Prävention und Gesundheitsförderung Folie Svenja Budde

23 Angebote des LZG.NRW zum Thema Evaluation in Prävention und Gesundheitsförderung Informationsangebot (Internetseite Qualität in Gesundheitsförderung und Prävention tive/index.html) Materialien (Leitfäden, Methodenkoffer, Fragebogenbeispiele) Workshops Selbstevaluation Schritt für Schritt am in Köln und am in Hamm Beratungsangebot im Rahmen des Leitfadens Ergebnisevaluation von Maßnahmen der Prävention und Gesundheitsförderung Ein Leitfaden zur Selbstevaluation für Praktikerinnen und Praktiker (individuelle Beratung, tive/evaluation/leitfaden_selbstevaluation/index.html) Folie Svenja Budde

24 Vielen Dank für Ihre Aufmerksamkeit! Kontakt: Svenja Budde Landeszentrum Gesundheit Nordrhein-Westfalen (LZG.NRW) Fachgruppe Prävention und Gesundheitsförderung Dienstgebäude: Westerfeldstr. 35/ Bielefeld Tel.: Fax: Folie Svenja Budde

25 Literatur Bortz J, Döring N: Forschungsmethoden und Evaluation für Human- und Sozialwissenschaftler 4., überarbeitete Auflage. Berlin: Springer Loss J, Seibold C, Eichhorn C, Nagel E: Evaluation in der Gesundheitsförderung. Eine Schritt-für-Schritt-Anleitung für Gesundheitsförderer. Band 3 der Schriftenreihe Materialien zur Gesundheitsförderung des Instituts für Medizinmanagement und Gesundheitswissenschaften. Herausgegeben vom Bayerischen Landesamt für Gesundheit und Lebensmittelsicherheit Verfügbar unter: [ ] Landesinstitut für Gesundheit und Arbeit: Qualitätsinstrumente in Prävention und Gesundheitsförderung. Ein Leitfaden für Praktiker in NRW. LIGA.Praxis Landeszentrum Gesundheit NRW: Ergebnisevaluation von Maßnahmen der Prävention und Gesundheitsförderung Ein Leitfaden zur Selbstevaluation für Praktikerinnen und Praktiker Verfügbar unter: [ ] Robert Koch-Institut, Studie zur Gesundheit Erwachsener in Deutschland (DEGS), Gesundheitsfragebogen Jahre. Folie Vortragender