AAL Evaluierung? Birgit Trukeschitz. Wie viele Personen sollten mindestens in die Testphase involviert werden?

Transkript

1 Evaluierungsdesigns von AAL Testregionen mit Beispielen aus ZentrAAL und CareInMovement Birgit Trukeschitz FFG Informationsveranstaltung: Wien, 20. Jänner 2017 AAL Evaluierung? Wie viele Personen sollten mindestens in die Testphase involviert werden? Können wir Indikatoren aus anderen Projekten nehmen? Wie lange soll die Testphase sein? 1

2 Übersicht Evaluierung was ist das und wozu? Zu den Beispielprojekten ZentrAAL und CiM Mögliche Zielsetzungen der Evaluierung von AAL Testregionen Ablaufplanung der Evaluierung einer AAL Testregion am Beispiel von ZentrAAL Perspektivenwechsel in der Evaluierung von AAL Lösungen Design Entscheidungen für die Evaluierung der Wirkungen von AAL Testregionen Festlegen der Ziele für die Wirkungsevaluierung Wie Wirkungen messen? Bildung des Samples: Test und Kontrollgruppe Zielkonflikte und andere Herausforderungen für das Evaluierungsdesign Evaluierungen Definition Systematische Generierung von empirischem Wissen (zu Aktivitäten, Eigenschaften und Ergebnissen), das mit einer Bewertung verknüpft wird, um zur Entscheidungsfindung beizutragen. Q: Stockmann, Meyer (2010) Evaluierungsstandards (Evaluation: Nützlichkeit Durchführbarkeit Fairness Genauigkeit) z.b. DeGEval (2004) 2

3 Zweck von Evaluierungen Erkenntnisfunktion Kontrollfunktion Evaluierung Legitimitätsfunktion Entwicklungsfunktion Q: Stockmann, Meyer (2010) Worum geht es in den Beispielprojekten? Förderung: FFG im Rahmen des benefit Programms PartnerInnen: Salzburg Research Forschungsgesellschaft (Koordination), Wirtschaftsuniversität Wien (WU), Universität Salzburg (PLUS), Fachhochschule Kärnten, Hilfswerk Salzburg, ilogs mobile software GmbH, Salzburg AG für Energie, Verkehr und Telekom, Salzburg Wohnbau Laufzeit: Förderung: AAL Joint Programme FFG und EU zu jeweils 50% PartnerInnen: Salzburg Research Forschungsgesellschaft (Koordination), Wirtschaftsuniversität Wien (WU), Universität Salzburg (PLUS), ALDIA Cooperativa Sociale, Hilfswerk Salzburg, ilogs mobile software GmbH, Eichenberger Szenografie, bit media e solutions GmbH Laufzeit:

4 Kerninfos zu den Beispiel Projekten: ZentrAAL und CareInMovement (CiM) * komfortableres und sicheres Wohnen/Leben * Fähigkeiten beibehalten/ausbauen: Selbstmangement, Fitness Zielsetzungen meinzentraal : erweiterbares Softwaresystem zur Unterstützung daheim und unterwegs mit 6 auf das Setting abgestimmten Funktionsbereichen * ältere Menschen mit IKT Anwendungen vertraut machen IKT Lösung * Fähigkeiten beibehalten/ausbauen: Fitness / geistige Agilität * Ausbau des und Zusammenarbeit im Betreuungsnetzwerk CARIMO : erweiterbares Softwaresystem zur Unterstützung der Fähigkeiten älterer Menschen und der Zusammenarbeit im Betreuungskontext 60 Personen im Betreuten Wohnen in Salzburg und die Betreuungspersonen des Betreuten Wohnen Zielgruppen 60 Betreuungsnetzwerke in Privathaushalten in Salzburg & Italien: Ältere Menschen, die mobile DL beziehen, Angehörige und prof. Betreuungsperson, Freiwillige Welche Zielsetzungen können Evaluierungen von AAL Testregionen haben? Wie bilden sich die Evaluierungsvorhaben im Projektablauf ab? Beispiel ZentrAAL werbung.de/fragezeichen/ 4

5 Mögliche Zielsetzungen der Evaluierung von AAL Testregionen orientieren sich an den Zielsetzungen der Testphase und der entwickelten IKT Lösungen Evaluierung der o Funktionsfähigkeit der techn. Lösung und ihrer Komponenten/Endgeräte o Interaktion technische Lösung Mensch (in bestimmten Settings) o Auswirkungen der technischen Lösung o Projektprozesse (z.b. Zusammenarbeit im Konsortium) o. Ablaufplanung der Evaluierung einer AAL Testregion am Beispiel von ZentrAAL Entscheidungen zum Evaluierungsdesign (Ziele, Sample, Methode) Evaluierung Usability Evaluierung User Interface Evaluierung des Prototypen Evaluierung Akzeptanz Konzeption & Rekrutierungsplanung Evaluierung Funktionsfähigkeit (Technik & Support) Evaluierung Nutzungshäufigkeit Kontrollgruppe Evaluierung der Wirkungen der entwickelten AAL Lösung Austausch und gemeinsame Interpretation + Publikation 5

6 Perspektivenwechsel in der Evaluierung von AAL Lösungen Wirkung/ Outcomes Usability, Acceptance Wissenslücke! Evaluierungsdesigns abhängig von der Zielsetzung der Evaluierung Fokus: Evaluierung von Wirkungen der AAL Lösungen (1) Festlegen der Ziele für die Evaluierung von Effekten (2) Wie Wirkungen messen? (3) Bildung des Samples für Test und Kontrollgruppe werbung.de/fragezeichen/ 6

7 (1) Festlegen der Ziele für Evaluierung von Wirkungen/Effekten * Keine alleinige Aufgabe des Evaluierungsteams Einbinden des gesamten Konsortiums! * Evaluierungszielsetzungen müssen auf die entwickelte Lösung passen (kein one size fits all ) und in messbare Indikatoren übersetzt werden können * Die Intervention genau definieren (AAL Paket oder einzelne Komponenten) Vergleichbarkeit herstellen (2) Wie Wirkungen messen? (I): Vergleichbarkeit herstellen Testgruppe + CARIMO Vergleich Vergleichs /Kontrollgruppe t 0..t n Veränderung über die Zeit t 0..t n 7

8 (2) Wie Wirkungen messen? (II): Theoretische Fundierung ist für die Aussagekraft entscheidend Theory of Change erstellen AAL Lösung Wirkungskanal positive/negative Wirkung Indikatoren (2) Wie Wirkungen messen? (III): Effekte des Evaluierungsdesigns berücksichtigen Technologien Beobachtete Wirkung = Intervention andere + Faktoren + Design des Feldtests Technologien 1. Zielgruppendefinition 2. Datenstruktur 3. Stichprobenbildung, Zuteilung in Test und Kontrollgruppe Quelle: Stockmann (2010), Rossi (2004), eigene Anpassung 16 8

9 (3) Bildung des Samples für die Testgruppe und die Kontrollgruppe Zielgruppe(n) definieren (Achtung: abgeleitete Zielgruppen!) o Auf ausreichende Anzahl an potenziellen TeilnehmerInnen achten! o Einschlusskriterien/Ausschlusskriterien festlegen (TeilnehmerInnen sollen nicht nur Technik nutzen, sondern sich auch sinnvoll an der Evaluierung beteiligen können) Datenstruktur beachten Ausreichende Anzahl an TeilnehmerInnen festlegen ( power analysis) Zuweisung in Test und Kontrollgruppe (idealerweise) mit einem Zufallsverfahren o Test und Kontrollgruppe sollen die gleichen Eigenschaften (z.b. Altersstruktur, ) aufweisen; vor allem in den Merkmalen, die outcome relevant sind. I.d.R. gleiche Größe von Test und Kontrollgruppe Framing der Erhebungen und Incentives für die Kontrollgruppe überlegen und Einverständniserklärungen in beiden Gruppen einholen Maßnahmen für die Erhöhung von Compliance und Verringerung von Datenverlust überlegen Zielkonflikte und andere Herausforderungen für das Evaluierungsdesign (Auswahl!) Ziel A Ziel C Ziel B 9

10 Zielkonflikte und andere Herausforderungen für das Evaluierungsdesign (I) Größe der Zielgruppe und Anzahl der TeilnehmerInnen Technische Lösung hat zu viele Komponenten (im Verhältnis zur Anzahl der TeilnehmerInnen) Technik muss funktionieren, damit sie genutzt wird und Wirkung entfalten kann Internationale Settings: Kontext verstehen und Übersetzungen bedenken Auch bei gleichen Wörtern kann die Bedeutung unterschiedlich sein Umsetzung: Enduser PartnerInnen und Rekrutierung Zielkonflikte und andere Herausforderungen für das Evaluierungsdesign (II) Partial compliance (TeilnehmerInnen & Personen, die implementieren): User nutzen Technik nicht (drop out oder silent withdrawal) Implementation/Rekrutierung erfolgt unterschiedlich Kontrollgruppe erhält Zugang zur Technik Attrition/Datenverlust Ergebnisindikatoren können für Manche nicht mehr gemessen werden (missing values) Drop out (z.b. Tod, Umzug, keine Kooperation) Fragebogen zu kompliziert, zu lang, zu langweilig oder teilweise unklar, zu viele Fragebögen/Evaluierungsinterventionen Spillovers indirekter Effekt der Intervention auf Personen der Kontrollgruppe Evaluation driven effects Verhaltensänderung, weil eine Evaluierung stattfindet Q: angelehnt an Glennester/Takavarasha (2013) 10

11 Rückblick. Evaluierung was ist das und wozu? Zu den Beispielprojekten ZentrAAL und CiM Mögliche Zielsetzungen der Evaluierung von AAL Testregionen Ablaufplanung der Evaluierung einer AAL Testregion am Beispiel von ZentrAAL Perspektivenwechsel in der Evaluierung von AAL Lösungen Design Entscheidungen für die Evaluierung der Wirkungen von AAL Testregionen Festlegen der Ziele für die Wirkungsevaluierung Wie Wirkungen messen? Bildung des Samples: Test und Kontrollgruppe Zielkonflikte und andere Herausforderungen für das Evaluierungsdesign Kontakt Wirtschaftsuniversität Wien Forschungsinstitut für Altersökonomie 1020 Wien, Welthandelsplatz 1, D4 T: