Erfolgsstrategien zur Verbesserung von Seminarbewertungsbögen. Erfolgsstrategien

Transkript

1 Erfolgsstrategien zur Verbesserung von Seminarbewertungsbögen Erfolgsstrategien

2 Der Feedbackbogen ist ein wichtiges Evaluierungsinstrument. Er ermöglicht Rückschlüsse auf die Qualität der Schulung (in der Wahrnehmung der Teilnehmer) und zumindest einen groben Vergleich unterschiedlicher Qualifizierungen wenn Sie die Ergebnisse mit der gebotenen Vorsicht interpretieren. Was sollten Sie bei der Erstellung (oder Überprüfung) solcher Bögen beachten? Länge Evaluationsbögen sollten Sie kurz halten. Teilnehmer füllen die Bögen ohnehin meist nur ungern aus. Je länger der Bogen, desto mehr schwindet die Motivation. Deshalb sollte der Standardbogen nur zwei Seiten umfassen. Achten Sie darauf, dass der Bogen schnell auszufüllen ist und nicht zu viele Fragen umfasst. Sonst leidet die Motivation, was sich wiederum auf die Sorgfalt beim Ausfüllen auswirken kann. Überschrift Überlegen Sie bitte, welche Überschrift Sie für den Bogen wählen. Die Begriffe Beurteilungsbogen und Bewertungsbogen können negative Assoziationen erzeugen. Besser sind vielleicht Formulierungen wie Ihre Meinung zum Seminar oder Ein Blick zurück auf das Seminar. Einleitung Stellen Sie dem Bogen einen einleitenden Satz zu Sinn und Zweck voran. Ihre Meinung ist uns wichtig. Nur so können wir Ihnen die Seminare anbieten, die Sie sich wünschen. Verzichten Sie auf ausführliche Erläuterungen. Sie werden meist ohnehin nicht gelesen. Kriterien/Fragen Viele Bögen gleichen sich im Aufbau und im Inhalt. Gefragt wird vor allem nach Zielorientierung Inhaltsauswahl und -aufbereitung Methodischem Vorgehen Medieneinsatz Verständlichkeit der Darstellung Aktivierung und Beteiligung der Lerner Lernklima. Denken Sie auch an die Zeit nach dem Seminar. Ein Seminar ist nur dann erfolgreich, wenn die Teilnehmer das Gelernte umsetzen. Überlegen Sie deshalb, ob Sie nicht auch Kriterien wie Praxisbezug Motivation zur Umsetzung Umsetzbarkeit berücksichtigen wollen. TRANSFER 2

3 Alternativ können Sie Fragen stellen: Wurden Ihre Erwartungen an den Kurs erfüllt? oder Statements formulieren Meine Erwartungen wurden... Denken Sie auch hier daran: In der Kürze liegt die Würze. Zwingen Sie die Teilnehmer nicht, lange Textpassagen zu studieren, wie diese hier: Kommen wir zum Punkt Rahmenbedingungen. Sie waren im Seminarhotel untergebracht und haben an der Verpflegung teilgenommen. Wie beurteilen Sie beides? Versuchen Sie mit maximal sechs Wörtern und einer Zeile auszukommen. Die Themen entsprachen meinen Erwartungen. Bei jedem Punkt wird nur ein Thema angesprochen. Negatives Beispiel: Die Themenauswahl und Vermittlung empfand ich als gelungen. Achten Sie auf konkrete Aussagen. Je konkreter die Aussagen, desto leichter lassen sich Verbesserungen planen. Ich konnte mich aktiv einbringen. Besser: Es gab genügend Raum für Erfahrungsaustausch. Achten Sie auf eine neutrale Sprache, vermeiden Sie Unterstellungen. Negatives Beispiel: Glauben Sie, dass das Seminar zu kurz war? Besser: Wie beurteilen Sie die Länge des Seminars zu kurz angemessen zu lang Achten Sie bitte auch darauf, dass die einfache, verständliche und vor allem aussagekräftige Begriffe wählen. Je weniger griffig der Ausdruck, desto aussageschwächer die Antworten. Negatives Beispiel: Wie schätzen Sie die Transfermöglichkeiten ein? Antwort eines Teilnehmers: Ich bin mit dem Auto hier. Es kann sich im praktischen Einsatz zeigen, dass auf einzelne Fragen nie oder sehr selten geantwortet wird oder die Antworten nicht aussagekräftig sind. Welche Schwierigkeiten hatten Sie beim Lernen im Seminar? Dann kann man auf diese Frage verzichten. Es kann auch sein, dass Fragen unsinnig sind. TRANSFER 3

4 Wie schätzen Sie die Qualität der Schulungsunterlagen ein? Diese Frage ist dann unsinnig, wenn die Unterlagen (teilweise) erst am Ende der Veranstaltung ausgegeben werden. Es ist schließlich möglich, dass sich die Antworten auf ähnliche Fragen kaum unterscheiden. Wie beurteilen Sie: Praxisrelevanz? Bezug zum Alltag? Dann kann man beide Fragen zusammenfassen oder auf eine verzichten. Damit machen Sie Ihren Bewertungsbogen kürzer und handhabbarer. Nehmen Sie grundsätzlich nur Kriterien und Fragen auf, die für Sie wichtige Aussagen über die Qualität des Unterrichts bedeuten die für die Verbesserung der Seminare konkrete Hinweise erbringen. Kriterien abzufragen, die Sie nicht beeinflussen können, brauchen Sie auch nicht aufzunehmen. Damit schaffen Sie bestenfalls Erwartungen, die Sie nicht erfüllen können. Kombinieren Sie Fragen zum Ankreuzen mit freien Antwortmöglichkeiten. Beschränken Sie die Zahl der freien Antwortmöglichkeiten. Achten Sie darauf, dass Sie bei den freien Antwortmöglichkeiten ebenfalls aussagestarke Fragen kreieren. Sehr allgemeine Fragen erbringen auch diffuse Ergebnisse. Was wollen Sie sonst noch anmerken? Fragen, die Ihnen für die Qualitätssicherung keine konkrete Hilfe darstellen, sollten Sie nicht aufnehmen. Was möchten Sie Ihrem Trainer noch mit aus den Weg geben? Eine e Idee ist, Ankreuzfragen mit freien Antwortmöglichkeiten zu kombinieren. Praxisbezug sehr weniger Anmerkung: schlecht Skalen Bei Ankreuzfragen ist die richtige Skala wichtig. Hier die Regeln: Zahl der Items begrenzen Es gibt Untersuchungen, dass ein Durchschnittsmensch nicht mehr als sieben verschiedene Ausprägungsgrade unterscheiden kann und selbst damit haben einige Teilnehmer schon Schwierigkeiten. Deshalb sollten die Einschätzungsskalen nicht zu breit gefächert sein. Möglichst einheitliche Skalenbeschriftung Wechseln Sie möglichst nicht bei jeder Frage die Beschriftung der Möglichkeiten zum Ankreuzen. Das verwirrt nur. Überlegen Sie, ob Sie nicht grundsätzlich auf die Schulnoten zurückgreifen. Die kennt jeder und die passen immer. TRANSFER 4

5 Ausreichende Differenzierung im positiven Bereich Die meisten Teilnehmer beurteilen Seminare mit bis sehr. Deshalb macht eine starke Differenzierung im negativen Bereich wenig Sinn, andererseits sollten Sie ausreichend viele Ankreuzmöglichkeiten bei den positiven Werten vorhalten. Skalen mit positiven Werten beginnen Beginnen Sie die Skala mit positiven Werten. Ansonsten kann es passieren, dass die Teilnehmer nicht genau hinsehen und falsch ankreuzen. Praxisbezug sehr befriedigend ausreichend mangelhaft Schwer zu entscheiden ist die Frage, ob gerade Skalen ohne Mittelwert oder ungerade Skalen mit Mittelwert sinnvoller sind. Für einen Mittelwert spricht die Aussagekraft der Skala, da kein Wert fehlt, gegen einen Mittelwert spricht, dass es bei Bewertungen nach Untersuchungen eine Tendenz zur Mitte gibt, die das Ergebnis beeinflussen könnte. Möchten Sie von den Teilnehmern ein eindeutiges Urteil positiver oder negativer Art, sollten Sie überlegen, den Mittelwert, etwa teils, teils wegfallen zu lassen. Für Seminarbewertungen ist dieses Phänomen aber eher unwahrscheinlich, da dort ohnehin eine Tendenz zu positiven Bewertungen existiert. Außerdem können Sie ohne einen Mittelwert auch keinen Mittelwerte berechnen. Die Aussage durchschnittliche Bewertung 3,2 ist damit nicht mehr möglich. Sie können nur noch angeben sehr 33%, 21%... Das erschwert die Auswertung. Zusatzfragen Zusatzfragen können die Organisation, die Unterbringung, die Verpflegung usw. betreffen. Sie können Ihren Bogen auch als Marketinginstrument nutzen, indem Sie den Teilnehmer nach weiteren, gewünschten Seminarthemen fragen. Ein es Stimmungsbild geben vielfach allgemeine Fragen wie Würden Sie den Kurs weiter empfehlen? oder Würden Sie selbst an einem Aufbaukurs/einem Umsetzungsworkshop zu diesem Thema teilnehmen? Namensangabe Bei vielen Bewertungsbögen wird nicht nach dem Namen gefragt. Das Argument ist, dass durch die Anonymität ehrlichere Aussagen zu erwarten sind. Damit verschenkt man sich aber gleichzeitig die Möglichkeit, bei Teilnehmern nachzufragen, etwa wenn bestimmte Aussagen schwierig zu interpretieren sind, was für die Qualitätssicherung wichtig wäre. Und zu einer Feedbackkultur gehört eigentlich, dass man seine Meinung frei äußert, was die Teilnehmer ja auch vom Trainer erwarten. Vielleicht können Sie das Thema im Seminar mal anschneiden und die Meinung der Teilnehmer einholen, vielleicht können Sie die Angabe des Namens freiwillig machen und dann vergleichen, wie viele dann noch auf Anonymität setzen und ob deren Bewertungen tatsächlich schlechter ausfallen. Abschluss Danken Sie dem Teilnehmer am Ende für seine Mühe. TRANSFER 5

6 Noch einige Hinweise, wie Sie die Aussagekraft Ihres Evaluationsbogens verbessern können: Überlegen Sie, ob nicht die Behandlung der Themen mit in den Bogen aufgenommen werden sollen. Jedem Seminarprogramm ist eigentlich eine Verpflichtungserklärung beizufügen. An die Verpflichtung, sich an die vorgegebenen Ziele zu halten und auch tatsächlich alle Inhalte durchzusprechen, ist der Trainer gebunden. Ob er dies tatsächlich tut, erfährt man, wenn man die Inhalte mit abfragt. Themenbehandlung Thema 1: zu kurz gerade richtig zu lang nicht behandelt Thema 2: zu kurz gerade richtig zu lang nicht behandelt Thema 3: zu kurz gerade richtig zu lang nicht behandelt Thema 4: zu kurz gerade richtig zu lang nicht behandelt Thema 5: zu kurz gerade richtig zu lang nicht behandelt Achten Sie bitte auch darauf, wie und wann Sie den Bogen ins Seminar einführen und ausfüllen lassen 1. Erläutern Sie den Teilnehmern die Bedeutung des Bogens für Ihre Qualitätssicherung. 2. Verteilen Sie Evaluationsbögen immer zur selben Zeit und mit den selben Hinweisen zum Ausfüllen. Ansonsten sind die Ergebnisse nicht mehr vergleichbar. 3. Geben Sie den Teilnehmern genügend Zeit zum Ausfüllen und wählen Sie einen Zeitpunkt, wo die Teilnehmer noch die Muße zum Ausfüllen haben. 4. Sie können den Bogen auch zur wiederholten Evaluation einsetzen. Jeden Abend bewerten etwa die Teilnehmer den Seminartag. 5. Wenn Sie die Bögen vor der letzten Kaffeepause ausfüllen lassen, können Sie sich die Ergebnisse noch vor der Abschlussbesprechung ansehen und gezielt nachfragen. Weitere Vorteile: Die Abschlussbesprechung verkürzt sich und Sie können entscheiden, ob Sie die Besprechung mit oder ohne den Trainer durchführen wollen. Lassen Sie die Bögen nach der Schulung ausfüllen. Der Eindruck einer Schulung verblasst schnell. Deshalb bekommt man Tage oder Wochen nach der Schulung deutlich kritischere Ergebnisse. Das liegt zum einen daran, dass die Teilnehmer nicht mehr von der Stimmung am Ende der Schulung beeinflusst sind und vielleicht auch schon erste Umsetzungserfahrungen machen konnten. Allerdings muss man die objektiveren Ergebnisse oft mit einem recht geringen Rücklauf erkaufen. Zudem sollten Sie kontrollieren, wann der Bogen ausgefüllt wird. Ob Tage oder Wochen nach der Schulung macht einen deutlichen Unterschied. Vielleicht können Sie den Teilnehmern den Bogen per Mail zuschicken und danach erst die Teilnahmebescheinigungen verteilen. TRANSFER 6

7 Zum Abschluss zwei Beispielbögen, die Ihnen als Orientierung dienen sollen. Überprüfen Sie aber, was Sie ändern müssen, um den für Ihre Organisation passenden Bogen zu entwickeln. Im ersten Bogen werden die Vorschläge aufgegriffen, die auf den letzten Seiten zu finden waren. Ihre Meinung zum Seminar Kein Seminar ist so, dass man es nicht noch verbessern könnte. Bitte helfen Sie uns dabei mit Ihrer Kritik und Ihren Verbesserungsvorschlägen. Seminar: Nummer Titel vom... bis Qualität des Seminars Bitte kreuzen Sie an: Informationsgehalt Präsentation des Stoffs/Lehrmethoden Arbeitsunterlagen Möglichkeit zur Mitarbeit Nutzen für die Praxis Möglichkeit zur Umsetzung Arbeitsklima 2. Qualität der Tagungsstätte sehr Bitte kreuzen Sie an: Seminarräume Unterkunft Verpflegung 3. Einzelhinweise Was war besonders positiv? sehr Was sollte verbessert werden? zufriedenstellend ausreichend unzureichend zufriedenstellend ausreichend unzureichend 4. Wünsche und Anregungen Welche Seminarthemen wären für Sie außerdem wichtig? Wie ließe sich die Organisation der Weiterbildung noch verbessern? Name: Orga-Einheit: Vielen Dank für Ihre Mithilfe. TRANSFER 7

8 Der zweite Bogen ist auf die allernötigsten Informationen beschränkt. Der Vorteil liegt daran, dass er sich in kurzer Zeit ausfüllen lässt. Ihre Meinung zum Seminar Helfen Sie uns, die Qualität der Schulungen zu verbessern. Anregungen: Vielen Dank für Ihre Unterstützung. TRANSFER 8