Interviewtechnik für interne Evaluationen

Transkript

1 Interviewtechnik für interne Evaluationen Eine Handreichung für schulinterne Evaluationsgruppen Dr. Hans Keller Bildungs- und Organisationsberatung

2 1. Einleitung Bei internen Evaluationen werden mit Vorliebe Fragebogen eingesetzt. Sie sind das bekannteste Evaluationsinstrument, man findet eine Menge Vorlagen im Internet. Die statistischen Auswertungen finden eher Akzeptanz als andere Methoden, und die Ansicht ist verbreitet, es sei einfacher, mit Fragebogen zu evaluieren. Dabei wird übersehen, dass sich mit gezielt eingesetzten Interviews reichhaltigere und realitätsnahere Informationen ergeben können. Zudem ist der Gesamtaufwand für Fragebogen und für Interviews vergleichbar. In der Wissenschaft hat sich schon lange gezeigt, dass eine Kombination verschiedener Methoden ertragreicher ist als eine Monokultur. Diese Anleitung soll Mut machen, auch Interviews in Evaluationen einzusetzen. In meiner Tätigkeit als Evaluator und als Berater von Evaluationsteams sind Interviews ein fester nicht ausschliesslicher Bestandteil von Evaluationen. Aus diesen Erfahrungen sowie durch Weiterbildung und Selbststudium ist diese Anleitung entstanden. Wichtige Anstösse kamen von Dr. Erwin Rüegg, Politikwissenschafter, Universität Zürich. 2. Fragestellung Befragte Methoden 2.1 Was wollen wir wissen? So wie in der Wissenschaft zu Beginn eine Forschungsfrage formuliert werden muss, beginnt eine Evaluation mit der genauen Formulierung der Evaluationsfrage. Dabei geht es nicht um Was wollen wir fragen?, sondern um Was wollen wir wissen?. Da hilft es meist wenig, im Internet nach geeigneten Fragen zu suchen. Zwar kann eine Internet-Recherche Anregungen geben, aber man kommt nicht darum herum, die eigene Situation und Thematik zu analysieren. Angenommen, die Gewalt auf dem Schulareal sei das Thema. Da kann eine Evaluation zur Erfassung der Situation sinnvoll sein, bevor Massnahmen beschlossen werden. Wenn s allerdings schon brennt, soll man natürlich handeln und nicht erst evaluieren (das eventuell nachher). Eine mögliche Evaluationsfrage in diesem Fallbeispiel könnte lauten: Welche Gewalt erleben unsere Schülerinnen und Schüler auf dem Schulareal und dem Schulweg als bedrohlich? Diese Frage präzisiert, was wir wissen wollen, sie fokussiert auf die als bedrohlich erlebten Situationen in einem begrenzten Raum. Die Planung der Evaluation soll sich an dieser Frage orientieren und sie am Ende beantworten. Als Nächstes sind die verwendeten Begriffe zu klären, hier zum Beispiel, was unter Gewalt verstanden werden soll (verbal, tätlich ). Weiter ist zu unterscheiden, ob solche Situation selbst erlebt oder beobachtet wurden. Diese Ausleuchtung der verschiedenen Aspekte ist die Grundlage für die Erarbeitung der Befragungsinstrumente. 2.2 Wer kann uns dazu was sagen? Wenn die Evaluationsfrage formuliert und die zentralen Aspekte geklärt sind, stellt sich die Frage, wer Auskunft dazu geben könnte. Nach dem so genannten Triangulationsprinzip ist darauf zu achten, dass verschiedene Perspektiven erfasst werden. In unserem Beispiel sollten sicher Lehrpersonen und Schülerinnen und Schüler befragt werden. Weitere mögliche Zielgruppen sind Eltern, Hausdienst, Sozialdienste Sind die zu befragenden Gruppen bestimmt, gilt es, die Fragen adressatengerecht zu formulieren. So wird man zwar Lehrpersonen und Lernenden inhaltlich dieselben Fragen stellen, aber angepasst formuliert, damit sie sicher verstehen, was wir wissen wollen. Hans Keller Interviewtechnik Seite 2

3 2.3 Wie wollen wir befragen? Erst jetzt stellt sich die Frage, wie befragt werden soll. Es gibt grundsätzlich zwei Gruppen von Methoden, quantitative und qualitative. Bei der quantitativen Methode werden z.b. verschiedene Antworten zur Auswahl angeboten oder es sind Aussagen in zu bewerten, z.b. von trifft nie zu bis trifft immer zu oder es ist eine Zustimmung in Stufen von 1 bis 6 zu geben. Solche Antworten können mengenmässig (quantitativ) erfasst und ausgewertet werden. Sie geben einen guten Überblick über die Meinung aller Befragten, aber keine Details oder Begründungen zu den Antworten. Bei qualitativen Methoden bestehen die Antworten aus gesprochenem oder geschriebenem Text. Die Antworten können nicht direkt verglichen und gezählt, sondern müssen zusammengefasst werden. Sie sind reichhaltig und können unerwartete Aspekte zur Sprache bringen, die bei quantitativen Befragungen untergehen. Eine Übersicht über verschiedene quantitative und qualitative Methoden und deren Vor- und Nachteile findet sich z.b. bei Landwehr/Steiner/Keller (2003) oder Keller (2005). Günstig ist auch hier eine Triangulation, und zwar durch unterschiedliche Methoden. In unserem Beispiel könnte es angebracht sein, zuerst mit wenigen Beteiligten Interviews durchzuführen, um so das Thema zu konkretisieren und einzugrenzen. Daran könnte sich eine kurze schriftliche quantitative Befragung aller Beteiligten anschliessen, in der die kontroversen Fragen gestellt und geklärt werden. Umgekehrt könnten sich Interviews an eine quantitative Befragung anschliessen, zur Klärung der Hintergründe bestimmter Antworten. Bei internen Evaluationen in Schulen hat sich für grosse Gruppen (Lehrpersonen, Lernende, Eltern) eine Mischform aus kurzem Fragebogen und anschliessender Gruppendiskussion bewährt (siehe Anhang 9.2, Ratingkonferenz). Im Folgenden wird das Interview, insbesondere das Leitfadeninterview, als bewährte qualitative Methode genauer beschrieben. 3. Interviewvielfalt 3.1 Spektrum der Interviewformen Zwischen narrativem Interview und automatisiertem Telefoninterview gibt es eine ganze Bandbreite von Interviewformen; das Leitfadeninterview steht im Mittelfeld. Beim narrativen Interview wird der Erzählfluss der interviewten Person möglichst nicht unterbrochen, damit diese den roten Faden nicht verliert. Diese Form wird vor allem im historischen und therapeutischen Kontext verwendet. Beim automatisierten Telefoninterview werden die Fragen eines quantitativen Fragebogen systematisch abgefragt. Diese Methode wird bei grossen Umfragen statt schriftlicher Fragebogen verwendet, da sie die Antworten eher korrekt erfasst und der Rücklauf besser kontrolliert werden kann als bei schriftlichen Befragungen. Das Leitfadeninterview ist flexibler, aber doch gesteuert durch einen Frage-Leitfaden. Ein Interview ist weder eine Diskussion noch ein Verhör, sondern ein geführtes Gespräch mit einer klaren Rollenteilung. Die Befragerin muss versuchen, dass der Befragte möglichst ungestört zu Wort kommt und beim Thema bleibt. 3.2 Einzel- und Gruppeninterviews Im wissenschaftlichen Kontext ist das Einzelinterview der Standard. Es werden mehrere Personen einzeln zum gleichen Thema befragt und deren Aussagen anschliessend verglichen und zusam- Hans Keller Interviewtechnik Seite 3

4 mengefasst. Im Einzelinterview kommt die befragte Person ausführlich zu Wort. Ihre Aussagen sollten am Schluss ein kohärentes Bild ihrer Meinung und Eindrücke geben. Im Schulkontext sind auch Gruppeninterviews gebräuchlich. Die Befragten werden repräsentativ zusammengesetzt, unterschiedliche Meinungen zeichnen sich klar ab und können einander gegenübergestellt werden. Dafür handelt man sich automatisch die ganze Gruppendynamik ein. Der Interviewer wird zum Gesprächsführer und muss auf eine ausgewogene Teilnahme achten. Das sind sich Lehrpersonen ja gewohnt. Bei Gruppeninterviews wird die Protokollierung und die Identifikation der Voten der Teilnehmenden schwierig (siehe Kap 5.3). Vorteile Nachteile Einzelinterview state of the art genug Sprechzeit geht in die Tiefe braucht mehrere Interviews (mind 6, eher mehr) Gruppeninterview wenige Gruppen eher repräsentativ Validierung von Einzelaussagen möglich Gruppendynamik prägt die Themen kurze Gesprächszeit für eine Person Für zuverlässige Ergebnisse sind 6-10 Einzelinterviews einer Befragung weniger Gruppen vorzuziehen. Andererseits finden Ergebnisse aus z.b. 4 Gruppeninterviews häufig mehr Akzeptanz, da prozentual mehr Beteiligte befragt werden, obwohl der oder die Einzelne dabei nicht so oft zu Wort kommt. Es bleibt in jedem Fall abzuwägen, wie man zu den zuverlässigsten Ergebnissen gelangt. 3.3 Leitfadeninterview Das Leitfadeninterview ist ein strukturiertes Gespräch über ein gegebenes Thema. Dazu wird vorweg ein Leitfaden erstellt (siehe Kapitel 4), der eine offene Startfrage und einige weiterführende Fragen zum Evaluationsthema enthält. Mit der Startfrage wird ein Gesprächsthema eröffnet, sie soll die befragte Person zum Erzählen auffordern. Gelingt dieser Einstieg, so wird oft ein grosser Teil der Nachfragen schon beantwortet und es bleibt nur noch, an einigen Stellen nachzuhaken. Das Leitfadeninterview eignet sich gut für interne Evaluationen, da es einerseits klar auf ein Thema fokussiert ist und geleitet wird, andererseits den Befragten genügend Spielraum lässt, um eigene Eindrücke, Meinungen und Ideen zu äussern. Dadurch erhält das Evaluationsteam vielfältige und ungefilterte Informationen. 4. Leitfaden erstellen 4.1 Thema strukturieren Meistens wird schon bei der Formulierung der Evaluationsfrage das Thema mit seinen verschiedenen Aspekten ausgeleuchtet. Bevor der Leitfaden erstellt werden kann, sollten diese Aspekte strukturiert und gewichtet werden: - Welche Themen sollten angesprochen werden? - Zu welchen können die Befragten etwas sagen? - Welches sind die wichtigsten 4-5 Themen? In unserem Beispiel könnten die Themen etwa wie folgt strukturiert werden: - Selbst erlebte Aggressionen - Beobachtete Aggressionen - Befürchtete Aggressionen Hans Keller Interviewtechnik Seite 4

5 - Erwartete Unterstützung Innerhalb dieser Kategorien kann dann nach der Art der Gewalt (tätlich, verbal) und dem Ort (Klassenzimmer, Schulhaus, Schulhof, Schulweg) unterteilt werden. Natürlich können in der konkreten Situation die Themen auch anders angeordnet und gewichtet sein. Das bleibt eine der Kernaufgaben des Evaluationsteams. 4.2 Einstiegsfrage Das Interviewgespräch beginnt nach der Einleitung mit einer Einstiegsfrage, welche die Befragten anregt, sich relativ frei zum Thema zu äussern. Sie soll beim Erlebten der Befragten anknüpfen und sie zum Erzählen über das Evaluationsthema bringen. Die Frage an Schüler/innen in unserem Beispiel könnte lauten: In welchen Situationen hast du dich in letzter Zeit auf dem Schulareal oder dem Schulweg belästigt oder bedroht gefühlt? Die Frage sollte zur Schilderung von erlebten Situationen anregen und nicht nur mit Ja oder Nein beantwortet werden können. Natürlich ist es möglich, dass jemand vorerst nur sehr knapp antwortet. Dann kommen die anschliessend formulierten Leitfragen zu einzelnen Aspekten zum Zuge. 4.3 Leitfragen und Nachfragen Für den weiteren Gesprächsverlauf werden zu einzelnen wichtigen Aspekten je eine Leitfrage und allfällige Nachfragen formuliert. Die Leitfrage soll auf den Aspekt fokussieren und wieder zum Erzählen anregen. Sie soll ausformuliert vorliegen. Für die Nachfragen reichen Stichworte als Gedankenstütze. In unserem Beispiel könnte eine Leitfrage wie folgt aussehen. Leitfrage: Vor welchen bedrohlichen Situationen möchtest du an unserer Schule beschützt werden? Nachfragen: eigene Handlungsmöglichkeiten? Wer hat geholfen bzw. könnte helfen? Art der erwarteten Unterstützung? Im Anhang findet sich ein Beispiel eines Leitfadens aus der Evaluation von Seminaren zur Unterstützung von Berufslernenden beim Übergang von der Lehre zu einer Arbeitsstelle (siehe 9.1). 5. Vorbereitung 5.1 Auswahl der Interviewten, Organisation der Interviews Bei Interviews ist nicht deren Menge entscheidend, sondern die Auswahl der Interviewten nach Kriterien wie Alter, Geschlecht, Fachbereich usw. Auf Grund der Analyse der beteiligten Gruppen (siehe 2.2) werden aus jeder Gruppe einige wenige Personen ausgewählt, sie sollen einen repräsentativen Querschnitt aller Beteiligten darstellen. Je nach Grösse der Gruppen können sowohl Einzel- als auch Gruppeninterviews geplant werden. Im Fallbeispiel könnten in einer kleineren Schule etwa 4 Lernende, 2 Lehrpersonen, der Hausmeister und zwei Eltern in Einzelinterviews befragt werden. In einer grösseren Schule wären es eher je zwei Gruppen von Lernenden und Lehrpersonen, eine Gruppe von Eltern und Einzelinterviews mit Hausdienst, Sekretariat und Sozialarbeit. Die Interviews dauern je nach Kontext in der Regel zwischen 30 und 60 Minuten, bei grösseren Gruppen und Themen etwas länger. Grundsätzlich taucht das Wichtigste in der ersten halben Stunde auf, im Zweifelsfall sind zwei kürzere Interviews ergiebiger als ein langes. Hans Keller Interviewtechnik Seite 5

6 Sind die geeigneten Personen bestimmt und angefragt worden, organisiert man die Interviews: Die Termine für die Befragungen sind so zu legen, dass jeweils zwei Personen das Interview führen können und die Befragten zur Verfügung stehen. Die Interviewpartner werden nun orientiert: über die Evaluation, das Thema, eventuell über die zentralen Aspekte und das Vorgehen, über die Anonymisierung und das weiter geplante Vorgehen in der Evaluation. Es ist abzuraten, den Interviewleitfaden vorweg zuzustellen. Das verleitet eher zu knappen, gefilterten Antworten statt zu einem ergiebigen, vertieften Gespräch. Die Interviews sollten innerhalb einer begrenzten Zeit stattfinden, damit die Antworten noch präsent sind. Andererseits sollten sie sich nicht direkt folgen damit jedes Interview kurz nachbereitet und gesichert werden kann, bevor das nächste beginnt. Für die Interviews sind ruhige Räume zu reservieren und die Sitzordnung so zu wählen, dass sich die Befragten nicht wie in einer Verhörsituation fühlen. Bei Einzelinterviews sollte Augenkontakt möglich, aber nicht zwingend sein, das heisst, interviewende und interviewte Person sitzen einander eher nicht direkt gegenüber. 5.2 Vor dem Interview Vor dem Gesprächstermin sind die Materialien (Leitfaden, Aufnahmegeräte, evtl. Flipchart, Moderationsmaterial ) bereitzustellen und zu prüfen (Batterien, Speicher, Stifte ), und der Raum ist einzurichten (Licht, Luft, Sitzordnung). Zur mentalen Vorbereitung sind einerseits der Leitfaden durchgzuehen und Einleitung bzw. Einstiegsfrage zu memorieren, andererseits die eigene Rolle sich nochmals bewusst zu machen: Es geht darum, die Aussagen und Eindrücke der befragten Personen zu erfassen. Die eigene Person, die private Meinung und die eigenen Sympathien haben zurückzustehen, die eigene Sprechzeit beträgt unter 15%. Die Grundhaltung ist eine Neugier für die Aussagen der Befragten zum Thema. 5.3 Protokollierung Wie sollen Aussagen festgehalten werden? In jedem Fall ist eine digitale Aufnahme der Interviews vorzusehen. Tonaufnahmen genügen, Videoaufnahmen sind viel aufwendiger und schwieriger auszuwerten. Da immer was schief gehen kann, sind auch Notizen zu empfehlen. Das heisst, es sind zwei Personen nötig beim Interview. Eine führt das Gespräch, die andere besorgt die Technik und macht Notizen. Bei Gruppeninterviews können die Notizen auch stichwortartig auf Flipchart für alle sichtbar festgehalten und von den Befragten bei Bedarf korrigiert werden. Der Nachteil dabei ist die starke Verkürzung der Aussagen auf der Flipchart. Die Tonaufnahmen dienen mindestens zur Kontrolle und Anreicherung der Notizen sowie für das wörtliche Zitat typischer Aussagen. Im nicht so häufigen Idealfall werden die Aufnahmen transkribiert und der gesamte Text steht für die Auswertung zur Verfügung. Das bedeutet allerdings ein grösserer Aufwand. In jedem Fall steht nach dem Interview Textmaterial für die Auswertung zur Verfügung mindestens in Form von ausführlichen Stichworten. 6. Durchführung 6.1 Einleitung Nach der Begrüssung und dem gegenseitigen Vorstellen informiert man die Befragten nochmals kurz über den Kontext der Evaluation (Auftraggeber, Fragestellung, Rolle und Verwendung der Interviews). Dazu gehören Hinweise zur Anonymität der Befragten (im Bericht werden keine Namen genannt) und zur Tonaufnahme, welche nur den Evaluator/innen dient und nach der Auswertung gelöscht wird. Mit der Einstiegsfrage beginnt die Aufnahme. Hans Keller Interviewtechnik Seite 6

7 6.2 Gesprächsführung Wie erwähnt, führt die eine Person das Gespräch, die andere sorgt für die Protokollierung und ist eine Stütze für die Befragerin, falls Missverständnisse entstehen oder etwas unterzugehen droht. Nach der Einstiegsfrage wird den Befragten genug Zeit gelassen, den Gesprächsfaden aufzunehmen. Bei Anfangsschwierigkeiten kann man die Einstiegsfrage wiederholen oder klären. Das ist besser, als gleich schon zu den andern Leitfragen überzugehen. Haben die Befragten den Faden aufgenommen, so sollten sie eine Weile lang nicht unterbrochen werden, ausser sie verfehlen das Thema deutlich. Nach einiger Zeit werden einzelne Aussagen der Beteiligten nochmals aufgenommen, die im Leitfaden als Teilthemen vorgesehen sind. Das heisst, man hakt nach und arbeitet die Leitfragen nicht bürokratisch ab, sondern baut sie in den Gesprächsfluss ein. Eher erst nach Ablauf der Hälfte der Zeit werden noch bisher fehlende Themen angesprochen. Gegen Schluss fragt man, ob etwas Wichtiges vergessen worden sei. Dann verdankt man das Gespräch und skizziert den weiteren Verlauf der Evaluation kurz. Insbesondere wird erklärt, wann und wem die Ergebnisse mitgeteilt werden, wer sie diskutiert, was weiter damit geschieht und an wen man sich bei Fragen wenden kann. 6.3 Nachbereitung Nach dem Interview sitzen die beiden Befragerinnen zusammen, halten Angaben zum Kontext fest (Befragte, Änderungen im Ablauf, Störungen ), markieren und sichern Notizen und Aufnahmen. Weiter ziehen sie eine kurze inhaltliche Bilanz (die hilft bei der Auswertung) und merken sich allfällige Fragen, die im Hinblick auf die weitere Evaluation oder folgende Interviews noch zu klären sind. 7. Auswertung Die Zusammenfassung von Interviews erfolgt nach den Regeln einer Textinterpretation. Das ist im Schulkontext keine unbekannte Arbeit, auch wenn sie nicht automatisch erfolgen kann. Wenn mehrere Personen beteiligt sind, haben sie die Systematik abzusprechen und im Verlauf der Arbeit abzugleichen. 7.1 einfache Auswertung individuelle und übergreifende Zusammenfassungen Eine Möglichkeit ist, dass jedes Interview von einer der befragenden Personen zusammengefasst wird. Dazu hört man als Erstes die Tonaufnahme ab und ergänzt die Notizen. Anschliessend fasst man die Antworten entlang des Leitfadens zusammen und gibt prägnante zentrale Aussagen wörtlich wieder. Aus diesen Berichten erstellt ein kleines Team oder eine einzelne Person eine übergreifende Zusammenfassung, die dann von den andern korrigiert und im Abgleich mit den eigenen Interviewzusammenfassungen ergänzt wird Zusammenfassung in der Arbeitsgruppe Eine andere, recht effektive Methode ist die Zusammenfassung der Interviews im Team. Jede Person vertritt ein Interview oder mehrere davon. Sie hat ihre Notizen wie oben erklärt geordnet und ergänzt und legt sie vor sich auf. Eine Person übernimmt die Gesprächsleitung, eine weitere notiert fortlaufend die Ergebnisse (PC+Beamer). Entlang der Leitfragen wird berichtet, verglichen und zusammengefasst. Dieser Text wird von allen gegengelesen und ergänzt. Diese Methode wird von Langer (2001) ausführlicher beschrieben. Hans Keller Interviewtechnik Seite 7

8 7.2 Qualitative Inhaltsanalyse nach Meyring Sollen die Interviews nach professionellen Standards ausgewertet werden, so gibt das Buch von Philipp Mayring (2008), Qualitative Inhaltsanalyse, Kapitel 5, Seiten 42-99, eine gut lesbare Anleitung. Hier soll nur die Methode der strukturellen Analyse vorgestellt werden Sinneinheiten markieren Im ersten Schritt werden im Text Sinneinheiten markiert. Das sind Satzteile bis Absätze, die in sich eine einzige Aussage enthalten. Dazu notiert man ein passendes Stichwort als vorläufige Kategorisierung Kategorien bilden und zuordnen Hat man so einen Teil der Interviews aufgeschlüsselt, erstellt man wenn möglich im Team ein Kategorienraster, in das die Antworten möglichst eindeutig eingeordnet werden können. Sorgfältig erarbeitete Leitfäden eignen sich oft als Grundgerüst dafür. Zu jeder Kategorie gibt man ein so genanntes Ankerbeispiel, um die Zuordnung leichter zu machen. Für Grenzfälle wird vereinbart, wie damit umzugehen ist (z.b. mehrfaches Erfassen, neue Kategorie bzw. Unterkategorie schaffen, offen lassen und gemeinsam diskutieren) Strukturieren Die Kategorien dienen primär zur Strukturierung der Zusammenfassung. Sekundär können auch quantitative Anhaltspunkte zur Häufigkeit von Antworten erfasst werden. Die Struktur der Antworten kann zum Beispiel in einer Mindmap oder einem Netzwerk grafisch erfasst werden. Daraus leitet sich dann die Disposition der Zusammenfassung ab Zusammenfassen Nun werden gemäss der Disposition die Aussagen zusammengefasst. Der entstehende Text darf im ersten Anlauf knapp sein, soll aber doch die wesentlichen Aussagen erfassen. Im nächsten Durchgang wird der Text erweitert Überprüfen und Ergänzen Die vorliegende Zusammenfassung wird nun an Hand der Interviewtexte und allenfalls mit Hilfe der Aufnahmen ergänzt durch treffende Zitate und allfällige quantitative Angaben. Anschliessend wird mit jedem Interviewprotokoll nochmals überprüft, ob sich alle wesentlichen Aussagen sinngemäss finden. Dieser Prozess ist in der folgenden Figur symbolisch dargestellt als Zuspitzung mit anschliessender Ausweitung. Hans Keller Interviewtechnik Seite 8

9 8. Bilanz und Folgerungen Die Zusammenfassung wird mit einer Bilanz abgeschlossen, in der die Evaluationsfrage wieder aufgenommen und beantwortet wird. Beim folgenden Schritt scheiden sich die Evaluationsgeister. Nach meiner Meinung gehört zum Kontext der internen Evaluation eine Stellungnahme des Evaluationsteam. Sie sollte auf Grund der Ergebnisse Vorschläge machen, wie im evaluierten Thema weiter vorgegangen werden könnte, und zwar im Sinne von Anregungen, die sich aus den Interviews ergeben, nicht im Sinn eines verbindlichen Massnahmenplans. Dieser ist Aufgabe der Schulleitung und des ganzen Kollegiums. Doch helfen die Anregungen des Evaluationsteams, einen solchen Massnahmenplan zu entwickeln. Hans Keller Interviewtechnik Seite 9

10 9. Anhang 9.1 Beispiel eines Leitfadens (Evaluation von Seminaren für Berufslernende auf Stellensuche) Hans Keller Interviewtechnik Seite 10

11 9.2 Ratingkonferenz Grundidee In einer Gruppe oder Klasse gibt zuerst jede Person einzeln ihre Einschätzung (Rating) von vorgegebenen Aussagen ab. Die Ergebnisse werden gleich anschliessend zusammengetragen, dann gemeinsam ausgewertet und interpretiert. Vorgehen Thema und Fragen festlegen: Die Fragen nicht über zehn werden als Aussagen formuliert und mit einer Antwortskala versehen (trifft zu, trifft eher zu, trifft eher nicht zu, trifft nicht zu, ka = kann ich nicht beantworten). Mit diesen Fragen wird ein Fragebogen (1 Seite) erstellt und für alle Befragten kopiert. Eine Hellraumfolie des Fragebogens dient der Sammlung der Antworten. Für diese Variante der Durchführung bewährt es sich, zuletzt eine offene Frage zu stellen, deren Antworten während der Auszählung in einer Moderation erfasst werden. Als offene Fragen haben sich Vergleiche und Metaphern bewährt im Stil: Bei diesem Thema ist unsere Schule wie Eine Evaluatorin moderiert den folgenden Ablauf. Sie erklärt der zu befragenden Gruppe den Ablauf und leitet ins Thema ein (3-5 Min). Jedes Mitglied der Gruppe macht sich seine Meinung und setzt seine Kreuze entsprechend auf dem Blatt und gibt dieses dem zweiten Evaluator ab (5-10 Min). Dieser legt die Folie über die einzelnen Blätter und überträgt die Antworten mit kleinen Strichen (Fünfergruppen wie beim Kartenspiel) auf die Folie (5-10 Min). Während der Zeit, in der die Antworten übertragen werden, sammelt die Gesprächsleiterin die Antworten zu der offenen Frage (auf Flipchart oder Moderationskarten, 5-10 Min). Sobald die Antworten gesammelt und übertragen und die Moderation der offenen Frage beendet ist, wird die Hellraumfolie aufgelegt und alle sehen das Ergebnis der Befragung. Die folgende Zeit dient nun der Erläuterung der Antworten und allfälliger Motive. Die Gruppe nimmt Stellung zu den Ergebnissen der einzelnen Fragen (20-40 Min). Wer will, kann erläutern, warum er oder sie so geurteilt hat. Es werden Auffälligkeiten geklärt, Gemeinsamkeiten festgehalten. Es geht nicht um eine Konsensbildung, sondern um die Feststellung der Meinungsvielfalt. Diese zusätzlichen Aussagen werden vom zweiten Evaluator protokolliert, meist sichtbar auf Flipchart oder mit PC/Beamer. So kann das Protokoll von den Befragten gegebenenfalls berichtigt werden. Am Schluss gilt es als genehmigt. Als Ergebnis besitzt man nach rund einer Stunde ein paar quantitative Ergebnisse, angereichert durch die Kommentare und Zusatzinformationen der Befragten. Varianten Statt der Hellraumfolie wird ein Plakat mit den Fragen (nur Stichworte) und grossen Antwortfeldern erstellt (evtl. eine Vergrösserung des Fragebogens auf A0). Jede befragte Person erhält Klebepunkte entsprechend der Anzahl Fragen und kann nun damit ihre Antworten des vorher ausgefüllten Fragebogens auf das Plakat kleben. Damit entfällt die Arbeit der Übertragung. Aber es braucht Zeit, bis alle ihre Antworten aufgeklebt haben. Es können mehrere Rating-Konferenzen parallel durchgeführt werden, die Interpretationen können zuerst in den Gruppen erfolgen, dann im Plenum vorgestellt werden. Hans Keller Interviewtechnik Seite 11

12 9.3 Literatur Altrichter/Messner/Posch (2004), Schulen evaluieren sich selbst, Seelze: Kallmeyer, S Burkard/Eikenbusch (2000), Praxishandbuch Evaluation in der Schule, Berlin: Cornelsen, S Keller Hans (2005), Selbstevaluation von Schulen, > Dokumente ( ) Kvale Steinar (1999), InterViews, Thousand Oaks: SAGE Landwehr/Steiner/Keller (2003), Schritte zur datengestützen Schulevaluation, Q2E-Band 4, Bern: hep-verlag, S Langer Roman (2001), Interviews durchführen und auswerten, Pädagogik 11/01, Beltz 2001, S Mayring Philipp (1994), Einführung in die qualitative Sozialforschung, Weinheim: Beltz, S 50-54, Mayring Philipp (2008), Qualitative Inhaltsanalyse, Weinheim: Beltz Stangl Werner, Universität Linz, ( ) Hans Keller Interviewtechnik Seite 12