Planung und Durchführung von Evaluationen von Lehrveranstaltungen 1 Zweck der... 2 2 Evaluationszwecke und -methoden... 2 3 Zuständigkeiten und Durchführung... 3 4 Analyse und Bewertung... 4 5 Berichte... 5 6 Umsetzung des Datenschutzes... 5 Anhang... 7 Anhang 1: Prozessbeschreibung Evaluation von Lehre und Studium... 7 Anhang 2: Mögliche Aussagen und Erkenntnisse aus Befragungen (Studierendenbefragungen, Befragungen von Externen)... 8 Anhang 3 Mögliche Aussagen und Erkenntnisse aus Datenerhebung, -analyse... 9
1 Zweck der Diese dient zur Unterstützung der Evaluationsplanung von Studium und Lehre. Es handelt sich um Empfehlungen, die als Vorgaben, z.b. im Rahmen der W-Besoldung, dienen können und die die Grundsätze für gute Lehre an der Fachhochschule Giessen-Friedberg 1 einbinden. Die berücksichtigt die im Oktober 2006 auf der Webseite der AG QLS veröffentlichte Zusammenstellung von Zielen, Evaluationsverfahren und zugehörigen Rahmenbedingungen 2 der Themengruppe Evaluation. Grundlage sind die Evaluationsstandards der Gesellschaft für Evaluation e.v. (DeGEval) 3. Die ergänzt den Prozess Evaluation in Lehre und Studium 4 (vgl. Anhang 1) in der jeweils gültigen Fassung bei der Evaluationsplanung. Diese wird ergänzt durch Standardfragebögen und weitere Dokumenttypen, die sich einer stetigen Aktualisierung unterziehen. Die Standardfragebögen sind zwingend einzusetzen. Darüber hinausgehende Fragen und Fragebögen sind zulässig. 2 Evaluationszwecke und -methoden Je nach Evaluationszweck können verschiedene Evaluationsmethoden empfohlen werden. Im Folgenden werden daher die häufigsten Methoden nach deren Aussagefähigkeit für die Erfüllung des Evaluationszwecks beispielhaft priorisiert. Im Anhang 2 und 3 sind beispielhaft mögliche Aussagen und Erkenntnisse aufgelistet, die aus Befragungen und Datenerhebungen bzw.- analysen gewonnen werden können. Quellen für solche Datenerhebungen und -analysen sind z.b. - Prüfungsamt - Studierendensekretariat - HIS-POS - Externe Rankings - Hochschulplanung Im Folgenden konzentriert sich die auf die Evaluation von Lehrveranstaltungen. 1 https://egroupware.its.fhgiessen.de/egroupware/webdav.php/home/intranet/qualitaetsmanagement/grundsaetze_fuer_gute_lehre.pdf 2 https://agqls.fh-giessen.de/web/inhalte/index_html?catid=0 3 http://www.degeval.de/index.php?class=calimero_webpage&id=9023 4 https://egroupware.its.fhgiessen.de/egroupware/webdav.php/home/intranet/qualitaetsmanagement/pbevaluation_lehre_und_studium.p df Seite 2 von 10
Methode Studierendenbefragung Befragungen von Externen Evaluationszweck: Bewertung von Allgemeine Studierendenbefragung Befragungen in Rahmen des Mentoring Befragung von Teilzeitstudierenden Erstsemesterbefragung Lehrveranstaltungsbewertung Abbrecherbefragung Absolventenbefragung Alumnibefragung Befragung von Arbeitgebern Datenerhebung/-analyse Beitrag zur Profilbildung der Hochschule Employability Studiengang (Struktur, Curriculum) Studium/ Studienbedingung (Durchführung, Umsetzung, Infrastruktur, Serviceangebot) W-besoldeten Professoren empfehlenswert nicht empfehlenswert 3 Zuständigkeiten und Durchführung In der Evaluationsplanung sind von der Dekanin / dem Dekan die Zuständigkeiten für die Bereiche Durchführung (Erhebung der Daten), Auswertung, Analyse und Bewertung sowie Berichtsform festzulegen. Sie/ Er ist die/der Prozessverantwortliche/r. Grundsätzlich gilt für eine vom Prozessverantwortlichen geplante Evaluation, dass die Durchführung der Befragung und die Auswertung der Evaluation in keinem Fall durch eine von dem Ergebnis betroffene Person erfolgt. Beides sollte neutralen bzw. unabhängigen Personen überlassen werden. Teilprozesse bis einschließlich des Teilprozesses Seite 3 von 10
Auswertung können durch das Dekanat delegiert werden. In den Prozess eingebundene Personen sind über die bei Ihrer Tätigkeit zu beachtenden Vorschriften über den Datenschutz (vgl. 7 (2) der Evaluationssatzung 5 ) und das Datengeheimnis gemäß 9 HDSG 6 zu unterrichten. Jeder Evaluationsprozess wird durch die jeweilige Dekanin bzw. den jeweiligen Dekan als Prozesseigentümer veranlasst und diese sind in jedem Fall berechtigt das Ergebnis zu sehen (vgl. Evaluationssatzung). Der genaue Kreis der Berechtigten wird je nach Zielsetzung und in Abhängigkeit von der gewählten Berichtsform in der Evaluationsplanung festgelegt und muss eingehalten werden. Es wird empfohlen, ein Evaluationsprogramm zu erstellen. Darin sind für einen Zeitraum von 1-3 Jahren alle Evaluationen geplant. Studierende müssen über den Ablauf informiert werden (vgl. 4 (1) der Evaluationssatzung 7.Sie sollen über die Auswertungsergebnisse der eigenen Lehrveranstaltung informiert werden und Gelegenheit zur Erörterung dieser Auswertungsergebnisse mit den Lehrenden bekommen. Ziel ist eine Steigerung der Akzeptanz von Evaluationen durch Studierende und das Schaffen einer studentischen Evaluationskultur zur Sicherung ihrer Mitwirkungsbereitschaft. Die konkrete Ausgestaltung einer Rückmeldung an die Studierenden sollte in das Ermessen der Lehrenden gestellt werden. Bei fachbereichsübergreifenden Veranstaltungen, bzw. Veranstaltungen, die ein Fachbereich als Dienstleistung für andere Fachbereiche anbietet, ist die Dekanin / der Dekan des Fachbereichs Prozesseigentümer/in, dessen Dozent/in die Veranstaltung unterrichtet (dienstleistender Fachbereich). In Absprache zwischen den beiden beteiligten Fachbereichen wird die Veranstaltung in den Evaluationskalender für das laufende Semester des dienstleistenden Fachbereichs aufgenommen. Weitere Fachbereiche, deren Studierende ebenfalls die Lehrveranstaltung besuchen und die betroffenen Dozenten,, sind zu informieren. Über die Zielsetzung des Evaluationsverfahrens erfolgt auch die Festlegung des Personenkreises, der die Ergebnisse einsehen und dem Ziel entsprechend verwenden darf. Das Evaluationsverfahren soll sowohl Belange der Studiengangsqualität, als auch der W-Besoldung / Personalentwicklung berücksichtigen. Sind personalbezogene Maßnahmen erforderlich, so ist für diese Maßnahmen die Dekanin / der Dekan des Fachbereiches des unterrichtenden Dozenten / der unterrichtenden Dozentin verantwortlich. Wird dessen Lehre als Dienstleistung erbracht, so hat der dienstleistungsempfangende Fachbereich ein Anrecht auf zeitnahe und umfassende Information über das Ergebnis der Evaluation und die Maßnahmen danach. 4 Analyse und Bewertung Die reine Auswertung des Datenmaterials und dessen graphische Aufbereitung können optional mit Unterstützung durch das ZQE mit einer zentral angebotenen EDV-Lösung oder individuell in den Fachbereichen erfolgen. Bei jeder Lehrveranstaltungsevaluation haben die Lehrenden auf freiwilliger Basis die Möglichkeit zu einer schriftlichen Stellungnahme zu seiner Lehrveranstaltung (LV). Diese wird bei der Bewertung der Evaluationsergebnisse mit herangezogen. 5 http://www.fh-giessen-friedberg.de/datenschutz/images/stories/satzung_evaluation_fhgif_gvbl_2006.pdf 6 http://www.fh-giessen-friedberg.de/datenschutz/images/stories/hdsg_i.d.f.v._7.01.1999.pdf 7 http://www.fh-giessen-friedberg.de/datenschutz/images/stories/satzung_evaluation_fhgif_gvbl_2006.pdf Seite 4 von 10
Die Analyse umfasst die Ermittlung von Schwerpunkten, Verläufen und Vergleiche. In diesem Rahmen können z.b. Evaluationsergebnisse mehrerer Perioden miteinander verglichen und Veränderungen dokumentiert werden. Aus diesem Analyseschritt ergibt sich eine Schnittstelle zum Prozess Korrekturmaßnahmen. 5 Berichte Die Berichte sind individuell gestaltbar. Sie sollten Mindestangaben enthalten zu: - Evaluationsanlass (Zweck) - Verwendete/s Methode/ Instrument - Zeitpunkt der Evaluation - Beteiligte - Ergebnisse - Ersteller und Empfänger des Berichtes. Der Prozesseigentümer / die Prozesseigentümerin beschreibt die Beurteilung der Ergebnisse, daraus ggf. abgeleitete Verbesserungsmaßnahmen und deren Wirksamkeit. Das Berichtsformat ist abhängig von der Form der Befragung und der Art der Auswertung. Bei einer Auswertung mit entsprechender Software wird der Bericht von dieser automatisch erzeugt. Folgende Punkte müssen in allen Berichtsformaten beachtet werden: - Antworten auf offene Fragen müssen anonymisiert werden (z.b. Clusterbildung, Anonymisierung durch Online- Erfassung, Einverständniserklärung der Befragten) - die Antworten auf offene Fragen sollten - sofern möglich - sortiert dargestellt werden - der Bericht sollte eine übersichtliche grafisch aufbereitete Darstellung der Ergebnisse enthalten - ein Anschreiben sowie Präsentationsvorlagen, z.b. für die Besprechung der Evaluation in der Veranstaltung, ergänzen den Bericht 6 Umsetzung des Datenschutzes Datenschutz umfasst alle Regelungen, die darauf abzielen, den Einzelnen zu schützen, dass er durch den Umgang mit seinen personenbezogenen Daten in seinem Persönlichkeitsrecht beeinträchtigt wird. Die rechtlichen Rahmenbedingungen ergeben sich für hessische Hochschulen aus dem hessischen Datenschutzgesetz (HDSG) 8 und dem hessischen Hochschulgesetz (HHG) 9, vgl. 3, Abs. 9 HHG. Datenschutzrechtliche Vorgaben für die Lehrevaluation ergeben sich aus der Satzung der Fachhochschule Gießen-Friedberg zum Schutz personenbezogener Daten bei Evaluationsverfahren vom 26. September 2006 (StAnz. 48/2006, Seite 2724) 10. Für die Evaluation sind 3 Personengruppen relevant: 8 http://www.fh-giessen-friedberg.de/datenschutz/images/stories/hdsg_i.d.f.v._7.01.1999.pdf 9 http://www.fh-giessen-friedberg.de/datenschutz/images/stories/hhg_2007_gvbl_16112007.pdf 10 http://www.fh-giessen-friedberg.de/datenschutz/images/stories/satzung_evaluation_fhgif_gvbl_2006.pdf Seite 5 von 10
1.) Studierende Sie sind nicht zur Teilnahme verpflichtet, sollten aber dazu motiviert werden. Fragen nach Alter, Fachsemester etc. können in Abhängigkeit von der Anzahl der Befragten die Anonymität aufheben. Falls diese doch erhoben werden sollen, ist die Bildung von Kategorien (nicht Geburtsjahr -> sondern Cluster, nicht Fachsemester -> sondern Grund-/Hauptstudium, etc.) empfehlenswert. Handschriftliche Äußerungen in Freitextfeldern sind durch Ausprägung der Handschrift und inhaltliche Äußerungen mit Wiedererkennungswert nicht anonym. Möglichkeiten zur Anonymisierung sind: o Befragte auf Möglichkeit der nicht-anonymisierten Daten hinweisen und Teilnehmer freiwillig antworten lassen o Online-Erfassung (allerdings ggf. aufwendig, Notwendigkeit der anschl. Vernichtung des Freitextes) o erfassen der handschriftlichen Beiträge Laut Fachliteratur benötigt man 3, besser 5 Antworten, um Anonymisierung zu erreichen. Sind zum Zeitpunkt der Evaluationsbefragung weniger als 5 Studierende anwesend, sollte darauf verzichtet werden. Weitere wichtige Aspekte: o keine Abgabe der Fragebögen bei den Lehrenden o bei Online-Befragungen keine Speicherung von IP-Adressen, Zeitstempeln oder TANs zusammen mit den Antworten; Lösung: Anonymisierungstools (z.b. bei ZENDAS- Zentrale Datenschutzstelle der baden-württembergischen Universitäten, http://www.zendas.de abrufbar) 2.) Lehrende Eine Einwilligung ist erforderlich o für Personen, die nicht selbständige Lehre durchführen, z.b. studentische Hilfskräfte o wenn Ergebnisse unverschlüsselt per E-Mail versandt werden 3.) Durchführende Datenschutzgerechte Vernichtung der Original-Fragebögen unverzüglich nach deren Auswertung Datenschutzgerechte Löschung der digitalen Original-Fragebögen unverzüglich nach deren Auswertung Seite 6 von 10
Anhang Anhang 1: Prozessbeschreibung Evaluation von Lehre und Studium verabschiedet vom Senat am 5. November 2008 Beschluss Nr.SEN442/08 /4/ Seite 7 von 10
Anhang 2: Mögliche Aussagen und Erkenntnisse aus Befragungen (Studierendenbefragungen, Befragungen von Externen) mögliche Aussage zu /Erkenntnis über Akzeptanz der Studienziele und Erreichung derselben allgemeine Studienbedingungen Anzahl Studierenden im weiterführenden Studium Art, Inhalt von Prüfungen barrierefreies Studium Curriculumsplanung: curriculumadäquate Ausstattung u. Nutzung der Ausstattung didaktische Konzepte Erhöhung der Zahl von Studienanfängern Erhöhung des Anteils ausländischer Studierender Erhöhung des Frauenanteils Ermittlung der Studierfähigkeit der Studienbewerber Fächerkatalog, Umfang, Aufteilung Praxis/Theorie, Hard-/Soft-Skills), Abschluss ZV Fachliches Niveau von Abschlussarbeiten Fachliches Niveau von Lehrveranstaltungen Gruppengrößen/Betreuungsrelationen Kenntnisse der für das Studienziel notwendigen Kenntnisse, Fähigkeiten, Fertigkeiten, Kompetenzen Kompetenzvermittlung, -gewinn (Fach-, Individual-, Methoden-, Sozialkompetenz), Berufsfähigkeit, Berufsübergang Lehrinhalte Qualifikation der Lehrenden Reduzierung der durchschnittl. Studiendauer Selbständige Auswahl geeigneter Studierender Selbstorganisation, selbstgeleitetes Lernen Strategische Planung des Studienangebots für Teilzeitstudierende Studierbarkeit und interne Abstimmung von Lerninhalten Test neuer/alternativer Lehrmethoden Umfang/Inhalt/Nutzen durchgeführter Mentoringmaßnahmen Verbesserte Information von Studieninteressierten Verringerung der Abbrecherquoten Seite 8 von 10
Anhang 3 Mögliche Aussagen und Erkenntnisse aus Datenerhebung, -analyse mögliche Aussage zu /Erkenntnis über Absolventenzahl gesamt Absolventenzahl nach Geschlecht Absolventenzahl nach Herkunftsland Zahl der Semester bis zum Abschluss Erfolgsdarstellung des Studiengangs, Dauer der Arbeitssuche nach Abschluß des Studiums, Art des Arbeitgebers Berufliche Stellung Fachgebiet der Tätigkeit Verdienst Anzahl Arbeitsplatzwechsel seit Abschluß des Studiums Gehaltsentwicklung, Leistungsübersicht der Studierenden geschlechtspezifische Auswertung der Studierendenzahlen Auswertung der Studierendenzahlen nach Herkunftsland Anzahl Studierende in der Regelstudienzeit bereitgestellte bzw. benötigte Ressourcen bereitgestellte bzw. benötigte Investitionsmittel Studienanfängerzahl gesamt Studienanfängerzahl nach Stdg. Studienanfängerzahl nach Geschlecht Studienanfängerzahl nach Herkunftsland Studienanfängerzahl nach nach Heimatwohnort Raumauslastungen Anzahl Hörer pro Veranstaltung Betreuungsintensität Seite 9 von 10
Anhang 4 Referenzen Evaluationsstandards der Gesellschaft für Evaluation e.v. (DeGEval), http://www.degeval.de/index.php?class=calimero_webpage&id=9023 Grundsätze für gute Lehre an der Fachhochschule Giessen-Friedberg ; https://egroupware.its.fhgiessen.de/egroupware/webdav.php/home/intranet/qualitaetsmanagement/grundsaetze_fuer_gute_lehre.p df Hessisches Datenschutzgesetz, HDSG, http://www.fh-giessenfriedberg.de/datenschutz/images/stories/hdsg_i.d.f.v._7.01.1999.pdf Hessisches Hochschulgesetz (HHG), http://www.fh-giessenfriedberg.de/datenschutz/images/stories/hhg_2007_gvbl_16112007.pdf Prozessbeschreibung Evaluation in Lehre und Studium Beschluss des Senats der FH Gießen - Friedberg am 5. November 2008, Beschluss Nr.SEN442/08, https://egroupware.its.fhgiessen.de/egroupware/webdav.php/home/intranet/qualitaetsmanagement/pbevaluation_lehre_und_studi um.pdf Satzung der Fachhochschule Gießen-Friedberg zum Schutz personenbezogener Daten bei Evaluationsverfahren vom 26. September 2006 (StAnz. 48/2006 S. 2724) Evaluationssatzung, http://www.fh-giessen-friedberg.de/datenschutz/images/stories/satzung_evaluation_fhgif_gvbl_2006.pdf Zusammenstellung von Zielen, Evaluationsverfahren und zugehörigen Rahmenbedingungen ; https://agqls.fhgiessen.de/web/inhalte/index_html?catid=0 Seite 10 von 10