Qualität in der Vermittlung von Informationskompetenz

Universität Zürich Hauptbibliothek Qualität in der Vermittlung von Informationskompetenz Vortrag am 98. Deutschen Bibliothekartag in Erfurt, 02.06.2009. 05.06.2009 Hauptbibliothek Universität Zürich Brigitte Schubnell brigitte.schubnell@hbz.uzh.ch

Übersicht 1. Ausgangssituation 2. Grundlagen der Evaluation 3. Lehrveranstaltungen evaluieren 4. Praxisbeispiel Fragebogen 5. Praxisbeispiel Test 6. Tipps 7. Literatur Erfurt, 5. Juni 2009 / 2

1. Ausgangssituation Folgen von Bologna Ziele Bologna: Mobilität internationale Wettbewerbsfähigkeit Beschäftigungsfähigkeit Qualitätsmanagement und Ökonomisierung Standardisierung Erfurt, 5. Juni 2009 / 3

1. Ausgangssituation Qualitätssicherung im Hochschulwesen Schweiz 08.10.1999 09.12.1999 14.12.2000 01.10.2001 16.10.2003 28.06.2007 Universitätsförderungsgesetz (UFG) Interkantonales Konkordat über die universitäre Koordination Vereinbarung zwischen dem Bund und den Universitätskantonen über die Zusammenarbeit im universitären Hochschulbereich Organ für Akkreditierung und Qualitätssicherung der Schweizerischen Hochschulen (OAQ, http://www.oaq.ch/) Richtlinien der Schweizerischen Universitätskonferenz (SUK) für die Akkreditierung im universitären Hochschulbereich Erfurt, 5. Juni 2009 / 4

2. Grundlagen der Evaluation Evaluation als Instrument der Qualitätssicherung- und entwicklung systematisches Vorgehen in einem bestimmten Gegenstandsbereich Messbarkeit: Standards und darauf bezogene Kriterien formulieren objektive und gültige Messverfahren für Datensammlung Bewertung: Analyse und Diagnose Optimierung des untersuchten Gegenstandbereichs Erfurt, 5. Juni 2009 / 6

2. Grundlagen der Evaluation Evaluationsgegenstand Was soll mit der Evaluation gemessen werden? Lehrveranstaltung Weiterbildungskurs Schulungskonzept Projekt etc. Evaluationskriterien Auf welcher Basis wird der Evaluationsgegenstand bewertet? Bedarf Qualität des Interventionskonzepts Qualität der Einführung und Implementation einer Interventionsmassnahme Wirksamkeit (Effektivität) Kosten-Nutzen-Bilanz (Effizienz) Erfurt, 5. Juni 2009 / 7

2. Grundlagen der Evaluation Durchführungsmodus: intern extern Interne Evaluation Selbstreflexion, Selbstvergewisserung Instrument zur Entwicklung, (interne) Qualitätssicherung Rechenschaftslegung Externe Evaluation Immer Fremdevaluation Qualität und Vergleichbarkeit von Bildungseinrichtungen Rechenschaftslegung: Gesetze, Standards, Richtlinien summativ formativ Summative Evaluation zu Beginn und am Ende der Intervention Ziel: intendierte und nicht intendierte Wirkung messen Formative Evaluation während der Durchführung einer Intervention zu verschiedenen Zeitpunkten Ziel: Intervention in die richtige Richtung steuern Erfurt, 5. Juni 2009 / 8

2. Grundlagen der Evaluation Evaluationsstandards 4 Kategorien: Nützlichkeit Durchführbarkeit Korrektheit Genauigkeit Kriterien wurden 1981 erstmals vom Joint Committee on Standards for Educational Evaluation (http://www.wmich.edu/evalctr/jc/) verfasst, insgesamt aus 30 Einzelstandards bestehend. Erfurt, 5. Juni 2009 / 9

3. Lehrveranstaltungen evaluieren Fragestellung Wahl der Methode Zufriedenheit Lernverhalten Wirksamkeit Befragung / Beobachtung Befragung / Beobachtung Test Erfurt, 5. Juni 2009 / 11

3. Lehrveranstaltungen evaluieren Beobachtung Systematische Selbst- und Fremdbeobachtung Grundlage aller Evaluationsmethoden deskriptiv subjektiv Erfurt, 5. Juni 2009 / 12

3. Lehrveranstaltungen evaluieren Feedback-Fragebögen für Lehrveranstaltungseinheiten begleitende + kurzfristig wirksame Umsetzung der Evaluationsresultate möglich formative Evaluation für gesamte Lehrveranstaltungen bewirkt erst unter mittelfristiger Perspektive Veränderungen summative Evaluation Erfurt, 5. Juni 2009 / 13

3. Lehrveranstaltungen evaluieren Test Prüfungen sollten sich an expliziten Lehr- und Lernzielen orientieren! Bewertung der Leistung der Studierenden Bewertung der Lehrenden IK-Tests aus Nordamerika TRAILS, OASIS, iskills, SAILS, Information Literacy Initiative etc. kommerzielle und nicht-kommerzielle Produkte objektive und subjektive Bewertungen Zielsetzungen und Methoden unterschiedlich Erfurt, 5. Juni 2009 / 14

4. Praxisbeispiel Fragebogen Befragungsinstrumente Hilfestellung für das Entwickeln von Fragebögen. Zufriedenheit der Studierenden mit der Lehre Heidelberger Inventar zur Lehrveranstaltungsevaluation: HILVE-I und HILVE-II Fragebögen zur Lehrveranstaltungsevaluation von Vorlesungen (FEVOR), Seminaren (FESEM) und Praktika (FEPRA) aus der perspektive von Studierenden und Lehrenden Erfassung des Kompetenzerwerbs Berliner Evaluationsinstrument für selbsteingeschätzte, studentische Kompetenzen (BEvaKomp) Erfurt, 5. Juni 2009 / 16

4. Praxisbeispiel Fragebogen Lehrveranstaltung an der Medizinischen Fakultät obligatorisch für Studierende der Medizin im 2. Semester ca.250 Studierende 2006 Wechsel von Präsenzunterricht zu Blended Learning Kreditpunktvergabe: bestandener Abschlusstest, Präsenz Erfurt, 5. Juni 2009 / 17

4. Praxisbeispiel Fragebogen Evaluation Blended Learning Veranstaltung Was soll evaluiert werden (Evaluationsgegenstand)? E-Learning Kurs Veranstaltung als Ganzes Was soll gemessen werden (Evaluationskriterium)? Zufriedenheit (als Teilaspekt der Qualität) Was soll uns die Evaluation bringen? Verbesserung der Lehrveranstaltung als Ganzes und des E- Learning Kurses im Einzelnen Wann soll evaluiert werden (Durchführungsmodus)? am Ende der Veranstaltung (summative Evaluation) Wer soll befragt werden? alle Studierende des 1. SJ Erfurt, 5. Juni 2009 / 18

4. Praxisbeispiel Fragebogen Durchführung der Evaluation mittels Fragebogen gedruckter Fragebogen Fragen/Antworten zum Auswählen mit 5-stufiger Skala 2 offene Fragen für ein erweitertes Feedback, das auch subjektiv ausgewählte Themen und Aspekte betreffen kann Umfang 1-2 Seiten am Schluss der Veranstaltung (10 Min. einberechnet) Auswertung von Hand mit Hilfe von Excel (häufig wird SPSS verwendet) Erfurt, 5. Juni 2009 / 19

WS 2006 Frage unverständlich Auf was bezieht sich die Frage? Erfurt, 5. Juni 2009 / 20

Antwort nicht aussagekräftig Können wir nicht beeinflussen Frage nicht eindeutig, Frage nach Betreuung fehlt Erfurt, 5. Juni 2009 / 21

WS 2007 Erfurt, 5. Juni 2009 / 22

Erfurt, 5. Juni 2009 / 23

WS 2006 und WS 2007 Erfurt, 5. Juni 2009 / 24

4. Praxisbeispiel Fragebogen Positiv Rücklauf 100% viele interessante Anregungen aus den offenen Fragen einfache Auswertung der geschlossenen Fragen (wenn auch aufwändig, da manuell ) Negativ trotz Verbesserungen des Fragebogens für das WS 2007 waren gewisse Fragen nach wie vor missverständlich Erfurt, 5. Juni 2009 / 25

4. Praxisbeispiel Fragebogen Allgemeine Bemerkungen KISS: keep it small and simple Themenbereiche eingrenzen logische Struktur Validität: Wird gemessen, was gemessen werden soll? offene Frage für ein Wahlpflichtmodul oder einen Kurs: Ich würde diesen Kurs weiterempfehlen. Erfurt, 5. Juni 2009 / 26

5. Praxisbeispiel Test Lehrveranstaltung an der Medizinischen Fakultät obligatorisch für Studierende der Medizin im 2. Semester Leistungsnachweis ca.250 Studierende Blended Learning: Verwendung eines LMS (Learning Management System) Kreditpunktvergabe: bestandener Abschlusstest, Präsenz Erfurt, 5. Juni 2009 / 28

5. Praxisbeispiel Test Online-Test Multiple- und Single-Choice-Fragen einfach und schnell ausgewertet auch bei einer hohen Studierendenzahl Erstellen eines Fragenpools extrinsische Motivation (trifft allgemein auf Tests zu) Objektivität gewährleistet Wichtig! Lernziele müssen formuliert und Studierenden bekannt sein Validität ist eine echte Herausforderung: Fragen sollten die Lernziele überprüfen knifflig Erfurt, 5. Juni 2009 / 29

6. Tipps zur Evaluation von Lehrveranstaltungen Zweck der Evaluation Randbedingungen: personell, technisch und finanziell Wahl der Methode: Beobachtung, Befragung, Test zu Befragung mittels Fragebögen eindeutige Fragen leichte Auswertbarkeit geringer Aufwand bei der Beantwortung KISS: Keep It Small and Simple Erfurt, 5. Juni 2009 / 35

7. Literatur Evaluation Böttcher, Wolfgang / Brohm, Michaela, Holtappels / Hans-Günter (Hrsg.) (2006): Evaluation im Bildungswesen. Eine Einführung in Grundlagen und Praxisbeispiele. Weinheim: Juventa. Gollwitzer, Mario & Jäger, Reinhold S. (2007). Evaluation - Workbook. Weinheim: Beltz PVU. Evaluation von Lehrveranstaltungen Stangl, Werner: Die Evaluation universitärer Lehrveranstaltungen. Version 2.6, 28. Mai 2000, URL: http://paedpsych.jk.uni-linz.ac.at/paedpsych/evaluation/ (Abruf am 28. Mai 2009) Erfurt, 5. Juni 2009 / 36

7. Literatur Befragungsinstrumente Braun, Edith (2008): Das Berliner Evaluationsinstrument für selbsteingeschätzte studentische Kompetenzen (BEvaKomp). Göttingen: V & R unipress. URL: http://ids.hof.uni-halle.de/documents/t1665.pdf Rindermann, Heiner (2001): Lehrevaluation. Einführung und Überblick zu Forschung und Praxis der Lehrveranstaltungsevaluation an Hochschulen, mit einem Beitrag zur Evaluation computerbasierten Unterrichts. Landau: Verlag Empirische Pädagogik. Staufenbiel, Thomas (2000): Fragebögen zur Evaluation von universitären Lehrveranstaltungen durch Studierende und Lehrende. Diagnostica, 2000, 46 (4), 169 181. Erfurt, 5. Juni 2009 / 37

Vielen Dank für Ihre Aufmerksamkeit! Brigitte Schubnell Hauptbibliothek Universität Zürich brigitte.schubnell@hbz.uzh.ch Erfurt, 5. Juni 2009 / 38