Zwischen Lernziel und Prüfungszwang: Evaluationsinstrumente und Prüfungen für IK-Kurse der UB Würzburg

Transkript

1 Zwischen Lernziel und Prüfungszwang: Evaluationsinstrumente und Prüfungen für IK-Kurse der UB Würzburg Jens Ilg, Workshop Können wir Informationskompetenz?, UB Würzburg Jens Ilg Folie 1 von 33

2 Ablauf 1. Zum IK-Kurs-Angebot 2. ILA-Instrumente in der Praxis 2.1 Evaluationen durch Kursteilnehmer 2.2 Klausuren 2.3 Gruppenübungen 3. Weitere Evaluationsinstrumente Jens Ilg Folie 2 von 33

3 1. IK-Angebot der UB Würzburg Quelle: Thommy Weiss / pixelio.de Jens Ilg Folie 3 von 33

4 Einführungen in Kataloge/ Bibliothek, in Datenbanken, in Literaturverwaltungsprogramme (1,5 h) seit WS 2008 auch IK-Module: Basis- und Aufbaulevel curricular integriert, Quelle: UB Würzburg im Pflicht- oder Wahlpflicht-Bereich überwiegend Bachelor- und Lehramtfächer, auch Master Themen Basismodul: Basiswissen Bibliothek, Beurteilung/ Zitation von Websites, Fachdatenbanken, Suchtechnik, Literaturverwaltung, Urheberrecht/ Wikipedia Jens Ilg Folie 4 von 33

5 Basismodule: an 2 Sitzungstagen als Blockver., in vorlesungsfreier Zeit + während Vorlesungszeit Dauer: ca. 10 h (Präsenzphase), 2 ECTS-Punkte für ca. 800 Teilnehmer pro Studienjahr stehen 22 Kollegen (gd, hd) als Dozenten zur Verfügung Lehrauftrag nötig, ist zugleich Prüfungsberechtigung Quelle: Pierre / pixelio.de Jens Ilg Folie 5 von 33

6 2. ILA-Instrumente in der Praxis Jens Ilg Folie 6 von 33

7 2.1 Evaluation durch Kursteilnehmer Quelle: Thorben Wengert / pixelio.de Jens Ilg Folie 7 von 33

8 Um was geht s? offene, geschl. Fragen; Dauer ca Min. Fragen zu: - Aufbau und Anforderungsniveau der Veranstaltung - Veranstaltungsorganisation, z.b. Terminlage - Gesamteindruck - Selbsteinschätzung des Lernerfolgs - keine Fragen zur Einschätzung des jew. Dozenten! Erstellung und Auswertung mit EvaSys Jens Ilg Folie 8 von 33

9 Warum machen wir das? Überprüfung Kurskonzept Überprüfung Lernerfolg (Selbsteinschätzung) Marketing (in Arbeit): Jens Ilg Folie 9 von 33

10 Beispiele Fragebögen Basismodul Aufbaumodul Jens Ilg Folie 10 von 33

11 Ergebnisse Selbsteinschätzung Lernerfolg Quelle: luther-schule.de Jens Ilg Folie 11 von 33

12 Ich weiß nun, wie ich die für mein Fach relevanten Informationen in Bibliothekskatalogen finden kann. 49% 39% 11% 1% 0% trifft sehr zu trifft zu trifft zu/ nicht zu trifft nicht zu trifft gar nicht zu Jens Ilg Folie 12 von 33

13 Ich weiß nun, wie ich die für mein Fach relevanten Informationen in Datenbanken finden kann. 51% 33% 14% 2% 0% trifft sehr zu trifft zu trifft zu/ nicht zu trifft nicht zu trifft gar nicht zu Jens Ilg Folie 13 von 33

14 Ich weiß nun, wie ich die für mein Fach relevanten Informationen im Internet finden kann. 47% 30% 21% trifft sehr zu trifft zu trifft zu/ nicht zu 3% trifft nicht zu 0% trifft gar nicht zu Jens Ilg Folie 14 von 33

15 Ergebnisse Beurteilung Kurskonzept Quelle: MS Office/ Clipart Jens Ilg Folie 15 von 33

16 v.a. Antworten auf offene Fragen wie Was hat Ihnen besonders/ überhaupt nicht gefallen? : Konsequenzen (Auswahl) Beibehaltung der Kurzeinführung in Citavi/ Endnote flächendeckende Einführung aktivierender Methoden grundlegende Veränderung des Übungsanteils: Aufhebung der Trennung in Theorie- und Übungstag Beibehaltung freundlicher Lehrkräfte Jens Ilg Folie 16 von 33

17 2.2 Klausuren Quelle: S. Hofschlaeger/ pixelio.de Jens Ilg Folie 17 von 33

18 Um was geht s? Multiple-Choice-Klausuren (MC-Klausuren): Fragen, mittlerer Schwierigkeitsgrad - pro Frage max. 4, min. 0 Punkte Quelle: MS Office/ Clipart - benotet (Aufbaumodul) sowie nicht benotet (Basismodul) - Bestehensgrenze: 50 % (und 22 %-Regel) zugelassen durch Allg. Prüfungsordnung der Uni. Würzburg Fragetypen: - Wissensfragen: Was bedeutet?, Was ist? - Anwendungs- bzw. Verständnisfragen Jens Ilg Folie 18 von 33

19 Klausurkorrektur maschinell mit CaseTrain (siehe Beitrag Hörnlein/ Ifland) Jens Ilg Folie 19 von 33

20 Ergebnisse fiktive Notenverteilung (in %) Klausuren Basismodule 04/ /2011, ca. 500 Durchgefallen (Note 5): 6 % Jens Ilg Folie 20 von 33

21 Warum machen wir das? dient hauptsächlich als Prüfungsleistung: - Uni. Würzburg: jedes Modul muss mit Prüfung schließen - ca. 800 Teilnehmer erwartet, daher MC-Klausuren Überprüfung Lernerfolg: Dozenten erhalten Klausurergebnisse Jens Ilg Folie 21 von 33

22 2.3 Gruppenübungen Quelle: Karl-Heinz Laube/ pixelio.de Jens Ilg Folie 22 von 33

23 Um was geht s? Übungsaufgaben für Gruppen, à 2 5 Kursteilnehmer: teilweise als Hausaufgabe, teilweise unmittelbar nach Theorie -Unterrichtseinheit 1. Sitzungstag 2. Sitzungstag Uhr Thema Methode Thema Methode 8:30-10:00 10:15-11:35 11:50-13:20 Basiswissen Bibliothek, Kataloge, Internet Basiswissen Bibliothek, Kataloge, Internet Recherchetechnik, Fachdatenbanken Theorie, kurze Übungseinheiten Gruppenübungen Theorie, kurze Übungseinheiten Recherchetechnik, Fachdatenbanken Urheberrecht/ Wikipedia, Literaturverwaltung Urheberrecht/ Wikipedia, Literaturverwaltung Gruppenübungen Theorie, kurze Übungseinheiten betreutes Üben Präsentation der Lösungen vor Plenum, Min. Aufgaben: theoretische und praxisorientierte Aufgabenkomplexe Jens Ilg Folie 23 von 33

24 didaktische Gründe Prüfungsleistung Warum machen wir das? Hintergrund: Folge der Bildungsproteste 2010 gegen nun auch alternative Prüfungsleistungen akzeptiert, z.b. Übungsaufgaben statt Klausur. Überprüfung Lernerfolg Quelle: Nick Wolfinger/ Wikipedia Jens Ilg Folie 24 von 33

25 Beispiele Themenblock Internet Jens Ilg Folie 25 von 33

26 Beispiele Themenblock Fachdatenbanken (Theologie) Jens Ilg Folie 26 von 33

27 Gruppenübung als Prüfungsleistung Nachteil (für UB) - schwer definierbare Bestehensgrenze, da komplexe Aufgaben mit mehreren Lösungsmöglichkeiten Vorteile gegenüber Klausuren (für UB) - kein Korrekturaufwand - keine Raumakquise nötig - Personalaufwand für Aufsicht entfällt (mind. 2 Personen) - Aufwand für Entwicklung stets neuer Klausuren entfällt Jens Ilg Folie 27 von 33

28 2.3 Gruppenübungen Teilnehmerfeedback Was gefiel Ihnen an der Veranstaltung besonders gut? (WS 10/11) trifft sehr zu trifft gar nicht zu zu hoch zu niedrig Jens Ilg Folie 28 von 33

29 3. Weitere Evaluationsinstrumente Quelle: S. Hofschlaeger/ pixelio.de Jens Ilg Folie 29 von 33

30 Kennzahlenmanagement (in Arbeit) Ziele im Bereich IK: Effektivität: Studierende wirkungsvoll unterstützen, Informationskompetenz zu erwerben ( Lernerfolg ) Effizienz in Organisation und Durchführung dieser Veranstaltungen Reichweite: möglichst viele Studierende möglichst vieler Fächer erreichen Maßnahmen der Qualitätssicherung Jens Ilg Folie 30 von 33

31 Ziel Indikatoren (mindest-) Zielwert hohe Reichweite hohe Effizienz Qualitätssicherung curriculare Verankerung IK-Module Anzahl Teilnehmer (TN) Anzahl teilgenommener Studienfächer 100 % Terminauslastung Verhältnis Anmeldungen - TN Kennzahlenmanagement Fortbildungsquote breite Beteiligung an AG IK kollegiales Feedback Überprüfungsrhythmus: 1 Studienjahr 75% der BA- und LA-Studienfächer 50 % der Erstsemester 75 % der max. möglichen TN-Zahl pro Kurs 90 % der Anmeldungen TN nehmen teil Jens Ilg Folie 31 von 33

32 seit WS 10/11 (Pilotbetrieb) Was ist s?: kollegiales Feedback Kollegen, die als Dozent für IK-Kurse im Einsatz sind, hospitieren sich gegenseitig und geben Feedback Wie?: 1 Kollege sucht sich einen anderen seiner Wahl (Tandem) beide sind mind. 1 mal in der Rolle des Beobachters und mind. 1 mal in Rolle des (beobachteten) Dozenten im Anschluss finden nach bestimmten Regeln die Nachbesprechungen (Feedback) statt vertraulich mehr: 100. Bibliothekartag, (Do), 16:00 18:00 Uhr Quelle: Gerd Altmann/ pixelio.de Jens Ilg Folie 32 von 33

33 Vielen Dank für Ihre Aufmerksamkeit! Quelle: Gerd Altmann/ pixelio.de Jens Ilg Folie 33 von 33