Systematische Evaluation von Informationskompetenzschulungen durch standardisierte Assessment-Verfahren

Transkript

1 Systematische Evaluation von Informationskompetenzschulungen durch standardisierte Assessment-Verfahren Anne-Kathrin Mayer ZPID Leibniz-Zentrum für Psychologische Information und Dokumentation, Trier 104. Bibliothekartag, , Nürnberg Invited Session des Vereins Deutscher Bibliothekare (VDB): Informationskompetenz national und international: vom Referenzrahmen zum Assessment ZPID - Leibniz-Zentrum für Psychologische Information und Dokumentation, Trier 1

2 Übersicht Standardisierte Evaluation von Schulungen zur Förderung der Informationskompetenz: Methodische Anforderungen Ausgewählte standardisierte Tests zur Erfassung fachspezifischer Recherchekompetenzen Ausblick ZPID - Leibniz-Zentrum für Psychologische Information und Dokumentation, Trier 2

3 Standardisierte Evaluation von Schulungen zur Förderung der Informationskompetenz: Methodische Anforderungen ZPID - Leibniz-Zentrum für Psychologische Information und Dokumentation, Trier 3

4 Mögliche Evaluationskriterien Teilnehmerstatistiken, z.b. Teilnahme- und Abbruchquoten Häufigkeit, Dauer und Intensität der Nutzung von E- Learning-Elementen (Logdaten der Lernplattform) Subjektive Bewertungen, z.b. Zufriedenheit mit Inhalten, didaktischen Methoden, äußeren Bedingungen subjektiver Kompetenzzuwachs / Selbstwirksamkeit Objektiver Kompetenzzuwachs Wissen Fertigkeiten ZPID - Leibniz-Zentrum für Psychologische Information und Dokumentation, Trier 4

5 Erfassung objektiver Kompetenzen Wissenstests, z.b.: Fragen mit offenen Antwortformaten Multiple Choice-Fragen Situational Judgment Tests (z.b. Balceris, 2011): Was tun, wenn? Recherche-/Bewertungsaufgaben Ergebnisqualität (Passung der Treffer zur Aufgabenstellung) und Prozessqualität (Effizienz erschlossen aus Verhaltensbeobachtungen, Logfiles oder Selbstberichten) Portfolios / E-Portfolios ZPID - Leibniz-Zentrum für Psychologische Information und Dokumentation, Trier 5

6 Hauptgütekriterien für Assessment-Verfahren Objektivität: Durchführung, Auswertung und Interpretation des Verfahrens erfolgen nach eindeutigen Regeln Zuverlässigkeit ( Reliabilität ): Das Verfahren misst das zu messende Merkmal (relativ) präzise und fehlerfrei Gültigkeit ( Validität ): Das Verfahren erfasst das Merkmal, das es messen soll Weitere Nebengütekriterien, z.b. Ökonomie, Nützlichkeit, Normierung ZPID - Leibniz-Zentrum für Psychologische Information und Dokumentation, Trier 6

7 Methodische Anforderungen an die Evaluation von Schulungsprogrammen Idealerweise (!) sollten jeweils mehrere Evaluationskriterien herangezogen werden (multimethodale Evaluation) und die eingesetzten Evaluationsinstrumente standardisiert und ggf. in Zusammenarbeit mit PsychologInnen, SozialwissenschaftlerInnen etc. vor ihrem Einsatz empirisch auf ihre Gütekriterien hin überprüft werden Vergleichsmöglichkeiten zur Bewertung der Ergebnisse vorliegen bzw. geschaffen werden (Experimente mit Vergleichsgruppen, Prä-Post-Werte, Normen) ZPID - Leibniz-Zentrum für Psychologische Information und Dokumentation, Trier 7

8 Ausgewählte standardisierte Tests zur Erfassung fachspezifischer Recherchekompetenzen ZPID - Leibniz-Zentrum für Psychologische Information und Dokumentation, Trier 8

9 Forschungsprojekte am ZPID (1) BLInk Blended learning von Informationskompetenz ( ) Konstruktion von Assessmentverfahren Entwicklung und Evaluation eines blended learning-kurses zur Förderung der Informationskompetenz im Fach Psychologie ( (2) WisE Wissensnetzwerke von Erstsemestern ( ) längsschnittliche Analysen der Entwicklung von Fachwissen und fachlichen Informationskompetenzen von Studierenden der Psychologie und der Informatik vom Studienbeginn bis zum Beginn des 4. Semesters ZPID - Leibniz-Zentrum für Psychologische Information und Dokumentation, Trier 9

10 Unterscheidung von Erfassung von Recherchekompetenzen deklarativem Wissen: Faktenwissen über Informationsrecherchen ( Wissen was ) prozeduralem Wissen: Wissen über angemessenes / geeignetes Vorgehen in bestimmten Situationen der Informationsrecherche ( Wissen wie ) Zur erfolgreichen Informationsrecherche (z.b. Bearbeitung von Rechercheaufgaben) werden beide Komponenten benötigt! ZPID - Leibniz-Zentrum für Psychologische Information und Dokumentation, Trier 10

11 Deklarativer Wissenstest zur Informationsrecherche und -bewertung Grundlage: Bezug auf Standards 2 (Informationssuche) und 3 der ACRL (2000) Pilotversion: k = 35 Multiple-Choice-Fragen mit je 3 Antwortoptionen 0 3 Antworten korrekt Beispielitem: Welche Antwortmöglichkeit trifft zu? Der Journal Impact Factor (JIF) einer Zeitschrift gibt an, O wie oft Autor/innen Artikel aus der fraglichen Zeitschrift in einem bestimmten Zeitraum zitiert haben. O wie viele Universitätsbibliotheken die Zeitschrift abonniert haben. O welche Relevanz der Zeitschrift von einem Expertengremium zugesprochen wurde. [Informationen bewerten] ZPID - Leibniz-Zentrum für Psychologische Information und Dokumentation, Trier 11

12 Deklarativer Wissenstest zur Informationsrecherche und -bewertung Studie 1 (n = 64): Kurzversion (Leichner et al., 2013): Reliabilität: Reliabilitätsmaß Cronbach s Gesamttest (22 Fragen): a =.82 Validität: standardisierte Literaturrechercheaufgabe Vergleich erfolgreiche vs. nicht-erfolgreiche Probanden Gesamttest: t(38) = 2.18; p <.05 ZPID - Leibniz-Zentrum für Psychologische Information und Dokumentation, Trier 12

13 Deklarativer Wissenstest zur Informationsrecherche und -bewertung Studie 2 (n = 64; Peter et al., under review): Optimierung im Hinblick auf einen blended learning-kurs zur fachlichen Informationskompetenz Ziel = Einsatz als Vortest zur Ableitung von Bearbeitungsempfehlungen für Online- Materialien Revidierte Fassung mit 50 Fragen Reliabilität: a =.80 ZPID - Leibniz-Zentrum für Psychologische Information und Dokumentation, Trier 13

14 Situational Judgment Test PIKE (Rosman et al., 2015; Rosman & Birke, 2015) Ausgangsfrage: Welche Fertigkeiten werden für eine erfolgreiche Informationsrecherche benötigt? Lösungsansatz: skill decomposition auf Grundlage des Information Problem Solving Modell (Brand-Gruwel et al.; 2005) 3 übergeordnete Fertigkeiten mit jeweils mehreren subskills : (1) Planung der Suche: Definition und Präzisierung des Recherchethemas und -ziels (2) Selektion möglicher Informationsquellen (z.b. Auswahl relevanter Literaturtypen) (3) Durchführung der Suche (z.b. Generierung von Suchbegriffen, Thesaurus-Verwendung) ZPID - Leibniz-Zentrum für Psychologische Information und Dokumentation, Trier 14

15 Unterschiede Psychologie vs. Informatik in Subskills, z.b. in Informatik: keine Thesaurussuche; höherer Stellenwert von Proceedings- Beiträgen(Psychologie: Journal-Beiträge zentral) 2 Testversionen: Situational Judgment Test PIKE (Rosman et al., 2015; Rosman & Birke, 2015) PIKE-P (Psychologie, 22 Items) PIKE-CS (Informatik = Computer Sciences, 22 Items) ZPID - Leibniz-Zentrum für Psychologische Information und Dokumentation, Trier 15

16 PIKE-P: Beispielitem Auswahl des geeigneten Suchwerkzeugs Im Rahmen Ihrer Bachelorarbeit benötigen Sie mehrere empirische Arbeiten zu Lernstrategien ( Learning Strategies ) von Schulkindern im Alter von 6 bis 12 Jahren. Wie geeignet sind folgende Hilfsmittel, um die Arbeiten ausfindig zu machen? völlig ungeeignet sehr gut geeignet A) Bibliothekskatalog B) Fachdatenbank PsycINFO C) Google Scholar D) Fachdatenbank PSYNDEX ZPID - Leibniz-Zentrum für Psychologische Information und Dokumentation, Trier 16

17 PIKE: Auswertungsschlüssel Grundlage: ExpertInnenurteile (N = 14) Problem: teilweise sehr geringe Übereinstimmung der ExpertInnen bei Betrachtung der absoluten Einschätzungen Ausweg: Betrachtung der relativen Einschätzungen (= Rangfolge der Antwortalternativen) Paarvergleiche: pro Item wurde für jedes Paar von Antwortalternativen (z.b. A-B) geprüft, ob mindestens 80 % der ExpertInnen eine Alternative verglichen mit der anderen als geeigneter beurteilten: wenn nein: Paarvergleich bleibt unberücksichtigt wenn ja: Paarvergleich wird in den Auswertungsschlüssel aufgenommen ProbandInnen erhalten einen Punkt, wenn auch sie die von Experten als besser geeignet angesehene Vorgehensweise höher bewerten ZPID - Leibniz-Zentrum für Psychologische Information und Dokumentation, Trier 17

18 Reliabilität: Psychometrische Befunde zu PIKE-P und PIKE-I N M SD Cronbach s a Pilotstudie Informatik (PIKE-CS) Pilotstudie Psychologie (PIKE-P) Validierungsstudie Psychologie (PIKE-P) Validität: Korrelationen zwischen PIKE-P und Leistungen in (1) Literaturbeschaffungsaufgaben (r =.42; p <.001) (2) Literaturrechercheaufgaben (r =.62; p <.001) ZPID - Leibniz-Zentrum für Psychologische Information und Dokumentation, Trier 18

19 Einsatz der Instrumente zur Evaluation des BLInk-Trainings Stichprobe: n = 64 Studierende der Psychologie (ab 5. Semester) Methodik: Prätest Teilnahme am Blended learning-training BLInk (adaptierbare Online-Materialien + 3-stündiges Präsenzseminar) Posttest Ergebnisse: Instrument Prätest M (SD) Posttest M (SD) Vergleich Prätest-Posttest Deklarativer Wissenstest 0.61 (0.07) 0.75 (0.07) t[63] = , p <.01 PIKE-P 0.69 (0.10) 0.77 (0.09) t[63] = -9.98, p <.01 ZPID - Leibniz-Zentrum für Psychologische Information und Dokumentation, Trier 19

20 Fazit zur Entwicklung von Assessmentverfahren Insgesamt: Informationskompetenz ist schwierig zu operationalisieren! komplexer Messgegenstand, eng verwoben mit a) fachspezifischem Inhalts- und Methodenwissen, b) allgemeinen kognitiven Fähigkeiten (fluide Intelligenz, kritisches Denken etc.) und c) Einstellungen / Überzeugungen (z.b. epistemologische Überzeugungen) Welches Informationsverhalten ist kompetent? oft kein Konsens zwischen (vermeintlichen) Experten! Informationskompetenz umfasst fragmentiertes, unsystematisch erworbenes Wissen hohe Dynamik des Informationskompetenz-Wissens bewährte Assessment-Verfahren immer wieder überprüfen und modifizieren! ZPID - Leibniz-Zentrum für Psychologische Information und Dokumentation, Trier 20

21 Ausblick Bedarf an Finanzmitteln zur forschungsbasierten Neuund Weiterentwicklung von Assessmentverfahren, z.b. auf Basis anerkannter Kompetenzstufendefinitionen Kollaboration Bibliotheken Institutionen/Fächer ExpertInnen in Sachen Testkonstruktion als mögliche und Informations- und Kommunikationsplattform ZPID - Leibniz-Zentrum für Psychologische Information und Dokumentation, Trier 21

22 Vielen Dank! Kontakt: Dr. Anne-Kathrin Mayer Leibniz-Zentrum ZPID Universität Trier D Trier ZPID - Leibniz-Zentrum für Psychologische Information und Dokumentation, Trier 22

23 Literatur ACRL (Association of College and Research Libraries) (2000). Information literacy competency standards for higher education. Online verfügbar: Balceris, M. (2011). Modellierung und Messung von Informationskompetenz bei Schülern. Paderborn: Universität Paderborn. Online verfügbar: Brand-Gruwel, S., Wopereis, I. & Vermetten, Y. (2005). Information problem solving by experts and novices: Analysis of a complex cognitive skill. Computers in Human Behavior, 21 (3), Leichner, N., Peter, J., Mayer, A.-K., & Krampen, G. (2013). Assessing information literacy among German psychology students. Reference Services Review, 41(4), doi: /rsr Peter, J., Leichner, N., Mayer, A.-K. & Krampen, G. (under review). Making information literacy instruction more efficient by providing individual feedback. Rosman, T. & Birke, P. (2015). Fachspezifische Erfassung von Recherchekompetenz durch prozedurale Wissenstests: Psychologie vs. Informatik. In A.-K. Mayer (Hrsg.), Informationskompetenz im Hochschulkontext Interdisziplinäre Forschungsperspektiven (S ). Lengerich: Pabst Science Publishers. Rosman, T., Mayer, A.-K., & Krampen, G. (2015). Measuring psychology students' information-seeking skills in a situational judgment test format: Construction and validation of the PIKE-P Test. European Journal of Psychological Assessment. Advance online publication. ZPID - Leibniz-Zentrum für Psychologische Information und Dokumentation, Trier 23