Messung von Informationskompetenzen Perspektiven für Forschung und Praxis

Transkript

1 Messung von Informationskompetenzen Perspektiven für Forschung und Praxis Anne-Kathrin Mayer ZPID Leibniz-Zentrum für Psychologische Information und Dokumentation, Trier Festtagung 10 Jahre Studieneinheit Informationskompetenz, , Universität Regensburg

2 Messung von Informationskompetenzen Perspektiven für Forschung und Praxis Anne-Kathrin Mayer ZPID Leibniz-Zentrum für Psychologische Information und Dokumentation, Trier Festtagung 10 Jahre Studieneinheit Informationskompetenz, , Universität Regensburg

3 Was bedeutet Messung von Informationskompetenzen? beobachtbares Verhalten, das als indikativ für Informationskompetenz angesehen wird, quantifizieren, d.h. nach vorgegebenen Regeln in Zahlen überführen Ziel: Personen hinsichtlich ihrer Kompetenzen vergleichen - 2 -

4 Überblick Ziele: Wozu wollen wir messen? Methoden: Wie wollen wir messen? Welche Ansprüche richten wir an die Methoden? Herausforderungen: Was macht die Messung von IK besonders anspruchsvoll? Perspektiven: Wie können wir diesen Ansprüchen begegnen? 3 3

5 Wozu wollen wir messen? Beschreibung des Niveaus von Informationskompetenzen auf verschiedenen Ebenen (Individuen Gruppen [z.b. Kurse, Studiengänge] Organisationen national international) Bedarfsanalysen für Informationskompetenz-Förderung Entwicklung von Fördermaßnahmen Generell Differenziell: adaptive bzw. adaptierbare Gestaltung Evaluation von Fördermaßnahmen: summativ (Wirksamkeit/Lernfortschritt) formativ (Prozessoptimierung, Monitoring) Empirische Validierung und Weiterentwicklung von Theorien, Modellen und Konzepten von Informationskompetenzen und Informationsverhalten - 4 -

6 Wie wollen wir messen? Interviews/Fragebögen zur Selbsteinschätzung Subjektive Kompetenzen Selbstwirksamkeitsüberzeugungen (z.b. Behm, 2015) Wissenstests zum deklarativen und prozeduralen Wissen, z.b. Fragen mit offenen Antwortformaten Fragen mit gebundenen Antwortformaten, z.b. Multiple Choice Tests (Leichner et al., 2013) Situational Judgment Tests (z.b. Balceris, 2011; Rosman et al., 2015): Was tun Sie, wenn Sie? Standardisierte Verhaltenstests zur Erfassung von Fertigkeiten, z.b. Rechercheaufgaben (z.b. Leichner et al., 2014) Bibliografien, Portfolios, Texte etc. Auswertung nach Ergebnisqualität (Passung der Ergebnisse zur Aufgabenstellung) Prozessqualität (Angemessenheit und Effizienz des Vorgehens)

7 Ansprüche an Messverfahren (vgl. Mayer, 2016)? klassische Gütekriterien : objektiv (unverfälscht) reliabel (genau) valide (gültig, inhaltlich treffend) Nebengütekriterien, z.b.: nützlich fair ökonomisch normiert - 6 -

8 5 Herausforderungen bei der Messung von Informationskompetenzen (1) Breite und Komplexität des Konzepts, siehe z.b. 5 Standards der IK für Studierende mit Substandards (Netzwerk Informationskompetenz Baden-Württemberg, 2006) Referenzrahmen Informationskompetenz von dbv & vdb (Klingenberg, 2016): 5 Teilkompetenzen mit je 4 Kriterien auf je 6 Niveaustufen Framework for Information Literacy for Higher Education (ACRL, 2011): 6 frames,bestehend aus Konzept + zugeordneten Wissens-/Verhaltensindikatoren + Einstellungen / Überzeugungen - 7 -

9 Informationskompetenz als Metakompetenz (Abb. nach Maberry & Guintini, 2008) unscharfe Abgrenzung! Weitere verwandte Konzepte digital literacy ICT literacy library literacy academic literacy data literacy scientific literacy Schreibkompetenz Kommunikative Kompetenz Problemlösekompetenz Informations-/Wissensmanagementkompetenz Entscheidungskompetenz

10 Herausforderungen (1) Breite und Komplexität des Konzepts (2) Unschärfe der Abgrenzung zu verwandten Konzepten (3) Kontext-, Fach- und Domänenspezifität: Informationskompetenz ist eng verwoben mit fachspezifischen Informationskulturen (z.b. Talja et al., 2007) sowie Inhalts- und Methodenwissen (vgl. auch fachspezifische IK-Standards der ACRL, z.b. für Psychologie, ACRL, 2010) - 9 -

11 Herausforderungen (1) Breite und Komplexität des Konzepts (2) Unschärfe der Abgrenzung zu verwandten Konzepten (3) Kontext-, Fach- und Domänenspezifität (4) Dynamik Informationsumgebungen und -werkzeuge, rechtliche Rahmenbedingungen, IK-Konzept selbst

12 Herausforderungen (1) Breite und Komplexität des Konzepts (2) Unschärfe der Abgrenzung zu verwandten Konzepten (3) Kontext-, Fach- und Domänenspezifität (4) Dynamik (5) Verständnis der konzeptuellen Beziehungen zu etablierten psychologischen Konstrukten, z.b. allgemeine kognitive Fähigkeiten (fluide Intelligenz, Problemlösekompetenz, kritisches Denken etc.) Einstellungen / Überzeugungen (z.b. Need for Cognition, Bedürfnis nach kognitiver Geschlossenheit, epistemische Neugier, epistemische Überzeugungen, )

13 Perspektiven für die Messung von Informationskompetenzen Teilkompetenzen (inkl. Niveaustufen) bzw. frames konkrete und messbare (beobachtbare, quantifizierbare) Wissens-/Verhaltensindikatoren zuordnen: Expertenkonsens herstellen (sorgfältige Auswahl der ExpertInnen!) mögliches Vorgehen: systematische Anforderungsanalysen für bestimmte Bildungs-/Arbeitskontexte und Qualifikationsstufen (z.b. Farrell et al., 2013; Fister & Eland, 2008)

14 Perspektiven für die Messung von Informationskompetenzen Teilkompetenzen (inkl. Niveaustufen) bzw. frames konkrete und messbare (beobachtbare, quantifizierbare) Wissens-/Verhaltensindikatoren zuordnen Spezifität: abhängig vom Ziel der jeweiligen Messung spezifisch: präzisere Verhaltensvorhersage im jeweiligen Kontext und Abbildung von Veränderungen (z.b. Evaluation) generalisiert: höhere Flexibilität, eher Transfer auf andere Kontexte möglich (allerdings mit geringerer Präzision)

15 Perspektiven für die Messung von Informationskompetenzen Teilkompetenzen (inkl. Niveaustufen) bzw. frames konkrete und messbare (beobachtbare, quantifizierbare) Wissens-/Verhaltensindikatoren zuordnen Spezifität: abhängig vom Ziel der jeweiligen Messung Beziehungen zu verwandten Konzepten und zu psychologischen Konstrukten: im Zuge empirischer Validierungsstudien analysieren: konvergente vs. diskriminante Validität ggf. bei generalisierter Messung etablierte allgemeine Tests / Fragebögen (z.b. zu epistemischen Überzeugungen, Problemlösekompetenzen) nutzen

16 Perspektiven für die Messung von Informationskompetenzen Teilkompetenzen (inkl. Niveaustufen) bzw. frames konkrete und messbare (beobachtbare, quantifizierbare) Wissens- /Verhaltensindikatoren zuordnen Spezifität: abhängig vom Ziel der jeweiligen Messung Beziehungen zu verwandten Konzepten und zu psychologischen Konstrukten: empirische Validierungsstudien Dynamik: Inhalte: Überprüfung und ggf. Revision von Messverfahren in engmaschigen Zyklen Konzepte: Erweiterung der Palette von Messverfahren um Tests zum konzeptuellen Wissen und zur Aufdeckung von Misskonzepten (z.b. Two Tier Multiple Choice Tests, Treagust, 1988; Chou et al., 2007)

17 Fazit hoher Bedarf an Finanzmitteln zur forschungsbasierten Neu- und Weiterentwicklung von Messverfahren, z.b. auf Basis der im Gemeinsamen Referenzrahmen erarbeiteten Kompetenzstufendefinitionen oder des zu präzisierenden - Framework for IL gemeinsame Anstrengungen zur Entwicklung fachbezogener und fachübergreifender Fragenpools nach einheitlichem Konstruktionsprinzip und psychometrischen Überprüfung neuer Tests relevante Akteur/innen: BibliothekarInnen FachwissenschaftlerInnen ExpertInnen in Sachen Testkonstruktion InformationswissenschaftlerInnen

18 Vielen Dank! Kontakt: Dr. Anne-Kathrin Mayer ZPID - Leibniz-Zentrum für Psychologische Information und Dokumentation mayer@zpid.de 17 17

19 Literatur - 1 Association of College and Research Libraries (ACRL). (2010). Psychology information literacy standards. Retrieved from ( ) Association of College and Research Libraries. (2015, February 2). Framework for information literacy for higher education. Retrieved from ( ) Balceris, M. (2011). Medien-und Informationskompetenz: Modellierung und Messung von Informationskompetenz bei Schülern. Dissertation, Universität Paderborn. Behm, T. (2015). Informationskompetenz und Selbstregulation: Zur Relevanz bereichsspezifischer Selbstwirksamkeitsüberzeugungen. In A.-K. Mayer (Hrsg.) Informationskompetenz im Hochschulkontext Interdisziplinäre Forschungsperspektiven (S ). Lengerich: Pabst Science Publishers. Chou, C., Tsai, C. C., & Chan, P. S. (2007). Developing a web based two tier test for internet literacy. British Journal of Educational Technology, 38(2), Farrell, A., Goosney, J., & Hutchens, K. (2013). Evaluation of the effectiveness of course integrated library instruction in an undergraduate nursing program. Journal of the Canadian Health Libraries Association, 34(03), Fister, B., & Eland, T. (2008). Curriculum issues in information literacy instruction. In C. Cox & E. Lindsay (Eds.), Information literacy instruction handbook (pp ). Chicago, IL: Association of College and Research Libraries. Klingenberg, A. (2016). Referenzrahmen Informationskompetenz für alle Bildungsebenen. In W. Sühl-Strohmenger (Hrsg.), Handbuch Informationskompetenz (2. Aufl.) (S ). Berlin: De Gruyter. doi: / Leichner, N., Peter, J., Mayer, A.-K., & Krampen, G. (2013). Assessing information literacy among German psychology students. Reference Services Review, 41(4), doi: /rsr

20 Literatur - 2 Leichner, N., Peter, J., Mayer, A.-K., & Krampen, G. (2014). Assessing information literacy using information search tasks. Journal of Information Literacy, 8(1), Maberry, S., & Giuntini, P. (2008). Using learning objects and instructional technologies to improve information competency of art and design students. Presented at the EDUCAUSE Western Regional Conference Retrieved from ( ) Mayer, A.-K. (2016). Empirische Erfassung von Informationskompetenz. In W. Sühl-Strohmenger (Hrsg.), Handbuch Informationskompetenz (2. Aufl.) (S ). Berlin: De Gruyter. doi: / fm Netzwerk Informationskompetenz Baden-Württemberg (2006). Standards der Informationskompetenz für Studierende Retrieved from: informationskompetenz. de/regionen/badenwuerttemberg/arbeitsergebnisse/standards-der-informationskompetenz-fuer-studierende ( ) Rosman, T., Mayer, A.-K., & Krampen, G. (2015). Measuring psychology students' information-seeking skills in a situational judgment test format: Construction and validation of the PIKE-P Test. European Journal of Psychological Assessment, 32, Talja, S., Vakkari, P., Fry, J., & Wouters, P. (2007). Impact of research cultures on the use of digital library resources. Journal of the American Society for Information Science and Technology, 58(11), Treagust, D. F. (1988). Development and use of diagnostic tests to evaluate students misconceptions in science. International Journal of Science Education, 10(2),

21 Anhang: Beispiele für Messverfahren

22 Wissenstests: Deklaratives Wissen Information Literacy Test Psychology (ILT-P; Leichner, Peter, Mayer & Krampen, 2013): Aufbau: k = 35 Forced choice-items mit je 3 Antwortoptionen (0-3 korrekt) Beispielitem: Sie suchen Informationen zum Einfluss von Persönlichkeitsmerkmalen auf falsche Erinnerungen. Welche der folgenden Suchanfragen halten Sie für hilfreich? Personality AND false memories. Personality influence false memories. Extraversion AND false memories

23 Wissenstests: Prozedurales Wissen Procedural Information Literacy Knowledge Test Psychology (PIKE-P; Rosman, Mayer & Krampen, 2015): Aufbau: k = 22 Beschreibungen von Recherchesituationen mit je 4 Handlungsoptionen 22 22

24 Rechercheaufgaben (Leichner et al., 2014) standardisierte fachliche Rechercheaufgaben unterschiedlicher Schwierigkeit, am PC zu bearbeiten Beispielaufgabe: Gibt es nach 2005 publizierte Längsschnittstudien (longitudinal study), die Risikofaktoren ( risk factors ) für die generalisierte Angststörung ( Generalized Anxiety Disorder ) untersuchen? standardisierte Auswertung von a) Ergebnisqualität und b) Prozessqualität 23 23

25 Two-Tier-MC-Test - Beispiel (vgl. Chou, Tsai & Chan, 2007) To demonstrate what they have learned in computer class, students practice creating their own Web pages and will post their work on the school s Web site. When producing any Web pages, may students copy and paste text and graphics directly from other people s Web pages? Step 1: Yes or No Step 2: a) reasons for the answer Yes : (1) Producing web pages is for educational purposes, it is fair use, so it is fine. (2) Web information is by nature open and free, so it is fine. (3) Unless the sources expressively said that their information cannot be used, it is fine. (4) As long as the sources are cited, it is fine. b) reasons for the answer No : (1) Students web pages will be shown in an open website. If students use web text and graphics without the authors permission, they will be guilty of copyright infringement. (correct) (2) The text and graphics are their authors finished products. If students carelessly use them without permission, they will damage the authors reputations. (3) The text and graphics are their authors property. If students use them without permission, they will be guilty of stealing. (4) The text and graphics are their authors private products. If students use them without permission, they will damage the authors privacy

26 Was bedeutet Messung von Informationskompetenzen? beobachtbares Verhalten, das als indikativ für Informationskompetenz angesehen wird, quantifizieren, d.h. nach vorgegebenen Regeln in Zahlen überführen Ziel: Personen hinsichtlich ihrer Kompetenzen vergleichen - 2 -

27 Überblick Ziele: Wozu wollen wir messen? Methoden: Wie wollen wir messen? Welche Ansprüche richten wir an die Methoden? Herausforderungen: Was macht die Messung von IK besonders anspruchsvoll? Perspektiven: Wie können wir diesen Ansprüchen begegnen? 3 3

28 Wozu wollen wir messen? Beschreibung des Niveaus von Informationskompetenzen auf verschiedenen Ebenen (Individuen Gruppen [z.b. Kurse, Studiengänge] Organisationen national international) Bedarfsanalysen für Informationskompetenz-Förderung Entwicklung von Fördermaßnahmen Generell Differenziell: adaptive bzw. adaptierbare Gestaltung Evaluation von Fördermaßnahmen: summativ (Wirksamkeit/Lernfortschritt) formativ (Prozessoptimierung, Monitoring) Empirische Validierung und Weiterentwicklung von Theorien, Modellen und Konzepten von Informationskompetenzen und Informationsverhalten - 4 -

29 Ansprüche an Messverfahren (vgl. Mayer, 2016)? klassische Gütekriterien : objektiv (unverfälscht) reliabel (genau) valide (gültig, inhaltlich treffend) Nebengütekriterien, z.b.: nützlich fair ökonomisch normiert - 6 -

30 5 Herausforderungen bei der Messung von Informationskompetenzen (1) Breite und Komplexität des Konzepts, siehe z.b. 5 Standards der IK für Studierende mit Substandards (Netzwerk Informationskompetenz Baden-Württemberg, 2006) Referenzrahmen Informationskompetenz von dbv & vdb (Klingenberg, 2016): 5 Teilkompetenzen mit je 4 Kriterien auf je 6 Niveaustufen Framework for Information Literacy for Higher Education (ACRL, 2011): 6 frames,bestehend aus Konzept + zugeordneten Wissens-/Verhaltensindikatoren + Einstellungen / Überzeugungen - 7 -

31 Herausforderungen (1) Breite und Komplexität des Konzepts (2) Unschärfe der Abgrenzung zu verwandten Konzepten (3) Kontext-, Fach- und Domänenspezifität: Informationskompetenz ist eng verwoben mit fachspezifischen Informationskulturen (z.b. Talja et al., 2007) sowie Inhalts- und Methodenwissen (vgl. auch fachspezifische IK-Standards der ACRL, z.b. für Psychologie, ACRL, 2010) - 9 -

32 Herausforderungen (1) Breite und Komplexität des Konzepts (2) Unschärfe der Abgrenzung zu verwandten Konzepten (3) Kontext-, Fach- und Domänenspezifität (4) Dynamik Informationsumgebungen und -werkzeuge, rechtliche Rahmenbedingungen, IK-Konzept selbst

33 Herausforderungen (1) Breite und Komplexität des Konzepts (2) Unschärfe der Abgrenzung zu verwandten Konzepten (3) Kontext-, Fach- und Domänenspezifität (4) Dynamik (5) Verständnis der konzeptuellen Beziehungen zu etablierten psychologischen Konstrukten, z.b. allgemeine kognitive Fähigkeiten (fluide Intelligenz, Problemlösekompetenz, kritisches Denken etc.) Einstellungen / Überzeugungen (z.b. Need for Cognition, Bedürfnis nach kognitiver Geschlossenheit, epistemische Neugier, epistemische Überzeugungen, )

34 Perspektiven für die Messung von Informationskompetenzen Teilkompetenzen (inkl. Niveaustufen) bzw. frames konkrete und messbare (beobachtbare, quantifizierbare) Wissens-/Verhaltensindikatoren zuordnen: Expertenkonsens herstellen (sorgfältige Auswahl der ExpertInnen!) mögliches Vorgehen: systematische Anforderungsanalysen für bestimmte Bildungs-/Arbeitskontexte und Qualifikationsstufen (z.b. Farrell et al., 2013; Fister & Eland, 2008)

35 Perspektiven für die Messung von Informationskompetenzen Teilkompetenzen (inkl. Niveaustufen) bzw. frames konkrete und messbare (beobachtbare, quantifizierbare) Wissens-/Verhaltensindikatoren zuordnen Spezifität: abhängig vom Ziel der jeweiligen Messung spezifisch: präzisere Verhaltensvorhersage im jeweiligen Kontext und Abbildung von Veränderungen (z.b. Evaluation) generalisiert: höhere Flexibilität, eher Transfer auf andere Kontexte möglich (allerdings mit geringerer Präzision)

36 Perspektiven für die Messung von Informationskompetenzen Teilkompetenzen (inkl. Niveaustufen) bzw. frames konkrete und messbare (beobachtbare, quantifizierbare) Wissens-/Verhaltensindikatoren zuordnen Spezifität: abhängig vom Ziel der jeweiligen Messung Beziehungen zu verwandten Konzepten und zu psychologischen Konstrukten: im Zuge empirischer Validierungsstudien analysieren: konvergente vs. diskriminante Validität ggf. bei generalisierter Messung etablierte allgemeine Tests / Fragebögen (z.b. zu epistemischen Überzeugungen, Problemlösekompetenzen) nutzen

37 Perspektiven für die Messung von Informationskompetenzen Teilkompetenzen (inkl. Niveaustufen) bzw. frames konkrete und messbare (beobachtbare, quantifizierbare) Wissens- /Verhaltensindikatoren zuordnen Spezifität: abhängig vom Ziel der jeweiligen Messung Beziehungen zu verwandten Konzepten und zu psychologischen Konstrukten: empirische Validierungsstudien Dynamik: Inhalte: Überprüfung und ggf. Revision von Messverfahren in engmaschigen Zyklen Konzepte: Erweiterung der Palette von Messverfahren um Tests zum konzeptuellen Wissen und zur Aufdeckung von Misskonzepten (z.b. Two Tier Multiple Choice Tests, Treagust, 1988; Chou et al., 2007)

38 Fazit hoher Bedarf an Finanzmitteln zur forschungsbasierten Neu- und Weiterentwicklung von Messverfahren, z.b. auf Basis der im Gemeinsamen Referenzrahmen erarbeiteten Kompetenzstufendefinitionen oder des zu präzisierenden - Framework for IL gemeinsame Anstrengungen zur Entwicklung fachbezogener und fachübergreifender Fragenpools nach einheitlichem Konstruktionsprinzip und psychometrischen Überprüfung neuer Tests relevante Akteur/innen: BibliothekarInnen FachwissenschaftlerInnen ExpertInnen in Sachen Testkonstruktion InformationswissenschaftlerInnen

39 Vielen Dank! Kontakt: Dr. Anne-Kathrin Mayer ZPID - Leibniz-Zentrum für Psychologische Information und Dokumentation mayer@zpid.de 17 17

40 Literatur - 1 Association of College and Research Libraries (ACRL). (2010). Psychology information literacy standards. Retrieved from ( ) Association of College and Research Libraries. (2015, February 2). Framework for information literacy for higher education. Retrieved from ( ) Balceris, M. (2011). Medien-und Informationskompetenz: Modellierung und Messung von Informationskompetenz bei Schülern. Dissertation, Universität Paderborn. Behm, T. (2015). Informationskompetenz und Selbstregulation: Zur Relevanz bereichsspezifischer Selbstwirksamkeitsüberzeugungen. In A.-K. Mayer (Hrsg.) Informationskompetenz im Hochschulkontext Interdisziplinäre Forschungsperspektiven (S ). Lengerich: Pabst Science Publishers. Chou, C., Tsai, C. C., & Chan, P. S. (2007). Developing a web based two tier test for internet literacy. British Journal of Educational Technology, 38(2), Farrell, A., Goosney, J., & Hutchens, K. (2013). Evaluation of the effectiveness of course integrated library instruction in an undergraduate nursing program. Journal of the Canadian Health Libraries Association, 34(03), Fister, B., & Eland, T. (2008). Curriculum issues in information literacy instruction. In C. Cox & E. Lindsay (Eds.), Information literacy instruction handbook (pp ). Chicago, IL: Association of College and Research Libraries. Klingenberg, A. (2016). Referenzrahmen Informationskompetenz für alle Bildungsebenen. In W. Sühl-Strohmenger (Hrsg.), Handbuch Informationskompetenz (2. Aufl.) (S ). Berlin: De Gruyter. doi: / Leichner, N., Peter, J., Mayer, A.-K., & Krampen, G. (2013). Assessing information literacy among German psychology students. Reference Services Review, 41(4), doi: /rsr

41 Literatur - 2 Leichner, N., Peter, J., Mayer, A.-K., & Krampen, G. (2014). Assessing information literacy using information search tasks. Journal of Information Literacy, 8(1), Maberry, S., & Giuntini, P. (2008). Using learning objects and instructional technologies to improve information competency of art and design students. Presented at the EDUCAUSE Western Regional Conference Retrieved from ( ) Mayer, A.-K. (2016). Empirische Erfassung von Informationskompetenz. In W. Sühl-Strohmenger (Hrsg.), Handbuch Informationskompetenz (2. Aufl.) (S ). Berlin: De Gruyter. doi: / fm Netzwerk Informationskompetenz Baden-Württemberg (2006). Standards der Informationskompetenz für Studierende Retrieved from: informationskompetenz. de/regionen/badenwuerttemberg/arbeitsergebnisse/standards-der-informationskompetenz-fuer-studierende ( ) Rosman, T., Mayer, A.-K., & Krampen, G. (2015). Measuring psychology students' information-seeking skills in a situational judgment test format: Construction and validation of the PIKE-P Test. European Journal of Psychological Assessment, 32, Talja, S., Vakkari, P., Fry, J., & Wouters, P. (2007). Impact of research cultures on the use of digital library resources. Journal of the American Society for Information Science and Technology, 58(11), Treagust, D. F. (1988). Development and use of diagnostic tests to evaluate students misconceptions in science. International Journal of Science Education, 10(2),

42 Anhang: Beispiele für Messverfahren

43 Wissenstests: Deklaratives Wissen Information Literacy Test Psychology (ILT-P; Leichner, Peter, Mayer & Krampen, 2013): Aufbau: k = 35 Forced choice-items mit je 3 Antwortoptionen (0-3 korrekt) Beispielitem: Sie suchen Informationen zum Einfluss von Persönlichkeitsmerkmalen auf falsche Erinnerungen. Welche der folgenden Suchanfragen halten Sie für hilfreich? Personality AND false memories. Personality influence false memories. Extraversion AND false memories

44 Wissenstests: Prozedurales Wissen Procedural Information Literacy Knowledge Test Psychology (PIKE-P; Rosman, Mayer & Krampen, 2015): Aufbau: k = 22 Beschreibungen von Recherchesituationen mit je 4 Handlungsoptionen 22 22

45 Rechercheaufgaben (Leichner et al., 2014) standardisierte fachliche Rechercheaufgaben unterschiedlicher Schwierigkeit, am PC zu bearbeiten Beispielaufgabe: Gibt es nach 2005 publizierte Längsschnittstudien (longitudinal study), die Risikofaktoren ( risk factors ) für die generalisierte Angststörung ( Generalized Anxiety Disorder ) untersuchen? standardisierte Auswertung von a) Ergebnisqualität und b) Prozessqualität 23 23

46 Two-Tier-MC-Test - Beispiel (vgl. Chou, Tsai & Chan, 2007) To demonstrate what they have learned in computer class, students practice creating their own Web pages and will post their work on the school s Web site. When producing any Web pages, may students copy and paste text and graphics directly from other people s Web pages? Step 1: Yes or No Step 2: a) reasons for the answer Yes : (1) Producing web pages is for educational purposes, it is fair use, so it is fine. (2) Web information is by nature open and free, so it is fine. (3) Unless the sources expressively said that their information cannot be used, it is fine. (4) As long as the sources are cited, it is fine. b) reasons for the answer No : (1) Students web pages will be shown in an open website. If students use web text and graphics without the authors permission, they will be guilty of copyright infringement. (correct) (2) The text and graphics are their authors finished products. If students carelessly use them without permission, they will damage the authors reputations. (3) The text and graphics are their authors property. If students use them without permission, they will be guilty of stealing. (4) The text and graphics are their authors private products. If students use them without permission, they will damage the authors privacy