Fachspezifische Erfassung von Recherchekompetenz. durch prozedurale Wissenstests: Psychologie vs. Informatik

Transkript

1 Fachspezifische Erfassung von Recherchekompetenz durch prozedurale Wissenstests: Psychologie vs. Informatik Tom Rosman & Peter Birke ZPID-Symposium Informationskompetenz im Hochschulkontext - Interdisziplinäre Forschungsperspektiven

2 Übersicht 1. Recherchekompetenz mit Fokus auf prozeduralem und deklarativem Wissen (Tom Rosman) 2. Zur Informationsrecherche nötige Subkompetenzen in Psychologie und Informatik (Peter Birke) 3. Entwicklung eines Verfahrens zur Erfassung prozeduraler und deklarativer Aspekte von Recherchekompetenz (Tom Rosman) 4. Fazit und Diskussion

3 Definitorische Aspekte In aller Regel wird Informationskompetenz operational definiert (ACRL, 2000; Brand-Gruwel et al., 2005) Offene Menge unterschiedlicher (Sub-)Kompetenzen Je nach Disziplin unterschiedliche Gewichtung dieser Subkompetenzen Nachfolgend Fokus auf Recherchekompetenz, also Suchen und Beschaffen wissenschaftlicher Fachliteratur

4 Unser Ansatz: Unterscheidung von Deklarativem Wissen: Faktenwissen über Informationsrecherchen: Wissen was Prozeduralem Wissen: Wissen über das Vorgehen in bestimmten Situationen bzw. Abschnitten der Informationsrecherche: Wissen wie Zur erfolgreichen Informationsrecherche werden beide Komponenten benötigt!

5 Deklaratives und prozedurales Wissen bei bestehenden Verfahren Multiple-Choice-Verfahren: primär deklaratives Wissen (Wissensabfragen) Rechercheaufgaben: primär prozedurales Wissen, z. T. aber auch deklaratives Wissen Rechercheaufgaben sind somit geeigneter als MC-Verfahren, haben jedoch Nachteile: Aufwand bei der Auswertung Geringere Objektivität

6 Ein alternativer Zugang zur Messung prozeduralen Wissens Situational Judgment Tests Vorgabe typischer Situationen, welche während der Informationssuche vorkommen Fragen nach dem Verhalten der Person während dieser Situation (Multiple-Choice-Format) Dazu nötig: Skill Decomposition Identifikation und Spezifizierung zur Informationssuche nötiger Subkompetenzen (sub skills)

7 Beispielitem Sie suchen in einer Fachdatenbank nach Längsschnittstudien ( longitudinal study ) zur Wirksamkeit der kognitiven Verhaltenstherapie ( cognitive behavior therapy ). Wie gehen Sie vor, um möglichst wenige Studien zu übersehen? völlig ungeeignet sehr gut geeignet A) Ich suche nach dem Schlagwort (Thesaurusbegriff) cognitive behavior therapy und im Datenbankfeld, das die Information über die Untersuchungsmethode enthält (Methodology) nach Longitudinal Empirical Study. Dann verknüpfe ich die beiden Suchen mit UND. B) Ich gebe cognitive behavior therapy longitudinal in die Suchmaske ein. C)

8 Kompetenzen nach Brand-Gruwel et al. (2005) Definieren des Informationsproblems Definition und Artikulation des Informationsbedarfs Planung der Suche (Bestandsaufnahme, Festlegung der Suchstrategie) Abschätzung der Kosten und Nutzen Selektion von Informationsquellen Nutzen vorgegebener Quellen als Ausgangspunkt Auswahl angemessener Ressourcen (Fachdatenbanken, Google, Bibliothekskatalog, ) Beschaffung der Informationen Durchführung der Suche an sich (Konzepte identifizieren, Ergebnismenge eingrenzen, Beschaffung)

9 Selektion von Informationsquellen

10 Selektion von Informationsquellen Pearl Growing: Nutzen vorgegebener Quellen als Ausgangspunkt Selects appropriate subject headings from records of relevant articles to refine search statements. (ACRL, 2013, p. 38) Selektion des Instruments: Auswahl angemessener Resourcen selects the most appropriate sources for accessing [emphasis added] the needed information. (ACRL, 2010, p. 3) Fachspezifische Unterschiede!

11 Selektion von Informationsquellen Selektion des Instruments: Auswahl angemessener Resourcen Gemeinsamkeiten: Ressourcen wie (Fach-)Datenbanken, WWW- Suchmaschinen, Bibliothekskatalog, Unterschiede: Stellenwert der Ressourcen. (Fach-)Datenbanken in der Psychologie wichtiger als in der Informatik (Paglia & Donahue, 2003, George et al., 2006) Ursachen: Suchoberflächen Indexierung mittels Google Unterschiedliche Erschließungstiefe

12 Selektion von Informationsquellen Selektion des Publikationstyps: Informationsbedürfnis bestimmt Literaturtyp Examines and compares information from various sources. (ACRL, 2010, p. 6) Fachspezifischer Unterschied! Unterschiedliche Publikationskultur: Konferenzbeiträge in der Informatik haben einen mindestens genauso hohen Stellenwert wie Artikel aus Journalen

13 Beschaffung der Informationen

14 Beschaffung der Informationen Generierung von Suchbegiffen: Extraktion von Konzepten Identifies key concepts and terms that describe the information need. (ACRL, 2000, p. 8) Fachspezifische Unterschiede! Wegen Verwendung von WWW-Suchmaschinen in der Informatik stärker zu gewichten Abgrenzung des Vokabulars (mathematische Konzepte in der Informatik; alltagssprachlicher Begriff vs. psychologisches Konstrukt) Suche nach einzelnen Konzepten (Informatik) vs. Verknüpfungen (Psychologie)

15 Beschaffung der Informationen Anpassung von Suchbegiffen: Adäquate Umformulierung und Verwendung von Synonymen Identifies keywords, synonyms and related terms for the information needed (ACRL, 2000, p. 9) Keine domänspezifischen Unterschiede, aber Fachwissen notwendig!

16 Beispielitem Zur begleitenden Übung zur Vorlesung Logik bereiten Sie ein Kurzreferat vor. Der Arbeitstitel lautet Normalformen aussagenlogischer Formeln. Eine Suche mit den Suchbegriffen Normalform und Aussagenlogik ergab viele irrelevante Treffer. Wie beurteilen Sie die folgenden Möglichkeiten, Ihre Suche abzuändern? völlig ungeeignet sehr gut geeignet A) gültige Formel Tautologie B) De Morgansche Gesetze C) Disjunktiv Konjunktiv D) Reduktion

17 Beschaffung der Informationen Verwendung von Booleschen Operatoren Creates and uses effective search strategies in relevant databases using advanced search features, such as Boolean operators. (ACRL, 2010, p. 3) Unterschied im Stellenwert: Booleschen Operatoren Teil des Curriculums der Informatik

18 Selektion von Informationsquellen Verwendung eines Online-Thesaurus Uses controlled vocabulary from the database. (ACRL, 2010, p. 4) Einschränkung der Ergebnismenge: Verwendung von Filtern Uses limiters (e.g., year, population, age, ). (ACRL, 2013, p. 38) In Informatik nicht umsetzbar!

19 Beschaffung der Informationen Eigentliche Beschaffung der Volltexte: Erkennen des Literaturtyps und angemessene Auswahl des Werkzeugs zur Beschaffung (Suche im Bibliothekskatalog, Nutzung der Fernleihe, ) Retrieves scholarly journals, books, and sources appropriate to the inquiry. (ACRL, 2010, p. 4) Domänunspezifische Informationskompetenz!

20 Konstruktion des PIKE-Verfahrens (Rosman, Mayer & Krampen, 2015; Birke, Rosman, Mayer & Walter, 2014; Rosman & Birke, 2015) Itemgenerierung - Psychologie (PIKE-P): 40 Items; Informatik (PIKE-CS): 33 Items - Unterschiedliche Gewichtungen der einzelnen sub skills Expertenstudien - Auswahl der geeignetsten Items - Erstellung eines Auswertungsschlüssels Pilotstudien - Feinabstimmung des Auswertungsschlüssels - Elimination einiger zusätzlicher Items, damit k = 22 für beide Verfahren Validierungsstudie (nur Psychologie) - Misst der Test wirklich Recherchekompetenz?

21 Psychometrische Indizes aus Pilot- und Validierungsstudie N M SD Empirischer Wertebereich Pilotstudie Informatik (PIKE-CS) Pilotstudie Psychologie (PIKE-P) Validierungsstudie Psychologie (PIKE-P) Anmerkungen. N = Stichprobengröße; M = Mittelwert; SD = Standardabweichung; α = Cronbach s Alpha; Maximal erzielbare Werte: PIKE-P: 86; PIKE-CS: 85. α

22 Ergebnisse aus der Validierungsstudie (Psychologie) Skala PIKE-P (.72) 2 ILT-P.51 *** (.64) 3 Volltext-Beschaffung.42 ***.41 *** (.74) 4 Rechercheaufgaben: Ergebnisqualität.62 ***.50 ***.41 *** (.59) 5 Rechercheaufgaben: Prozessqualität.64 ***.55 ***.43 ***.66 *** (.75) Anmerkungen. N = 81; Werte in Klammern auf der Diagnonalen: Cronbach s Alpha; PIKE-P = Prozeduraler Informationsrecherche-Test für Psychologen; ILT-P = Informationskompetenztest von Leichner et al., (2013).

23 Fazit Enge Verzahnung zwischen disziplinspezifischen Bedingungen der jeweiligen Informationsumgebung, Fachwissen und generellen Recherchefähigkeiten Deswegen: Verfahren müssen disziplinspezifisch konstruiert werden Allerdings: Erschwerung von Disziplinvergleichen Insgesamt: Disziplinspezifisch konstruierte MC-Verfahren stellen eine sinnvolle Alternative zu Rechercheaufgaben dar.

24 Rosman et al.: Erfassung fachlicher Literaturrecherchefähigkeiten Vielen Dank für Ihre Aufmerksamkeit! Kontakt: ACRL (2000). Information literacy standards for higher education. Retrieved from on 20 May ACRL (2010). Psychology information literacy standards. Retrieved from on 20 May ACRL (2013). Information literacy competency standards for nursing. Retrieved from on 20 May Birke, P., Rosman, T., Mayer, A. K. & Walter, B. (2014). A Domain-Specific Test of Procedural Knowledge about Information Searching for Students of Computer Science. In S. K. S. Špiranec, E. G. D. Mizrachi, & R. Catts (Eds.), Information Literacy. Lifelong Learning and Digital Citizenship in the 21st Century (pp ). Cham, Switzerland: Springer International Publishing. Brand-Gruwel, S., Wopereis, I. & Vermetten, Y. (2005). Information problem solving by experts and novices: Analysis of a complex cognitive skill. Computers in Human Behavior, 21(3), George, C. A., Bright, A., Hurlbert, T., Linke, E. C., St Clair, G. & Stein, J. (2006). Scholarly use of information: graduate students' information seeking behaviour. Information Research, 11(4). Paglia, A. & Donahue, A. (2003). Collaboration works: integrating information competencies into the psychology curricula. Reference Services Review, 31(4), Rosman, T. & Birke, P. (2015). Fachspezifische Erfassung von Recherchekompetenz durch prozedurale Wissenstests: Psychologie vs. Informatik. In A.-K. Mayer (Hrsg.), Informationskompetenz im Hochschulkontext Interdisziplinäre Forschungsperspektiven (S ). Lengerich: Pabst Science Publishers. Rosman, T., Mayer, A.-K. & Krampen, G. (2015). Measuring psychology students information-seeking skills in a situational judgment test format: Construction and validation of the PIKE-P Test. European Journal of Psychological Assessment. Advance online publication. doi: / /a000239

25 Vielen Dank für Ihre Aufmerksamkeit!