ZIB-Akademie Vom 29. Juli 02. August 2013 am DIPF in Frankfurt am Main

Transkript

1 ZIB-Akademie 2013 Vom 29. Juli 02. August 2013 am DIPF in Frankfurt am Main

2 Adresse: Deutsches Institut für Internationale Pädagogische Forschung Schloßstraße Frankfurt / Main Tel.:

3 Generelle Informationen Ort der Akademie Registrierung Eröffnung Erfrischungen Mittagessen Internet Social Events Materialien Alle Workshops finden in den Räumen des DIPF in der Schloßstraße 29, Frankfurt/Main statt. Die genauen Räume werden vor Ort bekannt gegeben. Die Registrierung ist am Montag 29. Juli 2013 ab 12:30 Uhr möglich. Die ZIB-Akademie wird am 29. Juli 2013 um 13:15 Uhr eröffnet. Während der Workshops werden Getränke und in den Kaffeepausen zusätzlich Snacks bereit gestellt (in der Teilnahmegebühr enthalten). Während der Akademie besteht Dienstag bis Donnerstag zwischen 12:30 und 13:30 am DIPF die Möglichkeit zum Mittagessen (in der Teilnahmegebühr enthalten). Während der Akademie wird ein Internetzugang bereitgestellt. Informationen hierzu werden vor Ort bekannt gegeben. Am Dienstag, 30. Juli 2013 besteht die Möglichkeit zur Teilnahme an einer Stadtführung (in der Teilnahmegebühr enthalten). Für Donnerstag, 01. August 2013, ist ein gemeinsames Abendessen in einem für Frankfurt typischen Restaurant geplant (nicht in der Teilnahmegebühr enthalten). Alle Materialien werden vom DIPF gestellt (Hardware & Software). 3

4 Programm: ZIB-Akademie Montag, 29. Juli 2013 ab 12:30 Anmeldung 13:15 13:30 Begrüßung Prof. Dr. Frank Goldhammer (DIPF, ZIB) 13:30 15:30 Workshop Chancen, Herausforderungen und Praxis der Online-Forschung, Teil 1 Prof. Dr. Ulf-Dietrich Reips (Universität Deusto, Bilbao) 15:30 16:00 Kaffeepause 16:00 18:00 Workshop Chancen, Herausforderungen und Praxis der Online-Forschung, Teil 2 Prof. Dr. Ulf-Dietrich Reips (Universität Deusto, Bilbao) ab 18:00 Get together: Gemeinsames Ausklingen des ersten Tages Dienstag, 30. Juli :00 10:30 Workshop Educational Data Mining Prof. Dr. Ulf Brefeld (DIPF, TU Darmstadt) 10:30 11:00 Kaffeepause 11:00 12:30 Workshop Methoden der technologiebasierten Itemkonstruktion: Einführung in den CBA ItemBuilder, Teil 1 Carolin Hahnel & Miriam Hacker (DIPF, ZIB) 12:30 13:30 Mittagspause 13:30 15:30 Workshop Methoden der technologiebasierten Itemkonstruktion: Einführung in den CBA ItemBuilder, Teil 2 Carolin Hahnel & Miriam Hacker (DIPF, ZIB) 15:30 16:00 Kaffeepause 16:00 18:00 Workshop Methoden der technologiebasierten Itemkonstruktion: Einführung in den CBA ItemBuilder, Teil 3 Carolin Hahnel & Miriam Hacker (DIPF, ZIB) ab 19:00 Stadtführung (Teilnahme optional nach Anmeldung; Treffpunkt wird vor Ort bekannt gegeben) 4

5 Mittwoch, 31. Juli :00 10:30 Workshop Computer-based Assessment of Complex Problem Solving, Teil 1 Dr. Samuel Greiff & Katarina Krkovic (Universität Luxemburg) 10:30 11:00 Kaffeepause 11:00 12:30 Workshop Computer-based Assessment of Complex Problem Solving, Teil 2 Dr. Samuel Greiff & Katarina Krkovic (Universität Luxemburg) 12:30 13:30 Mittagspause 13:30 15:30 Workshop Einführung in das computerbasierte adaptive Testen Dr. Ulf Kröhne (DIPF) 15:30 16:00 Kaffeepause 16:00 18:00 Workshop Vergleichbarkeit papierbasierter und computerbasierter Kompetenzdiagnostik Dr. Ulf Kröhne & Sarah Bürger (DIPF) ab 18:00 Das ZIB stellt sich vor Prof. Dr. Frank Goldhammer (DIPF, ZIB), Prof. Dr. Ali Ünlü (TUM, ZIB), Prof. Dr. Marcus Pietsch (IPN, ZIB), Dr. Poldi Kuhl (IQB, ZIB) Donnerstag, 01.August :00 10:30 Workshop Woran lag s? Prozesse der Aufgabenbearbeitung erfassen und modellieren, Teil 1 Prof. Dr. Frank Goldhammer (DIPF, ZIB) 10:30 11:00 Kaffeepause 11:00 12:30 Workshop Woran lag s? Prozesse der Aufgabenbearbeitung erfassen und modellieren, Teil 2 Prof. Dr. Frank Goldhammer (DIPF, ZIB) 12:30 13:30 Mittagspause 13:30 15:30 Workshop Computer-Based Assessment Practice: building an electronic test from A to Z, Teil 1 Dr. Thibaud Latour & Patrick Plichart (Open Assessment Technologies S.A.) 15:30 16:00 Kaffeepause 16:00 18:00 Workshop Computer-Based Assessment Practice: building an electronic test from A to Z, Teil 2 Dr. Thibaud Latour & Patrick Plichart (Open Assessment Technologies S.A.) ab 20:00 gemeinsames Abendessen (Teilnahme optional nach Anmeldung) 5

6 Freitag, 02.August :00 10:30 Workshop Lesen Digitaler Texte: Möglichkeiten der Analyse von Leseprozessen, Aufgabenmerkmalen und ihrer Interaktion, Teil 1 PD Dr. Johannes Naumann (DIPF, ZIB) 10:30 11:00 Kaffeepause 11:00 12:30 Workshop Lesen Digitaler Texte: Möglichkeiten der Analyse von Leseprozessen, Aufgabenmerkmalen und ihrer Interaktion, Teil 2 PD Dr. Johannes Naumann (DIPF, ZIB) 12:30 13:00 Abschluss Prof. Dr. Frank Goldhammer (DIPF, ZIB) 6

7 Detailbeschreibungen der Workshops Montag, 29.Juli

8 Workshop Chancen, Herausforderungen und Praxis der Online-Forschung Prof. Dr. Ulf-Dietrich Reips IKERBASQUE Stiftungsprofessur & Leiter der iscience Gruppe, Universidad de Deusto Bilbao, Spanien Datum: 29. Juli 2013, 13:30 15:30 & 16:00 18:00 Ort: DIPF, Raum wird vor Ort bekannt gegeben Inhalt & Ziele des Workshops: In der Veranstaltung werden theoretische und praktische Kenntnisse über Methoden der Online-Forschung vermittelt. Zu behandelnde Themen beinhalten die Geschichte und Erkenntnistheorie der Online-Forschung, Grundtypen der Datenerhebung im Internet, Formen der Messung im Internet, Versuchsplanung für Internet-basierte Forschung, sowie Fragen der Teilnehmerrekrutierung (Sampling, Multiple site entry technique, Mechanical Turks, ethischtechnische Fragen). Der Kurs wird einen Überblick geben über verschiedene Tools, die in der Online-Forschung eingesetzt werden können. Im Bereich der Datenauswertung werden die Themen Logdateianalyse, Dropoutanalyse, Sub-sampling technique und Fragen der Archivierung von Daten behandelt. Die Teilnehmer/-innen werden auf typische Fehler und deren Vermeidung hingewiesen, sowie in verschiedene Techniken der Online-Forschung eingeführt: Seriousness check, High hurdle technique, Warm-up technique, One-question-one-screen design, Session- Identifizierung, Messung und Nutzung von Non-Response, Benennung von Dateien und Ordnern, Doppelete Responsezeitmessung, Geburtstagstechnik und andere Zufallsmethoden, Timing out von Webseiten, Meta tags gegen Robots und Caching, Pretest etc. Ein besonderes Augenmerk wird Verfahren des Online-Assessment gewidmet. Zur Person: Prof. Dr. Ulf-Dietrich Reips forscht als Inhaber einer IKERBASQUE Stiftungsprofessur und Leiter der iscience Gruppe der Universidad de Deusto in Bilbao. Reips gründete 1994 das weltweit erste Versuchslabor für psychologische Experimente im Internet und entwickelte WEXTOR, einen frei nutzbaren Web-Experimente-Generator. In jüngerer Zeit beschäftigt er sich mit Methoden der Forschung in Sozialen Medien und der Wechselwirkung von Migration und Internet. Reips hat über 100 Publikationen zu Themen der Internet-Forschung und Psychologie des Internet veröffentlicht, ist amtierender Gründungsherausgeber der Open Access Startup- Zeitschrift "International Journal of Internet Science" (Uwe Matzat) sowie Mitglied mehrerer Editorial Boards (bspw. Behavior Research Methods). 8

9 Detailbeschreibungen der Workshops Dienstag, 30.Juli

10 Workshop Educational Data Mining Prof. Dr. Ulf Brefeld Department of Computer Science, Technische Universität Darmstadt Deutsches Institut für Internationale Pädagogische Forschung (DIPF), Frankfurt/Main Datum: 30. Juli 2013, 09:00 10:30 Ort: DIPF, Raum wird vor Ort bekannt gegeben Inhalt & Ziele des Workshops: In dem Workshop werden verschiedene Methoden des Maschinellen Lernens und Data Minings im Kontext der Bildungsinformatik vorgestellt. Da die Bildungsinformatik als Kombination von Informatik und empirischer Bildungsforschung ein noch recht junges Fachgebiet ist, soll in dem Workshop in erster Linie ein Bewusstsein für mögliche Einsatzgebiete und Anwendungen geschaffen werden. Der Schwerpunkt der Veranstaltung liegt daher eher auf der Vielfalt der Methoden und ihren formalen Problemstellungen als auf konkrete Anwendungen im Bereich der empirischen Bildungsforschung. Thematisiert werden unter anderem Klassifikationsprobleme, Clusteraufgaben, graphischen Modelle und probabilistische Verfahren. Zur Person: Prof. Dr. Ulf Brefeld ist Professor für Knowledge Mining & Assessment in der Abteilung für Informatik der Technischen Universität Darmstadt. Gleichzeitig ist er Leiter der Arbeitsgruppe Knowledge Mining & Assessment am DIPF in Frankfurt. Wichtige Stationen seiner wissenschaftlichen Arbeit waren u.a. Recommender Systems Group bei Zalando GmbH und Yahoo! Research in Barcelona. Zudem arbeitete er an der Universität Bonn sowie in verschiedenen Forschungsgruppen zum maschinellen Lernen an der Technischen Universität Berlin, Max Planck Institut für Informatik in Saarbrücken und an der Humboldt-Universität zu Berlin. Seine Doktorarbeit verfasste er 2008 an der Humboldt-Universität zu Berlin. 10

11 Workshop Methoden der technologiebasierten Itemkonstruktion: Einführung in den CBA ItemBuilder Carolin Hahnel & Miriam Hacker Deutsches Institut für Internationale Pädagogische Forschung (DIPF), Frankfurt/Main Datum: 30. Juli, 11:00 12:30, 13:30 15:30 & 16:00 18:00 Ort: DIPF, Raum wird vor Ort bekannt gegeben Inhalt & Ziele des Workshops: Technologiebasiertes Testen gewinnt zunehmend an Bedeutung in der empirischen Bildungsforschung. Häufig ist aber gerade die Entwicklung und Umsetzung eines einzelnen Items bereits die erste Hürde auf dem Weg zu einem computerbasierten Test. Der CBA ItemBuilder setzt genau an diesem Punkt an: Er ist ein Autorenwerkzeug, mit dem Forscherinnen und Forscher, die selbst über nur wenige bis keine Programmierkenntnisse verfügen, eigene komplexe Items in relativ kurzer Zeit entwerfen und erstellen können. Im Rahmen des Workshops werden die Teilnehmer/-innen den CBA ItemBuilder kennenlernen. Ziel ist es, ihnen die Grundlagen im Umgang mit dem ItemBuilder zu vermitteln und darauf aufbauend selbst Items zu konstruieren. Die Palette der konstruierbaren Items umfasst Itemformate, die von einfachen (z.b. Multiple Choice) bis hin zu komplex aufgebauten, interaktiven Formaten reichen (z.b. eine simulierte Web-Umgebung). Ein Teil des Workshops wird sich auch mit der Definition und Umsetzung von Regeln zur automatischen Antwortbewertung befassen. Zu den Personen: Carolin Hahnel studierte Psychologie mit dem Schwerpunkt Kognitionspsychologie an der Martin-Luther-Universität Halle-Wittenberg. Seit 2011 arbeitet sie als wissenschaftliche Mitarbeiterin am DIPF an einer nationalen Begleitstudie zu PISA 2012, die Fragen zur Einführung computerbasierten Assessments in PISA forschungsbasiert beantworten soll. Ihre aktuellen Forschungsinteressen beinhalten vor allem Untersuchungen zum Leseverständnis und Leseverstehen von elektronischen- und Hypertexten. Miriam Hacker schloss ihr Psychologie-Studium mit Schwerpunkt Wirtschaftspsychologie an der Universität Mannheim ab. Seit 2012 arbeitet sie als wissenschaftliche Mitarbeiterin am DIPF und beschäftigt sich dabei mit Bearbeitungszeiten in Kompetenztests. Die Untersuchungen beziehen sich vor allem auf die Kontrolle und Modellierung von Reaktionszeiten und die Betrachtung möglicher Einflüsse. 11

12 Detailbeschreibungen der Workshops Mittwoch, 31.Juli

13 Workshop Computer-based Assessment of Complex Problem Solving Dr. Samuel Greiff & Katarina Krkovic Fakultät für Sprachwissenschaften und Literatur, Geisteswissenschaften, Kunst und Erziehungswissenschaften Universität Luxemburg, Luxemburg Datum: 31. Juli 2013, 09:00 10:30 & 11:00 12:30 Ort: DIPF, Raum wird vor Ort bekannt gegeben Inhalt & Ziele des Workshops: Zwar ist die Computerisierung in verschiedenen Bereichen stark vorangeschritten, jedoch erfolgt die Umsetzung von konventionellen paper-pencil Tests in computer-basierte Assessments (CBA) langsam und ist mit einigen Schwierigkeiten verbunden. Im Rahmen des Workshops werden Potentiale und Grenzen computerbasierter Assessments für die Erfassung komplexer Problemlösefähigkeit (CPS) besprochen und diskutiert. Den Teilnehmer/-innen wird ein Einblick in die Thematik gegeben. Zudem besteht die Gelegenheit erste praktische Erfahrungen im Umgang mit aktuellen computerbasierten Verfahren für die Erfassung komplexer Problemlösefähigkeit zu sammeln. Hierbei können erste eigene Items zur Erfassung von Problemlösefähigkeit unter Anleitung der Dozenten/-in mit Hilfe des ItemBuilders erstellt werden. Außerdem werden Themen der computergenerierten Logdateien von Aufgaben zur Problemlösefähigkeit theoriebasiert und in Bezug auf bildungsbezogenes Data-Mining diskutiert. Zu den Personen: Dr. Samuel Greiff ist Forschungsbereichsleiter und Projektleiter im Rahmen des luxemburgischen Exzellenz-Programms für junge Wissenschaftler ATTRACT der Universität Luxemburg. Der Schwerpunkt seiner Doktorarbeit lag in der kognitiven und experimentellen Psychologie (Universität Heidelberg). Zudem ist er als externer Berater und Experte in PISA 2012 sowie PISA 2015 involviert. Katarina Krkovic schloss ihr Studium in der Psychologie mit den Schwerpunkten Klinische Psychologie und Psychologische Diagnostik an der Universität Wien ab. Derzeit ist sie Doktorandin und wissenschaftliche Mitarbeiterin an der Universität Luxemburg. Ihr Hauptfokus liegt auf der Entwicklung und empirischen Validierung eines Messinstrumentes für kollaboratives Problemlösen. 13

14 Workshop Einführung in das computerbasierte adaptive Testen Dr. Ulf Kröhne Deutsches Institut für Internationale Pädagogische Forschung (DIPF), Frankfurt / Main Datum: 31. Juli 2013, 13:30 15:30 Ort: DIPF, Raum wird vor Ort bekannt gegeben Inhalt & Ziele des Workshops: Die Steigerung der Messeffizienz durch Optimierung der Testzusammenstellung ist ein häufiger Anwendungsgrund für computerbasiertes Testen. Sind ausreichend skalierte Aufgaben vorhanden, können Fähigkeiten mit adaptiven Tests bei gleicher Genauigkeit kürzer oder bei gleicher Länge reliabler gemessen werden. Die Anwendung adaptiver Testverfahren in der Praxis setzt jedoch eine Software voraus, mit deren Hilfe große Itembanken effizient computerisiert und zur adaptiven Testadministration herangezogen werden können. Nach einer kurzen Einführung in die Grundlagen des ein- und mehrdimensionalen adaptiven Testens wird in dem Workshop die für das DFG-Schwerpunktprogramm Kompetenzmodelle entwickelte Multidimensional Adaptive Testing Environment (MATE) verwendet. Im Workshop wird demonstriert, wie mit Hilfe der MATE Aufgaben computerisiert, und basierend auf geschätzten Itemparametern adaptive Tests sowohl simuliert als auch administriert werden können. Zur Person: Dr. Ulf Kröhne ist seit 2009 Mitarbeiter am DIPF in Frankfurt und ist im Rahmen des Nationalen Bildungspanels (NEPS) zuständig für die Mode Effects Studie. Seine Forschungsschwerpunkte liegen u.a. im adaptiven Testen sowie kausaler Inferenz. Von 2003 bis 2009 war er wissenschaftlicher Mitarbeiter am Lehrstuhl für Methodenlehre und Evaluation der Friedrich-Schiller-Universität Jena. Seine Doktorarbeit verfasste er 2010 zu dem Thema Estimation of Average Total Effects in Quasi-Experimental Designs: Nonlinear Constraints in Structural Equation Models. 14

15 Workshop Vergleichbarkeit papierbasierter und computerbasierter Kompetenzdiagnostik Dr. Ulf Kröhne & Sarah Bürger Deutsches Institut für Internationale Pädagogische Forschung (DIPF) Frankfurt / Main Datum: 31. Juli, 16:00 18:00 Ort: DIPF, Raum wird vor Ort bekannt gegeben Inhalt & Ziele des Workshops: Die Vergleichbarkeit papierbasierter und computerbasierter Tests wird seit der Einführung von computerbasierten Tests erforscht und im Hinblick auf eine Vielzahl von potentiellen Äquivalenzkriterien untersucht. Neben medienimmanenten Unterschieden der Aufgabenpräsentation und Erfassung von Antworten, der unterschiedlichen graphischen Gestaltung des Aufgabenmaterials und potentiellen Gefährdungen der Testfairness durch inter-individuelle unterschiede der Computernutzungskompetenz können Ursachen von Nichtäquivalenz in unterschiedlichen Navigationsmöglichkeiten innerhalb der computer-basierten Tests bzw. gedruckten Testhefte liegen. In dem Workshop werden ausgehend von beispielhaften Analysen aus laufenden Forschungsprojekten im ZIB und im Nationalen Bildungspanel (NEPS) digitale Kugelschreiber als Forschungswerkzeug für die Erforschung von Testäquivalenz vorgestellt, mit deren Hilfe auch Log- und Prozessdaten im papierbasierten Assessment erfasst werden können. Dazu wird eine am DIPF entwickelte Software eingesetzt, mit deren Hilfe papierbasierte Tests mit digitalen Kugelschreibern administriert werden können. Zu den Personen: Dr. Ulf Kröhne ist seit 2009 Mitarbeiter am DIPF in Frankfurt und ist im Rahmen des Nationalen Bildungspanels (NEPS) zuständig für die Mode Effects Studie. Seine Forschungsschwerpunkte liegen u.a. im adaptiven Testen sowie kausaler Inferenz. Von 2003 bis 2009 war er wissenschaftlicher Mitarbeiter am Lehrstuhl für Methodenlehre und Evaluation der Friedrich-Schiller-Universität Jena. Seine Doktorarbeit verfasste er 2010 zu dem Thema Estimation of Average Total Effects in Quasi-Experimental Designs. Sarah Bürger schloss ihr Diplomstudium der Psychologie mit den Schwerpunkten der Psychologischen Diagnostik und Wirtschaftspsychologie an der Universität Wien ab. Seit August 2012 ist sie wissenschaftliche Mitarbeiterin am DIPF in Frankfurt. Ihre Forschungsinteressen beziehen sich hauptsächlich auf die Analyse der Äquivalenz verschiedener Testmethoden zur Erfassung von Kompetenzen im Rahmen des Nationalen Bildungspanels (NEPS). 15

16 Das ZIB stellt sich vor Datum: 31. Juli 2013, ab 18:00 Ort: DIPF, Raum wird vor Ort bekannt gegeben Am Zentrum für internationale Bildungsvergleichsstudien (ZIB) e.v. betreiben drei der führenden Institutionen in der deutschen Bildungsforschung, die School of Education der Technischen Universität München (TUM), das Deutsche Institut für Internationale Pädagogische Forschung (DIPF) und das Leibniz-Institut für die Pädagogik der Naturwissenschaften und Mathematik (IPN), gemeinsam Bildungsforschung im Bereich der Large Scale Assessments. Das ZIB als "internationale Säule" der Bildungsvergleichsforschung arbeitet zudem eng mit der "nationalen Säule", dem Institut zur Qualitätsentwicklung im Bildungswesen (IQB), zusammen. Im Rahmen von Hospitationen wird interessierten Nachwuchswissenschaftlern/-innen die Gelegenheit gegeben, die ZIB-Einrichtungen sowie die dortigen Arbeitsgruppen und Forschungsthemen der ZIB-Professuren kennenzulernen und eigene Forschungsaktivitäten damit zu verbinden. Die Veranstaltung informiert über mögliche Inhalte, Dauer und die Vergabe von Hospitationsplätzen. Im Rahmen des ZIB konzentriert sich die Forschung am Deutschen Institut für Internationale Pädagogische Forschung (DIPF) und somit auch die Stiftungsprofessur von Prof. Dr. Frank Goldhammer auf den Bereich der pädagogisch-psychologischen Diagnostik, also der Leistungsmessung von Schülern/-innen, mit dem Schwerpunkt auf technologiebasierte Anwendungen. Der Forschungsschwerpunkt der Stiftungsprofessur von Prof. Dr. Ali Ünlü an der TUM School of Education liegt im Bereich der Methoden der Empirischen Bildungsforschung, also der Entwicklung und Anwendung von methodischen Ansätzen zu Problemstellungen in den Sozialund Humanwissenschaften, sowie auf der Measurementforschung im Large Scale Assessment. Der Forschungsschwerpunkt der Stiftungsprofessur von Prof. Dr. Marcus Pietsch am Leibniz- Institut für die Pädagogik der Naturwissenschaften und Mathematik (IPN) liegt im Bereich der pädagogisch-psychologischen Methodenforschung. Die Methodenforschung geht hier der Frage nach, wie man diagnostizierte Schülerleistungen angemessen analysiert und modelliert. Das Forschungsdatenzentrum (FDZ) des Instituts zur Qualitätsentwicklung im Bildungswesen (IQB) unter der Leitung von Frau Dr. Poldi Kuhl archiviert und dokumentiert die Datensätze aus nationalen und internationalen Schulleistungsstudien (z.b. DESI, IGLU, PISA) und stellt sie interessierten Wissenschaftlern/-innen auf Antrag für Re- und Sekundäranalysen zur Verfügung. 16

17 Detailbeschreibungen der Workshops Donnerstag, 01.August

18 Workshop Woran lag s? Prozesse der Aufgabenbearbeitung erfassen und modellieren Prof. Dr. Frank Goldhammer Deutsches Institut für Internationale Pädagogische Forschung (DIPF) Frankfurt/Main Datum: 01. August 2013, 09:00 10:30 & 11:00 12:30 Ort: DIPF, Raum wird vor Ort bekannt gegeben Inhalt & Ziele des Workshops: Computerbasierte Aufgabenformate erlauben die Erfassung von Prozessdaten, die zusätzlich zum Endergebnis (z.b. Testaufgabe gelöst oder nicht gelöst) detailliert Auskunft darüber geben, welche (Inter-)Aktionen die Testteilnehmenden auf dem Weg zu diesem Endergebnis ausgeführt und wie viel Zeit sie dafür benötigt haben. Solche Daten können insbesondere bei komplexen, nur mehrschrittig lösbaren interaktiven Aufgaben genutzt werden, um Einblick in den Lösungsprozess zu erhalten. Im Kurs werden generalisierte Regressionsmodelle vorgestellt, die es erlauben, Prozessdaten wie Bearbeitungszeit und -schritte zur Erklärung des Aufgabenerfolgs heranzuziehen und die Aussagen darüber ermöglichen, wie erfolgreiche Teilnehmende zum Ziel gekommen bzw. woran Schwächere gescheitert sind. Daraus ergibt sich für die Gestaltung von individuellen Lernumgebungen die interessante Möglichkeit, nicht nur das Ergebnis, sondern auch den fehlerhaften Bearbeitungsprozess für eine individuelle Rückmeldung zu verwenden. Nach einer Einführung in generalisierte Regressionsmodelle wird deren Anwendung anhand von Beispieldaten aus der OECD-Studie Programme for the International Assessment of Adult Competencies (PIAAC) sowie Beispielen aus dem Bereich ICT-Literacy demonstriert. Zur Person: Prof. Dr. Frank Goldhammer leitet den interdisziplinären Arbeitsbereich Technology-Based Assessment (TBA) am Deutschen Institut für Internationale Pädagogische Forschung (DIPF). Er ist Professor für Pädagogisch-Psychologische Diagnostik mit dem Schwerpunkt auf technologiebasierten Anwendungen an der Goethe Universität Frankfurt a.m. Die Professur ist Bestandteil des Zentrums für internationale Bildungsvergleichsstudien (ZIB). Seine Forschungsinteressen beinhalten die technologiebasierte psychologische Diagnostik von Kompetenzen und Fähigkeiten (ICT Literacy, Aufmerksamkeit, Intelligenz), angewandte Psychometrie sowie die Modellierung von Bearbeitungszeiten und Prozessdaten aus Leistungstests. 18

19 Workshop Computer-Based Assessment Practice: building an electronic test from A to Z Dr. Thibaud Latour & Patrick Plichart Open Assessment Technologies S.A. Luxemburg Datum: 01. August, 13:30 15:30 & 16:00 18:00 Ort: DIPF, Raum wird vor Ort bekannt gegeben. Inhalt & Ziele des Workshops (Der Workshop findet in Englisch statt): Besides careful instrument design and implementation, delivering Computer-Based Assessment requires the execution of a global process encompassing Test-Takers and Groups management, Item and Test management, as well as Delivery planning and, after data collection, Result extraction. Besides the overall process, the various resources that intervene in the CBA process need to be properly characterized using appropriate meta-data. Using the TAO open-source platform, in this hands-on machine workshop, participants will have the opportunity to execute the complete management life-cycle, from item authoring and test taker enrollment, to delivery, test taking and result extraction. We shall introduce the basis of meta-data management and will have an occasion to discuss practical issues when implementing a complete Computer-Based Assessment. Zu den Personen: Dr. Thibaud Latour is Head of the Knowledge-Intensive Systems and Services Unit (KISS) in the Service Science & Innovation department (SSI) of the Public Research Center Henri Tudor in Luxembourg. From 2000, he has been working on Knowledge Technologies, focusing on ontologies and knowledge modeling, personalization, computational intelligence and technology-enhanced learning. He is currently managing several projects in the field of Computer-Based competency Assessment where semantic web technologies are intensively applied. He is also the co-founder and CTO of the spin-off that commercializes the TAO Open- Source Computer-Based Assessment platform. Patrick Plichart obtained in 2003 his Master degree in Computer Science from the University of Namur (Belgium). Patrick Plichart joined the Centre de Recherche Public Henri Tudor in Luxembourg in As a member of the "Knowledge-Intensive Systems and Services", he was strongly involved in the field of Computer-Based Assessment doing research and project management of national projects. He also managed software engineering aspects of international large-scale surveys including PIAAC, PISA He is also the co-founder and the Director of Software Development of the spinoff dedicated to the development of TAO. 19

20 Detailbeschreibungen der Workshops Freitag, 02.August

21 Workshop Lesen Digitaler Texte: Möglichkeiten der Analyse von Leseprozessen, Aufgabenmerkmalen und ihrer Interaktion PD Dr. Johannes Naumann Deutsches Institut für Internationale Pädagogische Forschung (DIPF) Frankfurt/Main Datum: 02. August 2013, 09:00 10:30 & 11:00 12:30 Ort: DIPF, Raum wird vor Ort bekannt gegeben Inhalt & Ziele des Workshops: Der Workshop gibt eine Einführung in die Messung der Kompetenz beim Lesen digitaler Texte, wobei auch Möglichkeiten zur Ableitung von Prozessmaßen behandelt werden. Dies ist im Zusammenhang mit dem Lesen digitaler Texte insofern von besonderer Bedeutung, als dass hier neben dem Dechiffrieren von Texten und Bildern die Navigation im Informationsraum als zweiter das Konstrukt definierender Prozess hinzutritt. Die Bewältigung von Navigationsprozessen ist damit mitdefinierend für die Kompetenzausprägung. Da die Funktionalität von Navigationshandlungen in Informationsräumen und damit ihre Interpretierbarkeit im Sinne von Kompetenzausprägungen immer relativ zu den Anforderungen der jeweiligen Aufgabe sind, fokussiert der zweite Teil des Workshops Möglichkeiten zur Beschreibung der kognitiven Anforderungen, die von Leseaufgaben im digitalen Medium gestellt werden - hier sowohl in Bezug auf Navigation als auch in Bezug auf Text- und Bildverarbeitung. Zur Person: PD Dr. Johannes Naumann studierte Psychologie und Soziologie an der Johann Wolfgang Goethe-Universität Frankfurt am Main. Promotion in Köln bei Norbert Groeben. Habilitation 2012 an der Goethe-Universität. Forschungsschwerpunkte und Leitung von Drittmittelprojekten in den Bereichen Messung von Lesekompetenz, Messung von ICT-Skills, Analyse von Leseprozessdaten. 21