Kompetenzmodelle zur Erfassung individueller Lernergebnisse und zur Bilanzierung von Bildungsprozessen

Transkript

1 Kompetenzmodelle zur Erfassung individueller Lernergebnisse und zur Bilanzierung von Bildungsprozessen DFG-Schwerpunktprogramm Programm der Fortbildung Modellierung von Kompetenzen April 2008 Jena

2 Das Schwerpunktprogramm Die Vermittlung von Kompetenzen ist ein zentrales Ziel schulischer und beruflicher Bildung. Die empirische Bildungsforschung befasst sich unter anderem mit der theoretischen Beschreibung von Kompetenzen, ihrer Messung und ihren Entwicklungsbedingungen. Die Deutsche Forschungsgemeinschaft (DFG) unterstützt seit Herbst 2007 das auf Initiative von Prof. Dr. Klieme (DIPF) und Prof. Dr. Leutner (Universität Duisburg-Essen) eingerichtete Schwerpunktprogramm (SPP) Kompetenzmodelle zur Erfassung individueller Lernergebnisse und zur Bilanzierung von Bildungsprozessen. Inhaltlich befasst sich das SPP mit den kognitionspsychologischen und fachdidaktischen Grundlagen, psychometrischen Modellen sowie konkreten Technologien zur Messung von Kompetenzen. Für das SPP sind Kompetenzen definiert als kontextspezifische kognitive Leistungsdispositionen, die sich funktional auf Situationen und Anforderungen in bestimmten Domänen beziehen. Kompetenzen werden durch Erfahrung und Lernen erworben und können durch äußere Interventionen beeinflusst werden. Finden Sie mehr Informationen zum Schwerpunktprogramm unter: Koordinationsstelle Deutsches Institut für Internationale Pädagogische Forschung (DIPF) Frau Martina Kenk Schloßstr. 29 D Frankfurt Tel.: 069 / Fax: 069 / kenk@dipf.de

3 Veranstaltungsort der Fortbildung Die Fortbildung findet an der Friedrich-Schiller-Universität Jena statt. Die Räume für die Vorträge und Workshops befinden sich im Universitätshauptgebäude (UHG), die Adresse lautet: Fürstengraben 1 (Haupteingang. Weitere Informationen entnehmen Sie bitte dem Aushang vor Ort am Infopoint. Kontakt in Jena während der Fortbildung: Frau Martina Kenk Tel.: 0178 / Der Weg vom Bahnhof zur Universität Aus Dresden, Erfurt, Frankfurt halten die Fernzüge am Bahnhof West. Von hier fährt der Bus Nr. 15 Richtung Rautal zwei Stationen bis zum Stadtzentrum bzw. drei Stationen bis zur Haltestelle Universität. Oder Sie laufen bis zur Bushaltestelle in der Westbahnhofstraße, von dort fahren auch die Busse Nr. 10, 13, 40 bis zum Stadtzentrum (Haltestelle Teichgraben aussteigen). Von dort aus laufen Sie zur Straßenbahnhaltestelle Löbdergraben in die Linien 1 und 31 Richtung Zwätzen und fahren eine Station bis zur Haltestelle Universität. Aus Hamburg, Berlin, München halten die Fernzüge am Paradiesbahnhof. Von hier fahren die Straßenbahnen 4, 5, 35 eine Station bis zum Stadtzentrum (Haltestelle Holzmarkt bzw. Löbdergraben). Dort umsteigen an der Haltestelle Löbdergraben in die Linien 1 und 31 Richtung Zwätzen und eine Station bis zur Haltestelle Universität fahren. Unterkunft für die Teilnehmer/-innen der Fortbildung Hotel & Restaurant Schwarzer Bär Lutherplatz 2 D Jena Tel.: Fax.: Hotel@schwarzer-baer-jena.de Ibis Hotel Jena City am Holzmarkt Teichgraben 1 D Jena Tel.: Fax: H2207-GM@accor.com Im Lageplan am Ende des Programms finden Sie alle Gebäude eingezeichnet.

4 Programm der Fortbildung Teil 1 Montag, :00 13:30 Uhr - Pause - 14:00 15:30 Uhr Workshop Testheft-Design Dr. Andreas Frey (IPN, Universität Kiel) 15:30 16:00 Uhr Kaffeepause 16:00 16:15 Uhr Begrüßung der Teilnehmer/-innen der Fortbildung Prof. Dr. Eckhard Klieme (Sprecher des SPP Kompetenzmodelle, DIPF, Frankfurt) Kognitive Modellierung Teil 2 Montag, :15 17:45 Uhr Überblicksvortrag Theoretische und methodische Konzepte der Allgemeinen Psychologie zur Beschreibung kognitiver Strukturen und Prozesse unter Berücksichtigung interindividueller Unterschiede Prof. Dr. Edgar Erdfelder (Universität Mannheim) Am Infopoint erfolgt die Einteilung in die Workshops für den nächsten Tag. Abendprogramm: Wir möchten Ihnen anbieten, an einem gemeinsamen Abendessen im Restaurant Zur Noll den Abend ausklingen zu lassen. Wir haben ausreichend Plätze reserviert (Selbstzahlung). Stichwort: DFG-Schwerpunktprogramm, ab 18:30 Uhr. Die Informationen zum Restaurant finden Sie ebenfalls am Infopoint.

5 Kognitive Modellierung Teil 2 Dienstag, :30 10:00 Uhr Überblicksvortrag Abbildung kognitiver Prozesse und Strukturen in psychometrischen Modellen 10:00 10:30 Uhr Pause Dr. Johannes Hartig (DIPF, Frankfurt) 10:30 12:30 Uhr Workshop Phase I 12:30 14:00 Uhr Mittagspause 14:00 16:00 Uhr Workshop Phase II 16:00 16:15 Uhr Kaffeepause 16:15 18:15 Uhr Workshop Phase III In den drei Phasen werden parallel verschiedene Workshops angeboten: (Die Einteilung in die Workshops erfolgt bereits am Montag.) Workshop Nr. 1 Anforderungsanalysen und Testkonstruktion in der gewerblich-technischen Erstausbildung Prof. Dr. Reinhold Nickolaus & Dr. Bernd Geißel (Universität Stuttgart) Workshop Nr. 2 Aufgabenlabor von der Idee zum computerbasierten Testitem Dr. Thomas Martens & Dr. Frank Goldhammer (DIPF, Frankfurt) Workshop Nr. 3 Dutch Grid - ein Kategorisierungsinstrument zur Einordnung von Items aus Sprachtests als Herangehensweise an die Testkonstruktion Prof. Dr. Günther Nold (Universität Dortmund)

6 Modellierung von Kompetenzen Teil 3 Mittwoch Freitag Workshop Modellierung von Kompetenzen am Beispiel Science Education (BEAR-Projekt) Prof. Dr. Mark Wilson & Karen Draney University of California, Berkeley Nur begrenzte Teilnehmerzahl nach Anmeldung! Bitte eigenes Notebook mitbringen. Mittwoch, / Donnerstag, : 9:30 12:30 Uhr Workshop 12: Uhr Mittagspause 14:00 15:30 Uhr Workshop 15:30 16:00 Uhr Kaffeepause 16:00 18:00 Uhr Workshop Freitag, : 9:30 11:30 Uhr Workshop 11:30 12:00 Uhr Pause 12:00 14:00 Uhr Workshop 14:00 15:00 Uhr Ausklang und Abreise

7 Beschreibung der Workshops Testheft-Design Dr. Andreas Frey [Montag] Bei groß angelegten Vergleichsstudien im Bildungsbereich werden typischerweise sehr viele Aufgaben zur Messung von einem oder mehreren Inhaltsbereichen verwendet. Oft liegen zu viele Aufgaben vor, um sie in akzeptabler Testzeit allen Probanden vorlegen zu können. Deshalb wird einem einzelnen Probanden jeweils eines von mehreren Testheften zur Bearbeitung gegeben. Die einzelnen Testhefte enthalten eine Teilmenge aller Items. Die Zuordnung der Aufgaben zu den Testheften wird dabei durch ein so genanntes Testheftdesign spezifiziert. Die Wahl eines auf die jeweilige Anwendungssituation abgestimmten Testheftdesigns ist im Hinblick auf die Interpretierbarkeit der Ergebnisse zentral, da ungeeignete Testhefte zu teilweise massiven Verzerrungen bei der Schätzung von Item- und Personenparametern führen können. Der angebotene Workshop gibt eine Einführung in den statistischen Hintergrund, die Bewertung und die Konstruktion von Testheftdesigns. Der Fokus liegt dabei auf balancierten unvollständigen Testheftdesigns. Der Workshop wird interaktiv mit mehreren eingestreuten Übungen ablaufen, so dass die Teilnehmerinnen und Teilnehmer die Möglichkeit erhalten, die vermittelten Inhalte direkt an für die empirische Bildungsforschung typischen Beispielen zu erproben. Es wird das Ziel verfolgt, dass die Teilnehmerinnen und Teilnehmer nach dem Workshop die Grundprinzipien des Testheftdesigns verstanden haben, gegebene Testheftdesigns bewerten können und geeignete Testheftdesigns für eigene Studien erstellen können. Die Teilnehmerinnen und Teilnehmer sollten über grundlegende Kenntnisse der Item- Response-Theorie (IRT) verfügen. Anforderungsanalysen und Testkonstruktion in der gewerblich-technischen Erstausbildung Prof. Dr. Reinhold Nickolaus & Dr. Bernd Geißel [Dienstag] Im Anschluss an Anforderungen aus der Arbeitswelt und curriculare Vorgaben werden verschiedene Testformate (reale Aufgaben, Simulationen, Paper-Pencil-Tests) diskutiert. Ausführlich vorgestellt werden insbesondere simulative Aufgabenformate, die im beruflichen Bereich vor allem zur Erfassung fachbezogener Problemlösefähigkeit zum Einsatz kommen. Beispiele im Paper-Pencil-Format runden den Beitrag ab. Post-hoc durchgeführte Analysen zu den schwierigkeitsbestimmenden Merkmalen der Aufgaben ermöglichen für anstehende Testkonstruktionen eine systematische Variation der Schwierigkeitsmerkmale.

8 Aufgabenlabor von der Idee zum computerbasierten Testitem Dr. Thomas Martens & Dr. Frank Goldhammer [Dienstag] Zunächst werden in zwei kurzen Impulsreferaten die prinzipiellen Möglichkeiten der computerbasierten Testung und die praktische Realisierung mit vorhandenen Softwarepaketen (insbesondere mit dem TAO-System) vorgestellt. Danach soll im Charakter eines Workshops interaktiv (ggf. in Kleingruppen) überlegt werden, wie vorgesehene Messverfahren und entsprechende Testformate computerbasiert präsentiert werden können. Als praktische Beispiele hierfür eignen sich Messverfahren, die bisher nicht computerbasiert durchgeführt worden sind, und gleichermaßen Messverfahren, für die es bereits computerbasierte Prototypen oder kommerzielle Softwarelösungen gibt. Hierbei sollen neben technischen Umsetzungsmöglichkeiten auch konzeptionelle Überlegungen etwa zur Erhebung von diagnostischen Zusatzinformationen oder Vor- und Nachteile der computerbasierten Messung diskutiert werden. Dutch Grid - ein Kategorisierungsinstrument zur Einordnung von Items aus Sprachtests als Herangehensweise an die Testkonstruktion Prof. Dr. Günter Nold [Dienstag] Modellierung von Kompetenzen am Beispiel Science Education (BEAR-Projekt) Prof. Dr. Mark Wilson & Karen Draney [Mittwoch-Freitag] Das BEAR-Assessment System (BAS) stellt einen integrativen Ansatz dar, Leistungsmessungen zu entwickeln, die eine sinnvolle Interpretation der Schülerleistung im Hinblick auf die kognitiven und curricularen Ziele sowie auf die Unterrichtsaktivitäten eines Curriculums ermöglichen (Wilson & Sloane, 2000). Im Workshop werden die Schlüsselprinzipien und Werkzeuge des BAS theoretisch vorgestellt und exemplarisch vertieft, die die Entwicklung solcher Leistungsmessungen optimalerweise leiten sollten. Gleichzeitig umfasst der Workshop das praktische Arbeiten mit konkreten Daten. Die Teilnehmenden erhalten die Möglichkeit, mit vorbereiteten Daten an eigenen Computern zu rechnen. Neben einer kurzen Einführung in das Programm ConQuest, wird das Programm ConstructMap vorgestellt und ausprobiert - das Kernprogramm, anhand dessen das BAS im Klassenraum angewendet wird. Als vorbereitenden Einstieg in die Thematik erhalten die Teilnehmenden im Vorfeld Literatur.

9 Für das leibliche Wohl stehen Ihnen die Mensen und Cafeterien der Universität offen, die nächstgelegene Möglichkeit ist die Cafeteria im Erdgeschoss des Universitätshauptgebäudes. Weitere Empfehlungen für die Mittagspause: Mittagstisch: R2 das Restaurant Rathausgasse 2 Capitulare Am Planetarium 8 Günstige Lokale: Bagels and Bean Leutragraben 2 Frisch & knackig (Suppen und Salatbar) Markt 17 Kaffeerösterei (belegte Baguettes und Nudelgerichte) Markt 11 Nordsee Markt 23 Hai Long Oberlauengasse Cafe Immergrün (verschiedene kleine Gerichte) Jenergasse 6 ALI BABA (mediterrane Spezialitäten) Krautgasse 13 Lokale für den Abend beispielsweise mit typischer Thüringischer Küche finden Sie beispielsweise am Markt und in der Oberlauengasse, fußläufig vom Universitätshauptgebäude.

10 Lageplan Jena Hotel Schwarzer Bär Mensa Veranstaltungsort Universitätshauptgebäude Ibis Hotel Paradiesbahnhof Bahnhof West