eassessment-services des ZMML

Transkript

1 eklausuren + eprüfungen Didaktische Aspekte und Erfahrungen eklausuren in Bremen Kompetenzen und Lernziele Prüfungsfragen: f Design, Typen, Beispiele i MC-Leitfäden +Testwiseness Tipps + Tricks zur Kompetenzorientierung Diskussion: Klausur Kompetenzerfassung? Dr. Jens Bücking Multimediawerkstatt des studium digitale Goethe Universität Frankfurt 27. Mai

2 Hintergrund eklausuren seit Wintersemester 2004/2005 Testcenter-Eröffnung Dez Aktuell Testcenterprüfungen in ca. 75 Veranstaltungen/Sem. aus allen 12 Fachbereichen eklausuren, Eingangstests t (Ba und Ma), Softwareprüfungen (u.a. IHK) ca Prüfungsleistungen / Semester Hauptprüfungsphasen (Juli/August + Feb./März) voll ausgebucht 2

3 eassessment-services des ZMML E A SSESSMENT Prüfu ungsforme en eklausur Self Assessment Eignungstest Softwareprüfung Prüfungseinsicht ervice S Prüfungsdidaktische Qualifizierung u. Beratung, Support Entwicklung und Pflege von Fragenkatalogen Prüfungsorganisation und durchführung Forschung, Entwicklung, Vernetzung Qualitätssicherung T ESTCENTER P r odukte (INFRASTRUKTUR) Prüfungsplattformen Serverinfrastruktur Prüfungsrechner und plätze Prüfungsmanagementsystem Service Entwicklung von Prüfungsszenarien Systemadministration und entwicklung Daten und Systemsicherheit Qualitätssicherung 3

4 Ablauf einer eklausur Beratungsgespräch (Organisation + Didaktik) Editorschulung Anmeldeorganisation Katalogerstellung Aufsichtsorganisation Qualitätssicherung Prüfungsvorbereitung Abnahme / Zugangstest Prüfung im Testcenter ggf. Nachbewertung Ergebnisexport und -analyse Klausureinsicht im Testcenter

5 Evaluationsergebnisse zum Einfluss der eklausuren auf die Prüfungsqualität Gestiegene Auswertungs- und Durchführungsökonomie Objektivität Lehrende schätzen Arbeitsersparnis + Objektivität Reliabilität verm. deutlich höher Prüfungsqualität Reliabilität Validität Studierende schätzen schnellere Ergebnisrückmeldung Auswendiglernen hat bei einigen Prüfungen zugenommen Darstellung von Lösungswegen nur bedingt möglich Ökonomie Einfluss auf die Validität ist sehr unterschiedlich

6 Kompetenz prüfen? Unter Kompetenzen versteht man die bei Individuen id verfügbaren oder durch sie erlernbaren kognitiven Fähigkeiten und Fertigkeiten, um bestimmte Probleme zu lösen, sowie die damit verbundenen motivationalen, volitionalen und sozialen Bereitschaften und Fähigkeiten um die Problemlösungen in variablen Situationen erfolgreich und verantwortungsvoll t nutzen zu können (Weinert 2001) Fähigkeit, komplexe Anforderungssituationen angemessen und verantwortungsvoll zu bearbeiten (Huber 2008) oder einfach nur Fähigkeit zum erfolgreichen Handeln (Mandl & Krause 2001) Was kann mit Klausuren gemessen werden? 6

7 Validität Lehr-/Lernprozess Lernaufgaben Lernziele Prüfung Prüfung Prüfungsaufgaben Intended Learning Outcome Constructive Alignment nach Biggs & Tang (2007) Kompetenz Beruflich-/gesellsch. A. Software-Integration Internetrecherche Multimediaeinsatz Hoher Initialaufwand 7

8 Lernziele festlegen sprachlich artikulierte Vorstellung von der durch einen Lernprozess zu bewirkenden beobachtbaren Verhaltensänderung, Einstellungsänderung etc. der Lernenden (Jan & Meyer 1993) Wissensobjekt + Aktiv-Verb BEISPIELE: Die Studenten sind in der Lage... aus mehreren Aktivitätenlisten die vollständigste auszuwählen (Analyse von Fakten). die Relevanz von Untersuchungsergebnissen festzulegen (Bewertung von Konzepten). einen effizienten Arbeitsplan zu erstellen (Erschaffung von Prozeduren) ABER: Nicht alles, das man zählen kann, zählt. Und nicht alles, was zählt, kann man zählen. Albert Einstein 8

9 Lernzieltaxonomien Bloom et al Lernziel Wissen Verständnis Anwendung Analyse Synthese Bewertung Metzger1993 Kognitiver Beitrag: Informationserinnerung Informationsverarbeitung Informationserzeugung Beitrag: (erkennen, wiedergeben) (verstehen, anwenden) (analysieren, bewerten, erzeugen) Anderson & Krathwohl 2001 Wissensdimension Kognitiver Prozess Erinnern Verstehen Anwenden Analysieren Bewerten Erzeugen Faktenwissen Konzeptuelles Wissen Prozedurales Wissen Meta-Kognitives Wissen 9

10 Beispielmatrix Model of Learning Objectives Quelle: Rex Heer, Iowa State University - Center for Excellence in Learning and Teaching, Version Januar

11 Vereinfachte Lernzieltaxonomie Anderson & Krathwohl 2001 (vereinfacht, Bücking 2011) Wissensdi i Kognitiver Prozess Verstehen dimension Erinnern Anwenden Analysieren Bewerten Erzeugen Fakten Konzepte Prozeduren

12 Übung zur Kategorisierung von Prüfungsaufgaben Auf welcher dieser Rennstrecken fuhr der Wagen, so dass der gezeigte Geschwindigkeitsgraph entstand? Kognitiver Prozess Erinnern Verstehen Anwenden Analysieren Bewerten Erzeugen Wissensdim mension Fakten Konzepte Prozeduren A B C D E S = Startlinie

13 Anteil (n=1613) SoSe09 + WS09/10 Freie Eingabe Offen Aktuell mögliche Fragetypen Freitextfragen Zeichnen Kurzeingabe Text 4% 16% 80% Antwort-Wahl Geschlossen Multime edia, Software, Internet cripte, PDF) Kurzeingabe Zahlen Hotspot / Drag&Drop-frei Drag&Drop Texte/Graph. Antwortpaare Multiple Choice Single Choice / Long Menu 13 Komplexe Anlagen (S

14 Fragenaufbau und Designelemente Thema Anlage 1 Kontext / Szenario Fragestellung Bedienungs- und Bewertungshinweise Antwort ta Antwort B Beschriftungen Grafiken / Bilder / Objekte Antwort C Antwort D Begründungsfeld (Freitext) Download Upload 3 Punkte 14

15 Freitext Quelle: Fragenkatalog Marketing, Universität Bremen FB7 15

16 Freihandzeichnung 16

17 Texteingabe 17

18 Zahleneingabe Quelle: Prof. Dr. Poddig, Universität Bremen FB7 Fragenkatalog Finanzwirtschaft 18

19 Zahleneingabe + Begründungsfeld Quelle: Prof. Dr. Thöming, Universität Bremen FB4 Übungsfrage in der VA Chemie für Produktionstechniker 19

20 Zahleneingabe + Auswahllisten + Excel + Anlage Quelle: Prof. Dr. Martin Missong, Universität Bremen FB7 Probeklausur zu Statistik für Wirtschaftswissenschaftler 20

21 Freies Positionieren Determine the Take-Off-Distance above 50 ft obstacle clearance Quelle: LPLUS-GmbH Bremen Fragenbeispiele auf 21

22 Hotspot - mehrfach 22

23 Hotspot - alternativ Bildquelle: Ronald Schulte (NL) 23

24 Drag&Drop Textfelder Quelle: Prof. Dr. Heeg & Dr. T. Bruns, Universität Bremen FB4 Veranstaltung Industrial Engineering 24

25 Auswahllisten 25

26 Antwort- paare Quelle: W. Hoffmeister. Erläuterung der Klassifikationsmatrix zum ULME-Kompetenzstufenmodell, bwpad8 26

27 MC-Matrix 27

28 MC-Leitfaden Fragen stets einem spezifischem Lernziel zuordnen Klare Fragestellung Eindeutige Antworten Transparente Bewertung Give aways und ungewollte Lösungshinweise vermeiden Positive Formulierungen verwenden Cover the Options-Rule Frage auch ohne Kenntnis der Antwortalternativen beantwortbar Leseaufwand minimieren, Grammatik und Rechtschreibung kontrollieren Antwortalternativen homogen gestalten Hinweise vermeiden mc_leitfaden.php 28

29 Testwiseness: oder: Wie man schlecht konstruierte MC-Prüfungen besteht. Am längsten, am komplexesten, am wissenschaftlichsten klingend, präziser formuliert, spezifischer richtig Wiederholung von Fachbegriffen aus der Frage richtig Vage formuliert richtig Absolute Aussagen falsch Zwei sich widersprechende Antworten alle anderen falsch Negativ klingende Aussagen falsch Grammatikalisch oder nicht zur Fragenlogik passend falsch keine e Hinweise ese zu finden? Antwort C Beispiele auf

30 Test Your Testwiseness Situation: Sie kommen als Gaststudent an eine ausländische Universität, haben nur geringe Sprachkenntnisse und müssen nun einen multilingualen Eingangstest bestehen. Sie verstehen die Fragen nicht im Geringsten! URL: m.socrative.com Room number: zmml001 30

31 Test Wiseness Test Grammatikalischer Hinweis The answer of this one refers to an (a) overture (b) mountain (c) building (d) misnomer m.socrative.com zmml001

32 Test Wiseness Test Wortwiederholung In which pifflerock did zorkrans inkle? (a) gi hien (b) gis inkle (c) gish frankel (d) gishen fronk m.socrative.com zmml001

33 Test Wiseness Test Längste Alternative Jatlh 'ISqu'. nov ghah 'a qep'a'daq nov ghahbe'law' jatlh? (a) jiyaj (b) HIghoS (c) )ghobe' (d) Heghlu'meH QaQ jajvam m.socrative.com zmml001 Klingonisch:

34 Test Wiseness Test Ausschluss über Ähnlichkeit Wo ist es? (a) Nepal (b) Canada (c) Britain (d) United States m.socrative.com zmml001

35 Test Wiseness Test Rechtschreibung Die richtige Antwort ist? (a) Parrallele (b) Absisse (c) Koordinate (d) Tangennte m.socrative.com zmml001

36 Test Wiseness Test Konvergenzregel Welche dieser Personen spielen eine Rolle? (a) Anton und Caroline (b) Anton und Barbara (c) Dietmar und Caroline (d) Detlev m.socrative.com zmml001

37 Test Wiseness Test Kein Hinweis: Antwort c Garbedutz, et en woo? (a) Kropalin (b) Enchitaen (c) Dolemat (d) Nikotan

38 Tipps auf dem Weg zu höheren Lernzielniveaus Szenario- und Key-Feature-Fragen Analyse komplexer Anlagen Rechercheaufgaben Antwortanalyse statt Abfrage Umkehr der Fragenlogik Transfer von Inhalten und Formaten Integration fachspezifischer Software Multimedia-Formate nutzen Freitext sinnvoll nutzen (ergebnisoffen) 38

39 Surf- und Literaturtipps eklausuren an der Universität Bremen (u.a. MC-Leitfaden): Organisation/Didaktik/Recht - Umfassende Infos zu eassessments: ep.elan-ev.de/wiki/hauptseite und eklausur.de/ Dany, Szczyrba & Wildt (Hrsg.): Prüfungen auf die Agenda! Hochschuldidaktische Perspektiven auf Reformen im Hochschulwesen. Blickpunkt Hochschuldidaktik, Band 118W. Bertelsmann 2008, Bielefeld Berendt, Wildt & Szczyrba (Hrsg.): Neues Handbuch Hochschullehre. Lehren und Lernen effizient gestalten. Raabe 2011, Berlin Schaper et al.: Fachgutachten zur Kompetenzorientierung in Studium und Lehre. HRK-Projekt Nexus,

40 Offene Fragen / Diskussion Kann in Klausuren Kompetenz erfasst werden? 40

41 Vielen Dank für Ihre Aufmerksamkeit 41