Schlussbericht. Zuwendungsempfänger: Förderkennzeichen: Zentralstelle für die Weiterbildung im Handwerk e. V. 01NM335A. Vorhabensbezeichnung:

Transkript

1 Schlussbericht Zuwendungsempfänger: Förderkennzeichen: Zentralstelle für die Weiterbildung im Handwerk e. V. 01NM335A Vorhabensbezeichnung: Verbundprojekt Innovative Prüfungsverfahren in der beruflichen Aus- und Weiterbildung unter Nutzung moderner Kommunikationstechniken Teilprojekt: Prüfungen bei Handwerkskammern Laufzeit des Vorhabens: bis , verlängert bis Berichtszeitraum: bis Autoren: Kramer Beate Schröder Sabine 1

2 Inhaltsverzeichnis I. Kurzdarstellung wesentlicher Projektdaten des Verbundprojekts Aufgabenstellung Voraussetzungen, unter denen das Vorhaben durchgeführt wurde Planung und Ablauf des Vorhabens Projektmanagement und Evaluation Erstellung eines Anforderungskatalogs für computergestützte Prüfungssysteme Auswahl und Weiterentwicklung eines computergestützten Prüfungssystems Entwicklung von handlungsorientierten Prüfungsaufgaben und Erprobung des Systems Information, Qualifikation und Transfer Wissenschaftliche und technische Standards Zusammenarbeit mit anderen Stellen II. Eingehende Darstellung der erzielten Ergebnisse und des Transfers im Verbundprojekt Erzielte Ergebnisse Prüfungssystem Ergebnisse aus der Erprobung und Evaluierung der Pilotprüfungen Webseite Lernprogramm Öffentlichkeitsarbeit und Transfer Nutzen der Ergebnisse und Verwertungsplan Fortschritte auf dem Gebiet des Vorhabens Veröffentlichungen Literaturverzeichnis Anhang: Information zum Einsatz und zu den Anforderungerungen eines computergestützten Prüfungssystems 2

3 I. Kurzdarstellung wesentlicher Projektdaten des Verbundprojekts 1.1 Aufgabenstellung Computer prägen den Alltag in vielen Berufen und sind aus der täglichen Arbeit nicht mehr wegzudenken. Dennoch wird in den öffentlich-rechtlichen Gesellen-, Abschluss-, Fortbildungs- und Meisterprüfungen nach wie vor mit Papier und Bleistift geprüft. Damit die Vorzüge des Computers auch in der Prüfung zum Tragen kommen und das Prüfungswesen in Deutschland so modernisiert wird, dass es den Veränderungen in der beruflichen Praxis gerecht wird und auch im internationalen Vergleich den Anschluss nicht verliert, hat die Zentralstelle für die Weiterbildung im Handwerk gemeinsam mit der DIHK-Bildungs-GmbH das Verbundprojekt Innovative Prüfungsverfahren durchgeführt. Zentrale Aufgabe dieses Projektes war es, mit einem Entwicklungspartner ein PC-gestütztes Prüfungssystem so weiter zu entwickeln, dass der gesamte Prüfungsablauf öffentlich-rechtlicher Prüfungen von der Aufgaben- und Prüfungserstellung über die Prüfungsdurchführung bis zur Prüfungsauswertung ohne Medienbruch am PC realisiert werden kann. Dabei sollte durch ein abgestimmtes Vorgehen der zuständigen Stellen beim Einsatz computergestützter Prüfungsverfahren deren standardisierte und rechtlich abgesicherte Nutzung in Prüfungen realisiert werden. Innovative Prüfungsverfahren müssen den Anforderungen an öffentlich-rechtliche Prüfungen gerecht werden. Dazu gehört sowohl die Erfüllung rechtlicher, technischer, sicherheitstechnischer Anforderungen als auch die Unterstützung der zuständigen Stellen bei der organisatorischen Durchführung einer Prüfung. Eine besondere Rolle spielen die didaktischen Anforderungen. Im Projekt sollten besonders die Potenziale computergestützter Prüfungssysteme für die Erstellung handlungs- und prozessorientierter Prüfungen analysiert und genutzt werden. Im Verbundprojekt waren schwerpunktmäßig die folgenden Aufgabenbereiche zu bearbeiten: - Erstellung eines Anforderungskatalogs für computergestützte Prüfungssysteme der den didaktischen, rechtlichen, technischen und organisatorischen Anforderungen öffentlich-rechtlicher Prüfungen gerecht wird. - Weiterentwicklung eines computergestützten Prüfungssystems auf der Basis des Anforderungskataloges und Realisierung von Qualitätsstandards in der Umsetzung computergestützter Prüfungsverfahren. - Entwickeln und differenziertes Erproben von Pilotbeispielen für neu geordnete Ausbildungsabschlussprüfungen sowie Fortbildungs- und Meisterprüfungen im Aufgabengebiet der Handwerkskammern und der Industrie- und Handelskammern. - Transfer der Ergebnisse und Unterstützung und Beratung der für öffentliche Prüfungen zuständigen Stellen in Industrie, Handel und Handwerk für die Realisierung von computergestützten Prüfungssystemen in allen Phasen der Prüfung. - Breite und nachhaltige netzgestützte Information und Weiterbildung der in die Prüfungsverfahren eingebundenen Mitglieder von Prüfungsausschüssen über aktuelle Prüfungskonzepte und moderne Prüfungssysteme. Die Projektlaufzeit war vom und wurde bis zum kostenneutral verlängert. 1.2 Voraussetzungen, unter denen das Vorhaben durchgeführt wurde Deutschland verfügt im internationalen Vergleich über eines der gut entwickelten Prüfungssysteme in der beruflichen Bildung. Durch die Selbstverwaltung der Wirtschaft werden jährlich rund Abschluss-, Fortbildungs- 3

4 und Meisterprüfungen abgelegt. Die Unternehmen in Handwerk, Industrie, Handel und Dienstleistung fordern praxisnah qualifizierte Fach- und Führungskräfte, die ihre berufliche Befähigung in handlungs-, auftrags- oder prozessorientierten Prüfungen nachweisen. In den neu geordneten Ausbildungsordnungen und Rechtsverordnungen hat das Leitbild der Handlungsorientierung Eingang gefunden. Die Realisierung handlungsorientierter Prüfungen ist jedoch mit erheblichem Mehraufwand verbunden. Moderne Informations- und Kommunikationstechnologien durchdringen alle Bereiche der Arbeits- und Berufswelt. Für viele Arbeitnehmer ist der Umgang mit digitalen Technologien und damit IT- und Medienkompetenz zu einem selbstverständlichen Bestandteil ihres beruflichen Alltags geworden. Dies wirkt sich entsprechend auf die Berufsbildung und die Prüfungen aus. Zudem ist im Zuge der Internationalisierung das berufliche Prüfungssystem in der Aus- und Weiterbildung starken Veränderungsprozessen und einem zunehmenden Wettbewerb ausgesetzt. Um den Veränderungen in der Berufsbildung Rechnung zu tragen, ist eine Modernisierung des Prüfungswesens notwendig. Eine standardisierte Realisierung netzgestützter Prüfungssysteme in den zuständigen Stellen kann dazu einen besonderen Beitrag leisten und dabei sowohl Qualitätsverbesserungen aber auch Arbeitserleichterungen im gesamten Prüfungsverfahren ermöglichen. 1.3 Planung und Ablauf des Vorhabens Die Planung und Umsetzung des Vorhabens erfolgte anhand der im Projektantrag definierten Arbeitspakete und Meilensteine. Die Planung und das Vorgehen des Vorhabens werden in diesem Kapitel für jedes der Arbeitspakete knapp dargestellt, die erzielten Ergebnisse sind dann im Teil II. ausführlich erläutert Projektmanagement und Evaluation Projektmanagement Die Umsetzung des Verbundprojekts erfolgte in enger Abstimmung und Zusammenarbeit der Partner anhand der definierten Arbeitspakete und Meilensteine. Dazu haben insgesamt 35 gemeinsame Besprechungen und Workshops mit dem Verbundpartner DIHK-Bildungs-GmbH stattgefunden. Schwerpunktmäßig dienten die Besprechungen und Workshops dazu, das Projektvorgehen und die Arbeitsplanungen mit dem Verbundpartner zu klären, die Anpassungen an das Prüfungssystem abzustimmen (AG-Technik) und Ergebnisse mit den Pilotkammern gemeinsam auszuwerten. Darüber hinaus hat die ZWH weitere 21 Arbeitstreffen und Workshops exklusiv mit Vertretern im Bereich der Handwerksorganisationen durchgeführt. Schwerpunkt dieser Treffen waren Arbeitsplanungen und Abstimmungen mit den beteiligten Pilotkammern, Besprechungen mit den Aufgabenerstellern zur Unterstützung bei der Erstellung handlungsorientierter Aufgaben sowie mit Prüfungsausschüssen zur Auswertung von Prüfungen. Beirat Es wurde gemeinsam mit der DIHK-Bildungs-GmbH ein Projektbeirat mit Vertretern der folgenden Organisationen einberufen: Dachverbände ZDH und DIHK, Industrie- und Handels- sowie Handwerkskammern, BIBB, DGB, Uni Duisburg-Essen (wissenschaftliche Begleitung) sowie Unternehmen. Aufgabe des Projektbeirats war die Diskussion von Projektergebnissen und die Beratung der Verbundpartner bei der strategischen und fachlichen Ausgestaltung der Projektrealisierung. Weiterhin wurde die Öffentlichkeitsarbeit durch die Beiratmsitglieder unterstützt. Es wurden insgesamt in halbjährigen Abständen sechs Beiratsitzungen durchgeführt, zu Hälfte bei der DIHK- Bildungs-GmbH in Bonn und zur Hälfte bei der ZWH in Düsseldorf. In den Sitzungen wurden die wesentlichen Projektschritte und -ergebnisse vorgestellt und diskutiert. 4

5 Wissenschaftliche Begleitung Für die wissenschaftliche Begleitung wurde in Abstimmung mit dem BMBF Prof. Dr. Kerres vom Steinbeis- Transferzentrum vertraglich eingebunden. Dabei wurden die folgenden Arbeitspakete vereinbart, die in Kooperation mit den Verbundpartnern planmäßig bearbeitet wurden. (1) Mitwirkung am Anforderungskatalog / an der Ausschreibung für die Prüfungssoftware (2) Durchführung einer Befragung zu Erwartungen und Voraussetzungen (3) Internationaler Vergleich des Einsatzes PC-gestützter Prüfungsverfahren (4) Durchführung einer Usability Studie (5) Evaluation der Erprobung und Analyse des Mehrwerts von NPV Zu (1): Der Anforderungskatalog wurde im Rahmen mehrerer Projektbesprechungen mit Unterstützung der wissenschaftlichen Begleitung erstellt (siehe dazu Punkt 1.3.2). Zu (2): Zur Ermittlung der Erwartungen und Voraussetzungen an computergestützte Prüfungssysteme wurden die drei Nutzergruppen: Prüfungsteilnehmer/innen, Aufgabenersteller/innen und Prüfer/innen sowie Personal- und Ausbildungsverantwortliche zu Beginn des Projektes anhand standardisierter Fragebögen befragt. Insgesamt haben sich an der Befragung 745 Personen aus Industrie/Handel und Handwerk beteiligt, davon 612 Prüfungsteilnehmer/-innen, 72 Personal- und Ausbildungsverantwortliche und 61 Aufgabenersteller/-innen und Prüfer/- innen. Die Befragungsergebnisse wurden ausgewertet und in einem Bericht zusammengefasst (siehe 2.1.2). Zu (3): Es wurde eine Recherche über Einsatzmöglichkeiten computergestützter Prüfungsverfahren in der beruflichen Bildung im europäischen Ausland durchgeführt. Die Untersuchung wurde in Form von Internetrecherchen, -Kontakten sowie telefonischen und schriftlichen Befragungen mit Experten durchgeführt. Ergebnisse liegen zu den Ländern Schweiz, Österreich, Frankreich, Finnland, Schweden, Dänemark, Island, Niederlande, Belgien und Portugal vor. Einige der befragten Länder führen vereinzelt Onlineprüfungen durch (siehe 2.1.2). Zu (4): Da mehrere der eingebundenen Aufgabenersteller das Handling des Aufgabenerstellungstools in einigen Punkten bemängelt haben, wurde die Bedienerfreundlichkeit des Aufgabenerstellungstools der Prüfungssoftware (TM-Editor TM, Bestandteil des LPlus Test-Systems TM ) in einer Usabilityuntersuchung getestet. In dem Usabilitylabor der Universität Duisburg-Essen wurde die Untersuchung nach der Methode Plurastic Walkthrough durchgeführt. Dabei analysierten Benutzer, in diesem Fall Aufgabenersteller und Usability-Experten, gemeinsam die einzelnen Elemente der Software, gingen typische Bedienungssequenzen durch und konnten so Optimierungsbedarf des TM-Editors TM herausstellen. An der Untersuchung haben zwei Aufgabenersteller aus den beiden Organisationsbereichen (HWK, IHK) teilgenommen. Aus der Untersuchung ergaben sich wichtige Erkenntnisse und Lösungen zur Verbesserung der Bedienerfreundlichkeit, die bei der ersten Systemanpassung maßgeblich berücksichtigt wurden. Zu (5): Die Evaluierung der Erprobung des Prüfungssystems erfolgte auf der Basis der Befragung der in die Erprobung eingebundenen Prüfungskandidaten, Aufsichten, Administratoren und Prüfer (siehe 1.3.4). Auf dieser Grundlage wurde der Mehrwert computergestützter Prüfungsverfahren gegenüber konventionellen Verfahren herausgearbeitet. Die Ergebnisse der Evaluation und der Analyse des Mehrwerts sind im Teil 2 in den Kapiteln und 2.2 dargestellt. 5

6 1.3.2 Erstellung eines Anforderungskatalogs für computergestützte Prüfungssysteme Zu Beginn des Projekts wurde ein Anforderungskatalog für computergestützte Prüfungssysteme unter besonderer Berücksichtigung öffentlich-rechtlicher Prüfungen entwickelt. Dieser Anforderungskatalog wurde auf der Grundlage der bereits in der Vorstudie ermittelten Kriterien gemeinsam mit der wissenschaftlichen Begleitung und unter Einbindung weiterer insbesondere technisch versierter Experten erarbeitet sowie mit Fachleuten aus dem Prüfungsbereich abgestimmt. Dieser Anforderungskatalog diente im Projekt zur Erstellung der Leistungsbeschreibung für die Ausschreibung und die Auswahl des Entwicklungspartners. Er liegt dem Bericht als Anlage bei Auswahl und Weiterentwicklung eines computergestützten Prüfungssystems Im Rahmen des Projekts sollte ein computergestütztes Prüfungssystem entwickelt bzw. weiterentwickelt werden. Die Verbundpartner verständigten sich darauf, ein vorhandenes Prüfungssystem auf der Basis des umfangreichen Anforderungskatalogs auszuwählen und dieses Prüfungssystem während der Projektlaufzeit auf die komplexen Bedürfnisse öffentlich-rechtlicher Prüfungen anzupassen. Im Rahmen einer Beschränkten Ausschreibung mit öffentlichem Teilnahmewettbewerb wurde anhand der Kriterien Fachkunde, Leistungsfähigkeit (Verständnis für öffentlich-rechtliche Prüfungen), Anzahl und Erfahrung der Mitarbeiter, Zuverlässigkeit, Angemessenheit des Preises, technische Umsetzung, wirtschaftliche Leistungsfähigkeit, Folgekosten, Entwicklungszeit/-aufwand, Akzeptanz in den Organisationen und Präsentation und Wirtschaftlichkeit des Angebots ein Entwicklungspartner ermittelt. Auf der Grundlage eines systematischen Vorgehens zur Bewertung der Angebote und der Durchführung eines aufwändigen zweistufigen Verfahrens wurde die Firma LPlus, Bremen beauftragt, das dort vorliegende computergestützte Prüfungssystem für die Nutzung in öffentlich-rechtlichen Prüfungen weiter zu entwickeln. Die definierten Arbeitsaufgaben, Arbeitsplanung und die geplanten gemeinsamen Nutzungsrechte wurden vertraglich vereinbart. Neben den grundlegenden Anforderungen des Anforderungskatalogs, die mit dem System umzusetzen waren, wurden weitere Anpassungsbedarfe durch die umfangreichen Erprobungen in den verschiedenen Prüfungsbreichen und Prüfungsphasen identifiziert, bewertet und vom Entwicklungspartner LPlus umgesetzt. Dieses Prüfungssystem besteht aus zwei Bestandteilen: zum einem aus dem Autorentool zur Aufgaben- und Prüfungserstellung, zum anderen aus dem Testcenter zur Prüfungsadministration, -durchführung und -bewertung. Die Weiterentwicklung erstreckte sich entsprechend auf zwei Optimierungsbereiche: Zuerst wurde das Autorentool für die Aufgaben- und Prüfungserstellung anhand der Anforderungen der verschiedenen Prüfungsbereiche erprobt und weiterentwickelt. Im zweiten Schritt wurde dann das Testcenter im Rahmen von durchgeführten Test- und zum Teil Echtprüfungen besonders mit Blick auf das einfache Handling und die Akzeptanz durch Prüfungsteilnehmer und Prüfer erprobt. Das Prüfungssystem wurde auf der Basis der Erprobung in allen Phasen des Prüfungsverfahrens sukzessive an die Anforderungen öffentlich-rechtlicher Prüfungen angepasst und optimiert. Zur besseren Koordinierung und Bewertung der festgestellten Anpassungswünsche sowie der Definition und Planung der Anpassungsbedarfe wurde im Juni 2006 die AG-Technik implementiert, die in ein- bis zweimonatlichen Treffen die Steuerung und das Controlling der Anpassungen übernommen hat. An der AG-Technik haben die Verbundpartner, der Entwicklungspartner und themenspezifisch Vertreter der wissenschaftlichen Begleitung und der Kooperationspartner teilgenommen Entwicklung von handlungsorientierten Prüfungsaufgaben und Erprobung des Systems Die Entwicklung handlungsorientierter Prüfungsaufgaben und Prüfungssätze sowie die Erprobung des computergestützten Prüfungssystems in Pilotprüfungen aus den verschiedenen Prüfungsbereichen Ausbildungsab- 6

7 schluss-, Fortbildungs- und Meisterprüfungen - waren zentrale Aufgaben im Projekt. Gemäß Projektantrag sollten für die genannten Prüfungsbereiche durch die Verbundpartner gemeinsam die im Folgenden angegebenen Aufgabensätze entwickelt werden. - Prüfungsbereich Ausbildungsabschlussprüfungen: drei Prüfungsfächer mit 36 Prüfungsaufgaben, - Prüfungsbereich Fortbildung zur Ausbildereignung AEVO: sieben Handlungsfelder mit ca. 63 Prüfungsaufgaben, - Prüfungsbereich IT-Fortbildungsprüfung: 75 Prüfungsaufgaben, - Prüfungsbereich Meisterprüfung: 36 Aufgaben. Zur Auswahl der Berufe für die Ausbildungsabschluss- /Gesellenprüfungen wurden Vorschläge im Projektbeirat besprochen und mit der Dachorganisation abgestimmt. Mit Blick auf den zahlenmäßigen Umfang der Ausbildungsabschlussprüfungen und um ein möglichst breites Spektrum an unterschiedlichen Anforderungen in den Aufgabestellungen abzudecken wurden für die Pilotprüfungen im Handwerk zum einen Berufe aus dem KFZ- Gewerbe sowie zum anderen Büroberufe eingebunden. Für die Meisterprüfung wurde der Elektrotechniker gewählt, da hier von hohen technischen Anforderungen ausgegangen wurde. Die Erprobung der Aufgaben-/Prüfungserstellung sowie der Prüfungsdurchführung und Prüfungsauswertung mit den erstellten Prüfungsaufgaben und entsprechenden Zielgruppen sollte dann sukzessive erfolgen. Der Erprobung lag die in der Abbildung dargestellte Zeitplanung zugrunde, die im Wesentlichen eingehalten wurde. Mit Blick auf die zu beachtenden realen Prüfungstermine mussten die Testprüfungen im IT-Bereich zeitlich nach hinten geschoben werden, dafür konnte die Erprobung der Meisterprüfung zu einem etwas früheren Zeitpunkt stattfinden. Die Erprobung der Prüfungsdurchführung und Prüfungsauswertung der Gesellenprüfungen wurde insgesamt über einen längeren Zeitraum vorgenommen, um vermehrt auch scharfe Prüfungen berücksichtigen zu können. Abbildung 1: Zeitplanung für die Erprobung 1. AEVO 2. Gesellen-/Abschlussprüfung Aufgaben-/Prüfungserstellung ( ) Prüfungsdurchführung/ -auswertung (bis 03.06) Aufgaben-/Prüfungserstellung ( ) Prüfungsdurchführung/ -auswertung (bis 08.06) 3. Fortbildung IT Aufgaben-/Prüfungserstellung ( ) Prüfungsdurchführung/ -auswertung (bis 01.07) 4. Meisterprüfung im Elektrobereich Aufgaben-/Prüfungserstellung ( ) Prüfungsdurchführung/ -auswertung (bis 03.07) Die Qualifizierung der Aufgabenersteller/-innen zur Nutzung des Aufgabenerstellungstools erfolgte gemeinsam mit dem Verbundpartner der DIHK-Bildungs-GmbH. Dazu wurden drei eintägige Schulungen geplant und durchgeführt: , DIHK-Bildungs-GmbH, Bonn , ZWH, Düsseldorf , IHK Nürnberg und Mittelfranken, Nürnberg 7

8 Insgesamt wurden 40 Aufgabensteller/-innen sowie mehrere Mitarbeiter der beiden Verbundpartner in das Aufgabenerstellungstool der Software eingewiesen und erhielten eine Einzelplatzversion der Software. Die Aufgabenersteller/ -innen wurden bei der Entwicklung und Umsetzung mit dem System durch die Verbundpartner jeweils intensiv betreut. Für die Erprobung des Prüfungssystems wurden zu den oben genannten Prüfungsbereichen von den beiden Verbundpartnern gemeinsam 25 Aufgabensätze mit etwa 1100 Aufgaben entwickelt. Die bei der Entwicklung gewonnenen Erkenntnisse zur Nutzung des Aufgabenerstellungstools wurden in Auswertungsworkshops ausgewertet und waren die Basis für die Optimierung des Autorentools (siehe dazu die Punkte und 2.1.2). Die entwickelten Aufgabensätze wurden von den Verbundpartnern in insgesamt 25 Testprüfungen mit ca. 450 Teilnehmern, davon 10 aus dem Bereich des Handwerks, erprobt und evaluiert. Die Testprüfungen im Handwerk, die in die Evaluation eingingen, sind in der Übersicht ab Seite 10 mit einem Stern gekennzeichnet. Die beteiligten Personengruppen wurden jeweils auf die Testprüfungen vorbereitet: - Die Administrator/-innen: Sie wurden durch Checklisten von LPlus über die Anforderungen an Räume, deren technische Ausstattung sowie die erforderlichen Einstellungen der Software informiert. In der Regel erfolgte wenige Tage vor dem geplanten Termin eine telefonische Überprüfung. - Die Prüfer/-innen: Die Einweisung erfolgte sowohl schriftlich als auch im Rahmen kurzer Einweisungen in die Nutzung der Bewertungsfunktionalität. - Die Aufsicht führenden Personen: Im Rahmen der Erprobung hat sich gezeigt, dass diese Personengruppe keine umfangreiche Einführung benötigt. Es wurde jedoch eine Checkliste mit Erste-Hilfe-Anweisungen erstellt, welche ggf. im Vorfeld im Rahmen einer kleinen Instruktion auch mündlich vermittelt wurde. - Die Teilnehmer/-innen: Im Verlauf der Erprobung wurde deutlich, dass eine kurze Einweisung in das Prüfungssystem unmittelbar vor der Prüfung ausreichte, um sicher und problemlos mit den Funktionalitäten der Software umgehen zu können. Zum Teil wurden im Vorfeld Übungsaufgaben entwickelt und über das Internet zugänglich gemacht. Diese Möglichkeit wurde - vor allem kurz vor dem Prüfungstermin - umfassend genutzt. Die technische Administration, d. h. das Einstellen und Freischalten der Prüfungen auf dem Server wurde von LPlus übernommen, da die Schulung für diesen Vorgang recht aufwändig ist. Diese Aufgabe müsste zukünftig von der prüfenden Stelle eigenständig vorgenommen werden. Dazu wären jedoch noch weitergehende Erprobungen und Qualifizierungen erforderlich, die im Projekt aus Zeitgründen nicht realisiert werden konnten. Für die Evaluierung der Erprobung in den Phasen der Prüfungsdurchführung und -auswertung wurden Fragebögen für die Gruppen: Prüfungskandidaten, Aufsichten, Prüfer und Administratoren entwickelt, die in einer Onlinefassung zur Verfügung gestellt wurden. In Vorbereitung der Testprüfungen haben die beteiligten Personengruppen PINs erhalten und wurden aufgefordert, ihre Erfahrungen mit PC-gestützten Prüfungen in dem Fragenbogen anzugeben. Die Prüfungskandidaten konnten unmittelbar nach der Prüfung über einen Link im Prüfungssystem auf den Fragebogen zugreifen. In den in der Evaluation berücksichtigten 25 Test- und Echtprüfungen haben an der Befragung 363 Prüfungskandidaten, 29 Aufsichten, 21 Prüfer und 17 Administratoren teilgenommen. Die Auswertungen wurden von der UNI Duisburg, Institut für Mediendidaktik vorgenommen. An allen Test- und scharfen Prüfungen waren Projektmitarbeiter/innen beteiligt, die den Verlauf qualitativ dokumentiert haben. Die gewonnenen Erfahrungen bei der Erprobung der Prüfungsdurchführung- und auswertung flossen in die Weiterentwicklung und Anpassung des Prüfungssystems ein. Die Ergebnisse der Erprobung wurden von den beiden 8

9 Projektpartnern zusammengetragen, bewertet und als Anpassungsbedarfe an LPlus kommuniziert. Die Ergebnisse zur Optimierung des Systems sind im Teil II, Kapitel beschrieben. Die folgende Übersicht vermittelt einen Überblick über die Test- und Echtprüfungen, die im Bereich des Handwerks insgesamt in den verschiedenen Prüfungsbereichen durchgeführt wurden. Sie dienten zum einen der Evaluierung des Prüfungssystems sowie zum anderen der Unterstützung des Transfers in die zuständigen Stellen. Übersicht 1: Durchgeführte Test- und Echtprüfungen bei zuständigen Stellen des Handwerks (Hinweis: In die Evaluierung wurden die bis Januar 2007 durchgeführten Prüfungen einbezogen. Sie sind im Folgenden mit einem * gekennzeichnet.) Prüfungsbereich 1: Fortbildung AEVO Termin Ort Anz. TN Technik Art der Prüfung * HWK Düsseldorf 32 serverbasiert Test * HWK Düsseldorf 32 (Wdh.) serverbasiert scharf Prüfungsbereich 2: Abschluss-/Gesellenprüfung KFZ-Mechatroniker-/in (HWK) HWK Leipzig/Land Sachsen 900 Papier scharf * HWK Chemnitz 20 webbasiert Test HWK Köln 128 webbasiert scharf, Teil 1 Bei der Prüfung am wurden die Aufgaben mit dem Autorensystem von LPlus erstellt und dann als Papierversion ausgedruckt und im Lande Sachsen durchgeführt. Danach erfolgte dann die Online-Erprobung durch die HWK Leipzig. Mechaniker/in für Karosserieinstandhaltungstechnik (HWK) Teil 1 und Teil * KFZ-Innung Frankft. 18 webbasiert Test * KFZ-Innung Frankft. 16 webbasiert scharf, Teil * KFZ-Innung Frankft. 4 webbasiert scharf, Teil KFZ Innung Frankft. 10 webbasiert Test KFZ Innung Kassel 5 webbasiert Test KFZ Innung Gera 10 webbasiert Test KFZ Innung Kassel, Frankfurt, Gera 25 webbasiert scharf, Teil 2 9

10 Bürokaufmann/-frau (HWK) Zwischen- und Abschlussprüfung * HWK Osnabrück 25 webbasiert Test * HWK Osnabrück 20 webbasiert scharf, ZP HWK Osnabrück 111 webbasiert scharf, ZP HWK Cottbus 21 webbasiert scharf, ZP HWK Cottbus 21 webbasiert scharf, AP HWK Potsdam 16 webbasiert Test HWK Dortmund 17 webbasiert Test, ZP HWK Dortmund 18 webbasiert Test, AP HWK Potsdam + Cottbus 9 webbasiert scharf, ZP HWK Osnabrück 6 webbasiert scharf, ZP HWK Aachen 17 webbasiert Test, ZP Kaufleute für Bürokommunikation HWK Frankfurt/Oder 15 webbasiert Test HWK Frankfurt/Oder 15 webbasiert scharf Prüfungsbereich 3: IT * HWK München 15 webbasiert Test Prüfungsbereich 4: Meister * HWK Hamburg 24 webbasiert Test Information, Qualifikation und Transfer Für die breite Information und Qualifizierung der am Prüfungsprozess Beteiligten sowie den nachhaltigen Transfer waren im Projekt folgende Aktivitäten geplant: - Erstellung / Anpassung einer webbasierten Plattform zur breiten Information über das Onlineprüfen. - Erstellung eines modularen Lernprogramms zur Entwicklung und Durchführung handlungsorientierter bzw. prozessorientierter Prüfungen. - Durchführung von vier Seminaren für Mitglieder von Prüfungsausschüssen und den Verantwortlichen in den prüfenden Stellen. 10

11 - Entwicklung eines Transferkonzepts und Geschäftsmodells für die Verbreitung und nachhaltige Implementierung computergestützter Prüfungssysteme. - Durchführung einer Fachtagung Alle geplanten Aktivitäten wurden realisiert, die Ergebnisse sind im Teil 2 in Kapitel beschrieben. 1.4 Wissenschaftliche und technische Standards Die Verbreitung und der Einsatz elektronischer Prüfungen in Industrie/Handel und im Handwerk wurde in der Vorstudie Neue Prüfungsverfahren Forschungsbericht zum Einsatz moderner Medien bei Prüfungen zum Stand 2003 systematisch erhoben. Bisher wurde der Computer zwar in wenigen Fortbildungs- und Meisterprüfungen eingesetzt, jedoch beschränkte sich der Computereinsatz dabei auf die Prüfung von Anwenderkenntnissen spezifischer Softwareprogramme wie Excel, Word, CAD, CAM sowie die Nutzung branchen- und berufsspezifischer Software beispielsweise in Meisterprüfungen zur Projektierung von Aufträgen. Zur Verwaltung von Prüfungsaufgaben werden vereinzelt Datenbanksysteme wie Access und Excel genutzt. Der Einsatz von Prüfungssystemen, die das gesamte Prüfungsverfahren von der Aufgabenerstellung über die Prüfungserstellung, Prüfungsdurchführung und auswertung durch Computer und Internet unterstützen, kommt bisher im Handwerk für öffentlich-rechtliche Prüfungen so gut wie nicht vor. So ist neben dem im Projekt Innovative Prüfungsverfahren weiter entwickelten Prüfungssystem von LPlus nur in zwei bayrischen Handwerkskammern ein Prüfungssystem für IT-Fortbildungsprüfungen im Einsatz. Dabei handelt es sich um eine Eigenentwicklung, die in lokalen Netzwerken genutzt wird und nicht onlinefähig ist. Online-Recherchen haben ergeben, dass wohl in den letzten Jahren der Einsatz von PC-gestützten Prüfungen im universitären Bereich zugenommen hat. Dokumentationen mit verwertbaren Erkenntnissen zum technischen Entwicklungsstand und zum Einsatz computergestützter Prüfungssysteme, die einen Vergleich mit dem im vorliegenden Projekt weiterentwickelten Prüfungssystem ermöglichen, liegen jedoch nach derzeitigen Erkenntnissen nicht vor. Es wird davon ausgegangen, dass es aktuell kein anderes System gibt, das den spezifischen Anforderungen der öffentlich-rechtlichen Prüfungen in der Berufsbildung vergleichbar gerecht wird. 1.5 Zusammenarbeit mit anderen Stellen Zur Realisierung des Projektes hat die ZWH mit dem Verbundpartner DIHK-Bildungs-GmbH, dem Entwicklungspartner LPlus GmbH sowie der wissenschaftlichen Begleitung eng zusammen gearbeitet. Darüber hinaus haben die Verbundpartner zur Erprobung des Prüfungsystems jeweils mit Aufgabenerstellungseinrichtungen, prüfenden Stellen und Verbänden zusammen gearbeitet. Die ZWH hat zur pilothaften Anwendung und Erprobung des computergestützten Prüfungssystems in allen Phasen des Prüfungsverfahrens Kooperationen mit folgenden Handwerkskammern geschlossen: - HWK Düsseldorf für den Bereich Fortbildungsprüfung zur Ausbildereignung (AEVO) - HWK Leipzig für den Bereich Gesellenprüfung KFZ Mechatroniker/in - HWK Hamburg für den Bereich Meisterprüfung im Elektrotechniker-Handwerk - HWK München für den Bereich IT-Fortbildungsprüfung Die Kooperationsvereinbarungen beinhalten die Erstellung und Weiterentwicklung von ca. drei Prüfungsaufgabensätzen mit dem System, die Durchführung und Auswertung einer computergestützten Prüfung als Real- oder Testprüfung sowie die Teilnahme an Arbeitsbesprechungen und Auswertungsworkshops. 11

12 Um die spezifischen Anforderungen einer zentralen Aufgabenerstellungseinrichtung berücksichtigen zu können, wurde der Zentralverband Deutsches Kraftfahrzeuggewerbe vorrangig für die Gesellenprüfung Mechaniker/in für Karosserieinstandhaltungstechnik eingebunden. Die Erprobung von Prüfungen für die Bürokaufleute erfolgte mit den bei der ZWH als Aufgabenerstellungseinrichtung einbezogenen Aufgabenerstellern und der Handwerkskammer Osnabrück. Darüber hinaus erfolgte eine enge Zusammenarbeit mit der Dachorganisation im Handwerk, dem DHKT, um wichtige Entwicklungen und Informationsstrategien abstimmen zu können. 12

13 II. Eingehende Darstellung der erzielten Ergebnisse und des Transfers im Verbundprojekt 2.1 Erzielte Ergebnisse Prüfungssystem Zentrales Ergebnis ist das im Verbundprojekt mit dem Entwicklungspartner LPlus weiterentwickelte Prüfungssystem, das in der jetzt vorliegenden Form den rechtlichen, technischen, didaktischen und organisatorischen Anforderungen öffentlich-rechtlicher Prüfungen grundlegend genügt. Das Prüfungssystem wurde dazu in allen Phasen des Prüfungsverfahrens erprobt und optimiert bzw. ergänzt. Das Prüfungssystem in der jetzt vorliegenden Form umfasst den TM-Editor, also das Autorentool zur Aufgabenund Prüfungserstellung, das LPlus Testcenter für die gesamte Administration sowie als Erweiterung des LPlus Testcenters das Kommunikationstool für die Aufgaben- und Prüfungserstellung im Team. Mit dem TM-Editor, der als lokale Installation zur Verfügung steht, können handlungsorientierte und komplexe Aufgaben abgebildet sowie Videos und Audios eingebunden werden. Es können Vorlagen generiert und Drittprogramme wie Excel, CAD oder Word eingebunden werden. Die Bedienung des TM-Editors TM orientiert sich an Windowsstandards. Zur Administration von Prüfungen steht das LPlus -Test-Center (LTS) als webbasierte Variante bzw. das LPlus lokale (LTMS) Test-Center zur Verfügung. Darüber erfolgen die Freigabe von Prüfungen, die Teilnehmerverwaltung, die Bewertung, die Dokumentation und ein Teil der teststatistischen Auswertungen. Diese Funktionalitäten genügen den rechtlichen Anforderungen insbesondere bei der Dokumentation und Bewertung von Prüfungen. Das Kommunikationstool unterstützt das Prüfungsprozessmanagement in den Phasen der Aufgaben- und Prüfungserstellung, es ermöglicht die webbasierte Abstimmung von Aufgaben und Prüfungen im Team. Die Funktionalität beinhaltet ein Rollen- und Berechtigungssystem sowie ein Versionsmanagement. Es wurden im Überblick die folgenden Anpassungen bzw. Erweiterungen des PC-gestützten Prüfungssystems durchgeführt: - Die Menuestruktur und -steuerung des TM-Editors TM wurde weitgehend den Standards von Officeprogrammen angepasst. - Es wurden Vorlagen für Aufgaben erstellt, die den Prozess der Aufgabenerstellung deutlich vereinfachen. - Die Erfassung komplexer handlungsorientierter Prüfungsaufgaben wurde durch Ermöglichung mehrerer Anlagen und von Clusteraufgaben verbessert. - Die Bewertungsmöglichkeiten von Multiple-Choice-Aufgaben wurden erweitert. - Schnittstellen zur Arbeit mit anderen Drittprogrammen (Excel, Word, CAD,...) wurden realisiert. - Die Prüfungserstellung wurde um die Möglichkeit erweitert, die Aufgabenverteilung nach Handlungsfeldern vorzunehmen. - Die Funktionalität der Bewertung von Aufgaben, insbesondere offener Fragen wurde deutlich erweitert und den Anforderungen öffentlich-rechtlicher Prüfungen angepasst. - Die Ausdruckbarkeit der Aufgaben aus dem TM-Editor TM wurde verbessert. 13

14 - Es wurden Schnittstellen zu Verwaltungsprogrammen definiert und erprobt (ODAV, Escape). - Die Archivierung und Dokumentation von Prüfungen wurde den rechtlichen Anforderungen öffentlichrechtlicher Prüfungen angepasst. - Es wurde ein Konzept für ein standardisiertes Rollen- und Rechtesystem zur Umsetzung öffentlichrechtlicher Prüfungen entwickelt und umgesetzt. - Die statistischen Auswertungsmöglichkeiten wurden erweitert. - Das Kommunikationstool zur Erstellung von Prüfungsaufgaben im Team wurde als Erweiterung und zusätzlicher Auftrag an LPlus realisiert. Die Gesamtabnahme des Systems durch die Verbundpartner erfolgte im Projekt anhand definierter Funktionsbereiche. Die Anforderungen in den einzelnen Funktionsbereichen resultieren aus dem Anforderungskatalog und weiteren bzw. ergänzenden Anforderungen, die aus den Erprobungen resultierten. Die Übersicht zeigt diese Funktionsbereiche mit den zugeordneten Positionen des Anforderungskatalogs. Zu den folgenden Funktionsbereichen wurde eine umfangreiche Beschreibung und Dokumentation der realisierten Prüfungssoftware erstellt. Übersicht 2: Zuordnung der Positionen des Anforderungskatalogs zu Funktionsbereichen des Systems Prüfungssystem Funktionsbereiche Zuordnung Anforderungskatalog Technische Standardfunktionen 1.1.1, 1.1.2, 1.1.3, 1.1.4, 1.1.5, Aufgabenerstellung mit dem TM-Editor 1.1.6, 1.2.4, 1.2.5, 1.2.6, 1.2.8, , 4.1 Prüfungserstellung / AEVO-Tool 1.2.7, 1.2.8, 1.2.9, , 5.1, Benutzeroberfläche für TN 1.2.5, 1.1.6, Ausdruckfunktion, TM-Editor TM keine Administration / Rollen- und Rechtevergabe 1.1.4, 1.1.5, 1.2.2, 1.2.3, 3.2, 5.5, Nachbewertung 1.1.6, , , 5.3 Dokumentation und Archivierung von Prüfungen , 2.5, 5.3 Handbuch und Hilfefunktion , Schnittstellen , , 5.5 Prüfungsstatistik Sicherheit 1.2.2, , , , 2.1, 2.2, 2.3, 2.4, 5.4 Kommunikationsplattform Der im Kooperationsvertrag vereinbarte Leistungsumfang der Firma LPlus umfasste neben den Anpassungen der Prüfungssoftware die Durchführung von Schulungen und die Umsetzung von Testprüfungen. Die durchgeführten Schulungen und Besprechungen sowie die Testprüfungen bei denen LPlus das Hosting und die Administration übernommen hat, sind im Teil I dargestellt. 14

15 2.1.2 Ergebnisse aus der Erprobung und Evaluierung der Pilotprüfungen Aufgaben- und Prüfungserstellung Die Erprobung der Aufgaben- und Prüfungserstellung wurde von den Verbundpartnern in den Prüfungsbereichen Abschluss-/Gesellenprüfung, Fortbildungsprüfung zur Ausbildereignung, IT-Fortbildungsprüfung und Meisterprüfung durchgeführt. In jedem Prüfungsbereich waren mehrere Aufgabenersteller beteiligt, die, wie unter dargestellt wurde, zunächst im Umgang mit dem TM-Editor TM geschult wurden und besonders auch hinsichtlich der technischen Fragen unterstützt wurden. Von den im Projekt insgesamt erstellten Aufgabensätzen wurden acht im Bereich des Handwerks erstellt, die in der folgenden Übersicht dargestellt sind. Wenn nichts anderes angegeben, wurden Aufgaben zu der gesamten schriftlichen Prüfung erstellt: Übersicht 3: Erstellte Prüfungsaufgabensätze Prüfungsbereich/Aufgabensatz/Organisation Anzahl Aufgaben Gesellenprüfung, Teil 1, KFZ-Mechatroniker/in, HWK Leipzig 62 Gesellenprüfung, Teil 1, Mechaniker/in für Karosserieinstandhaltungstechnik, ZDK Gesellenprüfung, Teil 2, Mechaniker/in für Karosserieinstandhaltungstechnik, ZDK Abschlussprüfung Bürokaufmann/-frau, HWK Osnabrück-Emsland 80 Zwischenprüfung Bürokaufmann/-frau, HWK Osnabrück-Emsland 26 Fortbildungsprüfung AEVO, HWK Düsseldorf 100 Fortbildungsprüfung Betriebsinformatiker/in, ausgewählte Prüfungsteile, HWK München Oberbayern 21 Meister Elektrotechnik, Teil 2, Fach Sicherheitstechnik, HWK Hamburg 20 Insgesamt wurden für die Erprobung im Handwerk fast 460 Aufgaben entwickelt. Darüber hinaus wurde der ZDK bei der Erstellung eines Prüfungssatzes für die Gesellenprüfung, Teil 1, KFZ-Mechatroniker/in, mit 130 Aufgaben unterstützt, der den weiteren Transfer fördern sollte. Für die Evaluierung der Aufgaben- und Prüfungserstellung wurde unter Beteiligung der wissenschaftlichen Begleitung Auswertungsworkshop mit den beteiligten Aufgabenerstellern der einzelnen Prüfungsbereiche durchgeführt. Für den Prüfungsbereich AEVO und Meisterprüfung wurden diese Auswertungsworkshops gemeinsam mit der DIHK-Bildungs-GmbH, für die Prüfungsbereiche Abschluss-/Gesellenprüfung und IT-Fortbildungsprüfung nach Organisationen getrennt durchgeführt. In den Workshops wurden die Anforderungen und Wünsche für die Weiterentwicklung des Prüfungssystems erarbeitet und zusammen getragen. Auf dieser Basis wurde durch die Verbundpartner in Abstimmung mit dem Entwicklungspartner und unter Berücksichtigung der im Vertrag geregelten Leistungen die Optimierung festgelegt. Nach einer umfangreichen Qualitätssicherung durch die Verbundpartner wurde das optimierte System dann noch in weiteren Testprüfungen erfolgreich erprobt. Ein weiterer wichtiger Aspekt der Evaluierung der Aufgaben- und Prüfungserstellung war der Erfahrungsaustausch zu den Entwicklungsprozessen. Dabei wurde im Projektverlauf deutlich, dass es für viele Aufgabenerstel- 15

16 ler eine Herausforderung war, handlungsorientierte Aufgaben mit dem System zu erarbeiten. Es bestand vielfach Unterstützungsbedarf sowohl beim Umgang mit dem Autorensystem als auch vor allem bei der Erstellung handlungsorientierter Aufgaben und dem Erkennen der Anwendungsbreite der vorhandenen Aufgabenformate. Das verfügbare Potenzial der neuen Medien zur Erstellung handlungs- und prozessorientierter Aufgaben wurde von den Aufgabenerstellern anfänglich nur in Ansätzen ausgeschöpft. Die Verbundpartner haben daher weitere Workshops und Besprechungen mit Unterstützung der wissenschaftlichen Begleitung und LPlus initiiert, um die Qualität der erstellten Aufgaben im Hinblick auf die Potenziale computergestützter Prüfungen und auf die didaktischen Anforderungen zu verbessern. Als Potenziale des Prüfungssystems zur Erstellung handlungs- und prozessorientierter Aufgaben wurden die folgenden Bereiche herausgearbeitet: - Komplexe Ausgangssituationen durch die Identifikation praxisrelevanter, authentischer Vorlagen aus der betrieblichen Praxis schaffen, die Basis für eine Aufgabe oder ein Aufgabencluster sein können. - Konkrete Geschäftsprozesse, die in der Praxis mit den neuen Medien durchgeführt werden, auch in der Prüfung elektronisch abbilden (Beispiel: Führen des Kassenbuchs, Ausfüllen des Ausbildungsvertrags). - Den PC als Instrument zur Lösungserarbeitung nutzen, indem Softwareprogramme wie Excel, Word oder CAD während der Prüfung als Instrumente zur Lösung der Aufgaben eingesetzt werden können. Die in diesen Programmen erstellten Dokumente und damit die Anwenderkenntnisse können auch zur Bewertung der Prüfungsleistung herangezogen werden. - Die Suche, Auswahl und Bewertung von Informationen kann durch die Nutzung von Materialien und Internet unterstützt werden. Zusammenfassend kann herausgestellt werden, dass das Autorentool in den betriebswirtschaftlichen und pädagogischen Prüfungsbereichen den handlungsorientierten und praxisbezogenen Anforderungen gerecht wird. In technischen Prüfungsbereichen wurde von den eingebundenen Partnern noch weiterer Entwicklungsbedarf herausgestellt, um eine breite Einsatzmöglichkeit des Prüfungssystems sicher zu stellen, der jedoch im abgeschlossenen Projekt nicht mehr realisiert werden konnte. Prüfungsdurchführung und -auswertung Die Prüfungsdurchführung umfasste das Hochladen der erstellten Prüfungen auf den Server, das Anlegen der Teilnehmer/innen, sowie die schon oben dargestellte Vorbereitung und Einführung der Zielgruppen. Insgesamt sind die Testprüfungen gut verlaufen und bei den Beteiligten, insbesondere bei den Prüfungskandidaten, auf hohe Akzeptanz gestoßen. Im Rahmen der Erprobungen wurde deutlich, dass die notwendige Bandbreite für die Internetkapazität eindeutiger und prüfungsspezifischer festgelegt werden muss. Dabei sind die Anzahl der Prüfungsteilnehmer und der Umfang des Aufgabensatzes zu berücksichtigen. Mit dem Entwicklungspartner wurde abgestimmt, die technischen Anforderungen detaillierter zu beschreiben, damit eine optimale Performance der Aufgaben erreicht wird und komplette Ausfälle an einzelnen Prüfungsstandorten ausgeschlossen werden können. Prüfungsprozessmanagement Im Projektverlauf wurde deutlich, dass es für die Implementierung PC-gestützter Prüfungssysteme in öffentlichrechtlichen Prüfungen erforderlich ist, den gesamten Prüfungsprozess phasenübergreifend mit dem System abzubilden und zu unterstützen. Die Organisation der Prüfungsverfahren weist in Abhängigkeit von den prüfungsspezifischen Anforderungen und der Organisation des Prüfungsverfahrens eine erhebliche Heterogenität und Komplexität auf. So stellen sich beispielsweise die Abläufe bei zentralen Aufgabenerstellungseinrichtungen anders dar als bei prüfenden Stellen, die selbst Aufgaben erstellen. Mit dem Ziel, diese vielfältigen Prozesse zu 16

17 erfassen und zu strukturieren, um auf dieser Basis Anforderungen an den Einsatz eines Prüfungssystems bei unterschiedlichen Bedingungen zu definieren, fanden intensive Diskussionen und Abstimmungsprozesse mit den eingebundenen Partnern, der wissenschaftlichen Begleitung und LPlus statt. Im Ergebnis wurde ein Standardprozess definiert und LPlus damit beauftragt, über die im Projekt vereinbarten Leistungen hinaus ein an das Prüfungssystem angedocktes Kommunikationstool zur Unterstützung des Prüfungsprozessmanagements in den Phasen der Aufgaben- und Prüfungserstellung zu entwickeln und die Bewertungsfunktionalitäten zu erweitern. Die Funktionalität beinhaltet ein Rollen- und Berechtigungssystem, das die komplexen Anforderungen öffentlich-rechtlicher Prüfungen abdeckt und den Prozess dokumentiert (Versionsmanagement). Das Kommunikationstool soll das Prüfungsverfahren deutlich unterstützen, qualitativ verbessern und auch effizienter gestalten. Evaluierungsergebnisse der wissenschaftlichen Begleitung Die wissenschaftliche Begleitung hat zu Beginn des Projektes die Erwartungen an und die Voraussetzungen von PC-gestützten Prüfungen untersucht. Die Ergebnisse zeigen, dass mit computergestützten Verfahren überwiegend positive Erwartungen verknüpft sind. Die aufgezeigten Einstellungen und Erwartungen wurden im Projekt ausgewertet und sind in die Anforderungen an das Prüfungssystem sowie an die Gestaltung des Prüfungsverfahrens eingeflossen. Die Ergebnisse sind in einem Bericht zusammengefasst worden (siehe Punkt 2.4). Ein Schwerpunkt der Arbeit der wissenschaftlichen Begleitung war die Evaluierung der Erprobung des computergestützten Prüfungssystems in der Phase der Prüfungsdurchführung und -auswertung, die gemeinsam mit den Verbundpartnern durchgeführt wurde. Wesentliche Ergebnisse sind: - Der Umgang mit dem System bereitet den Prüfungskandidaten keine nennenswerten Schwierigkeiten, sie stellt keine besondere Herausforderung dar. Die Übersicht, Navigation und Orientierung im System und die Beantwortung der Fragen wird als einfach bewertet. Mehr als die Hälfte der Teilnehmer (55,8%) würden computergestützten Prüfungen den Vorzug geben, wenn diese so verlaufen würde, wie sie es erlebt haben. - Die Akzeptanz der anderen beteiligten Nutzergruppen gegenüber computergestützter Prüfungsverfahren korreliert mit der grundsätzlichen Affinität gegenüber neuen Medien und zeigt eine hohe Bandbreite auf. - Computergestützte Prüfungen verfügen über Potenziale zur Steigerung von Handlungsorientierung und Realitätsnähe. Seitens der Prüfungsteilnehmer votierten knapp die Hälfte der Befragten für die Einschätzung, dass durch den Einsatz des Computers die Nähe zum beruflichen Alltag gegenüber herkömmlichen Prüfungen gesteigert wurde und das, obwohl die Potenziale des Praxisbezugs noch nicht überall ausgeschöpft wurden. - Die Nutzung computergestützter Prüfungssysteme setzt bei den Beteiligten unterschiedlich tiefe Kenntnisse der Software voraus. Bei Prüfern, Aufsichtspersonal und technischen Administratoren genügen eine Einweisung bzw. kurze Manuals; Aufgabenersteller benötigen eine mindestens eintägige Schulung um das Autorentool zu beherrschen. Ebenso verlangt die Prüfungsadministration eine grundlegende Einführung in die Software. - Bei den Aufgabenerstellern besteht deutlicher Qualifizierungsbedarf bei der Erstellung handlungsorientierter Prüfungsaufgaben und der Nutzung erweiterter Aufgabentypen. - Aufgetretene technische Probleme bezogen sich auf eine zu geringe Bandbreite des Internets und einen langsamen Bildaufbau, PC-Abstürze und Probleme mit der Software. Eine ausreichend große Bandbreite stellt einen wesentlichen Qualitätsstandard für PC-gestützte Prüfungen dar. 17

18 - Die infrastrukturelle Ausstattung für große Prüfungsgruppen ist oft noch der wesentliche Engpass für die Durchführung computergestützter Prüfungen. - Die technische Sicherheit computergestützter Prüfungen kann als hoch eingeschätzt werden, sofern die Vorgaben befolgt werden. Täuschungsversuche während der Prüfungen können nach mehrheitlichen Angaben des befragten Aufsichtspersonals besser kontrolliert werden als bei traditionellen Prüfungen. - Die Nutzung computergestützter Prüfungsverfahren setzte veränderte Prozesse und Ressourcen bei den prüfenden Stellen voraus. Die Implementierung solcher Verfahren kann daher als Organisationsentwicklung begriffen werden. Im Rahmen dieser Untersuchung wurde auch ein europäischer Vergleich zu Online-Prüfungen durchgeführt. Die Ergebnisse haben gezeigt, dass allein in der Schweiz die Durchführung von Onlineprüfungen im Rahmen eines Pilotprojekts getestet wird. In der überwiegenden Mehrzahl der Länder finden vereinzelt elektronische Prüfungen statt. In keinem Land kann die Durchführung als verbreitet beschrieben werden. Die Ergebnisse der wissenschaftlichen Begleitung sind in der veröffentlichten Broschüre Prüfen am PC wissenschaftlicher Evaluierungsbericht enthalten. Vor dem Hintergrund der formulierten Projektziele können die Ergebnisse der Evaluierung wie folgt zusammengefasst werden: - Arbeitserleichterung und Qualitätsverbesserung bei der Durchführung von handlungsorientierten Prüfungen Mit dem entwickelten Prüfungssystem können öffentlich-rechtliche Prüfungsverfahrens gemäß den Prüfungsanforderungen qualitativ hochwertig und effizient durchgeführt werden. Das Prüfungssystem bietet Potenziale zur Realisierung handlungsorientierter Prüfungen. Diese Potenziale wurden bisher jedoch nur begrenzt ausgeschöpft. Weiterer Entwicklungsbedarf besteht noch bei der Abbildung insbesondere technischer Prüfungsaufgaben. Die Implementierung solch einer Software stellt für die beteiligten Organisationen eine Investition dar, die mit einem meist aufwendigen Organisationsentwicklungsprozess verbunden ist. - Erarbeitung von Qualitätsstandards und rechtliche Sicherheit bei der Umsetzung computergestützter Prüfungsverfahren Es wurde eine Reihe von Qualitätsstandards erarbeitet, die bei der Weiterentwicklung der Prüfungssoftware zu berücksichtigen waren. Beispielsweise sind bei der Bewertung und Dokumentation von Prüfungen sehr spezifische rechtliche Anforderungen zu berücksichtigen, die in dem System technisch realisiert worden sind. Weitere Qualitätsstandards betreffen organisatorische Aspekte computergestützter Prüfungen. Dazu wurden Handlungsempfehlungen in Form von Checklisten und Manuals erarbeitet. Aus weiteren Erfahrungen insbesondere bei der Durchführung von scharfen Prüfungen werden diese Standards noch zu ergänzen und zu erweitern sein. - Akzeptanzsteigerung computergestützter Prüfungsverfahren Die im Verbundprojekt realisierten Transferaktivitäten zeigten deutlich, dass besondere Hürden für die Verbreitung eines neuen PC-gestützten Prüfungssystems zu überwinden sind, die oft mit rechtlichen Aspekten begründet werden. Die große Bedeutung öffentlich-rechtlicher Prüfungen für Prüfungsteilnehmer und die rechtlichen Vorgaben im BBiG sowie in Rechtsverordnungen führen meist dazu, dass Prüfungsverantwortliche bei den Prüfungsverfahren ein großes Beharrungsvermögen auf bewährte Verfahren zeigen. Sie lassen sich in aller Regel nur dann für PC-gestützte Verfahren gewinnen, wenn ihnen aus eigener Erfahrung die Rechtssicherheit, die technische Sicherheit und der Mehrwert dieses Verfahrens deutlich wird. Hinzu kommt, dass es bei der Entscheidung über den Einsatz neuer Prüfungsverfahren vor Ort unterschiedliche 18

19 Zielgruppen Hauptgeschäftsführer, Geschäftsführer, Prüfungsausschüsse und Verwaltungspersonal - zu überzeugen gilt. - Verbesserte Information und Qualifikation der ehrenamtlichen Prüfer/innen Im Projekt wurde ein deutlicher Informations- und Qualifikationsbedarf bei den ehrenamtlichen Prüfer/innen erkennbar. Durch die im Projekt getätigten Aktivitäten, insbesondere die Webseiten und das entwickelte Lernprogramm stehen Informationen nachhaltig zur Verfügung Webseite Der Aufbau einer Webseite war ein wichtiger Arbeitsschwerpunkt zur Verbesserung der Information im Prüfungsbereich. Um die inhaltlichen Schwerpunkte festzulegen und die redaktionelle Arbeit zu steuern, wurde ein Redaktionsbeirat gegründet, dem personell Mitarbeiter/-innen der Projektpartner und Vertreter des Deutschen Industrieund Handelskammertages und des Zentralverbands des deutschen Handwerks angehören. In der konstituierenden Sitzung des Redaktionsbeirats am wurden die inhaltlichen Schwerpunkte und Rubriken festgelegt und die Entwicklung eines Prototypen vereinbart. Die Webseite für Prüfer wurde nach einem intensiven Diskussions- und Abstimmungsprozess im März 2006 online geschaltet. Die Webseiten bestehen aus einem inhaltlich gemeinsamen Bereich der DIHK-Bildungs-GmbH und der ZWH sowie aus getrennten Bereichen. Der Zugang erfolgt organisationsspezifisch über: und Die Plattform wurde mit dem Content Management System Typo 3 erstellt. Abbildung 2: Die Gestaltung der Webseite Die Plattform richtet sich an Personen der prüfenden Stellen und bietet - unter dem Titel Innovativ Prüfen - Informationen zu den drei Schwerpunkten: - Projektdarstellung: Projektziele und -vorgehen, Projektfortschritt, Ankündigung und Dokumentation von Veranstaltungen, Zugang zu Beispielprüfungen, 19

20 - Computergestützt Prüfen: Ergebnisse der Vorstudie zu Nutzen und Anforderungen computergestützter Prüfungsverfahren, Berichte von PC-gestützten Prüfungen, ausgewählte Ergebnisse der Befragung zu Anforderungen und Erwartungen an computergestützte Prüfungssysteme, - Handlungsorientiert Prüfen: Anforderungen an Prüfungen, Vorgehen bei der Entwicklung handlungsorientierter Aufgaben und Prüfungen, FAQ zum Thema. Die Plattform wurde im Berichtszeitraum kontinuierlich gepflegt und ausgebaut und soll langfristig dazu dienen, aktuelle Informationen zum Thema Innovativ, computergestützt Prüfen zu verbreiten Lernprogramm Ein weiteres Projektergebnis ist das Lernprogramm zur Erstellung handlungsorientierter Prüfungsaufgaben. Die Drehbucherstellung dafür wurde als Auftrag auf der Grundlage von Vergleichsangeboten von Autoren im Februar 2006 extern vergeben. Zur inhaltlichen Abstimmung des Grobkonzepts fand ein Konzeptionsworkshop statt, auf dessen Grundlage Grobkonzept, Feinkonzept und das Drehbuch in mehreren Abstimmungsvorgängen mit den Verbundpartnern und im Prüfungsbereich tätigen Experten erarbeitet wurden. Die Drehbücher wurden im Oktober 2006 abgeschlossen. Bei der technischen Realisierung kam es zu Verzögerungen, da das vorgesehene Autorentool LearnCube nicht in einer funktionsfähigen Version zur Verfügung stand. Das Unternehmen X-Pulse, welches das Autorentool ursprünglich entwickelt hat, hatte Insolvenz angemeldet, wodurch die Unterstützung des Tools zunächst eingestellt wurde. Das Autorentool wurde dann von einem anderen Unternehmen übernommen und konnte erst ab April 2007 genutzt werden. Es wurden zwei Lernprogramme mit einem gesamten Lernstundenumfang von gut drei Stunden entwickelt, die der online-gestützten Qualifizierung der am Prüfungsprozess Beteiligten dienen. Das Know How zum handlungsorientierten Prüfen in Handwerk, Industrie und Handel wird gebündelt, um es Prüfern, Aufgabenerstellern und Prüfungsverantwortlichen verfügbar zu machen. Die Lernprogramme unterstreichen Handlungsorientierung als zentrales Merkmal der beruflichen Aus- und Weiterbildungsprüfungen. Thematisch sind die Lernprogramme klar auf die Schriftliche Prüfung fokussiert. Die zielen auch darauf ab, der nach wie vor bei Prüfungen bestehenden Tendenz entgegenzuwirken, in konventionelle, allein faktisches Wissen abfragende Prüfungsroutinen zu verfallen. Der Anforderung der Know How-Bündelung entsprechend werden die Lernprogramme inhaltlich bewusst schlank und überblicksartig gehalten. Bestehende (Schulungs-)Aktivitäten zur Konzeption handlungsorientierter Prüfungsaufgaben sowie bestehende Handreichungen und andere Informationsressourcen sollen nicht ersetzt, sondern ergänzt werden. Ziele des Lernprogramm 1: Entwicklung handlungsorientierter Prüfungsaufgaben - Bedeutung, Ziel und Voraussetzung handlungsorientierter Prüfungen (und Prüfungsaufgaben) bewusst machen, - notwendige Begriffsbestimmungen "handlungsorientierte Prüfungsaufgabe", "berufliche Handlung", "Handlungskompetenz" vornehmen und grundlegende Prüfungskriterien berücksichtigen, - Kriterien für die Erstellung handlungsorientierter schriftlicher Prüfungsaufgaben anwenden, - Handlungsorientierung mit Blick auf unterschiedliche schriftliche Aufgabentypen umsetzen, 20