am Beispiel der Ausbildung von Industriekaufleuten

Transkript

1 G e o r g A u g u s t U n i v e r s i t ä t G ö t t i n g e n M ä r z FrankAchtenhagen&EstherWinther BerichtandasBundesministeriumfürBildungundForschung (K350600) KonstruktvaliditätvonSimulationsaufgaben:ComputergestützteMessungberufsfachlicherKompetenz ambeispielderausbildungvonindustriekaufleuten

2 Autoren Prof.Dr.Dr.h.c.mult.FrankAchtenhagen SeminarfürWirtschaftspädagogikder Georg August UniversitätGöttingen PlatzderGöttingerSieben Göttingen Tel.: /22 Fax: E Mail: fachten@uni goettingen.de Dr.EstherWinther SeminarfürWirtschaftspädagogikder UniversityofCalifornia,Berkeley Georg August UniversitätGöttingen GraduateSchoolofEducation PlatzderGöttingerSieben5 4432TolmanHall 37073Göttingen Berkeley,CA94720 Tel.: Fax: E Mail: ewinthe@uni goettingen.de

3 VorwortundDank DasProjekt KonstruktvaliditätvonSimulationsaufgaben:ComputergestützteMessungberufsfachlicherHandlungskompetenz ambeispielderausbildungvonindustriekaufleuten wurdeimauftrag desbundesministeriumsfürbildungundforschungdurchgeführt(k350600).zielwardieprüfungder Frage,obsichfürdenkaufmännisch verwaltendenbereichaufgabenformateentwickelnließen,mit deren Hilfe das Konstrukt berufliche Handlungskompetenz objektiv, reliabel und valide erfasst werdenkann.diesefragewurdevorallemvonvertreternderarbeitgeberunddergewerkschaften imhinblickaufeinemöglicheteilnahmeaneinemberufsbildungs PISAbzw.VET LSAgestellt.Anlass wardiebefürchtung,dassbeieinemsolchenvorhabeneventuelldiespezifischenvorzügederdeutschenausbildungimdualensystemnichthinreichendzurgeltungkämen. Aufgrund des großen Zeitdrucks das Projekt sollte bis zum abgeschlossen sein, konnte abererstzum richtiganlaufen musstenallenotwendigenarbeitsschrittegegenüberdem ursprünglichenzeitplanzeitlichversetztundzumteilparallelerfolgen.wirhabeneinersehrgroßen ZahlvonPersonenzudanken,dieunsmithohemEngagement unterakzeptanzdervonunsvorgegebenenkurzenfristen nachhaltigunterstützten.ohnedieseengagiertehilfehättenwireskaum geschafft,denabgabeterminzuhalten: - Wir danken für die Unterstützung bei der Analyse und Aufbereitung der Arbeitsaufgaben von IndustriekaufleutenderNovelisDeutschlandGmbH WerkGöttingen undhierinsbesondere HerrnWolframJoosalsPersonalleiterundFrauRoselindeArndtalsAusbildungsverantwortliche. Wir danken auch für die Lehrberichte, die uns von Auszubildenden zur Verfügung gestellt und vonunsausgewertetwurden.wirsindebensodenbetriebsrätenverpflichtet,dieunsereaktivitäten,insbesondereunserearbeitsplatzbeschreibungen,zustimmendbegleiteten. - Wir danken der AKA und dabei insbesondere Herrn Dr. Josef Amann, IHK für München und Oberbayern, als Beiratsvorsitzendem der AKA für die Durchsicht unserer Unterlagen und die überaus wohlwollende Unterstützung. Die Aufgaben wurden auf der Grundlage von Analysen derausbildungsordnungundverschiedenerbetrieblicherausbildungspläneentwickelt. - DerKonstruktionlagenebensoAnalysendesentsprechendenKMK Rahmenlehrplansvon2002 sowievonlehrwerkenzugrunde.herroberstudiendirektordr.ulrichgetsch,cuxhaven,beriet unsbezüglichderaufgabenkonstruktionunterderperspektivederberufsschule. - Die ausgewählten beruflichen Tätigkeiten wurden in komplexe Fälle umgesetzt: als mögliche Grundlage eines VET LSA für den kaufmännischen Bereich in Form von videobasierten Geschäftsvorfällen; für den betrieblichen Bereich als Arbeitsproben in Papier und Bleistift Form. FürdiefilmischeUmsetzungdankenwirdenHerrenRalfGönnerundDavidKelterer,diesichen

4 gagiertbemühten,denanforderungsgehaltderproblemfällefilmischfestzuhaltenundentsprechendaufzubereiten. - DieAufgabenwurdenweb basiertgestaltet.alshilfreicherwiessichdabeiderrückgriffaufdie Plattform Winfoline. Wir danken für die Unterstützung Herrn Prof. Dr. Matthias Schumann (Georg August Universität Göttingen) sowie den Herren Stefan Bitzer, Stefan Christmann und Henning Rahlff bei der Programmierarbeit. Ebenso hilfreich war die Arbeit von Herrn Andreas Lompe(AdiungiGmbH,Göttingen). - Die VET LSA Aufgaben wurden in Berufsschulen in Hessen, Niedersachsen und Nordrhein Westfaleneingesetzt,diebetrieblichenArbeitsprobenan61BetriebeinBayern,Hessenundin Niedersachsengeschickt.WirdankendenSchulleitungenundKollegienderfolgendenKaufmännischen Berufsschulen, die unsere Anfrage sofort positiv beantworteten und uns durchgängig nachhaltigundmitgroßemengagementunterstützten.namentlichseiendieprimärmitunserer Betreuung befassten Kolleginnen und Kollegen erwähnt: Rudolf Rempel Berufskolleg Bielefeld (OStDDr.WolfgangKehl;StRStefanRing);Dietrich Bonhoeffer BerufskollegDetmold(OStDDr. WernerWehmeier);Arnoldi SchuleGöttingen(OStDEdeltrautWucherpfennig;StDErnstDockter);BerufsbildendeSchule11Hannover(OStDDieterKlinger;StDMariannevonderHeide;StR Dieter Hampe); Martin Luther King Schule Kassel (OStD Heinz Franzbach; OStR Astrid Sievers; StRKlausTreusch);BerufsbildendeSchule1Northeim(OStDEgbertAngrick;StDDetlefReimelt; StR Frank Brennecke); Berufsbildende Schule 1 Osterode am Harz (OStD Heiko Seemann Weymar; StD Thomas Hartje; StAss Jan Wenzel; Jörg Wehmeyer); Ems Berufskolleg Rheda Wiedenbrück(OStDDr.KarlbernhardJasper;StDClaudiaEikmann;ArndtRichter). - WirbedankenunsbeiallenAuszubildenden,diedieAufgabenengagiertundmotiviertbearbeitethaben. - Die Arbeitsproben wurden nach vorherigen Anfragen an 61 Betriebe verschickt, die entweder von den Berufsschulen oder aber im Falle von Bayern von der IHK um Mitarbeit gebeten wurden.wirdankenallenbeteiligtenherzlich. - WirdankendenMitarbeiterinnenundMitarbeiternimProjekt,allenvoranFrauAss.Dipl. Hdl. FraukeJohannaNiemann,diemitEngagement,größterSorgfaltundzugleichGelassenheitzum Projekterfolgbeigetragenhat.ZugleichdankenwirherzlichBjörnHuchthausen,OlgaLitwin,AnnaOsenbrück,InaPhilipp,IngoReuschundMelanieSchmidtfürihrengroßenEinsatz. - Für Diskussionen und wichtige Hinweise zur Forschungsmethodologie danken wir Prof. Dr. Dr. h.c.richardshavelson,stanforduniversity,undprof.dr.markwilson,universityofcalifornia, Berkeley.

5 MinR.PeterThiele,FrauDr.GudrunSteger,HerrnDr. Ing.ArneSimon,FrauHeikeGeisler. - AbschließendgiltunserDankdemBMBF,dasunsereÜberlegungenaufgegriffenundunsnachhaltigunterstützthat:FrauAbteilungsleiterinKorneliaHaugg,HerrnMinDgt.WalterBrosi,Herrn Wirhoffen,dassunsereAnregungenundEntwicklungendieBedenkenbezüglichderMöglichkeiten einerobjektiven,reliablenundvalidenmessungberuflicherhandlungskompetenzimkaufmännischverwaltendenbereichhabenausräumenhelfen,zugleicheinenbeitragzurgestaltungeinesvet LSA leistenunddarüberhinausauchdieweiterenentwicklungenvonlehr,lern undassessmentverfahrenimbereichderdeutschenkaufmännischenberufsausbildungpositivbeeinflussen. Göttingen,15.März2009 FrankAchtenhagenundEstherWinther

6

7 Inhaltsverzeichnis Zusammenfassung ZielsetzungdesProjekts InhaltsbereicheeinesTestszurErfassungberufsfachlicherKompetenz ValidierungderInhaltsbereiche OperationalisierungderVariablen AuthentizitätdesTestformats InszenierungvonAuthentizität DesignderTestitems BeispieldesTestbereichsVertrieb BeispieldesTestbereichsEinkauf DurchführungderempirischenUntersuchung AuswertungderErgebnisse FragestellungenderUntersuchung DieDimensionenberuflicherHandlungskompetenz DieSkalenberuflicherHandlungskompetenz ErgänzendeInformationen Schlussfolgerungen Literatur Anhang...I

8 1 Zusammenfassung Der Projektauftrag wurde erteilt, um auf Bedenken der Sozialpartner einzugehen, die befürchten, dasseinvet LSAmitanPapier und Bleistift TestsorientiertenAufgabennichtinderLagewäre,die spezifischenvorteiledesdeutschensystemsderberufsausbildungangemessenzuerfassen.vordiesemhintergrundwurdenimrahmendesprojekts KonstruktvaliditätvonSimulationsaufgaben drei Typen von Aufgaben entwickelt: Simulationsaufgaben mit einer authentischen Abbildung betrieblicher Handlungsvollzüge, anhand derer handlungsbasierte Kompetenz in betrieblichen Simulationen gemessen wurde; Aufgaben zur Erhebung verstehensbasierter Kompetenz, die sich auf Lehr und Lernprozesse in der Berufsschule aber vor dem Hintergrund betrieblicher Situationen bezogen; berufstypischearbeitsproben,diebetriebs undarbeitsplatzspezifischvondenbetriebenanzupassen waren. Der Fokus der Aufgabenentwicklung lag dabei nicht allein auf der inhaltlichen und didaktischenaufbereitungderausbildungszielevordemhintergrunddermessungberuflicherhandlungskompetenz, sondern zugleich auch auf der Entwicklung eines innovativen Testformats: die webbasierteunternehmenssimulationalusimzurmessungberufsfachlicherkompetenz.überdastestformat, das sich aus der Analyse von Arbeitsplatzbeschreibungen ableiten lässt, soll sichergestellt werden, dass berufliche Handlungen vor dem Hintergrund betrieblicher Arbeits und Geschäftsprozessevalideundreliabelgemessenwerdenkönnen,indemauthentischeArbeitsmittel,KommunikationswegeundArbeitsabläufeinihrerzeitlichenundorganisationalenStrukturzumGegenstandder Kompetenzmessungwerden. Hierfür wurden sowohl die technischen Details als auch alle beruflichen Anforderungssituationen aufgrunddetaillierteranalysenvonrealenbetrieblichenprozessenundvonvorgabenfürdieberufliche Ausbildung erarbeitet. Sie wurden in mehrfachen Durchgängen mit Experten aus Betrieben, KammernundSchulenbesprochenundabgenommen.DieAnforderungssituationensindaufSequenzenvonGeschäftsprozessen(vorallemimWertschöpfungsbereich)bezogen.SiewerdenüberVideoclips eingeführt, aus denen das zu bearbeitende Testitem hervorgeht. Die sequenzierten Anforderungssituationen sind in hohem Maße unter Hinzunahme betrieblicher ERP Software, Datenbanken sowie Office Anwendungen zu lösen, um die Vielfalt der Arbeitsmittel und produkte im kaufmännisch verwaltendenbereichzurepräsentieren. Die handlungs und verstehensbasierten Aufgaben wurden an 264 Auszubildenden im 3. Ausbildungsjahr getestet; die Arbeitsproben erhielten 120 Auszubildende. Dabei sahen sich die Betriebe überwiegendauszeitgründennichtinderlage,diearbeitsprobenbearbeitenzulassen,sodassdie Rücklaufquotesehrgeringist.VondaherstützensichdieErgebnisseaufdieAuswertungderSimulationen. Die Erhebungen fanden mit großer Zustimmung und Unterstützung aller Beteiligten statt:

9 2 Schulen,IHK,Betriebe(dabeisowohlvonSeitenderPersonal undausbildungsabteilungalsauchvon SeitenderBetriebsräte). Insgesamt bestanden die beruflichen Anforderungssituationen in den Bereichen Vertrieb, Einkauf undarbeitsvorbereitungaus60testitems,diesichaufeinkaufmännischeskompetenzmodellbeziehenlassenundfürderenauswertungaufmodellederitemresponsetheoryzurückgegriffenwurde Verfahren,wiesieindenallgemeinenPISA undtims StudienzurAnwendunggekommenundim Hinblick auf die Realisation eines international vergleichenden VET LSA von zentraler Bedeutung sind.dieergebnissebelegen,dassesmöglichist,beruflichehandlungskompetenzmiteinerausprägungvonvierkompetenzstufenzumessen.dabeisinddieergebnissefürdenbetriebsbezogenenteil der Anforderungssituationen besser ausgefallen als für den schulbezogenen (wobei es hier keine gezielteprüfungsvorbereitunggab). NachAuffassungderProjektgruppestehenvordemHintergrundderErgebnissedieserStudiefürein VET LSA auf inhaltlich didaktischer und empirischer Ebene berufstypische Anforderungssituationen undentsprechendetestitemszurverfügung,mitderenhilfediewesentlicheleistungderdeutschen dualen Berufsausbildung, nämlich die Vermittlung beruflicher Handlungskompetenz, objektiv, reliabelundvalideerfasstwerdenkann.

10 3 1 ZielsetzungdesProjekts Ausgangspunkt des Projekts waren Diskussionen, die sich auf die Feasibility Studie zum Berufsbildungs PISA bezogen (vgl. Baethge, Achtenhagen, Arends, Babic, Baethge Kinsky & Weber, 2006). ObwohldortdieBegründungenfürdieOperationalisierungdesKonzeptsberuflicherHandlungskompetenzdetailliertvorgestelltsindundzugleichgegenüberdenAnsätzeneinesEQFabgegrenztwerden, wurde von Seiten der Arbeitgeber und der Gewerkschaften die Befürchtung geäußert, dass in einemsolchenvet LSAdietypischeLeistungdesdeutschenSystemseinerDualenBerufsausbildung nicht hinreichend zur Geltung käme: die Herausbildung einer beruflichen Handlungskompetenz in den verschiedenen beruflichen Fachgebieten. Weiter: Wenn in einen solchen Vergleich Länder mit einer überwiegend schulischen beruflichen Ausbildung einbezogen würden, dann bestünde die Gefahr, dass die Jugendlichen, die ein solches Programm durchlaufen, aufgrund ihres höheren schulischen Ausbildungsanteils bei Papier und Bleistift gestützten Wissensfragen besser abschnitten als diedeutschenauszubildendenmitihremgeringerenschulischenundhöherenbetrieblichenausbildungsanteil.vondahermüsste sodertenorderschlussfolgerungen sichergestelltsein,dassdas SpezifikumderdeutschenDualenAusbildung nämlichdasbefähigenzuselbstständigenundselbstverantwortetenhandlungenamarbeitsplatz kurz:beruflichehandlungskompetenz inderaufgabenstellungundderaufgabenstruktureinesvet LSAzentralzurGeltungkäme. WederdieAuftragnehmerdiesesProjektsnochdieAutorenderMachbarkeitsstudiesehenhierein Problem;denneinselbstständigesundselbstverantwortetesHandelnamArbeitsplatzistdieZielsetzungallerBemühungenzur transitionfromschooltowork,wiesieinallenindustrienationenoben aufderbildungsagendasteht.unddiemaßnahmenimrahmenderdeutschendualenberufsausbildung leisten hierzu einen wesentlichen Beitrag. Mit unserem Projekt soll gezeigt werden, wie sich daskonstruktder beruflichenhandlungskompetenz objektiv,reliabelundvalideerfassenlässtund wiedabeidaszusammenspielvonberufsbezogenenwissens bzw.verstehens undhandlungskomponentenzuberücksichtigenist InhaltsbereicheeinesTestszurErfassungberufsfachlicherKompetenz Wir sind bei der Konstruktion der Aufgaben zur Erhebung des Konstrukts Berufliche Handlungskompetenz davonausgegangen,dasseinsystemischesverstehenvonunternehmensinternen ProzessenundeinentsprechendesHandelnindieseneinewesentlicheQualifikationsanforderungfür 1 Ein in der Diskussion um berufliche Handlungskompetenz immer wieder gehörtes Argument bezieht sich auf die Notwendigkeit einertrennungbzw.unterscheidungvonwissenundhandlungen.dieselässtsichabernichtdurchhalten;dennberuflichehandlungen,diesichnichtaufwissensbeständestützen,scheineneherkontraproduktivoder garwidersinnig(vgl.hierzudasgutachtenvonachtenhagen,2004,fürdasbmbf).

11 4 denbereichderaus undweiterbildungvonindustriekaufleutenunddamiteinezentralebedingung für die Ausformung beruflicher Handlungskompetenz darstellt. Für die angemessene Erfassung der entsprechendenkompetenzisteserforderlich,einkompetenzmodellzuentwerfen,dasimhinblick auf seine Authentizität theoretisch begründet und fachdidaktisch entsprechend ausgestaltet ist; dennnursoistesmöglich,einsystemischesverstehenvonundeinentsprechendeshandelningeschäftsprozessen als eine Basiskompetenz von Industriekaufleuten über entsprechende TeilkompetenzenzudefinierenundinGraduierungsschrittenauszubilden.DiesesKompetenzmodellhabenwir im Anschluss an die neuere Diskussion zu Fragen des Assessment und der Komptenzmessung (vgl. Pellegrino,Chudowski,&Glaser,2001;Mislevy&Riconscente,2005;Wilson,2005;2008)soentwickelt,dassesmöglichwird,diezubearbeitendenAufgabenaufdiezugrundeliegendenArbeits und LernprozessezubeziehenundzugleichAuskunftüberdiekognitivenVerarbeitungsschrittewährend des Lösungsprozesses zu gewinnen. Anders formuliert: Dieses Kompetenzmodell vereint damit die ModellierungvonAufgaben,diebetrieblicheArbeitssituationenabbildenundzugleichalsPsychometrikAussagenüberdiekognitivenAnforderungenbeiihrerBearbeitungerlauben.Damitistdietraditionelle Trennung aufgehoben, nach der zunächst versucht wurde, angemessene Testaufgaben zu konstruieren und diese dann den Probanden vorzulegen und entsprechend auszuwerten. Über die Aufgabenformulierungwirdesmöglich dasistdervorteilderitemresponse Theory,paralleldie SchwierigkeitsparameterderAufgabenunddieFähigkeitsparameterderTestpersonenzuskalieren. WiehabenwirdierelevantenInhaltsbereichegewonnenundfestgelegt? - WirwähltenuntermehrerenMöglichkeitenalsBezugspunkteinenIndustriebetriebaus,dereine mittleregrößebesitztundvonderproduktstrukturherproduktefertigt,dieeineeinfachestücklisteaufweisenundvonihrerfunktionalitäthervollverständlichsind.eshandeltsichumeinunternehmen, das Aluminiumverpackungen vor allem für Kosmetika, Getränke und Chemikalien produziert,z.b.diedosenfürnivea Creme. - IndemUnternehmenführtenwirBeobachtungenandenArbeitsplätzenfürIndustriekaufleute durch;zugleichinterviewtenwirdiemitarbeiterinnenundmitarbeiterbezüglichderhäufigkeit undschwierigkeitdervonihnenzuerledigendenaufgaben. - Die so gewonnenen Ergebnisse wurden mit der Personal und der Ausbildungsabteilung sowie mitdembetriebsratdiskutiertundaufihreangemessenheithinbeurteilt. - WirerhieltenvonAuszubildendenihrekontinuierlichauszufüllendenLernberichte,diewirebenfallsauswerteten. - Des Weiteren analysierten wir die Ausbildungsordnung für Industriekaufleute sowie AusbildungspläneverschiedenerBetriebe. - FürdenBereichderBerufsschuleanalysiertenwirdenKMK Rahmenlehrplansowieausgewählte Lehrbücher.

12 5 Auf der Grundlage dieser Analysen sowie von Entwicklungen, die am Seminar für Wirtschaftspädagogik der Georg August Universität Göttingen seit vielen Jahren vorgenommen und dabeiauchindieniedersächsischenlehrpläneundrichtlinienaufgenommenwordenwaren,konstruiertenwiraufgabenzudengebieteneinkauf,vertriebundarbeitsvorbereitung.mitdiesengebieten wird eine große Spannweite der Tätigkeiten von Industriekaufleuten abgedeckt, die es gestatten, sowohlvondertiefealsauchvonderbreitederanforderungenherdaskonstruktderberufsfachlichen Handlungskompetenz objektiv, reliabel und valide abzubilden. Für die Aufgabenentwicklung wardabeiwichtig,welcheartvongeschäftsprozessenabgebildetwerdensollten.gemäßderliteratur, aber auch aufgrund von Praxiserfahrungen spielen dabei betriebliche Wertschöpfungsprozesse eineentscheidenderolle.dieselassensichfürdiebereichedesvertriebsunddeseinkaufsgutmodellieren. Zudem lassen sich über Simulationen Handlungen erfassen, die diesen Wertschöpfungsprozessen zugrunde liegen. Neben den Wertschöpfungsprozessen finden wir im Aufgabenbereich von Industriekaufleuten auch Steuerungsprozesse; diese wurden für den Bereich der Arbeitsvorbereitung modelliert. Grundlage für diese Aufteilung war die Annahme, dass Wertschöpfungs bzw. Steuerungsprozesse eine unterschiedliche kognitive Verarbeitungsstruktur aufweisen. Aufgrund der UnterschiedeindenAnforderungendarfvermutetwerden,dassdieAuszubildendenzuihrerBewältigungaufunterschiedlicheberufsfachlicheFähigkeitenzurückzugreifenhaben. Daneben wurde versucht zu erfassen, welche verstehensbasierten Kompetenzen gegeben sind. Die entsprechenden Items sind auf die Anwendung ausgewählter betriebswirtschaftlicher Konzepte in dendreibetrieblichenbereichenbezogen;dabeiwirdangenommen,dassdieseeherinderberufsschulevermitteltwerden(dieentsprechendenitemsfindensichauchindenarbeitsproben). DieBerücksichtigungweitererLerninhalte,dieinderdeutschenAusbildungvonIndustriekaufleuten einerollespielen,erfolgteimhinblickaufdeninternationalencharakterdesvet LSAnicht:Sowohl Rechnungswesen alsauch Personalwesen weisenzuvielenationalespezifitätenauf,alsdasssie sich für einen internationalen Vergleich eigneten. Vom gewählten Ansatz der Kompetenzmessung heristaberdieberücksichtigungauchdiesergebietenichterforderlich;dennaufgrunddesgewählten Verfahrens der Item Response Theory lassen sich die entsprechenden Kompetenzen auch auf dieserbasisermitteln sofern,wasbeiunseremansatzderfallist,einegenügendhoheanzahlvon Items vorliegt (vgl. hierzu auch Walter, 2005). Für die ausgewählten Gebiete haben wir Aufgaben entwickelt,dieeinetestzeitvonvierbisfünfstundenerfordern unddamitweitüberdemlimitfür deninhaltsbezogenenteileinesvet LSAliegen.Andersformuliert:DieBreiteundTiefedervonuns entwickelten Aufgaben übertreffen quantitativ erheblich das Insgesamt an Aufgaben, wie sie im RahmeneinesVET LSAausZeit undauchausmotivationsgründenvorgegebenwerdenkönnen.mit

13 6 dieserbreiteundtiefeveranschaulichendieaufgabenaberauchinqualitativerhinsichtdiemöglichkeiteneinererfassungberuflicherhandlungskompetenz. 1.2 ValidierungderInhaltsbereiche Die Auswahl der Aufgaben sowie ihre Untergliederung wurden betrieblichen Ausbildern sowie Berufsschulexperten vorgelegt und von diesen als äußerst gelungen klassifiziert. Die gemachten, eher marginalenanmerkungenwurdenberücksichtigt. Die Aufgaben wurden so konstruiert, dass es über ihren Anforderungsgehalt möglich ist, kognitive ProzesseinnerhalbidentifizierterTeilkompetenzenzubeschreiben.Wirhabenversucht,dieentsprechendkonstruiertenAufgabenüberSimulationenrealerArbeitsprozessesoabzubilden,dasssichdie überdasdeutschesystemderberufsausbildungzuvermittelndenkompetenzenumfassendunddetailgenau d.h.inentsprechungzurbetrieblichenpraxis darstellenlassen.beidervalidilitätsprüfungunsereraufgabenwurdendiesemitexpertensowohlausderbetrieblichenalsauchderschulischenpraxisdetailliertdurchgegangen,umdieangemessenheitderabbildungbetrieblicherprozesse sowie der zur Aufgabenbearbeitung erforderlichen Unterlagen zu überprüfen. Diese Überprüfung betrafzumbeispielauchproduktkennzeichnungen,dieprodukt,kunden undlieferantenkataloge, dieangemessenheitdergrößenordnungundgrößenverhältnissederbetrieblichendatenbishinzur Angabe richtiger Postleitzahlen und Telefonvorwahlen. Mit dieser umfassenden und detailgenauen Modellierung ist zugleich sichergestellt, dass die von uns entwickelten und überprüften Aufgaben unschwerrealitätsangemessenabgewandeltwerdenkönnen;d.h.dievonunseingesetztenaufgaben sind von ihrem Typ her keine Unikate, die sich nur einmal verwenden lassen. Damit stellt sich die ReichweitedesentwickeltenAufgabenformatsalsungleichreichhaltigerdar,alszunächstfürdieses Projekt gefordert. Zugleich wurden Kommunikationsmöglichkeiten wie Fax Empfang, E Mail Bearbeitung,EintragungenindasbetrieblicheSoftwaresystemmodelliertundfürdieAufgabenbearbeitung herangezogen, wie sie in dem Musterbetrieb, an dem wir uns orientierten, aber auch in denbetrieben,ausdenendieweiterenfürdievalidierungherangezogenenexpertenstammten,im Einsatzsind.Vondaherdarfdavonausgegangenwerden,dassdieMessungdesKonstrukts berufliche Handlungskompetenz mit Hilfe der erarbeiteten Simulationsaufgaben unter Bedingungen erfolgt,wiesiefürindustriebetriebetypischundauchinderausbildungsordnungfürindustriekaufleutesowiedenentsprechendenrahmenlehrplänengefordertsind.diesesimulationenwurdenimhinblick auf ihren möglichen Einsatz in einem VET LSA entwickelt. Um zusätzlich festzustellen, wie die vonunskonstruiertenaufgabeninbetriebenbearbeitetwerden,habenwirdieseaufgabenzugleich alsarbeitsprobenformuliert(sieheanhangiii).dabeiwarenzweischwierigkeitenzuüberwinden: - dieberücksichtigungdesbetriebsspezifischeninformationssystems,

14 7 - der Umgang mit sensiblen Daten, wie sie z. B. als Preise sowohl für den Einkaufs als auch denvertriebsbereichgegebensind. Die Bearbeitung sollte von den Auszubildenden im Betrieb geleistet werden; die Ausbilder sollten ankreuzen sofernsensibledatengegebenwaren,diedergeheimhaltungunterlagen,oballearbeitsschritte(einschließlichnotwendigerberechnungen)richtigundzielführendausgeführtwurden. InwelcherWeisewirdieAufgabenpräzisiertunddieDetailelementeoperationalisierthaben,istGegenstandvonKapitel2und3.DieScoring ProblemesindinKapitel5diskutiert. EsmussbereitsandieserStellebetontwerden,dasssichwederdieAuszubildendennochdieLehrer aufunsereerhebungmitdensimulationsaufgabenvorbereitenkonnten.dieinhaltsbereichewaren zuvornichtbekannt,dasaufgabenformatentsprachbetrieblichen,jedochnichtschulischenanforderungen;eineausnahmemachendieanwendungsaufgabenimbereichderverstehensbasiertenkompetenz. 2 OperationalisierungderVariablen Bei der Operationalisierung der Variablen gehen wir von den Zielsetzungen für die berufliche Aus undweiterbildungaus,wiesieaufinternationalenworkshopsimrahmendererstellungdermachbarkeitsstudiefüreinberufsbildungs PISAeinhelligfürsinnvollgehaltenundalsnotwendigfestgelegt wurden. Danach lassen sich auf der Systemebene drei zentrale Zieldimensionen definieren, denen Ausbildungssysteme sich stellen müssen und die dementsprechend auch den Bezugspunkt für die DefinitionberuflicherHandlungskompetenzbilden,wiesieinderBerufsbildungzuvermittelnist(vgl. Baethgeetal.,2006,S.13ff): (1) Die Entwicklung der individuellen beruflichen Regulationsfähigkeit unter einer individuellennutzerperspektiveunddemzentralenaspektderpersonalenautonomie; (2) diesicherungderhumanressourceneinergesellschaftund (3) diegewährleistunggesellschaftlicherteilhabeundchancengleichheit. DieseFestlegungistwichtig,weildamiteinFitmachenfürdieAnforderungeneinesspezifischenArbeitsplatzesalleinnichtalsZielberuflicherAusbildungangesehenwird.DieserHinweisistvorallem imhinblickaufansätzeinanderenindustrieländernvonbedeutung.indermachbarkeitsstudiewurdendiesegenerellenzielsetzungenweiterimhinblickaufeinenplanfürdiemessungberufsübergreifenderundberufsfachlicherkompetenzenausgearbeitet(vgl.baethgeetal.,2006,s.52).dabeiwurdennebenderselbstkompetenz alschiffrefürpersönlichkeitsentwicklungnichtnurimkognitiven, sondernauchimemotionalen,motivationalenundmoralischenbereich(vgl.hierzuwinther,2006) auchsach,methoden undsozialkompetenzherausgestellt,diemitihrempraxisbezugdaskonzept

15 8 derberuflichenhandlungskompetenzbestimmen.entscheidendistdabei,dassdiebedeutungderfür diebewältigungberuflicheranforderungssituationenerforderlichenkognitivenressourcenderauszubildendenhervorgehobenwird;dennohneentsprechendewissensbeständeundfähigkeitsstrukturenwirdhandelnzumwuseln.dasbetrifftauchdiesozialkompetenz:wiedervolksmundschon sagt: Manmusssichzubenehmenwissen! InderMachbarkeitsstudieistdeutlichgemacht,dassesnotwendigist,fürdieErfassungvonberufli 2.1 AuthentizitätdesTestformats chersach undmethodenkompetenzkomplexeaufgabeneinzusetzen.dieentwicklungundevaluati onsolcheraufgabenwarzieldiesesprojekts. WiehabenwirunsdieserZielsetzunggenähert? EsmusstensimultanzweiAufgabensträngebewältigtwerden: - Zum einen die Entwicklung der Testaufgaben auf Basis kognitiver und psychometrischer Modellsetzungen; - zumanderendiepermanentesicherstellung,dassdastestformatals authentisch gelten kann(vgl.hierzuachtenhagen,2001;achtenhagen&weber,2003). DiefolgendenAusführungenverdeutlichen,wieversuchtwurde,einegrößtmöglicheNähezurberuflichenAusbildungsrealitätzuwahren.ImVorgriffkannbereitshierdaraufhingewiesenwerden,dass berufliche Handlungskompetenz immer im Hinblick auf eine berufstypische Aufgabenbewältigung definiertistundentsprechendauchindenzwischen undabschlussprüfungenzuermittelnversucht wird;dennohnedieannahmedes Berufstypischen machteeskeinensinn,dieverbändeunddie KammernalskoordinierendeInstitutioneneinzuschalten.DerausschließlicheRückgriffunddiedamit verbundeneeinschränkungaufarbeitsplatz undbetriebsspezifischeanforderungenwürdegegendie übergeordnetenzielederberufsbildungverstoßen:nichtnurimsinneeinerbereitstellungvonausreichenden Humanressourcen für die Gesellschaft, sondern auch im Sinne einer breit angelegten Persönlichkeitsentwicklung.VondaherwarenunsereAktivitätenbeiderFormulierungderTestinhaltedaraufbezogen,dieUrteilevonFachleuteneinzuholen,diesichsowohlaufdenErfolgamArbeitsplatz alserbringungderarbeitsleistung alsauchaufdenerfolgderausbildungsbemühungenzur ErmöglichungdesErfolgsamArbeitsplatzbezogen.Andersformuliert:FürdengesamtenProzessder Testentwicklung haben wir auf betriebliche und schulische Expertisen zurückgegriffen, mit deren Hilfe wir sicherstellten, dass unsere Vorschläge den berufstypischen Anforderungen an kaufmännischenarbeitsplätzenentsprechen.

16 9 InderneuerenLerntheorie,vorallemimBereichdes SituatedLearning (vgl.resnick,1987),wird daraufverwiesen,dassesdaraufankomme,lernprozessezufavorisieren, wiesieimlebenzufindensind.dabeiwirddemlerneninderarbeitsweltperse Authentizität zugesprochen(vgl.achtenhagen,&weber,2003,s.187).willmandiesemkriteriumgerechtwerden unddastrifftauch aufdieinunseremprojektvorgenommeneaufgabenentwicklungzu,danngiltes,die - ModellierungsprozessefürLern undarbeitsbedingungensowiedas - Authentizitätsparadox zu berücksichtigen. Eine entscheidende Einsicht, die aus der Kritik an der Situated Learning Bewegung resultiert, ist es, dass Authentizität nicht per se existiert, sondern jeweils inszeniert werdenmuss.wenn beruflichehandlungskompetenz gemessenwerdensoll,dannsinddiesituationen,indenensiezuzeigenist,zumodellieren.aka Tests,Klassenarbeiten,aberauchbetriebliche Arbeitsprobengehendavonaus,dassdiezuzeigendenLeistungensichaufberufstypischeSituationen bzw. Handlungen beziehen; denn es wäre nicht möglich, jeweils situationsgebunden betriebsspezifisch und arbeitsplatzspezifisch Aufgaben zu formulieren. Anders herum gilt aber ebenfalls: Auch Arbeitsproben,dieimBetriebzuerledigensind,treffennichtübergreifendeinearbeitsplatztypische Situation, wie sie in der Arbeitsprobe vorausgesetzt wird. Die jeweilige Arbeitsprobe ist dann einer Situationanzupassen,diesichinihrerSpezifitätaufbestimmteKundenoderLieferanten,aufPreise sowie Lieferkonditionen im gerade aktuellen Fall beziehen muss. Anderenfalls ist die Situation unterdemversuchderwahrungihrer Authentizität gesondertzukonstruieren.inrückmeldungen von Betrieben, die sich mit den ihnen von uns geschickten Arbeitsproben auseinandergesetzt haben,wurdegenaudiesersachverhaltherausgestellt. Was ist unter Authentizität in diesem Zusammenhang zu verstehen? Ein Blick in die Literatur zeigt, dass dieser Begriff eher schlagwortartig gebraucht und nicht im Hinblick auf empirische Forschungsvorhaben hin formuliert und operationalisiert wird (vgl. ausführlich hierzu Achtenhagen, & Weber, 2003). Doyle (2000) hat verschiedene Ansätze zur Bestimmung und Realisierung von Authentizität einertiefgreifendenkritikunterzogen,wobeierinsbesonderedieversuchedercognition & Technology Group at Vanderbilt kritisiert, die durch die Jasper Woodbury Serie weltweit die DiskussionumdasSituatedLearningdominierthat.Erschlägtvor,dieProblematikindreiDimensionenzudiskutieren: (a) Lernerbezogene Authentizität: Hier geht es um das Anknüpfen an das Vorwissen und die spontaneninteressenderlernenden. (b) Fach und inhaltsbezogene Authentizität: Hier handelt es sich um reale Daten, Instrumente und Operationen einer Fachdisziplin, wie sie im Curriculum repräsentiert sind; ermöglicht werdensolleinforschendeslernenmitrealengegenständen.

17 10 (c) Situationsbezogene Authentizität: Hier ist die Partizipation in realen Situationen einer CommunityofPractice angesprochen,d.h.esgehtumeinlernen,mitdemeineenkulturationineineexpertenkulturangestrebtwird. Diese Aufteilung nach drei Dimensionen lässt sich auf die Forderung nach Erfassung beruflicher Handlungskompetenzbeziehen:InAbhängigkeitvondenpersonalenVoraussetzungenunterBerücksichtigungderVorgabenvonAusbildungsordnung,AusbildungsplanundRahmenlehrplangehtesum dashineinwachsenindieanforderungendesjeweiligenarbeitsplatzes.hierwirdsehrdeutlich,worin die Vorteile des deutschen Systems der Dualen Berufsausbildung liegen: in der systematischen Unterfütterung der fallbezogenen Erfahrungen am jeweiligen Arbeitsplatz. An dieser Stelle ist auch diebedeutungeinerkritischenbetrachtungdesauthentizitäts Problemsgegeben:Eswärenaivanzunehmen,dassberuflicheHandlungskompetenzalleinauseinernaturwüchsigenErfahrungamArbeitsplatzentstünde;eskommtvielmehrdaraufan,dieAuthentizitätderLernerfahrungzuinszenieren,umdenLernerfolgsystematischzusichern.AuchimDualenSystemistdie Realität derberufserfahrungnichtvonalleingegeben;siemussvermitteltwerden.dasparadoxdabeiist unddaswird inderpolitischendiskussionoftüberspielt,dass Authentizität vermitteltwird,umunvermitteltheitzudemonstrieren(hieristanpolitikerinterviewsanzuknüpfen,diez.b.imfernsehenmitihrer Spontaneität zuvorimdetailexaktinszeniertsind). Realität wirderstüberübersetzungsleistungenerschlossen. Alle AKA Aufgaben, alle Klassenarbeitsaufgaben in der Berufsschule stellen im Hinblick auf die Authentizität der Realitätsabbildung Inszenierungen dar. Ein Beispiel: Die AKA Aufgaben für Industriekaufleute, die aus Geschäftsprozessen heraus entwickelt sind, benötigen eine Reihe von Beschreibungen,diehelfensollen,dieSituationen,aufdiesichdieAufgabenbeziehen,zuverdeutlichen.So umfassendieaka Aufgaben2008fürIndustriekaufleuteimBereichGeschäftsprozesse20Druckseiten. 2.2 InszenierungvonAuthentizität Im Folgenden soll der Prozess systematisch verdeutlicht werden, mit dem für unser Projekt die InszenierungvonAuthentizitäterfolgtist.Dabeigehtesdarum,wierealebetrieblicheSituationenso aufbereitet ( inszeniert ) werden können bzw. sollten, dass sie eine intendierte Botschaft transportierenunddamiteinebestimmte Wirkung erzielen.alsinstrumentderinszenierungwirdhier dieneopragmatischemodellbildungnachstachowiak(1973;1980)vorgeschlagen(vgl.auchachtenhagen et al., 1992). Dabei erfolgt die Modellierung unter einer curricularen, fachdidaktischen Perspektive durchaus im Sinne Doyles: curriculum is not the content, but an interpretation of the content (2000,p.4).BeiderModellierungistderWegvonder Realität zumaufgabenpoolinmeh

18 11 rerenschrittenzurückzulegen(abbildung2.1).stachowiak(1973)unterscheidetdreihauptmerkmale von Modellen: Das Abbildungsmerkmal, das Verkürzungsmerkmal und das pragmatische Merkmal. DasAbbildungsmerkmalverdeutlicht,dassModelleAbbildungenbzw.Repräsentationennatürlicher oderkünstlicheroriginalesind,dieselbstwiederoriginaleseinkönnen.damodellenichtallemerkmaledesrepräsentiertenoriginalserfassen,istdasverkürzungsmerkmalgegeben.daspragmatische Merkmal weist darauf hin, dass Modelle stets unter einer bestimmten Zielsetzung konstruiert werden.dabeigiltfürdiemodellbildunginsgesamt,dasssowohlmerkmaleweggelassen(präteriert)als auch hinzugefügt (abundant) werden. Die entsprechenden Prozesse lassen sich unter dem Frageschema Wozu,fürwen,wannundwovon näherbestimmen(stachowiak,1980,s.29). Abbildung2.1 ModellierungsschrittebeiderOperationalisierungvonAuthentizität AnhanddiesesFrageschemaswerdenimFolgendendieÜbergängezwischendemOriginalundden verschiedenen Modellierungsstufen veranschaulicht. Eine Bemerkung ist notwendig: Die Beziehung zwischen Kontext, Inhalt und Design eines Tests wird in modernen Assessmentmodellen auf Basis kognitiver Theorien und weniger unter der von Stachowiak vertretenen modelltheoretischen Perspektivehergestellt(Mislevy,2007;Wilson,2008).StachowiakhatseinModellabstraktohnejeden Inhaltsbezug formuliert. Es kann jedoch veranschaulichen, dass Inszenierung von Authentizität im Hinblick auf die Konstruktion einer betrieblichen Unternehmenssimulation Modellierungsschritte voraussetzt,diedievorstellungenvonrealitätübersetzen.erstaufbasisdieserübersetzungsleistung können betriebliche Arbeits und Geschäftsprozesse für Testaufgaben aufbereitet werden. Genau dieserteildertestkonstruktiongerätinderinternationalenliteraturzukurz,wiedasinsbesondere diearbeitenzurproblematikder Misconceptions zeigen. Ausgangspunkt der Konstruktion einer betrieblichen Unternehmenssimulation als Testformat für berufsfachliche Kompetenz war die Novelis Deutschland GmbH Werk Göttingen, deren reale Arbeits undgeschäftsprozesseso authentisch wiemöglichabzubildenwaren.folgtmandemfrageschema,solassensichineinemerstenzugriffdiefolgendenantwortengeben:

19 12 - Wozu? EsgehtumdieFrage,wiesichberuflicheAnforderungssituationenvonangehenden Industriekaufleuten,wiesieinderAusbildungsordnung,imAusbildungsplanundimRahmenlehrplanbeschriebenist,objektiv,reliabelundvalideabbildenlassen. - Fürwen? InvolviertsindangehendeIndustriekaufleute. - Wann? DieAuszubildendenbefindensichimzweitenbzw.drittenAusbildungsjahr. - Wovon? Die Modellierung dient dem Zweck, ausgewählte Geschäftsprozesse als Wertschöpfungs bzw.steuerungsprozesseimwerkgöttingendernovelisgmbhabzubilden.diese Geschäftsprozesse sollten eine Struktur aufweisen, die es möglich macht, Items zu konstruieren,mitderenhilfehandlungsbasiertekompetenzgemessenwerdenkann. - Wie sind wir vorgegangen? Eine Vorbemerkung ist nötig: Aufgrund der Abstimmung der Ausbildungsrichtlinien im internationalen Vergleich erfolgte eine Beschränkung der Aufgabenentwicklung auf die Bereiche Vertrieb, Einkauf und Arbeitsvorbereitung. Sowohl Personalfragen als auch Probleme des Rechnungswesens, die im deutschen Ausbildungsplan enthalten sind, bleiben wegen der nur schwierig möglichen internationalen Vergleichbarkeit ausgeklammert.fürdieerfassungberuflicherhandlungskompetenzkanndiesersachverhalt vernachlässigtwerden,damitderentwickeltenaufgabenstrukturdieentsprechendendispositionenadäquatgemessenwerdenkönnen(vgl.kapitel5). Schritt1:VomOriginalzumModell1 FürdieBereicheVertrieb,EinkaufundArbeitsvorbereitungwurdentypischeArbeitssituationenherausgegriffen,soz.B.fürdenVertriebderEingangeinerBestellungperFax. DieseSituationwurdeeinmalidealtypischgemäßdenAusführungeninderAusbildungsordnung,im Ausbildungsplan, im Rahmenlehrplan, in den Lehrberichten von Auszubildenden sowie in den einschlägigenlehrwerkenbeschrieben.danachwurdediebearbeitungdieseraufgabedurcheinenindustriekaufmann an dessen Arbeitsplatz beobachtet und festgehalten. Die zusammengestellten Informationen wurden abgeglichen. Aus diesen Aufzeichnungen wurde ein Interviewleitfaden erstellt (sieheanlageii),deralsrichtliniefürdiedurchführungvoninterviewsvorortdiente.indieseninterviews wurden das Insgesamtvorgehen bei der Bearbeitung sowie weitere Details abgeklärt, die sichausdenvorgabenfürdieausbildungunddenbeobachtungenimbetriebergaben,z.b.:gibtes einegenerellevereinbarungüberdasrechtaufprobezukaufen?wannwirdineinemsolchenfall dierechnungerstelltundzugeschickt?welcheformularekommenzumeinsatz?wiefindenbriefe, FaxundE Mail NachrichtenimVerhältniszueinanderVerwendung? Auf der Grundlage dieser Insgesamtinformationen erfolgte die Ausformulierung von Modell 1 im Hinblick auf den Eingang einer Bestellung per Fax und den Umgang damit. Diese Ausformulierung

20 13 beinhaltet z. B. die Präzisierung der Ausgangsfrage: Bestellung per Fax aufgrund eines Warenkatalogs; Behandlung von Problemen aufgrund einer Produktionsverzögerung bis hin zu Folgen der Korrektur einer Versandmitteilung. Festgehalten wurden dabei die implizierten, erforderlichen Arbeitsschritte,diebenötigtenArbeitsmittelundDokumenteunddiejeweiligenArbeitsergebnissewie die Erfassung der Bestellung im ERP System, die Erstellung der Auftragsbestätigung, das Schreiben zur Benachrichtigung des Kunden über Produktionsprobleme, die Erstellung einer Rechnung. Diese Modellbeschreibung wurde mit den Angestellten, dem Abteilungsleiter, dem Personalverantwortlichen,derAusbildungsleiterinsowiedemBetriebsratdurchgesprochen.NachZustimmungallerBeteiligtenwurdedieModellbildungfürdiesenAufgabenbereichalsgelungenangesehen.Analogwurden alleandereneinbezogenenteilbereicheabgenommen. Schritt2:VomModell1zumModell2 ImnächstenOperationalisierungsschrittgingesdarum,dieseBeschreibungendesOriginals,d.h.der realenarbeitssituationenundderinihnenauszuführendenhandlungen,fachdidaktischaufzubereiten.primärwareshiernötig,daszuranwendungkommendemessmodellauszuformulierenundzu begründen.dabeigingesvorallemumdiefragenderdimensionenderberufsfachlichenhandlungskompetenzsowiederkomplexitätsstufen,d.h.desanforderungsgrades.dieaufbereitunghattedabeisozuerfolgen,dasseineanwendungvonverfahrenderitemresponsetheorymöglichwurde,d. h. der Verfahren, die auch in den allgemeinen PISA Studien zum Einsatz kamen. Damit lassen sich Fähigkeitsparameter der Auszubildenden in Relation zu den Schwierigkeitsparametern der Items skalieren. ZieldieseszweitenSchrittesistdieFormulierungeinesModell2alsKompetenzstrukturmodell.Dabei istdaraufzuachten, - dassberufsfachlichekompetenzenüberdieaufgabenerfasstwerden, - dasssowohlhöherealsauchgeringereanforderungenüberdieaufgabenrepräsentiertwerden, - dassdieitemsgutzwischendenbefragtenauszubildendendifferenzierenund - dassdamitunterschiedlichefähigkeitsstrukturenabbildbarwerden. DerErkenntnisgewinnfürdieAusbildungimkaufmännisch verwaltendenbereichliegtdarin,dassdie für eine Erfassung berufsfachlicher Kompetenz notwendigen jeweiligen Handlungssequenzen bestimmt und hinsichtlich der zu ihrer Bewältigung erforderlichen Personenparameter geschätzt werdenkönnen.dasisteineunabdingbarevoraussetzungfüreineweiteredetailliertebeschreibungvon Anforderungssituationen und von den zur Bewältigung dieser Situationen notwendigen Kompetenzen. Als ausführliche theoretische Begründung siehe auch den Entwurf eines Kompetenzstruktur