Welche Möglichkeiten bieten webbasierte Unternehmenssimulationen für die zukünftige Kompetenzmessung in kaufmännischen Berufen? Frank Achtenhagen 5.

Transkript

1 Welche Möglichkeiten bieten webbasierte Unternehmenssimulationen für die zukünftige Kompetenzmessung in kaufmännischen Berufen? Frank Achtenhagen 5. IG Metall-Tagung für Bildungspersonal Berlin, 10. Juni 2010 Foto: Gisa Kirschmann-Schröder, 2008

2 Ein großer Teil der Forschung wurde zusammen mit Prof. Dr. Esther Winther, Universität Paderborn, durchgeführt. Foto: Gisa Kirschmann-Schröder, 2008

3 Webbasierte Kompetenzmessung (1)Kompetenzmessung im kaufmännischen Bereich: national international (2)Innovative Testverfahren und Modellierungen von berufsfachlicher Kompetenz am Beispiel der Ausbildung von Industriekaufleuten (3)Entwicklung, Einsatz und Evaluation einer webbasierten Computersimulation (4)Einige Schlussfolgerungen

4 Problem des Kompetenzkonzepts: Kompetenz: * viel gebrauchtes Schlagwort * Wechsel von der Input- zur Output-/ Outcome- Perspektive Versuch, das Kompetenzkonzept im Rahmen eines Berufsbildungs-PISA (VET-LSA) für den kaufmännischen Bereich zu operationalisieren.

5 Zielsetzungen und Fragestellungen eines VET-LSA: Allgemeine Zielsetzungen Messen, welche Kompetenzen junge Menschen in ihrer beruflichen Ausbildung in den verschiedenen Ländern erwerben konnten, und wie man die Messergebnisse mit den mikro- und makrostrukturellen Bedingungen, unter denen die Kompetenzen erworben, genutzt und verwertet werden, verknüpfen kann. Klärung der Zusammenhänge zwischen in Ausbildung erworbenen Kompetenzen und Arbeits- und Arbeitsmarkteffekten für Individuen und Unternehmen (Baethge, Achtenhagen, Arends, Babic, Baethge-Kinsky, & Weber, 2006).

6 Vorarbeiten zur Realisierung eines VET-LSA: Feasibility-Study zu Zielen und Inhalten der Berufsbildung in acht Ländern in vier Berufsfeldern (Baethge & Arends, 2009): Carmechatronics (Schelten & Müller, 2009) Electricians (Nickolaus & Geißel, 2009) Business and Administration (Breuer, Hillen, & Winther, 2009) Social and Health Care (Bals & Wittmann, 2009)

7 Realisierbarkeit eines VET-LSA Feasibility-Study zu Zielen und Inhalten der Berufsbildung am Beispiel des kaufmännischverwaltenden Bereichs (Breuer, Hillen, & Winther, 2009)

8 Anlage der Studie (I) Teilnehmende Länder (Business and Administration): Österreich (n = 12) Finnland (n = 9) Schweiz(n = 6) Deutschland (n = 7) Slowenien (n = 28) Dänemark (n = 8) Datenerhebung: Expertenratings im Rahmen internationaler und nationaler Workshops auf Basis eines einheitlichen bereichsspezifischen Research Tool Datenauswertung: Nationale Ebene sowie internationaler Vergleich

9 Anlage der Studie (II) Benchmarking: Bis zum heutigen Zeitpunkt keine inhaltlich validen Konzepte, jedoch Best Practice -Ansätze (Mueller,2008; Baethge, Arends, & Winther, 2008): ISCED (UNESCO, 2006): EQF (European Commission, 2008) ISCO (International Labour Organization, 2008) O*NET (U.S. Department of Labor, Employment and Training Administration, 2006)

10 Internationale Einigung: Berufliche Tätigkeiten Berufliche Tätigkeiten auf Basis der O*NET- Database: Occupational tasks (9) Analyze / monitor sales records, trends and economic conditions Research / evaluate suppliers Respond to customer / supplier inquiries about order status, changes, cancellations Set up cost monitoring and reporting systems / procedures Review files, records, other documents to obtain information to respond to requests Prepare invoices, reports, memos, letters, financial statements, other documents + drei weitere ausgewählte berufliche Tätigkeiten

11 Kaufmännische Tätigkeiten Mittelwerte der Länder

12 Kaufmännische Tätigkeiten Mittlere absolute Abweichung zwischen den Ländern

13 Ergebnisse des internationalen Vergleichs: Berufliche Tätigkeiten hohe internationale Konkordanz (Kendall s W = 0,6309 Drei berufliche Tätigkeiten mit hoher Bedeutung in allen Ländern (Items 3, 5 und 6): Bearbeitung von Kunden-/Lieferantenanfragen und -aufträgen Analyse von spezifischen Dokumenten der Auftragsabwicklung Erstellen spezifischer Dokumente für die Auftragsabwicklung Eine berufliche Tätigkeit mit großer Abweichung zwischen den Ländern und signifikant geringerer Bedeutung (Item 4): Zusammenstellung von Kosten / Kostenanalyse und Reporting (Mean = 2,3; Mean absolut deviation = 0,9; Min(Austria) = 1,0; Max(Slovenia) = 3,7)

14 Schlussfolgerungen Konzept der tätigkeitsspezifischen Validität Für den kaufmännischen Bereich der Feasibility Study hat sich gezeigt, dass für alle Länder die Frage der Geschäftsprozesse und dabei vor allem der Wertschöpfungsbereich mit Einkauf und Vertrieb zentral ist. Fragen des Rechnungswesens und des Personals sind dagegen wegen der rechtlichen Spezialfragen für den internationalen Vergleich von nachgeordneter Bedeutung.

15 Webbasierte Kompetenzmessung (1)Kompetenzmessung im kaufmännischen Bereich: national international (2)Innovative Testverfahren und Modellierungen von berufsfachlicher Kompetenz am Beispiel der Ausbildung von Industriekaufleuten (3)Entwicklung, Einsatz und Evaluation einer webbasierten Computersimulation (4)Einige Schlussfolgerungen

16 Vorarbeiten zur Realisierung eines VET-LSA Zwei Studien zur Umsetzung innovativer Testverfahren und der Modellierung berufsfachlicher Kompetenz: - Die Validität von Simulationsaufgaben am Beispiel der Diagnosekompetenz von Kfz- Mechatronikern (Nickolaus, Gschwendtner & Abele, 2009) - Konstruktvalidität von Simulationsaufgaben: Computergestützte Messung berufsfachlicher Kompetenz am Beispiel der Ausbildung von Industriekaufleuten (Achtenhagen & Winther, 2009)

17 Ausgangsfragen der Studie: * Wie lässt sich das Konstrukt berufsfachliche Kompetenz in eine messbare Form übersetzen? * Lassen sich für den kaufmännisch-verwaltenden Bereich Aufgabenformate entwickeln, mit deren Hilfe das Konstrukt berufsfachliche Kompetenz objektiv, reliabel und valide erfasst werden kann? * Lässt sich die Messung webbasiert durchführen?

18 Konzept: Berufsfachliche Kompetenz Systemisches Verständnis von unternehmerischen Prozessen und ein entsprechendes selbstständiges und selbstverantwortetes Handeln in diesen Prozessen

19 Messung des Konzepts Erfassung der entsprechenden Kompetenz durch ein * theoretisch begründetes und * fachdidaktisch ausgearbeitetes Kompetenzmodell

20 Theoretisches Modell

21 Fokus des Projektes: Erfassung domänenspezifischer Kompetenz mittels des Konstrukts berufsfachlicher Kompetenz: * systemisches Verstehen von Arbeits- und Geschäftsprozessen (verstehensbasierte Kompetenz) und * entsprechendes selbständiges und selbstverantwortetes Handeln in diesen Prozessen (handlungsbasierte Kompetenz)

22 Berufliche Handlungskompetenz: Wo bleiben Sach-, Methoden- und Selbstkompetenz (Konzept der beruflichen Handlungskompetenz)? Fokus der Messung: Umgang mit betriebswirtschaftlichen Konzepten und unternehmensinternen Prozessen (Sach-/ Fachkompetenz; betriebliche Wertschöpfungs- und Steuerungsprozesse) Implizit enthalten: Umgang mit technischer Ausstattung (Methodenkompetenz; Unternehmenssoftware, Datenbanken, Büroanwendungen wie Textverarbeitung und Tabellenkalkulation) Implizit enthalten und durch standardisierte Testinventare zu ergänzen: berufliche Einstellung (Sozialkompetenz: z. B. Höflichkeit und Professionalität in Kunden-/Lieferantenbeziehungen) sowie motivationale und volitionale Ressourcen (Selbstkompetenz)

23 Übersetzung in Simulationsaufgaben: Modellierung von Aufgaben, die betriebliche Arbeitssituationen abbilden und zugleich als Psychometrik Aussagen über die kognitiven Anforderungen in Graduierungsschritten - bei ihrer Bearbeitung erlauben.

24 Übersetzung in Simulationsaufgaben: Aufgaben sind bezogen auf Anforderungen in betrieblichen Wertschöpfungsprozessen (national wie international): Beschaffungsprozesse Vertriebsprozesse sowie auf Anforderungen in betrieblichen Steuerungsprozessen: Arbeitsvorbereitung (insbesondere Maschinenstundensatzkalkulation)

25 Grundlagen der Kompetenzmessung Aufgaben sind bezogen auf * reale Arbeitssituationen (z. B. Verhandlungen, Arbeitsverteilung in der Interaktion) * reale Geschäftsprozesse in ihrer Sequenzierung (z. B. konkrete Abwicklung einer Bestellung) * reale kaufmännische Entscheidungen (z. B. Ermittlung eines Liefertermins)

26 Grundlagen der Kompetenzmessung Wie sollten die Aufgaben angelegt werden im Hinblick auf betriebsspezifische und berufstypische Anforderungen?

27 Betriebsspezifische Prüfung (als Idealtypik) Messung erfolgt im jeweiligen Betrieb, an den jeweiligen Arbeitsplätzen Vorteil: => Feststellung des Leistungsvermögens in der jeweiligen Arbeitssituation

28 Betriebsspezifische Prüfung (als Idealtypik) Probleme: Wie viele betriebsspezifische Situationen müssen ausgewählt werden? Wie lassen sich für wichtig angesehene Arbeitssituationen zum Prüfungszeitpunkt bereitstellen oder muss sich der Prüfungszeitpunkt nach dem jeweiligen Arbeitsanfall richten? Wie wird im Hinblick auf eine Vergleichbarkeit der Prüfung das Anforderungsniveau der Arbeitssituationen bestimmt?

29 Betriebsspezifische Prüfung (als Idealtypik) Grundsätzliche Problematik: Abstimmung der Betriebsspezifik im Hinblick auf die Berufstypik Überwachung betriebsspezifischer Prüfungen (externe Beobachter; justitiabel; Zeit; Geld) Ausschaltung von Hilfen Betriebsgeheimnisse (Gestaltung von Preis- und Lieferbedingungen) Unterschiedliche ERP-Systeme Aussagekraft der Prüfung im Hinblick auf einen Betriebswechsel

30 Betriebsspezifische Prüfung (als Idealtypik) Konsequenz: => Wahl berufstypischer anstelle betriebsspezifischer Leistungsfeststellungen => Bedeutung des Konstrukts der Authentizität

31 Was heißt Realität bei beruflichen Prüfungen? Es geht darum, über geeignete authentische Simulationen betriebsspezifischer Aufgaben berufstypische Aufgabenformate zu entwerfen.

32 Konstruktvalidität von Simulationsaufgaben Erfassung der Betriebsspezifik der Aufgaben: * amtliche Vorgaben; Lernmaterialien * Beobachtungen an Arbeitsplätzen * Auswertung von Berichtsheften * Gespräche mit Angestellten, Vertretern der Fach- und Personalabteilungen, Betriebsräten, Schulleitern, Fachleitern

33 Konstruktvalidität von Simulationsaufgaben Berufstypische Aufbereitung der betriebsspezifischen Aufgaben: * Gespräche mit Schulleitern, Fachleitern * Gespräche mit betrieblichen Ausbildern * Gespräche mit Vertretern der AkA und von Industrie- und Handelskammern * Kooperation mit Wissenschaftlern mit fachdidaktischer und psychometrischer Expertise

34 Webbasierte Kompetenzmessung (1)Kompetenzmessung im kaufmännischen Bereich: national international (2)Innovative Testverfahren und Modellierungen von berufsfachlicher Kompetenz am Beispiel der Ausbildung von Industriekaufleuten (3)Entwicklung, Einsatz und Evaluation einer webbasierten Computersimulation (4)Einige Schlussfolgerungen

35 Konstruktvalidität von Simulationsaufgaben Entwicklung, Einsatz und Evaluation von webbasierten Computersimulationen zur Erfassung von handlungsbasierter und verstehensbasierter Kompetenz -> ALUSIM: * 3 betriebliche Bereiche * 14 Videos zur Aufgabenpräsentation * umfangreicher Datenkranz * externe/interne Kommunikation

36 Grundlagen der Kompetenzmessung Anforderungssituationen: Simulationen mit einer authentischen Abbildung betrieblicher Handlungsvollzüge (-> handlungsbasierte Kompetenz) Aufgaben zur Erhebung ->verstehensbasierter Kompetenz vor dem Hintergrund betrieblicher Situationen

37

38 Grundlagen der Aufgabenentwicklung Web-basierte Unternehmenssimulation ALUSIM zur Messung berufsfachlicher Kompetenz: ** authentische Arbeitsmittel (überwiegend Computer) ** authentische Kommunikationsmittel (überwiegend computerbasiert) ** authentische Arbeitsabläufe (computerbasierte ERP-Systeme)

39 ALUSIM Videoclips Auslösende Ereignisse (z. B. Fax-Eingang) Bearbeitung der Aufgaben: Eingabe in ERP-System Prüfung von Daten Reaktion auf / Veränderung von Daten Zusammenstellung von Daten aus Dateien Entscheidung

40 Webbasierte Durchführung ALUSIM: * Über das Web auf die individuellen Computer der Auszubildenden im EDV-Raum der kaufmännischen Schulen gespielt. * Aufgaben auf dem Schulcomputer bearbeitet. * Antworten über Web an die Projektleitung geschickt.

41

42

43

44

45

46

47

48 Produktionsplanung ---> Maschinenbelegung ---> Fließbandpresse ---> Aluminiumkartuschen / Artikel-Nr. 23 Datei Kapazitäten Belegung Planungsablauf Sichten Gesamtsicht Extras Hilfe Gesamtsicht Tag Fließdruck AK AK AK AK AK AK AK AK650 Produktions-Cockpit Versandzeiten Produkt Auftragsnummer Start Ende Versandfertig AK AK AK AK AK AK AK AK a l u s i m

49 Produktionsplanung ---> Maschinenbelegung ---> Fließbandpresse ---> Aluminiumkartuschen / Artikel-Nr. 23 Datei Kapazitäten Belegung Planungsablauf Sichten Gesamtsicht Extras Hilfe Gesamtsicht Tag Fließdruck AK AK AK AK AK AK AK AK650 Produktions-Cockpit Gebiet: Inland Versandzeiten Lieferart: Spedition 0025 Versandzeiten in Tagen max. 3 Tage EU West Spedition 1045 max. 5 Tage EU Ost Spedition 1045 max. 3 Tage Nordamerika Spedition 2245 max. 12 Tage Asien Spedition 3545 auf Anfrage a l u s i m

50

51 Computerbasierte Aufgaben Dauer: ca. 4 Stunden Testzeit Erweiterbar: Großer Datenkranz Einkauf/Vertrieb: Sequenzen vollständiger Geschäftsvorfälle (einschließlich eingebauter Störungen ) Arbeitsvorbereitung: Maschinenstundensatz

52 Anlage der Studie Sample: 264 Auszubildende im Ausbildungsberuf Industriekaufmann/Industriekauffrau (3. Ausbildungsjahr, sieben Berufsschulen, 61 Betriebe, vier Bundesländer) Geschlecht: 56,5 % weiblich Altersstruktur: 83,4 % im Alter zwischen 20 und 23 (Min=18, Max=34) Vorbildung: 43,1 % allgemeine Hochschulreife, 40,5 % Fachhochschulreife, 10,7 % Sekundarabschluss I Betriebsgrößen: 6,1 % bis 50 Beschäftigte, 38,2 % bis 500 Beschäftigte, 27,1 % bis 2500 Beschäftigte und 24,8 % mehr als 2500 Beschäftigte Branchen (Auswahl): 19,9 % Metallverarbeitung, 10,8 % Chemie, 10,1 % Holzverarbeitung

53 Theoretische Annahmen zweier Fähigkeitsstrukturen: Für die Bearbeitung von drei domänenspezifischen Geschäftsvorfällen werden zwei Fähigkeitsstrukturen angenommen: handlungsbasierte Kompetenz und verstehensbasierte Kompetenz

54 Anwendung der Item Response Theory

55 Theoretische Annahmen zu Itemschwierigkeiten

56 Anwendung der Item Response Theory Kompetenzstufe Stufenschwelle der Kompetenzbereiche Anteil der Auszubildenden auf den Stufen der handlungsbasierten Kompetenz (in %) Anteil der Auszubildenden auf den Stufen der verstehensbasierten Kompetenz (in %) unter Kompetenzstufe 1 1,479 3,10 35,50 Kompetenzstufe 1: kaufmännisches Grund und Regelwissen Kompetenzstufe 2: kaufmännisches Handlungswissen 0,723 19,50 42,70 0,117 52,60 21,40 Kompetenzstufe 3: kaufmännisches Analysewissen Kompetenzstufe 4: kaufmännisches Entscheidungswissen 1,410 22,50 0,40 3,538 2,30

57 Klassenmittelwerte: Handlungsbasiert (HBT) 4 3,5 Kompetenzen 3 2,5 2 1,5 1 Duales System 0, Klassen HBT

58 4 Klassenmittelwerte: Verstehensbasiert (VBT) 3,5 Kompetenzen 3 2,5 2 1,5 Duales System 1 0, Klassen VBT

59 Item Response Theory (5) Kompetenzstufe 2: Kaufmännisches Handlungswissen Sicherer Umgang mit betriebswirtschaftlichen Konzepten mindestens auf dem Niveau der Systemkohärenz Hohe Adaptationsfähigkeit der kognitiven Strukturen, um wechselnde betriebliche Anforderungssituationen adäquat ohne weitere Modellierungshilfen so zu bewerten, dass anwendbare Lösungen entstehen.

60 Item Response Theory (6) Kompetenzstufe 2: Kaufmännisches Handlungswissen (entspricht den Ansprüchen des Arbeitsmarkts) Aufgabe: ALUSIM versucht aufgrund der schwierigen Marktlage, durch eine halbjährliche Erstellung individueller Preislisten für die wichtigsten Kunden Preisvorteile direkt an diese weiterzugeben. Aufgrund dieses Angebots geht eine Faxbestellung ein. Die Auszubildenden haben diese Bestellung unter Nutzung des ERP-Systems zu bearbeiten. Schwierigkeit: Preis aus der verwendeten Preisliste könnte relevant sein; Entscheidung, unter welchen Bedingungen welcher Preis tatsächlich in das Bestellsystem einzugeben ist. Item 6; Itemschwierigkeitsparameter: 0,206 logits > 0,117

61 Item Response Theory (7) Kompetenzstufe 3: Kaufmännisches Analysewissen Höherer Grad der kognitiven Beanspruchung Von den Auszubildenden wird erwartet, dass sie über die Fähigkeit verfügen, die Plausibilität einer berufsspezifischen Lösung analysieren und validieren zu können. Das setzt eine schlussfolgernde Auslegung von Wissen und damit Transferfähigkeit voraus.

62 Item Response Theory (8) Kompetenzstufe 3: Kaufmännisches Analysewissen Aufgabe: ALUSIM benötigt eine Druckfarbe, die bislang nicht im Sortiment enthalten ist. Die Auszubildenden haben in diesem Zusammenhang Einstandspreise im Rahmen einer vergleichenden Preiskalkulation zu errechnen. Nachdem die Entscheidung für einen Lieferanten gefallen ist, ist die Einkaufsorder im ERP-System zu erfassen. Schwierigkeit: Die Auszubildenden müssen in einem kognitiven Validierungsprozess ermitteln, ob der von ihnen errechnete Einstandspreis der Preiskalkulation oder der Listen-/Angebotspreis zu verarbeiten ist. Item 43; Itemschwierigkeitsparameter: 1,730 logits > 1,410

63 Item Response Theory (9) Kompetenzstufe 4: Kaufmännisches Entscheidungswissen Die Auszubildenden sind in der Lage, i.s.e. umfassenden Managementprozesses die berufliche Anforderungssituation im Hinblick auf die Problemformulierung, die Zielsetzungen, die Lösungsmöglichkeiten und die resultierenden Entscheidungen umfassend zu modellieren. Es bleibt offen, welche Bearbeitungsschritte zur Lösungsfindung gegangen werden müssen und welchen Umfang die Lösung letztlich haben soll.

64 Item Response Theory (10) Kompetenzstufe 4: Kaufmännisches Entscheidungswissen Aufgabe: Die Auszubildenden sollen auf der Basis von Angeboten und weiteren Zusatzinformationen (z.b. zur Liefertreue) eine vergleichende Lieferantenauswahl durchführen. Die Hintergründe des Lieferantenvergleichs sind den Auszubildenden bekannt; zwei Angebote für den Vergleich wurden von den Auszubildenden selbst eingeholt. Schwierigkeit: Viele verschiedene Informationen sind zu komprimieren: verschiedene Informationsquellen, unterschiedlich kodierte Lieferbedingungen, unterschiedliche Abpackungen, unterschiedliche Währungen etc. Das Arbeitsprodukt ist inhaltlich nicht definiert; es ist lediglich eine Excel-Datei ohne Inhalt gegeben.

65 Webbasierte Kompetenzmessung (1)Kompetenzmessung im kaufmännischen Bereich: national international (2)Innovative Testverfahren und Modellierungen von berufsfachlicher Kompetenz am Beispiel der Ausbildung von Industriekaufleuten (3)Entwicklung, Einsatz und Evaluation einer webbasierten Computersimulation (4)Einige Schlussfolgerungen

66 Aussagen zur Validität der Messung Konstruktvalidität Dimensionalität empirisch bestätigt Itemkalibrierung für jede Kompetenzskala erfolgreich (symmetrische Fit-Statistik der Itemparameter) Inhaltsvalidität Beobachtungen und Interviews an Arbeitsplätzen Authentische Arbeits- und Geschäftsprozesse getestet in einem international agierenden Unternehmen Bewertung der Testsituationen durch betriebliche Ausbilder und Lehrende in den Berufsschulen Externe Validität Vergleichbarkeit der Ergebnisse des verstehensbasierten Kompetenzbereichs mit den Ergebnissen bspw. des ULME III- Projekts (Lehmann & Seeber, 2007)

67 Impulse für die Berufs- und Wirtschaftspädagogik Operationalisierung von beruflichen Kompetenzkonzepten Erfassung und Beurteilung von beruflichen Handlungen Validierung von Testverfahren und Testinhalten Webbasierte Gestaltung von kaufmännischen Abschlussprüfungen Konstruktion von Blue Prints für die Testentwicklung Fachdidaktische Interpretation von personenbezogenen und inhaltsbezogenen Stärken und Schwächen

68 Kontakt Univ.-Prof. Dr. Dr. h. c. mult. Frank Achtenhagen Seminar für Wirtschaftspädagogik Georg-August-Universität Göttingen