Die Anforderungsanalyse. Entwicklungsprozess. mehrstufigen e-assessments

Transkript

1 Fachgruppentagung Arbeitsund Organisationspsychologie Arbeitsgruppe Studierendenauswahl Die Anforderungsanalyse im Entwicklungsprozess eines mehrstufigen e-assessments Dipl.-Psych. J. Pixner Dipl.-Psych. S. Zapf Prof. Dr. H. Schüpbach Bonn, 19. September 2005

2 Übersicht I. Das Projekt Studierendenauswahl II. Erfolgskriterien des Hochschulstudiums III. Methodik der Anforderungsanalyse IV. Ergebnisse (Anglistik) V. Konsequenzen für e-assessment Arbeits- und Organisationspsychologie 2

3 Das Projekt Studierendenauswahl I. Realisiert im Rahmen des Aktionsprogramms Studierendenauswahl (Stiftervervand der deutschen Wissenschaft/ Landesstiftung Baden-Württemberg) Studierendenauswahl ist ein strategisches Projekt des Rektorats der Universität Freiburg (Good Practice) Projektziele des Rektorats: Auswahl zur Profilbildung nutzen (Passung) Qualifizierte Studierende gewinnen (Marketing) Homogenes Leistungs- und Vorkenntnisniveau garantieren Bindung zwischen Lehrenden und Studierenden erhöhen Arbeits- und Organisationspsychologie 3

4 Stufe 1 Interesse wecken Studierendenauswahl im Alltagsgeschäft der Hochschule Stufe 2 Online- Bewerbung Stufe 3 e-assessment Stufe 4 Auswahl- Gespräch? Information Self-Assessment mit Praxisbeispielen alle Bewerberinnen und Bewerber Persönliche Passung Fachliche Passung Studiengänge ohne Zulassungsbeschränkung Gespräch nicht erforderlich Zulassung Studieninteressierte weltweit Studierendenportal HIS-ZUL modulare Spezialverfahren bei Bedarf Videokonferenz IT-Shell mit Verwaltungsintegration und Feedback an Bewerbende

5 Was ist Studienerfolg? II. Akademische Leistung Berufliche Qualifizierung und Passung Kriterien z.b. Prüfungsnoten z.b. Studienabbrüche, Prädiktoren Gut erforscht: Abiturnote Kognitive Leistungstests Studienzufriedenheit, Studiendauer, Studienfachwechsel, Berufsrelevante Kompetenzen Seltener erforscht: Gründe für Studienfachwahl, Allgemeine Handlungskompetenzen, Informiertheit Arbeits- und Organisationspsychologie 5

6 Vorhersage von Studienerfolg II. Abitur: Guter Prädiktor für Prüfungsnoten (Rindermann & Oubaid, 1999; Schuler, 2001; Schmidt-Atzert, 2005) Inhaltliche Validität: Vorhersage der Leistungsfähigkeit in akademischen, klar definierten Problemsituationen Weniger gute Prädiktion von Studienabbruch und verlaufsbezogenen Studienerfolgskriterien (z.b. Heublein et. al. 2002, Schmidt-Atzert, 2005) Studienabbrecher sind oft mit der selbständigen Studiengestaltung überfordert Probleme bei Bewältigung schlecht strukturierter Problemsituationen (Handlungskompetenz) Arbeits- und Organisationspsychologie 6

7 Methodik der Anforderungsanalyse III. 1. Pilotfach: Anglistik Mehrstufiges, multimodales Verfahren in Anlehnung an Schuler, Funke, Moser & Donat (1995) Ziel: Anforderungsbeschreibung in Verhaltens- und Aufgabenbegriffen Grundlage für simulationsorientierte Verfahren, die flexibel auch online für Self-Assessment-Zwecke einsetzbar sind Zentrales Element: Critical Incident Technique (Flanagan, 1954) Arbeits- und Organisationspsychologie 7

8 Ablauf der Anforderungsanalyse III. Vorphase Qualitative Phase Gespräche, Extremgruppenbefragung, Dokumentenanalyse, Literaturrecherche Workshops: schriftliches Brainstorming/ Metaplantechnik, Methode erfolgskritischer Ereignisse (Teilnehmer: 8 Mitarbeiter/Dozenten, 17 Studierende) Überarbeitung Entwicklung eines anforderungsanalytischen Fragebogens aus Ergebnissen der ersten beiden Phasen Quantitative Phase Befragung von Dozenten und Studierenden mittels anforderungsanalytischem Fragebogen (Teilnehmer: 39 Dozenten/Mitarbeiter und 177 Studierende) Arbeits- und Organisationspsychologie 8

9 Von qualitativer zu quantitativer Phase III. Ergebnisse der qualitativen Phase: 100 studienerfolgskritische Ereignisse 91 erfolgreiche Verhaltensweisen 92 typische Aufgaben für Studienanfänger 32 typische Fehlannahmen von Studienanfängern 35 Wissensvoraussetzungen für Studienanfänger Grundlage für die Erstellung eines anforderungsanalytischen Fragebogens (quantitative Phase) Arbeits- und Organisationspsychologie 9

10 Fragebogen für Studierende III. Verhaltenstendenzen in 51 Studiensituationen z.b. Prüfungsvorbereitung, Studienplanung, Studierverhalten Studienerfolgskriterien ZP-Note, Abbruchneigung, Stabilität Fachwahl, Studienzufriedenheit, Ausmaß im Studium erlebter Schwierigkeiten Retrospektive Abfrage von Gründen für Studienfachwahl (Studienanliegen) z.b. Interesse an Analyse von Sprache Subjektive Informiertheit z.b. über Studienaufenthalte im Ausland Arbeits- und Organisationspsychologie 10

11 Ergebnisse: Studienerfolgskriterien IV Neigung zu Studienabbruch Studienschwierigkeiten Studienzufriedenheit Zwischenprüfungsnote Stabilität Fachwahl 0.63 Studentische Stichprobe (Hauptfach Anglistik mit Abschlussziel Lehramt, M.A. oder B.A.). Signifikante Korrelationen n = 155 (außer Zwischenprüfungsnote, n = 76); p < 0,05 Arbeits- und Organisationspsychologie 11

12 Ergebnisse: Studierverhalten IV. 9 erfolgskritische Faktoren beim Studierverhalten: 1. Selbständiger Erwerb englischer Sprachpraxis*, 2. Informationssuche *, 3. Teamarbeit, 4. Selbstorganisiertes Lernen *, 5. Ressourcennutzung, 6. Prüfungsvorbereitung, 7. Freizeiteinschränkung *, 8. Selbständiges Arbeiten, 9. Aktive Teilnahme an Veranstaltungen * * Signifikante Zusammenhänge mit verlaufsbezogenen Studienerfolgskriterien bei den markierten Faktoren: Range(r)=0,23 bis 0,41; Fisher s Mittel M(r) = 0,31 (p korr < 0,05; n = 137) Arbeits- und Organisationspsychologie 12

13 Weitere Ergebnisse IV. Außerdem: Zusammenhang von bestimmten Gründen für die Studienfachwahl und Informiertheit mit verlaufsbezogenen Studienerfolgskriterien Gründe für Studienfachwahl (z.b. Interesse an Analyse von Sprache ): Range(r) = 0,20 bis 0,38; Fisher s Mittel M(r) = 0,24 (p korr < 0,05; n = 151) Informiertheit (z.b. über Prüfungsordnung): Range(r) = 0,23 bis 0,38; Fisher s Mittel M(r) = 0,29 (p korr < 0,05; n = 155) Arbeits- und Organisationspsychologie 13

14 Ergebnisse: Varianzaufklärung IV. 40% 35% 34,5% Aufgeklärte Varianz 30% 25% 20% 15% 10% 5% 6,0% 11,7% 2,0% 29,7% 9,7% 27,5% 5,0% 23,5% 21,0% 0% Abbruchneig. Stab. Fachwahl Studienzufried. Erlebte Schwierigkeiten ZP-Note Nur Abiturnote Abiturnote + Gründe für Studienwahl, Informiertheit und Studierverhalten Varianzaufklärung (adjustiert um Prädiktorenzahl) in einer multiplen, zweistufigen Regressionsanalyse. n = 136 (außer bei ZP-Note: n = 76) Arbeits- und Organisationspsychologie 14

15 Konsequenzen für e-assessment V. Einsatz von Situational Judgement Inventories (SJIs) zur Erfassung von Handlungs- und Selbstlernkompetenz Einsatz von Wissensfragen zur Erfassung von Erwartungen an das Studium, Informiertheit über den Studiengang sowie beruflichen Zielen (Berufswahlkompetenz) Einsatz von Arbeitsproben zur Vermittlung eines Realistic Job Preview Einsatz von Fachtests (z.b. Sprachtest) zum Assessment der nötigen Fachkenntnisse Arbeits- und Organisationspsychologie 15

16 Beispiel: Self Assessment Anglistik V. 1 Login 2 Allgemeine Angaben I 3 Gründe Fachwahl 4 Wissenstest 5 Situative Fragen I 6 Arbeitsprobe I 7 Situative Fragen II 8 Arbeitsprobe II 9 Sprachtest 10 Allgemeine Angaben II 11 Feedback Arbeits- und Organisationspsychologie 16

17 Fachgruppentagung Arbeitsund Organisationspsychologie Arbeitsgruppe Studierendenauswahl Vielen Dank für Ihre Aufmerksamkeit! Projekt Studierendenauswahl Teilprojekt B: Theoretische und empirische Fundierung uni-freiburg.de