Das Frankfurter Self-Assessment für Psychologie

Transkript

1 Das Frankfurter Self-Assessment für Psychologie D ienstleistung und wissenschaftliche Forschung aus einer Hand Hessisches Fachforum zu Online Self-Assessments 26. Oktober, 2009 in Frankfurt am Main Michael Schreiner Goethe Universität / Frankfurt am Main

2 Struktur Frankfurter Self-Assessments Psychologie Informatik Self-Assessment & Forschung & Weiterentwicklung Service Entwicklung weiterer fachspezifischer Self-Assessments Michael Schreiner, Siegbert Reiß, Karl Schweizer & Helfried Moosbrugger 1 / 42

3 Struktur Frankfurter Self-Assessments Psychologie Informatik Self-Assessment & Forschung & Weiterentwicklung Service Entwicklung weiterer fachspezifischer Self-Assessments Michael Schreiner, Siegbert Reiß, Karl Schweizer & Helfried Moosbrugger 2 / 42

4 Self-Assessment / Entwicklungsanlass Bewerberzahlen zum WS 2009/2010 Möglichkeit der Vergabe von 90 Studienplätzen 3884 Onlinebewerbungen 2704 davon letztlich formal korrekt Ansturm der Ahnungslosen Aus dem Hochschulrahmengesetz ( 14) Aufklärung über Studienmöglichkeiten sowie über Inhalte, Aufbau & Anforderungen eines Studiums > > > Abgleich eigener Fähigkeiten, Bedürfnisse & Erwartungen mit den Anforderungen des Studienganges (Person-Study-Fit-Ansatz) Michael Schreiner, Siegbert Reiß, Karl Schweizer & Helfried Moosbrugger 3 / 42

5 Self-Assessment / Testbereiche Intelligenzkomponenten verbales & figurales schlussfolgerndes Denken Kognitive Kompetenzen Textverständnis & mathematische Kompetenz Handlungskompetenzen Anspruchsniveau, Stressbewältigung, Lernbereitschaft & Arbeitshaltung Persönlichkeitseigenschaften Ängstlichkeit, Gewissenhaftigkeit, Selbstwirksamkeit und weitere Michael Schreiner, Siegbert Reiß, Karl Schweizer & Helfried Moosbrugger 4 / 42

6 Self-Assessment / Screenshots Michael Schreiner, Siegbert Reiß, Karl Schweizer & Helfried Moosbrugger 5 / 42

7 Self-Assessment / Screenshots Modul 1 / Studierverhalten & Studienmotivation I Michael Schreiner, Siegbert Reiß, Karl Schweizer & Helfried Moosbrugger 6 / 42

8 Self-Assessment / Screenshots Modul 1 / Textverständnis (deutsch) Michael Schreiner, Siegbert Reiß, Karl Schweizer & Helfried Moosbrugger 7 / 42

11 Self-Assessment / Screenshots Modul 1 / Mathematische Kompetenz Michael Schreiner, Siegbert Reiß, Karl Schweizer & Helfried Moosbrugger 10 / 42

12 Self-Assessment / Screenshots Modul 1 / Mathematische Kompetenz Michael Schreiner, Siegbert Reiß, Karl Schweizer & Helfried Moosbrugger 11 / 42

13 Self-Assessment / Screenshots Modul 2 / Studierverhalten & Studienmotivation II Michael Schreiner, Siegbert Reiß, Karl Schweizer & Helfried Moosbrugger 12 / 42

14 Self-Assessment / Screenshots Modul 2 / Schlussfolgendes Denken (verbal) Michael Schreiner, Siegbert Reiß, Karl Schweizer & Helfried Moosbrugger 13 / 42

15 Self-Assessment / Screenshots Modul 2 / Schlussfolgendes Denken (verbal) Michael Schreiner, Siegbert Reiß, Karl Schweizer & Helfried Moosbrugger 14 / 42

16 Self-Assessment / Screenshots Modul 3 / Studierverhalten & Studienmotivation III Michael Schreiner, Siegbert Reiß, Karl Schweizer & Helfried Moosbrugger 15 / 42

17 Self-Assessment / Screenshots Modul 3 / Interessen Michael Schreiner, Siegbert Reiß, Karl Schweizer & Helfried Moosbrugger 16 / 42

18 Self-Assessment / Screenshots Modul 3 / Interessen Michael Schreiner, Siegbert Reiß, Karl Schweizer & Helfried Moosbrugger 17 / 42

19 Self-Assessment / Screenshots Modul 3 / Schlussfolgerndes Denken (figural) Michael Schreiner, Siegbert Reiß, Karl Schweizer & Helfried Moosbrugger 18 / 42

20 Self-Assessment / Screenshots Modul 3 / Schlussfolgerndes Denken (figural) Michael Schreiner, Siegbert Reiß, Karl Schweizer & Helfried Moosbrugger 19 / 42

21 Self-Assessment / Screenshots Rückmeldung / Kognition Michael Schreiner, Siegbert Reiß, Karl Schweizer & Helfried Moosbrugger 20 / 42

22 Self-Assessment / Screenshots Rückmeldung / Interessen Michael Schreiner, Siegbert Reiß, Karl Schweizer & Helfried Moosbrugger 21 / 42

23 Self-Assessment / Screenshots Rückmeldung / Studierverhalten & ~motivation Michael Schreiner, Siegbert Reiß, Karl Schweizer & Helfried Moosbrugger 22 / 42

24 Self-Assessment / Screenshots Rückmeldung / Studierverhalten & ~motivation Michael Schreiner, Siegbert Reiß, Karl Schweizer & Helfried Moosbrugger 23 / 42

25 Forschung Prädiktive Validität / Zeitschema Aufnahme des Psychologiestudiums Ende des 4. Semesters Kriterium: Durchschnittsnote imvordiplom Bearbeitung des online Self- Assessments Ende des 1. Semesters Kriterium: Leistung in Psychologische Statistik I Monate Michael Schreiner, Siegbert Reiß, Karl Schweizer & Helfried Moosbrugger 24 / 42

26 Forschung Prädiktive Validität / Ergebnisse I Vorhersage des Studienerfolgs im 1. Semester Leistung in Psychologische Statistik I (Dipl.-Psych.) Psychologische Statistik: Grundlagen (BSc.) Skala Spearman ρ Kompetenzen Stochastik.25 ** Algebra.29 ** Bruchrechnen.15 * Reasoning (verbal).29 ** N = 177 ** p.01; * p Michael Schreiner, Siegbert Reiß, Karl Schweizer & Helfried Moosbrugger 25 / 42

27 Forschung Prädiktive Validität / Ergebnisse II Vorhersage des Studienerfolgs im 1. Semester Leistung in Psychologische Statistik I (Dipl.-Psych.) Psychologische Statistik: Grundlagen (BSc.) Skala Spearman ρ Kompetenzen Stressbewältigung.20 ** Anspruchsniveau.15 * Kontrollüberzeugung.17 * N = 177 ** p.01; * p Michael Schreiner, Siegbert Reiß, Karl Schweizer & Helfried Moosbrugger 26 / 42

28 Forschung Prädiktive Validität / Ergebnisse III Vorhersage späterer akademischer Leistungen Leistung Durchschnittsnote im Vordiplom (Dipl.-Psych.) Skala Spearman ρ Kompetenzen N ~ 130 Stressbewältigung.32 ** Anspruchsniveau.23 * ** p.01; * p Michael Schreiner, Siegbert Reiß, Karl Schweizer & Helfried Moosbrugger 27 / 42

29 Prozentuale Zustimmung zur entsprechenden Antwortkategorie Forschung Analyse des Teilnehmer-Feedbacks I Michael Schreiner, Siegbert Reiß, Karl Schweizer & Helfried Moosbrugger 28 / 42

30 Forschung & Weiterentwicklung Objektive Persönlichkeitstests Objektive Tests zur Messung der Persönlichkeit sind Verfahren, die unmittelbar das Verhalten eines Individuums in einer standardisierten Situation erfassen, ohne dass diese sich in der Regel selbst beurteilen muss. Schmidt (1975) Im Vergleich zu Fragebogen indirekte Methode weniger sprachgebunden unabhängig von der Fähigkeit zur Introspektion weniger anfällig für Verfälschungstendenzen Michael Schreiner, Siegbert Reiß, Karl Schweizer & Helfried Moosbrugger 29 / 42

31 Forschung & Weiterentwicklung AHA Arbeitshaltungen (Kubinger& Ebenhöh, 1996) Michael Schreiner, Siegbert Reiß, Karl Schweizer & Helfried Moosbrugger 30 / 42

32 Forschung & Weiterentwicklung AHA Arbeitshaltungen (Kubinger& Ebenhöh, 1996) Flächengrößen vergleichen Exaktheit Entschlussfreudigkeit Impulsivität/Reflexivität Symbole kodieren Leistungsniveau Anspruchsniveau Frustrationstoleranz Figuren unterscheiden Leistungsmotivation Michael Schreiner, Siegbert Reiß, Karl Schweizer & Helfried Moosbrugger 31 / 42

33 Forschung & Weiterentwicklung Exchange-Test (Schweizer, 1996) Suche nach alternativen Methoden zu den klassischen Intelligenzaufgaben Idee, basale Komponenten der kognitive Leistungsfähigkeit verhaltensnah zu erfassen Vielfach gesicherter Zusammenhang zwischen (fluider) Intelligenz und Arbeitsgedächtniskapazität Michael Schreiner, Siegbert Reiß, Karl Schweizer & Helfried Moosbrugger 32 / 42

34 Forschung & Weiterentwicklung Exchange-Test / Beispiel-Aufgabe Michael Schreiner, Siegbert Reiß, Karl Schweizer & Helfried Moosbrugger 33 / 42

35 Exchange Test / Zeitschema Aufnahme des Psychologiestudiums Ende des 4. Semesters Kriterium: Durchschnittsnote imvordiplom Bearbeitung des online Self-Assessments und des Exchange Tests Ende des 1. Semesters Kriterium: Leistung in Psychologische Statistik I Monate Michael Schreiner, Siegbert Reiß, Karl Schweizer & Helfried Moosbrugger 34 / 42

36 Forschung & Weiterentwicklung Exchange-Test / Ergebnisse Vergleich zweier Regressionsmodelle mit dem Kriterium Leistung in Statistik I R² = 42,2 % R² = 28,8 % Visualisierung der zusätzlich aufgeklärten Varianz durch einen Arbeitsgedächtnistest gegenüber klassischen (fluiden) Intelligenzmassen Michael Schreiner, Siegbert Reiß, Karl Schweizer & Helfried Moosbrugger 35 / 42

37 Forschung & Weiterentwicklung Zusammenfassung Hohe prognostische Validitätskoeffizienten für frühe akademische Leistungen (kognitive Kompetenzvariablen) und substantielle Zusammenhänge mit akademischen Erfolg auch im späteren Studienverlauf Studieninteressierte geben mehrheitlich das Feedback, dass unser Self-Assessment eine bessere Einschätzung der Anforderungen im angestrebten Studiengang ermöglicht Michael Schreiner, Siegbert Reiß, Karl Schweizer & Helfried Moosbrugger 36 / 42

38 Forschung & Weiterentwicklung Zusammenfassung Objektive Persönlichkeitstests bringen nicht nur verschiedene Vorteile mit sich, sondern gestalten das Self-Assessment zudem abwechslungsreicher Über die Arbeitsgedächtniskapazität lässt sich bedeutsam mehr Varianz des frühen Studienerfolges vorhersagen als über klassische Intelligenzaufgaben Michael Schreiner, Siegbert Reiß, Karl Schweizer & Helfried Moosbrugger 37 / 42

39 Entwicklung von Self-Assessments Auftrag des Präsidiums an die Arbeitsstelle für Qualitätssicherung universitätsintern interessierten Fachbereichen in der Konzeption von Self-Assessments mit unserem Know-how zur Seite zu stehen Michael Schreiner, Siegbert Reiß, Karl Schweizer & Helfried Moosbrugger 38 / 42

40 Entwicklung von Self-Assessments Arbeitsschritte zum Online-Test Anforderungen Eignungsmerkmale Operationalisierung Technische Umsetzung Identifikation Ableitung Entwicklung der relevanten Anforderungen Literatur, Expertenrunde, Befragung identifizierter Anforderungen in Eignungsmerkmale von Tests und Fragenbogen zur Messung der definierten Eignungsmerkmale Michael Schreiner, Siegbert Reiß, Karl Schweizer & Helfried Moosbrugger 39 / 42

41 Entwicklung von Self-Assessments Anforderungsanalyse nach DIN Eine Arbeits- und Anforderungsanalyse sollte die Basis einer Eignungsbeurteilung sein. DIN (2002). DIN 33430: Anforderungen an Verfahren und deren Einsatz bei berufsbezogenen Eignungsbeurteilungen. Berlin: Beuth. Die Anforderungsanalyse soll Eigenschaften, Tätigkeiten und Verhaltensweisen ermitteln, die für ein erfolgreiches Studium relevant sind. Kriterien des Studienerfolgs Was bedeutet Studienerfolg? Noten / Abschlussnoten Studiendauer Studienzufriedenheit Prädiktoren des Studienerfolgs Was braucht man, um erfolgreich zu sein? Michael Schreiner, Siegbert Reiß, Karl Schweizer & Helfried Moosbrugger 40 / 42

42 Entwicklung von Self-Assessments Gesamtprozess (modifiziert nach Hornke, 2007) Anforderungen Eignungsmerkmale Testkonstruktion Anwendung Evaluation Identifikation der relevanten Anforderungen Literatur, Arbeitskreise, Befragungen und Absolventenstudien Ableitung identifizierter Anforderungen in Eignungsmerkmale Entwicklung von Tests und Fragenbogen zur Messung der definierten Eignungsmerkmale der Akzeptanz, Effekte der Laufbahnentscheidung und Evaluation des Erfolgs der Prognose. Datensammlung via Internet, in Schulen, Laufbahnberatung etc. Datengeleitete Verbesserungen der eingesetzten Tests und Fragebogen Überprüfung Michael Schreiner, Siegbert Reiß, Karl Schweizer & Helfried Moosbrugger 41 / 42

43 - Ende - Schreiner@psych.uni-frankfurt.de Michael Schreiner, Siegbert Reiß, Karl Schweizer & Helfried Moosbrugger 42 / 42