Validität und Nutzen von Verfahren zur Auswahl von Studierenden

Transkript

1 Validität und Nutzen von Verfahren zur Auswahl von Studierenden Dipl.-Psych. Sabrina Trapmann Universität Hohenheim Kontakt: Das Projekt Eignungsdiagnostische Auswahl von Studierenden wird im Rahmen des Aktionsprogramms StudierendenAuswahl des Stifterverbands für die Deutsche Wissenschaft und der Landesstiftung Baden-Württemberg durchgeführt.

2 Überblick 1. Validität von Auswahlverfahren für Studienerfolg Schulnoten Studierfähigkeitstests Interviews Self-Assessments / Interessentests 2. Weitere Bewertungsaspekte: Fairness, Akzeptanz, Imagewirkung 3. Synopse 2

3 Metaanalyse Projekt Eignungsdiagnostische Auswahl von Studierenden an der Universität Hohenheim Gemeinsam mit Prof. Dr. H. Schuler & Dr. Benedikt Hell Durchgeführt im Rahmen des Forschungsprogramms StudierendenAuswahl im Auftrag von  Zusammenfassung aller seit 1980 publizierten Studien zum Thema Studienerfolg  Letztlich über 850 Validitätskoeffizienten 3

4 Metaanalyse: Grundidee Korrektur Messfehler Kriterium Korrektur Messfehler Prädiktor Korrektur Varianzeinschränkung (Selektion) Gewichtung Stichprobengröße RHO 4

5 Ergebnisse der Metaanalyse Prädiktor Anzahl Einzelstudien Stichprobengröße Validität Schulnoten: Durchschnittsnoten Fachspez. Studierfähigkeitstests Allgemeine Studierfähigkeitstests Bachelornoten Essays Sprachtests Interessentests Interviews

6 Überblick 1. Validität von Auswahlverfahren für Studienerfolg Schulnoten Studierfähigkeitstests Interviews Self-Assessments / Interessentests 2. Weitere Bewertungsaspekte: Fairness, Akzeptanz, Imagewirkung 3. Synopse 6

7 Detailergebnisse Prädiktor Schulnoten Prädiktor Anzahl Einzelstudien Stichprobengröße Validität Schulnoten: Durchschnittsnoten Studienfachaffine Einzelnote Mathematik Landessprache

8 Gründe für die Validität der Schulnoten Abgebildete Merkmale Kognitive Fähigkeiten Psychometrische Gründe Mehrere Lehrer Schulisches Wissen Lernbereitschaft Fleiß, Ausdauer, Leistungsmotivation Aussagekraft der Abiturdurchschnittsnote Zeitliche Perspektive: 2 Jahre Prüfungsmodalitäten: Mündl. Mitarbeit, Tests, Klausuren, mündl. Abiturprüfung Ausdruckfähigkeit 8

9 Zusammenfassung Schulnoten Schulnoten zeichnen sich durch eine hervorragende Validität aus Da ohne großen Kostenaufwand zu ermitteln, günstige Kosten- Nutzen-Relation Schulnoten sollten ein Bestandteil von Auswahlverfahren sein Durchschnittsnote vs. Durchschnittsnote & Einzelnote Keine generalisierbare Regel formulierbar - Einzelfallprüfung 9

10 Überblick 1. Validität von Auswahlverfahren für Studienerfolg Schulnoten Studierfähigkeitstests Interviews Self-Assessments / Interessentests 2. Weitere Bewertungsaspekte: Fairness, Akzeptanz, Imagewirkung 3. Synopse 10

11 Studierfähigkeitstests ja oder nein? Validität Schulnoten:.46 Validität Studierfähigkeitstests:.43 Validität unter Einsatz beider Prädiktoren: ca..52 Lohnt sich ein Testeinsatz? 11

12 Studierfähigkeitstest ja oder nein? Trefferquoten bei gegebener Basisrate von.40 Selektionsquote (=Anteil der angenommenen Bewerber) Validität Differenz 12

13 Studierfähigkeitstest ja oder nein? Trefferquoten bei gegebener Basisrate von.40 Selektionsquote (=Anteil der angenommenen Bewerber) Validität Abitur Abitur & Test =4% =1-2% =0% 13

14 Wann ist der Einsatz von Studierfähigkeitstests sinnvoll? Studiengang-individuelle Analyse: Basisrate, Selektionsquote, Validität Grundsätzlich eher bei strengen Selektionsquoten Bei heterogenen Bewerberpopulationen Heterogene Zugangsvoraussetzungen (FHs) Niveauunterschiede in der Notengebung deutsche Bundesländer EU-Bewerber 14

15 Überblick 1. Validität von Auswahlverfahren für Studienerfolg Schulnoten Studierfähigkeitstests Interviews Self-Assessments / Interessentests 2. Weitere Bewertungsaspekte: Fairness, Akzeptanz, Imagewirkung 3. Synopse 15

16 Detailergebnisse Prädiktor Interview Prädiktor Anzahl Einzelstudien Stichprobengröße Validität Interview Unstrukturiertes Interview Strukturiertes Interview

17 Studienerfolg: mehrdimensional Studienerfolg Studiennoten Studienabschluss (ja/nein) Studiendauer Studienzufriedenheit Berufseinstieg Berufserfolg 17

18 Wann ist der Einsatz von Interviews sinnvoll? Prognose von Berufserfolg (als erweitertes Studienerfolgskriterium) Metaanalyse von McDaniel et al. (1994) Validität unstrukturierter Interviews:.33 Validität strukturierter Interviews:.44 Prognose sozialer Kompetenzen z.b. Medizin, Lehramt 18

19 Wann ist der Einsatz von Interviews sinnvoll? Bei sehr strengen Selektionsquoten Diversifizierung vs. Homogenität Zulassungs-Chance für Bewerber mit schlechterem Abitur Zur Steigerung der Bindungswirkung Bindungswirkung in der Zulassungsphase Bindungswirkung während des Studiums 19

20 Überblick 1. Validität von Auswahlverfahren für Studienerfolg Schulnoten Studierfähigkeitstests Interviews Self-Assessments / Interessentests 2. Weitere Bewertungsaspekte: Fairness, Akzeptanz, Imagewirkung 3. Synopse 20

21 Validität von Interessentests Kriterium Anzahl Einzelstudien Stichprobengröße Validität Studiennoten Studienzufriedenheit

22 Wann ist der Einsatz von Self-Assessments sinnvoll? Self-Assessments... sind inhaltlich flexibel gestaltbar: kognitive Fähigkeiten, Persönlichkeitsmerkmale oder andere Bereiche... sind nach Bereitstellung kostengünstig... fördern im Idealfall die Selbstselektion... ermöglichen eine Zuordnungsdiagnostik Interessen- und Persönlichkeitstests als Grundlage für Zulassungsentscheidungen ungeeignet! Internetbasierte Verfahren ohne Aufsicht als Grundlage für Zulassungsentscheidungen ungeeignet! 22

23 Überblick 1. Validität von Auswahlverfahren für Studienerfolg Schulnoten Studierfähigkeitstests Interviews Self-Assessments / Interessentests 2. Weitere Bewertungsaspekte: Fairness, Akzeptanz, Imagewirkung 3. Synopse 23

24 Fairness von Auswahlverfahren Fairness = gleiche Testmittelwerte für alle Gruppen? GMAT GRE Quantitative GRE Verbal SAT Math SAT Verbal 300 White Hispanic Asian American African American

25 Fairness von Auswahlverfahren 25

26 Hochschulimage und Bewerbermarketing Auswahlverfahren Image Hochschule Hochschulwahl 26

27 Die Einschätzung von Auswahlverfahren aus Sicht der Studienplatzbewerber Studierfähigkeitstest Strukt. Auswahlgespräch Schulnoten Frei geführtes Auswahlgespräch Arbeitsproben /AC Biographische Informationen Interessentest Persönlichkeitstest Intelligenztest Losverfahren Graphologie Angegeben sind durchschnittliche Rangplätze 27

28 Überblick 1. Validität von Auswahlverfahren für Studienerfolg Schulnoten Studierfähigkeitstests Interviews Self-Assessments / Interessentests 2. Weitere Bewertungsaspekte: Fairness, Akzeptanz, Imagewirkung 3. Synopse 28

29 Verfahren der Studierendenauswahl: Synopse Es gibt nicht ein bestes Verfahren Auswahlverfahren müssen für die jeweilige Auswahlsituation maßgeschneidert werden: 1. Anforderungsanalyse: Welche Eigenschaften müssen die Studierenden mitbringen? Welche Eigenschaften sollen im Auswahlverfahren abgebildet werden? 2. Bedingungsanalyse: Bestimmung der Basisrate und Selektionsquote 3. Ressourcenplanung: Aufwändige Verfahren verlangen nach Ressourcen. Langfristig! 29

30 Verfahren der Studierendenauswahl: Synopse Stufenmodell: 1. Bewerberinformation: Internet, Informationsbroschüren, Studientage etc. 2. Studienberatung und Selbstselektion durch Self- Assessment-Verfahren 3. Vorauswahl nach Schulnoten 4. Ggf. Einsatz von Studierfähigkeitstests 5. Ggf. Einsatz von Interviews 30

31 Verfahren der Studierendenauswahl: Perspektiven Entwicklung zentraler Studierfähigkeitstests Kein Bewerbertourismus Entwicklungskosten fallen nur einmalig an Durchführungskosten fallen nur einmalig an, können von Bewerbern getragen werden Weiterentwicklung gesetzlicher Vorgaben Zusätzliche Kriterien (z.b. Note zusätzlich zu Art der Berufsausbildung in BaWü) Lockerung zu starrer Vorgaben Modifikation der Bayerischen Formel 31

32 Weiterführende Informationen unter: Kontakt: Sabrina Trapmann Universität Hohenheim