Auswahl von Studierenden durch die Universitäten

Transkript

1 Auswahl von Studierenden durch die Universitäten Heinz Schuler Universität Hohenheim Statistisches Kolloquium, 30 Mai 2006 Eine Gemeinschaftsveranstaltung von: Statistisches Landesamt Baden Württemberg Universität Hohenheim Universität Tübingen

2 Überblick 1 Ausgangsüberlegungen 2 Auswahlverfahren und ihre Validität 3 Nutzenabschätzung 4 Fairness und weitere Gesichtspunkte 5 Synopse 2

3 Zu erwartender Produktivitätszuwachs aufgrund von Validität und Selektionsquote Herrnstein & Murray (1994) The bell curve Intelligence and class structure in American life New York: Free Press 3

4 4

5 Zweisäulenmodell der Studieneignung Modalität Generelle Studierfähigkeit Studienfachspezifische Eignung Eigenschaften Biographie Intelligenztests Wissenstests Persönlichkeitstests Arbeitshaltungen Schulnoten Interviews Biographische Fragebogen Spezifische Fähigkeitstests Fachwissenstests Persönlichkeitstests Interessentests Noten einschlägiger Schulfächer Interviews Arbeits- u Interessenbiographie Simulation Simulationen allgemeiner Studiensituationen Studientypische Konflikt- u Belastungssituationen Simulationen fachspezifischer Studiensituationen Situational Judgment Tests 5

6 Korrelation von Berufserfahrung und Intelligenz mit Berufsleistung Berufserfahrung in Jahren 0-3 Erfahrung 49 Intelligenz > (Daten nach McDaniel, 1985; McDaniel, Schmidt & Hunter, 1988; Schmidt & Hunter, 2004) 6

7 Situational Judgment Tests: Itembeispiel 7

8 Beziehung von SJT-Ergebnissen zu Fähigkeitsund Persönlichkeitsmaßen Intelligenz Verträglichkeit Gewissenhaftigkeit Psych Stabilität kenntnisbezogene Instruktion verhaltensbezogene Instruktion (McDaniel, Hartman & Grub, 2003) 8

9 Metaanalyse Projekt Eignungsdiagnostische Auswahl von Studierenden an der Universität Hohenheim Gemeinsam mit Dr B Hell & Dipl-Psych S Trapmann Gefördert im Rahmen des Programms StudierendenAuswahl Zusammenfassung aller seit 1980 publizierten Studien zum Thema Studienerfolg Letztlich über 850 Validitätskoeffizienten 9

10 Ergebnisse der Metaanalyse Prädiktor Schulnoten: Durchschnittsnoten Fachspez Studierfähigkeitstests Allgemeine Studierfähigkeitstests Anzahl Einzelstudien Stichprobengröße Validität Bachelornoten Essays Sprachtests Interessentests Interviews

11 Detailergebnisse Prädiktor Schulnoten Prädiktor Schulnoten: Durchschnittsnoten Studienfachaffine Einzelnote Anzahl Einzelstudien Stichprobengröße Validität Mathematik Landessprache

12 Ursachen für die Validität der Schulnoten Abgebildete Merkmale Kognitive Fähigkeiten Psychometrische Ursachen Mehrere Lehrer Schulisches Wissen Lernbereitschaft Fleiß, Ausdauer, Leistungsmotivation Aussagekraft der Abiturdurchschnittsnote Zeitliche Perspektive: 2 Jahre Prüfungsmodalitäten: Mündl Mitarbeit, Tests, Klausuren, mündl Abiturprüfung Ausdruckfähigkeit 12

13 Detailergebnisse Prädiktor Interview Prädiktor Anzahl Einzelstudien Stichprobengröße Validität Interview Unstrukturiertes Interview Strukturiertes Interview

14 Studienerfolg: mehrdimensional Studienerfolg Studiennoten Studienabschluss (ja/nein) Studiendauer Studienzufriedenheit Berufseinstieg Berufserfolg 14

15 Wann ist der Einsatz von Interviews sinnvoll? Prognose von Berufserfolg (als erweitertes Studienerfolgskriterium) Metaanalyse von McDaniel et al (1994) Validität unstrukturierter Interviews: 33 Validität strukturierter Interviews: 44 Prognose sozialer Kompetenzen zb Medizin, Psychologie, Lehramt 15

16 Wann ist der Einsatz von Interviews sinnvoll? Bei sehr strengen Selektionsquoten Diversifizierung vs Homogenität Zulassungs-Chance für Bewerber mit schlechterem Abitur Zur Steigerung der Bindungswirkung Bindungswirkung in der Zulassungsphase Bindungswirkung während des Studiums 16

17 Validität von Interessentests Kriterium Anzahl Einzelstudien Stichprobengröße Validität Studiennoten Studienzufriedenheit

18 Zusammenhänge zwischen Interessenkongruenz und Interessen-, Verhaltens- und Befindensvariablen im Studium t1 t2 Fachspezifisches Studieninteresse Lernstrategie Wiederholen Lernstrategie Zusammenhänge bilden Wohlbefinden im Studium Bewertung des Studiums

19 Überblick 1 Ausgangsüberlegungen 2 Auswahlverfahren und ihre Validität 3 Nutzenabschätzung 4 Fairness und weitere Gesichtspunkte 5 Synopse 19

20 Studierfähigkeitstests ja oder nein? Validität Schulnoten: 46 Validität Studierfähigkeitstests: 43 Validität unter Einsatz beider Prädiktoren: ca 52 Lohnt sich ein Testeinsatz? 20

21 Studierfähigkeitstest ja oder nein? Trefferquoten bei gegebener Basisrate von 40 Selektionsquote (=Anteil der angenommenen Bewerber) Validität Differenz 21

22 Studierfähigkeitstest ja oder nein? Trefferquoten bei gegebener Basisrate von 40 Selektionsquote (=Anteil der angenommenen Bewerber) Validität Abitur Abitur & Test =4% =1-2% =0% 22

23 Wann ist der Einsatz von Studierfähigkeitstests sinnvoll? Studiengang-individuelle Analyse: Basisrate, Selektionsquote, Validität Selektionsquote gegeben Validität kann direkt ermittelt oder geschätzt werden Basisrate aus gegebener Selektionsquote, Validität und Erfolgskriterium (zb Abbrecherquote) errechenbar Grundsätzlich eher bei strengen Selektionsquoten Überlegungen zur Trefferquote Test ist zusätzliche Chance für Bewerber mit schlechterem Abitur 23

24 Wann ist der Einsatz von Studierfähigkeitstests sinnvoll? Bei heterogenen Bewerberpopulationen Heterogene Zugangsvoraussetzungen (FHs) Niveauunterschiede in der Notengebung deutsche Bundesländer EU-Bewerber 24

25 Überblick 1 Ausgangsüberlegungen 2 Auswahlverfahren und ihre Validität 3 Nutzenabschätzung 4 Fairness und weitere Gesichtspunkte 5 Synopse 25

26 Fairnessprobleme im Überblick 1 Statistische Fairness 26

27 Beispiel für statistische (Un-)Fairness Kriterienwert Prädiktorwert 27

28 Fairnessprobleme im Überblick 1 Statistische Fairness 2 Biographische Fairness (Konstruktvalidität) 3 Anfoderungsbezogene Fairness (Inhaltsvalidität) 4 Prozedurale Fairness (soziale Validität) 5 Gesellschaftliche Fairness (Austauschgerechtigkeit) 28

29 Hochschulimage und Bewerbermarketing Auswahlverfahren Image Hochschule Hochschulwahl 29

30 Die Einschätzung von Auswahlverfahren aus Sicht der Studienplatzbewerber Studierfähigkeitstest Strukt Auswahlgespräch Schulnoten Frei geführtes Auswahlgespräch Arbeitsproben /AC Biographische Informationen Interessentest Persönlichkeitstest Intelligenztest Losverfahren Graphologie Angegeben sind durchschnittliche Rangplätze 30

31 Überblick 1 Ausgangsüberlegungen 2 Auswahlverfahren und ihre Validität 3 Nutzenabschätzung 4 Fairness und weitere Gesichtspunkte 5 Synopse 31

32 Verfahren der Studierendenauswahl: Synopse Es gibt nicht ein bestes Verfahren Auswahlverfahren müssen für die jeweilige Auswahlsituation maßgeschneidert werden: 1 Anforderungsanalyse: Welche Eigenschaften müssen die Studierenden mitbringen? Welche Eigenschaften sollen im Auswahlverfahren abgebildet werden? 2 Bedingungsanalyse: Bestimmung der Basisrate und Selektionsquote 3 Ressourcenplanung: Aufwändige Verfahren verlangen nach Ressourcen Langfristig! 32

33 Verfahren der Studierendenauswahl: Synopse Stufenmodell: 1 Bewerberinformation: Internet, Informationsbroschüren, Studientage etc 2 Studienberatung und Selbstselektion durch Verfahren zur Selbsteinschätzung 3 Vorauswahl nach Schulnoten 4 Ggf Einsatz von Studierfähigkeitstests 5 Ggf Einsatz von Interviews 33

34 Verfahren der Studierendenauswahl: Perspektiven Lokale universitätsspezifische Auswahl Entwicklung zentraler Studierfähigkeitstests Kein Bewerbertourismus Entwicklungskosten fallen nur einmalig an Durchführungskosten fallen nur einmalig an, können von Bewerbern getragen werden Weiterentwicklung gesetzlicher Vorgaben Zusätzliche Kriterien (zb Note zusätzlich zu Art der Berufsausbildung in BaWü) Lockerung zu starrer Vorgaben Modifikation der Bayerischen Formel 34

35 Kalkulationsmodell zur Nutzenberechnung wobei ΔU = der Betrag, um den der Nutzen durch den Einsatz des verbesserten Auswahlverfahrens wächst r xy = Validität des eingesetzten Verfahrens Eingesetzt wird der Zuwachs an Validität gegenüber dem bislang verwendeten Verfahren (inkrementelle Validität) SD y = Standardabweichung des Leistungskriteriums Φ p F t N at N st i k = Ordinate der Standardnormalverteilung am kritischen Testwert = Auswahlquote = Anzahl der Zeitabschnitte, in denen das Verfahren eingesetzt wird = Zeitabschnitt, in dem Zu- bzw Abgang stattfindet = Anzahl der Zugänge im Zeitabschnitt t = Anzahl der Abgänge im Zeitabschnitt t = Kalkulationszinsfuß = Anzahl der Zeitabschnitte, in denen ein Einsatz des Verfahrens aus einem Zeitabschnitt wirkt (durchschnittliche Verweildauer) C k = Kosten für den Einsatz des Verfahrens pro Zeitabschnitt Berechnung des zusätzlichen Nutzens durch den Einsatz eines Auswahlverfahrens (aus Barthel & Schuler, 1989, S 77f) 35

36 Berufsorientierung und Studienfachwahl Welche Quellen haben Sie genutzt, sich über die UHOH zu informieren? Haben Sie auch mit anderen Bewerbern Informationen ausgetauscht? Welche Erfahrungen haben Sie dabei gemacht? Bewertungshinweise: Hat sich nicht informiert; oder: schlechte Informationsquellen, kein Zugang zu guten Quellen Hat sich informiert, nutzte vorwiegend zugesandte und öffentlich zugängliche Informationsquellen Hat sich aus schriftlichen Quellen fundiert informiert, zusätzlich aber auch persönliche Quellen genutzt Hat zb die Hochschule aufgesucht und sich von Hochschulmitarbeitern und anderen Studierenden beraten lassen 36

37 Biographiebezogene Frage Können Sie von Aufgaben berichten, zu denen Sie nicht verpflichtet waren, die Sie aber dennoch übernommen haben? Wie sind Sie zu der Aufgabe gekommen? Was war das Ergebnis? Bewertungshinweise: Keine Aufgaben aus eigener Initiative übernommen; oder: völlig unbedeutende Aufgaben Kleinere Aufgaben aus eigener Initiative übernommen und erfolgreich ausgeführt oder größere Aufgaben eher mit sanftem Druck übernommen Größere Aufgaben die mit erheblichem Aufwand verbunden waren, freiwillig übernommen, mit Freude zu einem positiven Ergebnis geführt 37

38 Situative Frage Sie befinden sich in der Vorbereitung zu Ihrer ersten Klausur und stehen somit unter Druck Eine Kommilitonin kommt weinend zu Ihnen und sagt, dass sie nichts verstanden habe Was tun Sie? Bewertungshinweise: Ich gebe ihr einen Rat, an wen sie sich wenden kann Ich versuche festzustellen, was konkret unverstanden ist, und erkläre ihr das Ich lade sie ein, in meiner Lerngruppe teilzunehmen 38