Validitäts- und Nutzenüberlegungen zur Studierendenauswahl im Allgemeinen mit Präzisierungen für das Fach Psychologie im Besonderen

Transkript

1 Validitäts- und Nutzenüberlegungen zur Studierendenauswahl im Allgemeinen mit Präzisierungen für das Fach Psychologie im Besonderen Maren Formazin, Oliver Wilhelm, Ulrich Schroeders, Olga Kunina, Andrea Hildebrandt & Olaf Köller 1. Einführung In diesem Kapitel soll herausgestellt werden, welche Methoden der Studierendenauswahl theoretisch fundiert und empirisch bewährt sind. Gültigkeit und Nutzen sind bei der Beurteilung der Methoden die entscheidenden Größen. Die Problematik des Kriteriums Studienerfolg und Befunde zur Vorhersagegüte von Schulnoten und Leistungstests bei der Auswahl von Studierenden werden präsentiert. Letztere werden mit Ergebnissen von Simulationsstudien ergänzt. Aufbauend auf diesen Befunden werden die konkrete Umsetzung einer Auswahlbatterie für das Fach Psychologie und ihre empirische Bewährung dargestellt. Das Kapitel endet mit einem Resümee zur aktuellen Situation. 2. Nutzen und Sinnhaftigkeit Bei der Bestimmung des Nutzens eines Verfahrens, welches zur Auswahl von Studierenden eingesetzt wird, werden die mit der Anwendung des Verfahrens verbundenen Kosten dem erzielbaren Nutzen gegenübergestellt. Bei der praktischen Umsetzung solcher Rechnungen ergeben sich oft Schwierigkeiten, da einzelne Aspekte dieser Kalkulation nur schwer in Zahlen umsetzbar sind in welchen Einheiten soll bspw. die Leistung einer geeigneten gegenüber einer nicht geeigneten Person bestimmt werden? Wenn die Hochschulen die Studierenden selbst auswählen, streben sie in der Regel eine Maximierung ihres Nutzens an: Die Hochschulen wollen unter Berücksichtigung der vorhandenen Studienplätze mit minimalem Aufwand möglichst viele geeignete zukünftige Studierende auswählen. Der Einsatz eines validen Verfahrens zur Studierendenauswahl ist besonders nutzbringend, wenn die Selektionsrate (Anteil der Zugelassenen an der Gesamtzahl der Bewerber) vergleichsweise niedrig im Verhältnis zur Anzahl der Studienplätze und eine moderate Anzahl von Personen tatsächlich geeignet ist, da unter diesen Rahmenbedingungen besonders viele Geeignete ausgewählt werden. Eine Selektionsprozedur ist dagegen nicht erforderlich, wenn die Zahl der Bewerber geringer ist als die Zahl der vorhandenen Studienplätze; dann liegt ein Platzierungsproblem vor. Für den Diplomstudiengang Psychologie ist die Nachfrage nach Studienplätzen seit Jahren deutlich höher als das Angebot. Die Selektionsrate liegt derzeit bei 0,24 (Zentralstelle für die Vergabe von Studienplätzen [ZVS], 2006), d. h. nur jeder 4. Bewerber erhält einen Studienplatz. Diese Situation wird sich in den kommenden Jahren kaum ändern. Daher ist die Durchführung einer Auswahlprozedur unumgänglich. Darüber hinaus ist der Einsatz eines Verfahrens zur Studierendenauswahl nur dann sinnvoll, wenn bekannte Befunde über die allgemeine Vorhersagegüte eines Verfahrens auch speziell auf den interessierenden Bereich übertragen werden können. Dies ist für den Einsatz von kognitiven Leistungstests und Abschlussnoten der Fall. Verschiedene Metaanalysen belegen die prognostische Validität dieser Auswahlinstrumente. Dass die Befunde auch auf 1

2 das Fach Psychologie übertragbar sind, untermauern sowohl Moderatoranalysen als auch Einzelstudien, die auf der Untersuchung von Psychologiestudierenden beruhen, wie in Abschnitt 3 dargestellt wird. 3. Vorhersage des Studienerfolgs auf der Basis von Noten und Leistungstests Aus wissenschaftlicher Sicht ist zu empfehlen, eine Kombination aus Abiturdurchschnittsnote und den Ergebnissen aus Leistungstests bei der Studierendenauswahl zum Psychologiestudium einzusetzen, um möglichst viele potentiell erfolgreiche Studierende auszuwählen. Diese Aussage soll mit empirischen Ergebnissen sowohl aus der Literatur als auch eigenen Untersuchungen begründet werden. Zuvor soll jedoch das Problem des Kriteriums Studienerfolg thematisiert werden Die Kriterienproblematik Mit dem Begriff erfolgreich studieren können ganz unterschiedliche Aspekte gemeint sein; zu denken wäre hier bspw. an: das Studium mit guten Noten abzuschließen, das Studium in möglichst kurzer Zeit abzuschließen, das Studium nicht abzubrechen, d.h. an der Universität zu verbleiben, Zufriedenheit mit dem absolvierten Studium. In vielen Untersuchungen werden die Studiennoten als Kriterium des Studienerfolgs eingesetzt, weil sie leicht verfügbar sind und über zentrale Aspekte von Studienleistungen Auskunft geben (Baron-Boldt, 1989). Darüber hinaus ist davon auszugehen, dass durch die Mittelung vieler Einzelnoten ähnlich wie bei der Abiturdurchschnittsnote einzelne Artefakte ausgeglichen werden (Schuler, Funke & Baron-Boldt, 1990). Robbins et al. (2004) haben in ihrer Metaanalyse, in die Daten von mehr als Personen aus 109 Einzelstudien einflossen, den Studienerfolg breiter erfasst und neben den Abschlussnoten in Form des Grade Point Averages (GPA) den Verbleib an der Universität als weiteres Kriterium erfasst. Die beiden Kriterien weisen mit unterschiedlichen Prädiktoren, insbesondere psychosozialen Faktoren und Leistungsmaßen, teils abweichende Zusammenhangsmuster auf. Eine Aussage wie Studienerfolg lässt sich am besten vorhersagen durch hängt demnach davon ab, wie man den Studienerfolg operationalisiert. Wie entscheidend die Festlegung des Kriteriums Studienerfolg ist, zeigen auch Analysen unserer Daten: Neben den Vordiplomnoten (VD-Noten) der 190 Studierenden wurde ihre Leistung in einem Psychologiewissenstest erhoben, der aus Aufgaben aus dem Graduate Record Examination Test für Psychologie zusammengestellt wurde. Wurde dieses kombinierte Kriterium bei der Ermittlung der Güte der Prädiktoren Abiturnote und kognitive Leistungstests eingesetzt, konnten durch beiden Prädiktoren 37 % der Varianz des Studienerfolgs aufgeklärt werden. Wurden nur die VD-Noten oder nur der Psychologiewissenstest als Kriterium eingesetzt, so änderte sich die Stärke des Zusammenhangs mit den Prädiktoren (Wilhelm et al., 2006). Dies weist auf Effekte hin, die durch die Methode der Leistungserhebung über Tests und / oder Noten bestimmt sind und einen Artefakt in der Ermittlung der Vorhersagestärke darstellen. In einer Analyse aller Studiumsnoten von 629 Psychologieabsolventen wird deutlich, dass die Noten keinen Generalfaktor bilden, sondern sich auf zwei korrelierte Faktoren für die Noten des Grund- vs. des Hauptstudiums zurückführen lassen. Eine detaillierte Beschreibung 2

3 dieser Analyse geben Wilhelm et al. (2006). Die Ausführungen sollen verdeutlichen, von welch hoher Bedeutung die genaue Definition des eingesetzten Maßes für den Studienerfolg ist, wenn man die Ergebnisse einer Untersuchung interpretiert Die Validität von Schulnoten Zahlreiche US-amerikanische Untersuchungen bestätigen die Prädiktionskraft der Schulabschlussnote für den Studienerfolg in Form von Studiennoten. Besonders hervorzuheben sind die Metaanalysen von Burton und Ramist (2001) sowie von Wilson (1983). Hier werden für die Schulabschlussnote Korrelationen von r =.42 1 (Burton & Ramist, 2001) bzw. r =.49 (Wilson, 1983) berichtet. Es ist zu berücksichtigen, dass die Studierenden z. T. anhand der Schulabschlussnote ausgewählt wurden, so dass die Varianz der Noten eingeschränkt ist. Dies führt zu Unterschätzungen des wahren Zusammenhangs. Zur Validität der Abiturdurchschnittsnote im deutschen Raum publizierten Trapmann, Hell, Weigand und Schuler (in Druck) die Ergebnisse einer Metaanalyse aller Einzelstudien seit Die Autoren belegen, dass die Abiturnote der beste Einzelprädiktor ist, dessen Vorhersagekraft von keiner Einzelnote überboten wird; seine Korrelation mit den Studiumsnoten beträgt ρ =.53 2 (vgl. auch Hell, Trapmann und Schuler, in diesem Band). Damit werden Befunde einer älteren Metaanalyse von Schuler et al. (1990) repliziert. Die Validitätsbelege gelten auch für den Studiengang Psychologie (Baron-Boldt, 1989), jedoch fällt der Wert für das Fach mit ρ =.40 niedriger aus als für andere naturwissenschaftliche Fächer (Trapmann et al., in Druck). Vergleichbare Ergebnisse berichten Steyer, Yousfi und Würfel (2005) sowie Schmidt- Atzert (2005) mit Werten von r =.39 bzw. r =.37 für Studierende an den Universitäten in Jena bzw. Marburg. Diese Ergebnisse wurden zwar an kleineren Stichproben ermittelt, sind aber aufgrund ihrer Beschränkung auf den Studiengang Psychologie beachtenswert. In diesem Fach wurden bis zur Änderung des Hochschulrahmengesetzes an fast allen deutschen Universitäten 80 % der Studienplätze an die Abiturbesten vergeben, so dass die Varianz der Noten beträchtlich eingeschränkt ist (Schmidt-Atzert, 2005). Die Zusammenhänge werden also eher unterschätzt. Zusammenfassend ergibt sich bisher ein eindeutiges Plädoyer für den Einsatz der Abiturdurchschnittsnote bei der Auswahl von Studierenden. Ein Nachteil der Schulnoten ist, dass die Notenskala innerhalb von Schulklassen meist ausgeschöpft wird, um zwischen den Schülern einer Klasse gut zu differenzieren. Dadurch werden Leistungsunterschiede unterschätzt, die zwischen Schulklassen, Schulen, Schultypen und Bundesländern bestehen. Es resultieren Probleme der Vergleichbarkeit und Fairness, die bei Ingenkamp (1995) und Köller, Watermann, Trautwein und Lüdke (2004) diskutiert werden. Diesen Schwierigkeiten lässt sich mithilfe des Einsatzes von Leistungstests begegnen Die Validität von Leistungstests Der SAT I ist ein Test zur Erfassung der allgemeinen kognitiven Leistungsfähigkeit und stellt die Grundlage für die Studierendenauswahl an zahlreichen US-amerikanischen Universitäten dar. Ältere und neuere Studien bescheinigen dem SAT I eine hohe Vorhersagekraft des Studienerfolgs mit Korrelationen von r =.42 (Wilson, 1983) bzw. r =.36 (Burton & Ramist, 2001; Camara & Echternacht, 2000). Differenzielle Effekte, die eine unterschiedliche Vorhersagekraft des SAT I in einzelnen Bewerbergruppen (beide Geschlechter, ethische Gruppen) belegen, fallen sehr gering aus und lassen den Schluss zu, dass Leistungstests faire 1 Alle in diesem Kapitel mit r bezeichnete Korrelationen sind unkorrigiert. 2 Alle in diesem Kapitel mit ρ bezeichnete Korrelationen sind um die Unreliabiliät der Studiumsnoten und die Varianzeinschränkung korrigiert. 3

4 Tests sind, die keine Bewerbergruppe systematisch benachteiligen (Ramist, Lewis & McCamley-Jenkins, 1994). Der Einsatz von Leistungstests bei der Auswahl von Studierenden ist aktuell im deutschen Sprachraum kaum verbreitet. Von 1986 bis 1997 wurde der Test für medizinische Studiengänge (TMS) zur Auswahl von Studierenden für medizinische Studiengänge eingesetzt. In der Synopse ihrer Ergebnisse zum TMS fassen Trost et al. (1998) zusammen, dass der TMS eine Validität von ρ =.45 hat. Dabei erwiesen sich die Untertests zum schlussfolgerndes Denken in Medizin und Naturwissenschaften als besonders valide (Trost, 1994). Die Anforderungen an das schlussfolgernde Denken sind im Fach Psychologie ähnlich, wie verschiedene Anforderungsanalysen belegen (Heckel & Rössler, 2005; Wetzenstein, 2004). In diesen Arbeiten wurden Studierende und Lehrende an verschiedenen deutschen Psychologieinstituten befragt, welche Eigenschaften den Erfolg im Studium beeinflussen. Als Erfolgsfaktoren wurden neben verschiedenen Persönlichkeitseigenschaften und guten Leistungen in fachnahen Gebieten wie Mathematik, Englisch und Biologie allgemeine kognitive Fähigkeiten genannt. Demnach ist der Einsatz von Tests zur Erfassung des schlussfolgernden Denkens auch bei der Auswahl für das Psychologiestudium angezeigt Inkrementelle Validität von Noten und Leistungstests Übereinstimmend kommen nationale und internationale Studien und Metaanalysen zu dem Resultat, dass eine Kombination aus der Abiturnote und dem Ergebnis eines Leistungstests die genaueste Vorhersage der späteren Studienleistung erlaubt. Wie die Ausführungen unter 3.2 und 3.3 zeigten, sind beide Prädiktoren valide. Gemeinsam können sie mehr Varianz des Studienerfolgs aufklären als jeder Prädiktor für sich allein. Für ein solches zusammengesetztes Auswahlkriterium werden Validitätswerte von r =.48 (Camara & Echternacht, 2000) bzw. r =.52 (Burton & Ramist, 2001) für den SAT I und von ρ =.54 (Trost et al., 1998) für den TMS berichtet. Die Übertragbarkeit der Validitätsbefunde auf den Studiengang Psychologie wurde von Fenster, Markus, Wiedemann, Brackett und Fernandez (2001) in einer Analyse bei Psychologiestudierenden überprüft. Sie belegen, dass sich 39 % der Varianz der Studienabschlussnoten durch eine Kombination aus Schulabschlussnote und Leistungstest erklären lassen. Die inkrementelle Vorhersagegüte beider Prädiktoren ist in diesen Daten für den Studiengang Psychologie gegeben Erweiterung der Empfehlung auf der Basis von Simulationsstudien Wir haben eine Reihe von Simulationsstudien durchgeführt, um zu zeigen, in welchem Ausmaß durch verschiedene Zulassungsprozeduren übereinstimmende und abweichende Entscheidungen über die Zulassung zum Studium getroffen werden. Dazu wurden Daten für Personen in verschiedenen kognitiven Leistungstests und ihre zugehörigen Abitur- und Vordiplomnoten (VD-Noten) simuliert. Die Personenanzahl entspricht den Bewerberzahlen für das Fach Psychologie der vergangenen Jahre (ZVS, 2006). Den Berechnungen liegt die Annahme zugrunde, dass 60 % der Bewerber für das Studium geeignet sind, d. h. die Grundrate beträgt GR =.6. Die Zusammenhänge zwischen den simulierten Daten wurden in einem ersten Szenario so gestaltet, dass sie einem nach Stichprobengröße gewichteten Mittelwert entsprechen, wie er sich aus den Ergebnissen zahlreicher Studien, Metaanalysen und uns vorliegender Datensätze zusammensetzt. Es wurden stets unkorrigierte Korrelationen in die Berechnungen einbezogen. In einem zweiten Szenario sind wir von einer Situation ausgegangen, in der es gelänge, prädiktiv hoch valide Leistungstests zu entwickeln, die gleichzeitig gering korreliert sind. 4

5 Mit Hilfe von multiplen Regressionen und auf der Basis der aktuellen Selektionsrate von SR =.23 wurden die Beobachtungen in zugelassene und zurückgewiesene Bewerber klassifiziert. Eine prädiktive Validität von R =.44 (Szenario 1 in Tabelle 1) hat eine Zulassungsprozedur, die den Empfehlungen für die Auswahl von Psychologiestudierenden folgt (vgl. Schmidt-Atzert, in diesem Band) und in der neben der Abiturnote die Ergebnisse in mehreren Leistungstests 3 bei der Auswahl berücksichtigt werden. Tabelle 1 verdeutlicht, dass diese Prozedur gegenüber der Beschränkung auf die Abiturnote (r =.34) die Zulassungsentscheidung in jedem 6. Fall ändert. Gelänge die Konstruktion besonders valider Leistungstests mit niedrigen Korrelationen mit der Abiturnote (Szenario 2), veränderten sich sogar in jedem 4. Fall die Entscheidungen durch die zusätzliche Berücksichtigung von Leistungstestergebnissen. Noch eindrücklicher sind die Ergebnisse, betrachtet man nur die Gruppe der Personen, die bei alleiniger Berücksichtigung der Abiturnote zugelassen würden: In Szenario 1 würden lediglich 2/3 dieser Personen auch bei zusätzlicher Berücksichtigung der Leistungstestergebnisse zugelassen, in Szenario 2 sogar weniger als die Hälfte. Tabelle 1: Abiturnote (r =.34) Vergleich der Zulassungsprozeduren Szenario 1: Abiturnote + Leistungstests (R =.44) angenommen (3500) zurückgewiesen (11500) Szenario 2: Abiturnote + Leistungstests (R =.69) angenommen (3500) angenommen zurückgewiesen zurückgewiesen (11500) Dass auch kleine Verbesserungen der Validität einen hohen Nutzen haben, verdeutlicht Abbildung 1Fehler! Verweisquelle konnte nicht gefunden werden., in der die Anzahl der später erfolgreichen Studienbewerber unter den Ausgewählten in Abhängigkeit von der Güte des Zulassungsverfahrens abgetragen ist: Schon eine Valdiditätserhöhung um Δr =.10 erhöht die Anzahl der erfolgreichen unter den zugelassenen Studierenden um 140. Bei geschätzten Kosten von rund 3800 eines Studienplatzes pro Jahr allein für die Lehre sind diese Ergebnisse recht eindrucksvoll. 3 Simuliert wurde eine Kombination aus kognitiven Leistungstests, Mathematik- und Englischtest. 5

6 Anzahl der erfolgreichen unter den Ausgewählten Validität Abbildung 1: Anzahl der erfolgreichen unter den ausgewählten Studierenden in Abhängigkeit von der Validität des Verfahrens Unter der Annahme einer Grundrate von GR =.6 und einer Selektionsrate von SR =.23 beträgt das Verhältnis der geeigneten zu den ungeeigneten Bewerbern unter den allein nach Abiturdurchschnittsnote (r =.34) Ausgewählten 2576 zu 924. Wird bei der Auswahl das Leistungstestergebnis (Szenario 1; R =.44) berücksichtigt, ändert sich das Verhältnis auf 2713 zu 787. Die Berücksichtigung besonders valider Leistungstestergebnisse (Szenario 2; R =.69) hätte sogar ein Verhältnis von 3059 zu 441 zur Folge. Demnach reduziert sich das relative Risiko einer falschen Entscheidung für einen ungeeigneten Bewerbers umso deutlicher, je valider die eingesetzte Auswahlprozedur ist. 4. Umsetzung einer Auswahlbatterie für das Fach Psychologie 4.1. Untersuchungen zur Valdidität von Leistungstests und Abiturnoten bei Psychologiestudierenden In einer Studie mit 190 Psychologiestudierenden im 5. Semester wurden die Befunde zur Validität einer Auswahlprozedur repliziert, die den Empfehlungen aus 3.4 und 3.5 folgt und sich direkt auf das Fach Psychologie bezieht. Als Maße für den Studienerfolg wurden die Leistung der Studierenden in einem Psychologiewissenstest und die selbstberichteten VD- Noten verwendet. Zur Vorhersage des Studienerfolgs wurden die Abiturdurchschnittsnote und die Ergebnisse aus mehreren Leistungstests eingesetzt. In Strukturgleichungsmodellen können 37 % der Varianz des Studienerfolgs durch die Leistungstests und die Abiturnote erklärt 6

7 werden (Formazin, Wilhelm & Köller, 2006). Dieser Anteil ist in der Psychologie durchaus beachtlich, da der Studienerfolg von vielen Faktoren abhängt, die in der Vorhersage noch nicht berücksichtigt wurden Eine Auswahlprozedur für das Fach Psychologie Die Resultate aus anderen Studiengängen sowie die für das Fach Psychologie spezifischen Ergebnisse sprechen für den Einsatz eines kombinierten Auswahlkriteriums aus Abiturdurchschnittsnote und Leistungstests für den Studiengang Psychologie. Es ist unzureichend, rein empirisch begründete Entscheidungen über den Einsatz von Auswahlkriterien zu treffen, da ein solches Vorgehen nur wenig transparent für die Betroffenen ist. Die abgeleitete Auswahlbatterie soll mit den Befunden zur prognostischen Validität ebenso im Einklang stehen wie mit den konkreten Anforderungen eines Psychologiestudiums. Die in der Auswahlbatterie kombinierten Verfahren decken die kognitiven Fähigkeiten ab, die in Anforderungsanalysen aus der Sicht von Lehrenden und Studierenden (Heckel & Rössler, 2005; Wetzenstein, 2004) als bedeutsam für das Psychologiestudium genannt wurden. Persönlichkeitsmerkmale, Interessen und weitere Indikatoren typischen Verhaltens stellen weitere Einflussfaktoren des Studienerfolgs dar (vgl. Robbins et al., 2004) und werden auch in Anforderungsanalysen als kritische Größen genannt. Jedoch verbergen sich hinter Begriffen wie Teamfähigkeit häufig unscharf abgrenzbare Konstrukte, die sich in einem Auswahlkontext bislang nicht unverfälschbar erfassen lassen. Die in der Testbatterie kombinierten Verfahren folgen daher den Empfehlungen der Kommission Studierendenauswahl der Deutschen Gesellschaft für Psychologie e. V. (vgl. Schmidt-Atzert, in diesem Band) und decken verschiedene Aspekte der Fähigkeiten ab, die für ein erfolgreiches Studium im Fach Psychologie bedeutsam sind: Tests zum schlussfolgernden Denken, Psychologieverständnistest, Mathematiktest, Englischtest, Biologiewissenstest 4. Mit diesen verschiedenen Prädiktoren wird man am ehesten der Vielfalt des Kriteriums Studienerfolg gerecht. Eine multivariate Auswahlbatterie kann außerdem am eheseten Methoden- und Testvorbereitungsartefakte reduzieren (vgl. Abschnitt 3.1.). Neuartig unter den Tests ist das Modul zur Erfassung des Psychologieverständnisses. Es erfasst kein Vorwissen, sondern Leseverständnis bezogen auf psychologische Inhalte, weist in seinen Anforderungen einen großen Überlappungsbereich mit Tests zum schlussfolgernden Denken auf und ist in der Gestaltung seiner Oberflächenstruktur äquivalent zu Leseverständnistests aus den PISA-Untersuchungen. Damit ähnelt das Verfahren den Aufgaben zum schlussfolgernden Denken in Naturwissenschaften aus dem TMS, die am stärksten mit dem späteren Studienerfolg von Medizinstudierenden korreliert waren (Trost, 1994). Es lässt aufgrund seiner Ausrichtung auf psychologische Themen eine hohe Akzeptanz unter Psychologieinteressenten erwarten. Die Aufgaben beziehen sich auf typische Fragestellungen der Psychologie, wie sie im Rahmen des Grundstudiums an deutschen Universitäten gelehrt werden. Auf der Basis von Texten, Tabellen und Abbildungen aus gängigen Einführungslehrbüchern wurden Aufgaben entwickelt, die bspw. klassische Experimente und Grundkonzepte schildern. Eine Aufgabe 4 Der Test wird aktuell entwickelt. 7

8 (sog. Testlet) beinhaltet bis zu drei Items, die sich auf Grundlage des vorliegenden Textes ohne Vorwissen in Psychologie beantworten lassen. Dazu müssen Informationen aus dem Text miteinander in Beziehung gesetzt und Schlussfolgerungen abgeleitet werden. In einer Reihe von aufeinander aufbauenden Studien wurde das Verfahren kontinuierlich revidiert. Es erfüllt die psychometrischen Erwartungen (vgl. Tabelle 2) an ein zuverlässiges Instrument. Tabelle 2: Psychometrische Kennwerte der Versionen des Psychologieverständnistests Testung Herbst 2005 Februar 2006 Juni 2006 a September 2006 a November 2006 a Anzahl Getesteter Anzahl Testlets Anzahl Items (13) b (10-11) b (11-14) b (14) b interne Konsistenz α /.81 / /.75 / /.80 /.71 mittlere Itemschwierigkeit P mittlere Itemtrennschärfe r bis Reliabilität des latenten Faktors ω /.67 / /.49 / /.68 / /.47 / /.39 / /.44 / /.74 / /.76 / /.75 /.62 Anmerkungen: a In diesen Untersuchungen kamen drei Versionen des Tests zum Einsatz, für die jeweils separate Ergebnisse berichtet werden. b Die Zahl in Klammern gibt die Anzahl der Items nach Selektion wieder. Die psychometrischen Kennwerte für die weiteren Verfahren aus der Testbatterie sind ebenfalls befriedigend und bestätigen die Qualität der Auswahlbatterie. Korrelationsanalysen belegen die erwartungsgemäß moderaten Zusammenhänge von r =.22 bis r =.50 zwischen den Leistungen im Psychologieverständnistest und den anderen Tests. In Strukturgleichungsmodellen lässt sich die Leistung im Psychologieverständnistest zu einem beträchtlichen Anteil auf einen latenten Faktor für schlussfolgerndes Denken zurückführen, der durch die Aufgaben aus kognitiven Leistungstests, einem naturwissenschaftlichen Verständnistest und dem Mathematiktest repräsentiert wird. 5. Resümee Resultate aus den Metaanalysen sowie die Ergebnisse aus eigenen Studien verdeutlichen, dass aus psychometrischer Sicht die Voraussetzungen für eine gute Auswahl von Studierenden gegeben sind. Es lässt sich belegen, dass mit der Abiturdurchschnittsnote und Leistungstestergebnissen die am besten geeigneten Studierenden unter den Bewerbern ausgewählt werden können. Entsprechende Verfahren liegen vor und warten auf ihren Einsatz. Dass die Instrumente bisher nicht in der Praxis implementiert wurden, ist primär auf juristische und politische Rahmenbedingungen zurückzuführen. Offenbar sehen die Universitäten noch keine Notwendigkeit, sich durch die Einführung von Zulassungstests einen 8

9 Wettbewerbsvorteil zu sichern. Besonders beklagenswert ist, dass auch innerhalb der Psychologie, die sachgerechte Antworten auf die angewandte Frage nach der optimalen Zulassung zum Studium geben kann, noch keine hinreichende Initiative entwickelt werden konnte, die zur deutschlandweiten Umsetzung einer aus wissenschaftlicher Sicht gebotenen Prozedur geführt hätte. Dies ist umso bedauerlicher, da verschiedenenorts universitätsspezifische Auswahlverfahren entwickelt werden, die nicht nur den Bewerbern einen beträchtlichen Zulassungstourismus und damit Reisekosten aufbürden, sondern auch mit Blick auf die psychometrische Qualität nicht mit wissenschaftlich fundierten Verfahren konkurrieren können. Es bleibt für die Universitäten, für die Bewerber und für die Psychologische Diagnostik als zuständige wissenschaftliche Disziplin zu hoffen, dass in absehbarer Zeit Zulassungsverfahren wie hier vorgeschlagen eingesetzt werden. Kontakt: Dipl.-Psych. Maren Formazin Humboldt-Universität zu Berlin Institut zur Qualitätsentwicklung im Bildungswesen Unter den Linden Berlin maren.formazin@iqb.hu-berlin.de Literatur Baron Boldt, J. (1989). Die Validität von Schulabschlussnoten für die Prognose von Ausbildungs und Berufserfolg. Frankfurt / M.: Peter Lang. Burton, N. W. & Ramist, L. (2001). Predicting success in college: SAT studies of classes graduating since 1980 (College Board Research Report No ). New York: College Entrance Examination Board. Camara, W. J. & Echternacht, G. (2000). The SAT I and high school grades: Utility in predicting success in college (Research Notes No. RN 10). New York: College Board. Fenster, A., Markus, K. A., Wiedemann, C. F., Brackett, M. A. & Fernandez, J. (2001). Selecting tomorrowʹs forensic psychologists: A fresh look at some familiar predictors. Educational and Psychological Measurement, 61, Formazin, M., Wilhelm, O. & Köller, O. (2006). Willkür vermeiden! Sachlich gebotene Methoden der Beurteilung von Studienbewerbern. Forschung und Lehre, 13, Heckel, F. & Rössler, A. (2005). Ermittlung von Eignungsanforderungen für das Psychologiestudium. Die Anforderungsanalyse als Grundlage der Studierendenauswahl. Unveröffentlichte Diplomarbeit, Humboldt Universität zu Berlin. Ingenkamp, K. (1995). Die Fragwürdigkeit der Zensurengebung. Weinheim und Basel: Beltz. Köller, O., Watermann, R., Trautwein, U. & Lüdke, O. (Hrsg.). (2004). Wege zur Hochschulreife in Baden Württemberg. TOSCA Eine Untersuchung an allgemein bildenden und beruflichen Gymnasien. Opladen: Leske + Budrich. Ramist, L., Lewis, C. & McCamley Jenkins, L. (1994). Student group differences in predicting college grades: Sex, language, and ethic groups (College Board Report No. 93 1). New York: College Entrance Examination Board. Robbins, S. B., Lauver, K., Le, H., Davis, D., Langley, R. & Carlstrom, A. (2004). Do psychosocial and study skill factors predict college outcomes? A meta analysis. Psychological Bulletin, 130,

10 Schmidt Atzert, L. (2005). Prädiktion von Studienerfolg bei Psychologiestudenten. Psychologische Rundschau, 56, Schuler, H., Funke, U. & Baron Boldt, J. (1990). Predictive validity of high school grades: A metaanalysis. Applied Psychology: An International Review, 39, Steyer, R., Yousfi, S. & Würfel, K. (2005). Prädiktion von Studienerfolg: Der Zusammenhang zwischen Schul und Studiennoten im Diplomstudiengang Psychologie. Psychologische Rundschau, 56, Trapmann, S., Hell, B., Weigand, S. & Schuler, H. (in Druck). Die Validität von Schulnoten zur Vorhersage des Studienerfolgs eine Metaanalyse. Zeitschrift für Pädagogische Psychologie. Trost, G. (1994). Test für Medizinische Studiengänge (TMS): Studien zur Evaluation (No. 18. Arbeitsbericht). Bonn: Institut für Test und Begabungsforschung. Trost, G., Blum, F., Fay, E., Klieme, E., Maichle, U., Meyer, M.et al. (1998). Evaluation des Tests für medizinische Studiengänge (TMS): Synopse der Ergebnisse. Bonn: Institut für Test und Begabungsforschung. Wetzenstein, E. (2004). Entwicklung eines Anforderungsprofils für Studierende am Beispiel der Psychologie. Vortrag im Bühler Kolloquium, TU Dresden. Wilhelm, O., Formazin, M., Böhme, K., Kunina, O., Jonkmann, K. & Köller, O. (2006). Auswahltests für Psychologiestudierende: Befundlage und neue Ergebnisse. Report Psychologie, 31, Wilson, K. M. (1983). A review of research on the prediction of academic performance after the freshman year (College Board Research Report No. 83 2). New York: College Entrance Examination Board. ZVS. (2006). Angebot und Nachfrage nach Studienplätzen in bundesweit zulassungsbeschränkten Studiengängen zum Wintersemester 2006/2007. Studiengang Psychologie. Dortmund: ZVS Daten. 10