Gedruckt mit Genehmigung der Fakultät für Psychologie der RUHR-UNIVERSITÄT BOCHUM

Transkript

1 Speed-Tests im Internet Möglichkeiten und Grenzen ihrer Nutzung für die Personalauswahl Inaugural-Dissertation zur Erlangung des Grades eines Doktors der Philosophie in der Fakultät für Psychologie der Ruhr-Universität Bochum vorgelegt von: Julia Richter

2 Gedruckt mit Genehmigung der Fakultät für Psychologie der RUHR-UNIVERSITÄT BOCHUM Referent: Prof. Dr. Heinrich Wottawa Korreferent: Prof. Dr. Bernhard Zimolong Tag der mündlichen Prüfung: i

3 Danksagung Prof. Dr. Heinrich Wottawa möchte ich für die wissenschaftliche Betreuung dieser Arbeit ebenso danken wie für das entgegengebrachte Vertrauen durch die Annahme als Wissenschaftliche Mitarbeiterin. Die anregenden Diskussionen, Denkanstöße und die offenen Worte waren mir eine große Unterstützung und Quelle der Motivation. Prof. Dr. Bernhard Zimolong danke ich sehr für die Übernahme der Gutachtertätigkeit. Besonders wertvoll war für mich der fachliche Austausch mit Dr. Christian Montel, ohne dessen zahlreiche Anregungen das Entstehen dieser Arbeit nicht möglich gewesen wäre. Mein Dank gebührt auch den weiteren Mitarbeitern der Firma Eligo GmbH, insbesondere Frau Christa Mette, sowie den Mitarbeitern der Firma Webpartner für die technische Unterstützung; namentlich Herrn Oliver Schnell und Herrn Stefan Schuchardt. Meinen herzlichen Dank möchte ich auch Frau Sperber für die enge Zusammenarbeit und die in diesem Zuge entstandenen inhaltlichen und methodischen Anregungen aussprechen. Auch Frau Karamitsou und Herrn Houdani, sowie den Studierenden der Fakultät für Psychologie, Ruhr-Universität Bochum, welche im Rahmen von Seminaren an der Entstehung dieser Arbeit mitgewirkt haben, gilt mein Dank. Frau Beate Ohlenschläger, Frau Helga Pistorius und Frau Dagmar Druck möchte ich ebenfalls herzlich danken. In der folgenden Darstellung wird bei Personen- und Berufsbezeichnungen das generische Maskulinum verwendet. Diese Vereinfachung soll einer verbesserten Lesbarkeit des Textes dienen. Die Leserinnen und Leser, die dieser Ansicht nicht zustimmen, möchte ich bitten, die jeweils weibliche Form während der Lektüre in Gedanken zu ergänzen. Bochum, im August 2007 Julia Richter ii

4 Zusammenfassung Da Face-to-Face-Prozesse in der Endauswahl wie Interviews und Assessment Center kostenintensiv sind, können durch den Einsatz internetbasierter Testverfahren in der Vorauswahl angemessen geringe Bewerberzahlen realisiert und damit die Kosten gesenkt werden (vgl. Funke und Barthel, 1995). Ein weiterer Vorteil internetbasierter Verfahren liegt in der örtlichen und zeitlichen Ungebundenheit der Bewerber. Aber dieser Vorteil birgt auch Risiken. So kann die Identität des Bewerbers und damit eine mögliche Verfälschung der Testergebnisse durch die Nutzung unerlaubter Hilfsmittel oder das Auswendiglernen der Testaufgaben nicht kontrolliert werden. Während das Üben ähnlicher Aufgaben zu einem Ausgleich von Erfahrungsunterschieden und damit zur Testfairness beitragen kann, unterläuft das Fälschen das Prinzip eignungsdiagnostischer Verfahren (Wottawa & Amelang, 1985). Faktisch existieren bisher keine Möglichkeiten, einen solchen Missbrauch zu unterbinden. Instrumente wie Irisanalysen oder Webcams sind aus Kosten- und Akzeptanzgründen nicht einsetzbar. Solange aber die Verfälschung von Testergebnissen nicht ausgeschlossen werden kann, rechtfertigen gute Testresultate bei unsupervidierter Testung allein keine Positivauswahl im Sinne der Annahme vorliegender Eignung (vgl. Wottawa & Woike, 2002). Bisherige Ansätze zur Vermeidung von Testfaking beziehen sich auf Pool-Lösungen und Itemdatenbänke sowie computergestützte adaptive Tests (CATs). Aber es gibt praktisch keine Untersuchung, die nachweist, dass der jeweils geprüfte Test nicht verfälschbar wäre (Bortz & Döring, 2006). Ein innovativer Ansatz zur Entwicklung möglichst nicht verfälschbarer Testverfahren liegt in der Nutzung von Speed-Komponenten in Verbindung mit Permutationsalgorithmen. Das Ziel der vorliegenden Arbeit lag in der Entwicklung möglichst nicht verfälschbarer Speed-Tests für das Recruiting-Tool PERLS (vgl. Kirbach & Montel, 2002). In empirischen Studien wurde untersucht, inwiefern eine Manipulation der Testergebnisse bei den vier entwickelten Skalen möglich ist. Ferner wurde erhoben, inwieweit auf unterschiedliche Vorerfahrung mit internetgestützten Leistungstests basierende Varianz durch das Vorschalten von Trainingsphasen minimiert werden kann. Aufgrund der Kontroverse zur Validität von Speed-Tests wurde zudem die Konstruktvalidität der Verfahren bestimmt. Die Datenerhebung erfolgte in Kooperation mit DAX-notierten Unternehmen sowie im Rahmen der Evaluation und des Einsatzes des Studien-Beratungstools Borakel der Ruhr-Universität Bochum. Mit Abschluss der Arbeit sollten die entwickelten Speed-Tests in der Personalauswahl eingesetzt werden können. Ausstehende Optimierungsmöglichkeiten sowie die Befunde im Hinblick auf die Nutzbarkeit der Speed-Komponente zur Vermeidung von Testfaking werden diskutiert. iii

5 Inhaltsverzeichnis 1 DIE BEDEUTUNG VON LEISTUNGSTESTS IN DER BERUFSEIGNUNGSDIAGNOSTIK EINSATZ VON TESTVERFAHREN IN DER BERUFSEIGNUNGSDIAGNOSTIK Einsatzhäufigkeit von Leistungstests in Deutschland Recruiting und Assessment im Internet DIE SPEED-KOMPONENTE BEI LEISTUNGSTESTS Zur Bestimmung von Speed-Anteilen Durch die Speed-Komponente bedingte Varianz INTELLIGENZ UND BEARBEITUNGSGESCHWINDIGKEIT Faktorenmodelle der Intelligenz Verarbeitungsgeschwindigkeit und Aufmerksamkeit Verarbeitungsgeschwindigkeit und komplexes Problemlösen Komplexere Aufgaben bei höherer Speed-Komponente Zum Einfluss des Vorwissens auf die Bearbeitungsgeschwindigkeit LEISTUNGSTESTS IM INTERNET-ASSESSMENT VORTEILE VON INTERNETGESTÜTZTER TESTUNG Nutzung internetgestützter Verfahren im Diagnoseprozess Objektivierte Entscheidungen Einsatzbereiche und inkrementeller Beitrag DIE NOTWENDIGKEIT DER VORAUSWAHL PROBLEME VON LEISTUNGSTESTS IM INTERNET-ASSESSMENT Äquivalenz und Akzeptanz Testfaking und Testfairness ARTEN DES TESTFAKINGS VORGEHEN BEI TESTTRAINING LÖSUNGSANSÄTZE ZUR VERHINDERUNG VON TESTFAKING TESTADMINISTRATION ELEKTRONISCHE ÜBERWACHUNG STRATEGIEN DER TESTVORGABE Pool-Lösungen und Permutationen Adaptives Testen STRATEGIEN DER ITEMGENERIERUNG SPEED-KOMPONENTEN ALS MITTEL GEGEN TESTFAKING GRUNDLEGENDE ANNAHMEN ABLEITUNG VON KRITERIEN ZUR TESTENTWICKLUNG Speed-Komponente und Permutationsalgorithmen Ausschluss von Heuristiken Testdarbietung und Administration ZUSAMMENFASSUNG GRUNDLEGENDER ANFORDERUNGEN GESTALTUNG EINES NICHT-MANIPULIERBAREN SPEED-TESTS ZIELE UND FRAGESTELLUNGEN PHASEN DER ITEMGENERIERUNG TECHNISCHE VORAUSSETZUNGEN UND INSTRUKTIONEN ITEM-ENTWICKLUNG UND ANALYSE MÖGLICHER HEURISTIKEN IMPLEMENTIERUNG DER ONLINE-VERFAHREN Speededness der Skalen Soll-Items und optionale Items Retest-Prinzip und Item-Permutationen SKALENSPEZIFISCHE KONSTRUKTIONSSCHRITTE SKALA DENKGESCHWINDIGKEIT...60 iv

6 6.1.1 Beschreibung der Skala Strategien der Itemgenerierung SKALA VERARBEITUNGSGESCHWINDIGKEIT Beschreibung der Skala Strategien der Itemgenerierung SKALA REGELN Beschreibung der Skala Strategien der Itemgenerierung SKALA KONZENTRATION Beschreibung der Skala Strategien der Itemgenerierung EMPIRISCHE BEFUNDE ZUR TESTSTATISTISCHEN QUALITÄT NORMIERUNG DER ERSTELLTEN SKALEN Stichproben Skala Denkgeschwindigkeit Skala Verarbeitungsgeschwindigkeit Skala Konzentration Skala Regeln EMPIRISCHE BEFUNDE ZUR RELIABILITÄT DER ERSTELLTEN SKALEN Erhobene Formen der Reliabilität Skala Denkgeschwindigkeit Skala Verarbeitungsgeschwindigkeit Skala Konzentration Skala Regeln ZUR SPEEDEDNESS DER ERSTELLTEN SKALEN Skala Denkgeschwindigkeit Skala Verarbeitungsgeschwindigkeit Ungekürzte Version Gekürzte Version Skala Regeln Skala Konzentration BEFUNDE ZUR TESTREZEPTION Offline-Vorversionen und abgeleitete Implikationen Zur Rezeption der internetgestützten Speed-Tests EMPIRISCHE BEFUNDE ZUR KONSTRUKTVALIDITÄT DER ERSTELLTEN SKALEN ÜBERSICHT ÜBER EINGESETZTE VERFAHREN SKALA DENKGESCHWINDIGKEIT Stichproben Konvergente und divergente Verfahren Interpretation der Befunde SKALA VERARBEITUNGSGESCHWINDIGKEIT Stichproben Konvergente und divergente Verfahren Interpretation der Befunde SKALA REGELN Stichproben Konvergente und divergente Verfahren Interpretation der Befunde SKALA KONZENTRATION Stichproben Konvergente und divergente Verfahren Interpretation der Befunde INTERKORRELATION DER ERSTELLTEN SKALEN ZUSAMMENHANG MIT DEMOGRAFISCHEN DATEN Alter Geschlecht v

7 8.7.3 Tageszeit ÜBUNGSEFFEKTE BEI DEN ENTWICKELTEN SKALEN ÜBUNGSEFFEKTE BEI DEN OFFLINE-VORVERSIONEN Zusammenfassende Darstellung der Befunde Skala Denkgeschwindigkeit Skala Verarbeitungsgeschwindigkeit Skala Regeln bewerten Skala Regeln anwenden Fazit zu Übungseffekten bei den Offline-Vorversionen ÜBUNGSEFFEKTE BEI DEN ENTWICKELTEN INTERNETGESTÜTZTEN SPEED-TESTS Datenerhebung und Stichprobe Zusammenfassende Darstellung der Befunde Skala Denkgeschwindigkeit Skala Verarbeitungsgeschwindigkeit Skala Regeln Skala Konzentration Einfluss der Motivation auf die Testleistung Interpretation der Befunde FAZIT ZU ÜBUNGSEFFEKTEN BEI DEN ENTWICKELTEN SPEED-TESTS ANALYSEN ZUM ÜBUNGSTRANSFER Übungstransfer zwischen den entwickelten Skalen Übungsdifferenzen zwischen den Teilnehmern Zum Einfluss der Tageszeit auf den Übungsverlauf ERGEBNISSE ZUR VERFÄLSCHBARKEIT DER ENTWICKELTEN SKALEN STUDIENÜBERBLICK ZUR VERFÄLSCHBARKEIT DER OFFLINE-VORVERSIONEN Anwendbarkeit von Heuristiken Deskriptivstatistiken Qualitative Befunde Vergleich von Übungs- und Verfälschungseinflüssen Beschreibung des Auswertungsdesigns Darstellung der Ergebnisse Fazit und Konsequenzen für die weitere Itemkonstruktion ZUR VERFÄLSCHBARKEIT DER INTERNETGESTÜTZTEN SPEED-TESTS Beschreibung des Auswertungsdesigns Darstellung der Ergebnisse ZUSAMMENFASSUNG DER ERGEBNISSE ZUR VERFÄLSCHBARKEIT DER SPEED-TESTS DISKUSSION DER ERGEBNISSE ZUR NUTZBARKEIT VON SPEED GEGEN TESTFAKING VOR- UND NACHTEILE DES NEUEN ANSATZES Vorteile von Speed-Tests gegenüber Power-Tests und CATs Kritikpunkte bei der Verwendung von Speed-Komponenten STANDORTBESTIMMUNG WEITERE OPTIMIERUNGSEMPFEHLUNGEN UND OFFENE FRAGEN ABBILDUNGSVERZEICHNIS TABELLENVERZEICHNIS LITERATUR ANHANG vi

8 1 Die Bedeutung von Leistungstests in der Berufseignungsdiagnostik 1.1 Einsatz von Testverfahren in der Berufseignungsdiagnostik Pro Jahr werden in der Bundesrepublik Deutschland über zwei Millionen Einstellungsentscheidungen getroffen (Wottawa & Hossiep, 1997). Die Zahl der Urteile zur beruflichen Eignung von Personen schätzten Wottawa und Oenning im Jahr 2002 auf 30 bis 50 Millionen. Die Entscheidung, einen Bewerber einzustellen, ist von großer finanzieller Tragweite. Nach Schmidt und Hunter (1983) beträgt die Standardabweichung des Gegenwerts der Arbeitsleistung eines Mitarbeiters je nach Berufsfeld mindestens 40 Prozent seines durchschnittlichen Jahreseinkommens. Bei einem Jahreseinkommen von Euro ergibt sich folglich eine Differenz zwischen einem leistungsfähigen und einem weniger leistungsstarken Mitarbeiter von Euro. Nach Miesen, Schuhfried und Wottawa (1999) ist davon auszugehen, dass ein Mitarbeiter etwa elf Jahre in einem Unternehmen verweilt. Selbst wenn sich diese Verweildauer mittlerweile reduziert haben mag, verdeutlichen diese Überlegungen, wie wichtig es für Unternehmen ist, die richtige Person für eine vakante Stelle zu finden. Mit jeder beruflichen Position sind bestimme Anforderungen verbunden. Personen, welche diesen nicht entsprechen, werden frustriert; Personen, die den Anforderungen überlegen sind, demotiviert, und somit beide Gruppen zum Wechsel ihrer Tätigkeit bewogen (vgl. Schallberger, 2000). Sowohl für Arbeitgeber als auch -nehmer ist eine unzureichende Passung von Person und Anforderung nicht nur mit hohen finanziellen, sondern auch mit nicht direkt monetär erfassbaren Verlusten verbunden. Die Prognose der Passung zwischen den Anforderungen der Stelle und den Fähigkeiten und Fertigkeiten von Bewerbern ist Gegenstand der Berufseignungsdiagnostik. Das Verhalten und Erleben anderer zu antizipieren, reduziert Unsicherheit (vgl. Wottawa & Hossiep, 1987). Es verwundert daher nicht, dass die ersten eignungsdiagnostischen Verfahren nach DuBois (1966, 1970, zitiert nach Amelang & Bartussek, 1997) bereits im Alten China (etwa 1115 v. Chr.) zur Auswahl der Mandarine (höhere Beamte) eingesetzt wurden. Ein weiterer Hinweis auf den frühen Einsatz systematischer Verhaltensproben zur Personalauswahl findet sich im Alten Testament im Buch der Richter (7.1-8). Zu allen Zeiten hat der Mensch nicht nur nach seinem Woher gefragt; fast mehr noch als das Dunkel seines Ursprungs beschäftigt den Menschen die Verschlossenheit der Zukunft, auf die er zugeht. Er will den Vorhang aufreißen; er will wissen, was geschehen wird (Ratzinger, 2007, S. 26). 1

9 Eine Möglichkeit, die Fähigkeiten und Fertigkeiten von Bewerbern zu erfassen, bieten psychometrische Testverfahren. Zur Definition von Testverfahren siehe z.b. Brandstätter, Die von Brickenkamp (1997) vorgeschlagene Einteilung in Leistungs- und Persönlichkeitstests hat sich weitgehend etabliert. Persönlichkeitstests erfassen das typische Verhalten von Personen (vgl. Cronbach, 1970). Leistungstests dienen der Erfassung kognitiver Fähigkeiten, als deren Synonym häufig Intelligenz gebraucht wird. Kognitive Fähigkeiten umfassen die Qualität und die Geschwindigkeit bei der Bearbeitung neuartiger, also nicht routiniert erfolgender Aufgaben (vgl. Schuler & Höft, 2006). Einer der Pioniere auf dem Gebiet ihrer psychometrischen Erfassung war Sir Francis Galton. Bereits im Jahr 1890 bot er Interessierten die Möglichkeit, ihre Intelligenz durch eine Reihe von Tests messen zu lassen (vgl. Schmidt, 1977, 1978). Eignungsdiagnostische Tests zur Prognose kognitiver Leistungen i. e. S. werden seit Beginn des 20. Jahrhunderts eingesetzt. Ein Beispiel ist der Army Alpha -Test und dessen sprachfreie Version Army Beta. Im Ersten und Zweiten Weltkrieg wurden sie von der U.S. Army zur Bestimmung geeigneter Einsatzbereiche für Rekruten genutzt. In den letzten Jahren erlebte die Diagnostik von Persönlichkeitsmerkmalen eine Renaissance (vgl. Kersting, 2006a), nachdem Verfahren zur Erfassung der Big Five-Persönlichkeitsfaktoren wie das NEO-Fünf-Faktoren-Inventar (NEO-FFI) nach Costa und McCrae (vgl. Borkenau & Ostendorf, 1993) jahrelang als zu grobe Messungen angesehen wurden. Eine Kompetenzdebatte war bereits in den 70er Jahren von McClelland (1973) angeregt worden (vgl. Sowarka, 2000). Denn Internationalisierung und flachere Hierarchien in den Unternehmen führen zu neuen Anforderungen an Fach- und Führungskräfte wie Teamfähigkeit oder Flexibilität (vgl. Regnet, 1999). Nichtsdestotrotz besitzen Leistungstests nach wie vor einen hohen diagnostischen Stellenwert. Nach Sarges und Wottawa (2004) haben sich neben der Integrität (Persönlichkeitsbereich) kognitive Fähigkeiten als durchgängig relevante Prädiktoren für berufliche Leistungen erwiesen. Praktisch gibt es keinen Beruf, für den Leistungstests keinen prognostischen Wert besitzen (Schmidt & Hunter, 1998). Bereits im Rahmen der Rahmen des Army Alpha-Tests hatten sich große Abweichungen der Intelligenzwerte zwischen Rekruten verschiedener Berufe gezeigt (vgl. Ackerman & Humphreys, 1991). Heutzutage ist unumstritten, dass Berufe unterschiedliche Anforderungen stellen. Salgado, Anderson, Moscoso, Bertua und de Fruyt (2003) berichten eine prädiktive Validität von rtc =.62 für Wissenstests. Der Zusammenhang von Rauchen und Lungenkrebs mit rtc =.18, der männlicher Potenz und der Einnahme von Viagra mit rtc =.38 weitaus geringer (Meyer et al., 2001). An der Leistungsfähigkeit eignungsdiagnostischer Methoden können angesichts zahlreicher Befunde kaum mehr Zweifel gehegt werden (vgl. Salgado & Anderson, 2003). 2

10 1.1.1 Einsatzhäufigkeit von Leistungstests in Deutschland Nach den Anfängen psychometrischen Testens zu Beginn des 20. Jahrhunderts verzeichnete sich bis in die frühen 60er Jahre insbesondere in den USA ein stetiger Anstieg in der Nutzung von Tests. Mitte der 60er wurden Testverfahren in über 80 Prozent aller Großunternehmen in den USA eingesetzt (vgl. Anastasi, 1985). In den folgenden Jahren geriet die psychologische Diagnostik jedoch in eine umfassende globale Krise. Im Jahr 1984 nutzten nur noch weniger als 25 Prozent aller Unternehmen Testverfahren. Ein Grund lag in der von Mischel (z.b. 1968, 1977) vertretenen Annahme des Interaktionismus, welche einen heftigen Angriff auf die Annahme der Konsistenz menschlichen Verhaltens, wie sie vorwiegend von Guilford, Cattell und Eysenck begründet worden war, darstellte (vgl. z.b. Eysenck, 1987a). Gleichzeitig wuchs die öffentliche Diskussion über die Fairness von Testverfahren. In den USA wurde diese Entwicklung durch Rassenkonflikte und damit verbundene Black-Power-Bewegungen verschärft; prägend war der Fall des Allan Bake. In den 70er Jahren klagte der Weiße in einem Fall umgekehrter Diskriminierung vor dem obersten Gerichtshof (vgl. Möbius, 1978). In Deutschland wurde das Bild der psychologischen Diagnostik zusätzlich zu der Debatte um die Konstanz menschlicher Eigenschaften nachhaltig durch den Nationalsozialismus gestört (vgl. Hossiep, Paschen & Mühlhaus, 2000). Die Besonderheiten europäischer gegenüber nordamerikanischer Eignungsdiagnostik schildert z.b. Lévy-Leboyer (1994). Die gesellschaftspolitische Entwicklung in den 60er und 70er Jahren führte auch in Deutschland zu dem Vorwurf, psychologische Personalauswahl orientiere sich an ungerechten Leistungsnormen (vgl. Wottawa & Hossiep, 1997). Einen Höhepunkt markierte die gewerkschaftliche Forderung: Mehr Ausbildungsplätze statt Tests. Die schlechte diagnostische Ausbildung an den Universitäten zwischen 1973 und 1987 verstärkte das Dilemma. In Verruf ist die Diagnostik bis heute durch die Anwendung mangelhafter und fragwürdiger Methoden. Frintrup (2007, zitiert nach Zeit Wissen, 2007, Nr. 3) schätzt, dass von den mehreren Tausend Verfahren, die auf dem Markt sind, weniger als zehn Prozent wissenschaftlichen Ansprüchen genügen. Selbst Personalverantwortliche erleben den Anbietermarkt berufseignungsdiagnostischer Verfahren als undurchsichtig (vgl. e-fellows.net GmbH & Co. KG, 2005). Eine wichtige Entwicklung für eine höhere Transparenz des Anbietermarkts stellt die seit dem Jahr 2002 vorliegende DIN dar (DIN e.v., 2002) (vgl. Wottawa & Oenning, 2002). 3

11 Deutschland ist aus genannten Gründen nach wie vor Schlusslicht beim Einsatz psychologischer Testverfahren (vgl. Schuler, 2000). Nach Ryan, McFarland, Baron & Page (1999) belegt die Bundesrepublik Deutschland im Vergleich beim Einsatz von Cognitive ability tests den drittletzten Platz. in Prozent der Unternehmen höchster Wert pro Verfahren D F E Benelux UK Strukturiertes Interview Biographischer Fragebogen Assessment Center Persönlichkeitstest Graphologisches Gutachten Leistungstest Intelligenztest Abbildung 1: Testnutzung im europäischen Vergleich (vgl. Schuler et al., 1990). Die Abbildung 1 (in Anlehnung an e-fellows.net GmbH & Co. KG, 2005) zeigt, dass Deutschland im Hinblick auf alle üblicheren Instrumente der Personalauswahl auf den hinteren Rängen liegt. Nach Cook (2004, zitiert nach Kersting, 2006b) nutzen derzeit lediglich sechs Prozent der (befragten) Unternehmen Testverfahren. Damit erreichen psychologische Testverfahren bei Weitem nicht den festen Platz ( ), den sie eigentlich aufgrund ihrer prädiktiven Potenz einnehmen sollten (Funke, 1993, S. 126) Recruiting und Assessment im Internet Der Einsatz von Computern erfolgt heutzutage in allen Phasen der psychologischen Diagnostik, von der Itemkonstruktion bis zur Erstellung individualisierter Rückmeldetexte für Bewerber (Booth, 1986, 1988). Einen Überblick geben z.b. Klieme und Stumpf (1990) sowie Klinck (2002). 4

12 Seit den 50er Jahren werden Computer zur Auswertung von Testdaten eingesetzt und seit den 70er Jahren auch computergestützt Testverfahren dargeboten (vgl. Konradt & Sarges, 2003). Zunächst fanden vorwiegend Bemühungen statt, Arbeitsproben und Testverfahren für die computergestütze Darbietung zu entwickeln. Das Bestreben lag in einer möglichst genauen Angleichung an die Papier-Vorlagen sowie der Nutzung der IT zu administrativen Zwecken (vgl. Wottawa & Woike, 2002). Der Umgang mit Online-Bewerbungen orientierte sich am Vorbild des Postweges, was teilweise zu umständlichen Implementierungen führte. Erst 15 Jahre später wurden zunehmend innovativere Wege wie adaptives Testen und automatisierte Auswahlsysteme genutzt. Von Beginn an erfolgreicher gestaltete sich das Recrutainment (zur Definition von E- Recruitung und E-Assessment vgl. Moser & Zempel 2006, S. 70; Konradt & Sarges, 2003, S. 7). Die ersten Verfahren dieser Art, das von der Siemens AG angebotene Tool Challenge Unlimited und das Tool cyquest kamen im Jahr 2000 auf den Markt (Informationen zu cyquest Die Karrierejagd durchs Netz der Hamburger Cyquest Internet AG finden sich z.b. bei Diercks, Hansen & Weber, 2005; Weber, Jägeler & Busch, 2001; zu Challenge Unlimited z.b. bei De la Fontaine, Glas, Schafsteller & Wottawa, 2001). Durch die New Economy-Bewegung und die damit verbundene Web-Euphorie nahm die Nutzung des Internets als Plattform für Bewerbungszwecke in den 90er Jahren stark zu (vgl. Eisele & Kühnlein, 2001). Nach dem Börsen-Gau des Neuen Markts verzeichnet sich nun ein neuer Boom des Online-Assessments und -Recruitings. Im Jahr 2004 bewarben sich bereits 45 Prozent der Interessenten bei 24 führenden Unternehmen per Internet (McKinsey & Company, 2004; e-fellows.net GmbH & Co. KG, 2005). Für 2005 berechnete das Beratungsunternehmen Forrester allein für das Online-Recruiting Umsätze in Höhe von 7,1 Mrd. US-Dollar (5,2 Euro). Zum Vergleich: Für das Jahr 2004 lag der geschätzte Umsatz noch bei 4 Mrd. US-Dollar (Konradt & Sarges, 2003). Zur Relativierung dieser Zahlen sei angeführt, dass sich beispielsweise der Umsatz der Metro Group im Jahr 2005 mit 55,7 Mrd. Euro auf das etwa Zehnfache belief (vgl. Metro Group Annual Report 2005). E-Recruiting und E-Assessment sind heutzutage wesentliche Einsatzbereiche von Testverfahren, und für die kommenden Jahre ist mit einer verstärkten Nutzung des Internets zu Zwecken der Personalauswahl zu rechnen (vgl. Bartram, 2000). Durch das so genannte Web 2.0 mit schnelleren Übertragungsfrequenzen und Entwicklungen wie Blogs und Podcasts eröffnen sich auch für die internetgestützte Diagnostik neue Möglichkeiten, z.b. der Einsatz videobasierter Testverfahren (vgl. Olson-Buchanan et al., 1998; Weekly & Jones, 1997). Einer aktuellen Studie von Schuler et al. (2007) zufolge, nutzen derzeit vier Prozent der größeren deutschen Unternehmen Online-Assessments. 5

13 1.2 Die Speed-Komponente bei Leistungstests Nach einer Schätzung von Jäger (1984) existieren derzeit etwa 2000 verschiedene Aufgabentypen zur Erfassung kognitiver Leistungen. Weit mehr als 1000 verschiedene Testverfahren sind auf dem Markt (Sarges & Wottawa, 2004). Je nach Betonung der Komplexität der von einer Person noch korrekt gelösten neuartigen Aufgaben oder der Schnelligkeit bei deren Bearbeitung beinhalten Leistungstests eine stärkere oder schwächere Ausprägung der Speed-Komponente. Bei Speed-Tests (Schnelligkeitstests) erfolgt eine Differenzierung der Leistung über die Geschwindigkeit bei der Aufgabenbearbeitung. Power- Tests (synonym: Level-Test, Niveau-Test, vgl. Eysenck, 1987b) hingegen enthalten Items ansteigender Schwierigkeit, die ohne oder mit großzügiger Zeitbegrenzung vorgegeben werden. Die Differenzierung erfolgt über die Itemschwierigkeit. Wird bei einem Power-Test nachträglich ein Zeitlimit gesetzt, spricht man von einem speeded (Power-)Test. Gulliksen gab 1950 folgende Definition für Speed-Tests: (A test) which is so easy that no subject makes an error and is so long that no subject finishes in the time allowed (Gulliksen, 1950a, p. 230). Beispiele sind der Zahlen-Verbindungs-Test (ZVT, Oswald & Roth 1987) und der Konzentrations-Leistungs-Test (KLT, Düker & Lienert, 1965). Bei Begrenzungen der Gesamtbearbeitungszeit können die später im Testverlauf präsentierten Items gleicher Schwierigkeit nur noch von leistungsfähigeren Personen gelöst werden (vgl. Wesman, 1949). Erzielen zwei Mitarbeiter identische Testergebnisse, wäre derjenige aus zeitlich-ökonomischer Sicht geeigneter, der die geringere Zeit zur Aneignung der erforderlichen Fähigkeiten benötigt hat (vgl. Brandstätter, 1989). Auch nach Spitzer (1957, 1961) lässt sich argumentieren, dass Personen, die im Stande sind, eine Aufgabe zu bewältigen, dafür aber sehr lange brauchen, weniger geeignet sind. Neben Begrenzungen der Gesamtarbeitungszeit ermöglichen neuere Techniken unter Computereinsatz feinere Maße für die Erfassung von Geschwindigkeitsleistungen, beispielsweise itemspezifische Messungen im Millisekundenbereich. Entscheidend für den Speed-Charakter eines Tests ist neben den Vorgabebedingungen auch in hohem Maße die Art der Aufgaben. Durch das Speeden eines stark niveauhaltigen Verfahrens geht dessen Niveaucharakter nicht verloren. Speed-Verfahren messen nie eindimensional. Da jede Art in Leistungstests verwendeter Aufgaben in irgendeiner Form kognitive Operationen erfordert, handelt es sich streng genommen immer um niveauabhängige Messungen. Selbst dem Belastungs-Amerksamkeitstest d2 (Brickenkamp, 2002) ist trotz seiner sehr simplen Aufgabenstellung die Erfassung eines gewissen kognitiven Vermögens, nämlich die visuelle Differenzierung ähnlicher Zeichen, nicht abzusprechen. 6

14 1.2.1 Zur Bestimmung von Speed-Anteilen Zur Speed-Power-Thematik existiert mittlerweile eine Fülle verschiedener Studien teilweise widersprüchlicher empirischer Befunde. Die Problematik bei der Auseinandersetzung mit der Bedeutung der Speed-Komponente fußt auf verschiedenen Säulen. Neben unklarer begrifflicher Definitionen der latenten Konstrukte kognitiver Verfahren selbst (z.b. der Intelligenz) bestehen diametrale Annahmen zu deren Verhältnis zur Geschwindigkeit bei der Aufgabenbearbeitung. Die in Speed-Tests erbrachten Mengenleistungen werden sowohl als Basiskomponente der Intelligenz als auch als unabhängiger (Persönlichkeits-)Faktor gehandelt. Erschwert wird diese Debatte um eine bisher nicht geglückte allgemeingültige methodische Bestimmung der Ausprägung des Speed-Faktors eines Testverfahrens und damit des relativen Einflusses von Speed- und Powerkomponenten auf das zu erfassende Konstrukt. Die bereits im Jahr 1950 von Gulliksen getroffene Aussage: At present most tests are a composite in unknown proportions of speed and power besitzt auch heutzutage Gültigkeit. Ubiquitous sources of confusion will be eliminated from the study of speed in psychological tests, if we can agree on a measurement definition for the speededness of a test (Gulliksen, 1950b). The information needed to understand effects of time limits and to control them is far from complete (Anastasi & Drake, 1954). Ungeachtet dessen, dass sich aus der Stärke der Speed-Komponente sowohl Besonderheiten im Hinblick auf die Konstruktvalidierung des Verfahrens sowie auf dessen Fairness ergeben (beispielsweise bei unterschiedlicher Vertrautheit mit den verwendeten Testapparaturen), erfolgte und erfolgt die Bestimmung von Speed- und Power-Anteilen oft auf eher spekulativer denn methodisch fundierter Basis. Von Nunnally und Bernstein (1994) stammt beispielsweise folgende Definition: Time constraints suppoesedly introduce speededness into a test when less than 90% of the sample completes all items (zitiert nach Wilhelm & Schulze, 2002). Die Bestimmung anhand der Anzahl der Items, welche von den Teilnehmern nicht mehr bearbeitet werden (z.b. Ebel & Lienert, 1960), stellt eine der früheren Methoden zur Erfassung des Speed- Anteils dar. Frühe Studien zu diesem Retest-Ansatz (Vorgabe des Tests einmal unter speededund einmal unter reinen Power-Bedingungen) stammen u.a. von Cronbach und Warrington (1951) sowie Helmstadter und Ortmeyer (1953). Neben Korrelationen zwischen Testscores unter speeded und unspeeded Bedingungen wurden in späteren Studien verschiedene Indizes zur Bestimmung des Einflusses der Speed- Komponente herangezogen (z.b. Lienert & Ebel, 1960). Lienert und Raatz (1998) verweisen darauf, dass Indizes zur numerischen Kennzeichnung von Speed-Anteilen nur unter spezifischen 7

15 Bedingungen anwendbar sind (vgl. Rindler, 1979). Die Ansätze haben mit der aktuellen Forschung den Wunsch gemein, die Speed-Komponenten von Leistungstests anhand der Verhaltensweisen der Testpersonen zu bestimmen, was in der modernen Testtheorie (Probabilistische Testtheorie, PTT) dem Personenparameter entspricht. Als problematisch bei der Erfassung von Speed-Anteilen durch die Korrelation von speeded und unspeeded Testbedingungen erwiesen sich jedoch gerade wiederholt die differenten Antwortmuster der Testteilnehmer. Als praxisorientierten Anker für die Bestimmung optimaler Speed-Anteile nennt Vukovich (1964) die größtmögliche Validität, welche durch die Festsetzung der Vorgabemethoden erzielbar ist. Für zusammenfassende Studien siehe z.b. Iseler (1970), Stafford (1971) Durch die Speed-Komponente bedingte Varianz Die Ansicht Speed- und Power-Komponenten seien austauschbare Größen (z.b. Spearman, 1927, zitiert nach Morrison, 1960), ist unzulässig. Die Speed-Komponente stellt eine zusätzliche Varianzquelle dar, wobei umstritten ist, inwieweit die Varianz den wahren Werten oder Störquellen bzw. anderen, nicht zu erfassenden latenten Konstrukten zuzuschreiben ist. The interpretation of factors might be biased to the degree that performance does not depend on the respective construct, but rather on the speed with which some observed behavior is produced (Wilhelm & Schulze, 2002). Da dasselbe Verfahren in Abhängigkeit von der Stärke der Zeitbegrenzung unterschiedliche Fähigkeiten und Fertigkeiten erfassen kann, wird Speed häufig als Quelle von Fehlervarianz diskutiert (z.b. bei Benachteiligung von Testteilnehmern mit schlechterer manueller Motorik). Die Nutzung der Speed-Komponente zur Differenzierung wird somit vielfach mit Unfairness der Verfahren im Sinne der systematischen Benachteiligung bestimmter Personen(-gruppen) gleichgesetzt. Verstärkt wird dieser Einwand dadurch, dass Zeitbegrenzungen oft weniger aufgrund experimenteller denn administrativer Überlegungen eingeführt werden, beispielsweise zur Festlegung einheitlicher Abgabetermine bei Gruppentests. In diesem Zusammenhang viel untersuchte Beispiele sind Aufnahmetests an Universitäten und Colleges in den USA wie SAT, GRE oder ACT beziehungsweise SCAT (School and College Ability Tests (vgl. Khan, 1968). Studien zum Einfluss zusätzlicher Bearbeitungszeit belegen, dass Testpersonen unterschiedlich von dieser profitieren; und bestimmte Gruppen, beispielsweise Personen mit Leseschwäche, bei begrenzter Testzeit benachteiligt werden können (z.b. Bridgeman, 2004; Elliot & Marquart, 2004; Stretch & Osborne, 2005). Weiterhin wird diskutiert, inwiefern Persönlichkeitsmerkmale wie Test-Ängstlichkeit oder der 8

16 Sorgfaltsfaktor die Leistung bei Speed-Tests mitbestimmen (vgl. z.b. Mollenkopf, 1960). Es stellte sich (...) wiederholt heraus, dass [auch] ( ) Persönlichkeitsmerkmale wie Selbstsicherheit wesentliche Varianzanteile aufklären (Funke, 1983). Kennedy postulierte bereits im Jahr 1930 die Existenz zweier grundlegender Persönlichkeitstypen im Hinblick auf das persönliche Tempo, welches von Messer (1976) als Kontinuum aus Reflexion und Impulsivität spezifiziert wurde. These types are considerd to be the result of temperament, not of difference in intelligence (Kennedy, 1930, p. 286). Auch Meili (1961) benennt zwei Arbeitsstile (ruhig und qualitativ vs. schnell und quantitativ) (vgl. auch Nährer, 1982). 1.3 Intelligenz und Bearbeitungsgeschwindigkeit Per definitionem enthalten Speed-Tests leichte bis mittelschwere Items, die bei unbegrenzter Testzeit von allen Personen gelöst werden. Aufgrund dessen wird häufig angenommen, Tests mit hoher Speed-Komponente seien ungeeignet zur Erfassung komplexerer kognitiver Leistungen. Zur Komplexität von Aufgaben und den damit verbundenen kognitiven Anforderungen siehe auch Eye (1999). Grundlegend ist in diesem Zusammenhang die Debatte, inwiefern der Faktor Verarbeitungsgeschwindigkeit eine Voraussetzung zur Erbringung komplexerer kognitiver Leistungen oder ein unabhängiges Konstrukt (z.b. korreliert mit dem Persönlichkeitsfaktor Sorgfalt) mit geringer Schnittmenge zur der Intelligenz einer Person darstellt (vgl. Neubauer, 1995). Verschärft wird die Kontroverse um die mögliche Konstruktvalidität von Speed-Tests durch den Umstand, dass bis heute keine allgemeingültige Definition der Konzepte kognitive Fähigkeiten und Intelligenz vorliegt, wobei einschränkend berichtet werden sollte, dass die Schwierigkeiten begrifflicher Definitionen nicht originär mit dem Konzept der kognitiven Fähigkeiten und deren Messungen verbunden sind. Intelligenz gilt als diffuser Oberbegriff für eine ( ) recht große Anzahl von unterschiedlichen ( ) Faktoren, die das Niveau und die Qualität der Denkprozesse charakterisieren (Guthke, 1972, zitiert nach Hänsgen, 2001, S. 54). Ähnlich allgemein definierte Hofstätter (1957, S. 173) Intelligenz als die den innerhalb einer bestimmten Kultur Erfolgreichen gemeinsamen Fähigkeiten (vgl. auch Hofstätter, 1966). Zweckvolles, vernünftiges und erfolgreiches Handeln sind von anderen Autoren zur Definition von Intelligenz angeführte Attribute. Derartige bloße Neuettiketierungen (Jäger, 1982, S. 21) wurden von Amelang und Zielsinki (1997, S. 189) als sinnfreie Tautologien betitelt. Ebenso kritisch formulierten Sternberg und Detterman (1986): When two dozen prominent theorists were recently asked to define 9

17 intelligence, the gave two dozen somehat different definitions. Erschwert wird die begriffliche Abgrenzung durch den inflationären Gebrauch des Begriffs. Entsprechend stark kritisiert wurde das von Salovey und Mayer (1990) stammende und von Goleman (1996) verbreitete Konzept der Emotionalen Intelligenz ; z.b. von Degen (2001) und Schuler (2002) als begriffliche Vermengung etablierter Persönlichkeitskonzepte mit kognitiven Fähigkeiten bezeichnet. Angesichts der anhaltenden Kontroverse zur Definition kognitiver Fähigkeiten sei auf die Formulierung von Boring (1923) verwiesen, nach welcher Intelligenz letztlich das sei, was der Intelligenztest messe, also letztlich nichts anderes als die Anzahl der in einem Intelligenztest erzielten korrekten Lösungen (Brocke & Beauducel, 2001). Als generell problematisch ist in diesem Zusammenhang der Zirkelschluss der psychologischen Testtheorie zu bezeichnen (zur Dimensionsproblematik vgl. Wottawa, 1980), da der Validitätsbereich des einen Tests mit Hilfe des anderen zu bestimmen gesucht wird. Hierbei handelt es sich um ein Problem, das auf semantischer Ebene nicht gelöst werden kann Faktorenmodelle der Intelligenz Die heutigen Theorien zur Intelligenz beruhen im Wesentlichen auf faktorenanalytischen Modellen, welche zu Beginn des 20. Jahrhunderts von den Pionieren auf diesem Gebiet wie Spearman und Thurstone aufgestellt worden sind (vgl. Spearman, 1904; Thurstone, 1938). Vieldiskutiert ist das Konzept des g-faktors von Spearman (1904), welcher das Gemeinsame aller kognitiven Teilleistungen repräsentiert. Die Diskussion um den Zusammenhang des g- Faktors mit der Speed-Komponente bzw. deren Übereinstimmung erreichte ihren vorläufigen Höhepunkt in den 80er Jahren durch das Wiederaufleben der Item Resonse Theory (IRT) (vgl. Neubauer, 1995). Zahlreiche Autoren setzen den g-faktor mit der grundlegenden neuronalen Verarbeitungsgeschwindigkeit des Nervensystems gleich (vgl. Modell der neuronalen Effizienz, Jensen, 1982; Reed & Jensen, 1993). Peterson (1993) folgert: If g, or general ability, is viewed as accounting for almost all of a given test s predictive validity, then reducing the speededness of a test, if it operates to reduce its loading on g, would operate to reduce its predictive validity across all jobs. On the other hand, if the loading on the dominant dimension at least largely made up of g does not decline with a reduction in speededness, then no reduction in predictive validity would be expected. The very little empirical research on this issue seems to indicate that changes in the speededness of tests, within some fairly small range of feasible time limits, do change validity coefficients, but not substantially so. 10

18 Erste Überlegungen, dass kognitive Leistungen in Form von Reaktionszeiten durch die individuelle Ausgestaltung der synaptischen Signalweiterleitung bedingt sein könnten, gehen auf die Anfänge psychometrischer Tests zu Beginn des 19. Jahrhunderts zurück (vgl. Boring, 1950). Die einzige Information über äußere Ereignisse, die uns erreicht, scheint den Weg über unsere Sinne zu nehmen; je empfänglicher die Sinne für Unterschiede sind, desto größer ist die Grundlage, auf der unser Urteilsvermögen und unsere Intelligenz agieren können (Galton, 1883, zitiert nach Amelang & Bartussek, 1997, S. 20). Forschungsarbeiten zu Reaktionszeiten stammen unter anderem von Helmholtz, Fechner, Woodworth und Wundt (vgl. Amelang & Bartussek, 1997). Nachdem frühere Ansätze wie die mental tests von Cattell aufgrund geringer Reliabilität und Kriteriumsvalidität zu Beginn des 20. Jahrhunderts verworfen worden waren, existieren mittlerweile zahlreiche Untersuchungen zum Zusammenhang von Intelligenz und Reaktionsgeschwindigkeit (synonym: Verarbeitungsgeschwindigkeit, mental speed) bei elementaren kognitiven Aufgaben. Die mehrheitlich gefundenen Korrelationen mittlerer Höhe (z.b. Vernon, 1987; Ceci, 1990; Deary, 1993) legen den Schluss nahe, dass die Geschwindigkeit der Informationsverarbeitung als Eigenschaft des zentralen Nervensystems die Grundlage für gute Leistungen in Intelligenztests bildet. Nach Jensen (1983, zitiert nach Peterson, 1993) zeigen sich nicht selten Korrelationen von um rtt =.50 zwischen Speed und dem g-faktor. Habituationsstudien weisen zudem darauf hin, dass bereits bei Kleinkindern Unterschiede in der Geschwindigkeit der Informationsverarbeitung bestehen (z.b. Columbo, 1993). Caroll (1993) hat über 70 verschiedene kognitive Fähigkeiten identifiziert, die mit derzeitigen Testverfahren erhoben werden können. Die Existenz des g-faktors wurde und wird daher vielfach in Frage gestellt und somit auch die Bedeutung der Verarbeitungsgeschwindigkeit (Speed-Faktor). While some psychologists today still regard g as the most fundamental measure of intelligence (e.g. Jensen, 1980), others prefer to emphasize the distinctive profile of strentghs and weaknesses present in each person s performance (Task Force Established by the American Psychologist Association, 1996, p. 81). Thurstone (1938), der sein Konzept selbst als crudest first map bezeichnete (vgl. Jäger, 1984), nannte im Gegensatz zu Spearman verschiedene gleichrangige Faktoren, die je nach Aufgabentyp zum Tragen kommen. Dem Faktor Verarbeitungsgeschwindigkeit ( Perceptual Speed bzw. P-Faktor ) stellte er das schlussfolgernde Denken ( Reasoning ) gegenüber. Die Verarbeitungskapazität als eigenständige Komponente intelligenten Handels findet sich in auch neueren faktorenanalytischen Befunden wieder. Das Berliner Intelligenzstrukturmodell (BIS, Jäger, 1967), welches auf dem Modell von Guilford (1967) basiert (vgl. Jäger, 1982, 1984), 11

19 enthält neben der Subskala B (Verarbeitungsgeschwindigkeit) die Subskala K zur Operationalisierung der Verarbeitungskapazität. Jäger definiert den Erfassungsbereich von K als Fähigkeit zur Verarbeitung komplexer Information bei Aufgaben, die nicht auf Anhieb zu lösen sind, sondern ( ) formallogisch exaktes Denken und sachgerechtes Beurteilen von Information erfordern" (zitiert nach Jäger, Süß & Beauducel, 1997, S. 6). Die nach Thurstone s P- Faktor benannte Bearbeitungsgeschwindigkeit wird von Jäger als Arbeitstempo, Auffassungsleichtigkeit und Konzentrationskraft, die beim Lösen einfach strukturierter Aufgaben mit geringem Schwierigkeitsniveau bestimmend sind, definiert (Jäger, 1982, S. 213) Verarbeitungsgeschwindigkeit und Aufmerksamkeit Testverfahren mit hoher Speed-Komponente werden häufig zur Erfassung der Konzentrationsleistung eingesetzt, wobei sich die Testleistung meist aus einer Kombination der Bearbeitungsgeschwindigkeit (Summe in begrenzter Bearbeitungszeit korrekt gelöster Aufgaben) und dem prozentualen Anteil von Fehlern definiert (vgl. Westhoff & Glaubner, 2002). Begrifflich wird die Konzentrationsleistung häufig mit Aufmerksamkeit gleichgesetzt (vgl. z.b. Dorsch, Häcker & Stapf, 1994). Zur Begriffsbestimmung und Validität von Konzentrationstests siehe auch Scholz (2006). Brickenkamp definiert Konzentration als kontinuierliche Reizselektion, bei der die Aufmerksamkeit auf relevante Stimuli beschränkt wird (vgl. Brickenkamp 2002). Die Korrelation von Intelligenztest- und Konzentrationstestdaten fällt daher umso höher aus, je geringer die Komplexität der in den Intelligenztests gestellten Aufgaben ist. Die Quelle der gemeinsamen Varianz ist der Grad der Übereinstimmung der erforderlichen kognitiven Operationen, welcher (dann) im Wesentlichen durch die Verarbeitungsgeschwindigkeit bei der Aufgabenbewältigung, also den Speed-Anteil, bedingt wird (vgl. Jäger, 1990). Schmidt-Atzert und Bühner (1997) berichten in diesem Zusammenhang von einer Veränderung der (Konstrukt-)Validität des d2 (Brickenkamp, 1994) bei Modifikation seiner Zeichen. Im Hinblick auf den d2 zeigte sich ferner, dass mangelnde Sorgfalt, ob neuronal bedingt oder als Persönlichkeitsfaktor, zu einer unzureichenden Diskriminierung der Zeichen führt (Oehlschläger & Moosbrugger, 1991). Studien zum KLT (Düker & Lienert, 1965) sprechen für einen Einfluss der Testangst auf die Testleistung. Todt (1970) bezeichnet den Zusammenhang von Konzentrationsleistungen und Persönlichkeitsfaktoren angesichts derartiger Befunde als gesichert. Nach dem Hickschen Gesetz (Hick, 1952) besteht ein linearer Zusammenhang zwischen der Komplexität von Reizen und der Geschwindigkeit, mit der ihre Informationen verarbeitet 12

20 werden. Je komplexer die Aufgaben sind, desto mehr Zeit benötigen Personen, um angemessene Reaktionsmuster zu bilden. Gemäß der Konzentrationstheorie von Westhoff (1985) sind drei Faktoren bei Bearbeitung von Konzentrationstests relevant: der individuelle Grad der Geübtheit seitens der Person, die Komplexität der Aufgaben, sowie die damit verbundene Komplexität der zur Aufgabenbeantwortung erforderlichen Handlungen. Als Komplexität bezeichnen Westhoff und Kluck (1984) die Anzahl von Informationen, die ein Individuum aufnehmen muss, um ein Test-Item bearbeiten zu können (vgl. Westhoff, 1995). Guthke, Räder, Caruso und Schmidt (1991) berichten Korrelationen von rtt =.88 für die Komplexität der Aufgaben und der mittleren Lösungszeit pro Item. Masendorf und Klauer (1986) bezeichnen in ihrer G-V- Theorie ( G für Gleichheit, V für Verschiedenheit ) das Erkennen von Strukturen über Folgen von Items zur Detektion itemübergreifender Relationen und Regeln als Grundlage für eine Großzahl intelligenzbezogener Leistungen. Folgt man der Definition der Subskala K des BIS (Operationalisierung der Verarbeitungskapazität) von Jäger (1967) als Fähigkeit zur Erarbeitung von Lösungsstrategien, stellt sich die Frage, inwieweit Lernprozesse wie Akkummulation bzw, Akkomodation neuen Wissens bei der Bearbeitung komplexerer kognitiver Probleme eine Rolle spielen (Zu Modellen des Lernens vgl. z.b. Bush & Mosteller, 1955; Estes, 1959). Lernen kann durch Replacement (Ersetzen falscher Lösungen durch korrekte Antworten) oder wie es Thurstone 1919 erstmals annahm, Akkummulation (Zunahme korrekter Antworten bei Konstanz falscher Lösungen) erfolgen (vgl. Mazur & Hastie, 1978). Weiterhin spielt das Vorwissen eine Rolle bei der Erbringung von Leistungen in komplexen Szenarien (vgl. Lippert, 1976). Die bisherige Intelligenzdiagnostik und die ihr zugrunde liegenden Fähigkeitsmodelle ( ) bedürfen [daher] insbesondere einer Ergänzung durch Prozessforschung des Problemlösens (Jäger, 1986) Verarbeitungsgeschwindigkeit und komplexes Problemlösen Komplexere kognitive Operationen sind bei computergestützten Szenarien wie DISKo (Funke, 1992) erforderlich. Höft und Funke (2006, S. 151) beschreiben Szenarien als Aufgaben, die die Kontrolle und Steuerung komplexer dynamischer Prozesse verlangen, welche mit einer mehr oder weniger realitätsnahen Rahmenhandlung versehen sind. Vorreiter auf dem Gebiet der Szenario-Forschung waren in den 80er Jahren in Deutschland u.a. Putz-Osterloh (1983, 1985) und Dörner et al. (1983). Gefundene Nullkorrelationen zu Intelligenztests wurden vielfach in der Weise interpretiert, als dass die Problemlösefähigkeit ein von der Intelligenz unabhängiges Konstrukt darstellt (z.b. Putz-Osterloh, 1981). 13

21 Kluwe, Schilde, Fischer und Oellerer schlussfolgerten 1991 (S. 294): Intelligenztests [sind] keine geeigneten Prädiktoren für die Leistungen beim Umgang mit komplexen Systemen. Entsprechend urteilte Jäger im Jahr 1991 zu der damaligen Sumpf- und Moorlandschaft der empirischen Befunde : Komplexe Problemlöseszenarien mögen wegen hoher Augenschein- Validität diagnostische Laien beeindrucken, können aber die noch ausstehenden empirischen Validitätsbelege nicht ersetzen. (Jäger, 1991, S. 288 ff.). Neuere Studien zeigen ein anderes Bild. Gefundene hohe Korrelationen zwischen der Verarbeitungsgeschwindigkeit (BIS-K) und Steuerungsleistungen (Simulation Schneiderwerkstatt) berichten Süß, Kersting und Oberauer (1991) (vgl. auch Wittmann, Süß, Oberauer, Schulze & Wilhelm, 1995). Kersting (1999a) nennt einem korrelativen Zusammenhang simulationsorientierter Diagnostik (DISKo) mit BIS- Gesamtleistungen von rtt =.39. Die Metaanalyse von Kranzler und Jensen (1989) bestätigt die hohen Übereinstimmungen, wobei komplexe Szenarien im Wesentlichen die Facette der operationalen Intelligenz erfassen (Dörner, 1986). Eine Übersicht zum Stand der Problemlöseforschung gibt u.a. Funke (1993, 1995, 2006). Hussy berichtete bereits im Jahr 1989 Zusammenhänge zwischen der Bearbeitungsgeschwindigkeit und dem komplexen Problemlösen. Nach Süß (1999, S. 221a) ist Intelligenz ein valider Prädiktor für komplexe Problemlöseleistungen. Seiner Ansicht nach sind Intelligenz- und Problemlösefähigkeit ineinander verwobene Konstrukte und empirische Befunde niedriger Korrelationen vielfach durch methodische Fehler bedingt. Demnach korreliert nicht die allgemeine Intelligenz, sondern die operative Fähigkeit Verarbeitungskapazität am höchsten mit Problemlöseleistungen. Problemlöseszenarien sollten demnach dann höher mit Intelligenztestdaten korrelieren, wenn die Intelligenztests schlussfolgerndes Denken bzw. die Kapazität des Arbeitsgedächtnisses erfassen (vgl. Bühner & Schmidt-Atzert, 1997). Aufgrund der begrenzten Kapazität des Arbeitsgedächtnisses kann nur eine bestimmte Anzahl von Gedächtnisinhalten gleichzeitig verarbeitet werden (zum Konzept des Arbeitsgedächtnisses s. Anderson, 1983; Baddley, 1986, 1990). Nach Baddley (1986, zitiert nach Anderson, 1996) wird die Gedächtnisspanne durch die Geschwindigkeit beim Memorieren aufgabenrelevanter Inhalte festgelegt. Demnach wäre ein Zusammenhang zwischen Verarbeitungsgeschwindigkeit und -kapazität plausibel. Die Grenze der Kapazität des Arbeitsgedächtnisses sollte umso weniger schnell erreicht werden, umso ausgeprägter die (neuronale) Verarbeitungsgeschwindigkeit ist (vgl. Eysenck, 1987b; Jensen, 1982, 1998; Vernon, 1983). Dem widersprechen andere Autoren vehement: The speed of elementary cognitive processes is not considered as a major limiting factor on working memory (...). There is no sufficient theoretical rationale to reduce working memory capacity to mental speed (Stankow & Roberts, 1997, zitiert nach Wilhelm & Schulze, 2002). 14

22 1.3.4 Komplexere Aufgaben bei höherer Speed-Komponente Marshalalek, Lohman und Snow (1983) stellen komplexe Aufgaben, die eine geringe Bearbeitungsgeschwindigkeit erfordern und leichte Aufgaben, die unter Zeitdruck bearbeitet werden müssen, als diametrale Pole eines Kontinuums dar, wobei Verarbeitungsgeschwindigkeit und schlussfolgerndes Denken gegenübergestellt sind. Je näher zwei Aufgaben auf diesem Kontinuum nebeneinander liegen, desto höher korrelieren die resultierenden Testleistungen miteinander. There is abundant evidence that the correlation between mental speed and reasoning is a function of complexity (Roberts & Stankov, 1999). Whipple merkte bereits 1914 an: Time measurements become more significant and reliable in proportion as the task becomes more mechanical and less intellectual (zitiert nach Mollenkopf, 1960). Im Hinblick auf komplexere kognitive Fähigkeiten sind demnach neben der Verarbeitungsgeschwindigkeit (operationalisiert über die Speed-Komponente) andere Fähigkeiten, wie das schlussfolgernde Denken, erforderlich. Das schlussfolgernde Denken kann demnach, wie auch die Verarbeitungsgeschwindigkeit, als Funktion der Komplexität der Aufgabe angesehen werden (vgl. Larson, Merritt & Williams, 1988). In diesem Zusammenhang ist allerdings umstritten, ob die Speed-Leistung im Sinne neuronaler Effizienz die Grundlage für die Funktionstüchtigkeit des Arbeitsgedächtnisses darstellt, so wie sie im Sinne des g-faktors als übergeordnete Fähigkeit zur Erbringung kognitiven Leistungen per se diskutiert wird. Weniger intelligente Personen wenden Aufgaben in Reaktionszeitversuchen offenbar weniger Aufmerksamkeit zu; wobei eine hohe Konzentrationsfähigkeit wiederum mit einer hohen Reaktionsgeschwindigkeit einher geht (Carlson & Widaman, 1987). In Bezug die Bearbeitungsgeschwindigkeit und die Verarbeitungskomplexität als Facetten der Intelligenz sollten die Anforderungen an Operationen des Arbeitsgedächtnisses zu Beginn einer Simulation hoch sein und im Verlauf der Prozessbearbeitung abnehmen; im Gegenzug sollte die Korrelation zu Komponenten der Verarbeitungsgeschwindigkeit im Testverlauf steigen (vgl. Ackerman, 1988). 15