Alles unklar? - Betrachtungen zur Forschung im Bereich Assessment Center. 19. August Dr. Hubert Annen. Dr. H. Annen

Transkript

1 Alles unklar? - Betrachtungen zur Forschung im Bereich Assessment Center 19. August 2008 Dr. Hubert Annen Disposition Ein paar gedankliche Vorübungen Was man weiss und was man nicht weiss Konstruktion von AC Prädiktive Validität Konstruktvalidität Soziale Validität Fazit & Diskussion

2 Nichts ist praktischer als eine gute Theorie oder? Wahrnehmung Theorie ist, was stimmt, aber nicht klappt.

3 Ausgangslage situativ & brauchbar konstruktiv-praktisch Routinen & Konventionen praktisches Alltagswissen universell & wahr analytisch reflektiert & begründet wissenschaftlicher Diskurs Spannungsfeld Bewahren Erneuern Person Sache Kontrolle Loslassen Handlung Reflexion annehmen und anpacken

4 Was man (nicht) weiss Blick auf die aktuelle Literatur Alles ist gesagt und gemacht! Publizieren um des Publizierens willen. Bestechende und brauchbare Ansätze AC - Elemente Informationsverarbeitung AC & Persönlichkeitstests Wahrnehmung der Teilnehmer Was man (nicht) weiss Blick auf die aktuelle Literatur Konstruktion Alles ist gesagt von und ACgemacht! Publizieren um des Publizierens willen. Bestechende und brauchbare Ansätze AC - Elemente Konstruktvalidität Informationsverarbeitung AC & Persönlichkeitstests Wahrnehmung der Teilnehmer Prädiktive Validität Soziale Validität

5 Konstruktion: Übungen Postkorb (81.7%) Führerlose Gruppendiskussion (43,6% / 59,4%) Interview (Simulation) (57,1% / 53,5%) Problemanalyse (49,3%) Präsentation (46,2%) Fallstudie (37,6%) Fähigkeitstests (31%) (Spychalski, Quinones, Gaugler & Pohley, 1997) Präsentation (88,9%) Zweiergespräch (70,9%) Fallstudie (69,3%) Interview (66,3%) Gruppendiskussion (61,8%) Postkorb (46,2%) Intelligenztest (30,7%) (Arbeitskreis Assessment Center Deutschland, 2007) Konstruktion: Dimensionen Kommunikation Kooperation (consideration and awareness of others) Motivation (drive) Beeinflussungsverhalten Organisieren & Planen Probleme lösen ( Essenz aus 34 Artikeln / 168 Dimensionen) (Arthur, Day, Mc Nelly & Edens, 2003) Kommunikation (91,9%) Durchsetzung (88,3%) Analyse (81,7%) Konfliktfähigkeit (78,2%) Kooperation (72,6%) Führungskompetenz (69,0%) Probleme lösen (67,0%) Zielorientierung (66,0%) (Arbeitskreis Assessment Center Deutschland, 2007)

6 Konstruktion: Fazit Es gibt ein AC-Gerüst Übungen: Immer noch nahe am Ursprung Gruppendiskussion mangelnde Standardisierung (Lievens & Thornton III, 2005) Dimensionen: Performance style & interpersonal style Prädiktive Validität! Management Progress Study AT & T (Bray & Grant, 1966) Hohe Vorhersageleistung Metaanalyse (Thornton III, Gaugler, Rosenthal & Bentson, 1987) Mittlere Validität.37 (-.25 bis.78) Rating Leistungspotenzial > Beförderung div. Beurteilungsinstrumente; Psychologen; Peer-Ratings; hoher Anteil weiblicher Kandidaten

7 Prädiktive Validität? Lebendig und wohlauf? (Hardison & Sackett, 2007) Mittlere Validität.26 Trainings-, Arbeitsleistung, Beförderung > Absatzleistung, Fluktuation Abwärtstrend! Spielwiese für Laien? (Schuler, 2007) AC nicht mehr konkurrenzfähig Augenscheinvalidität im Vordergrund Prädiktive Validität ACs im deutschsprachigen Raum (Holzenkamp, 2008) Replik auf Hardison & Sackett / Schuler Mittlere Validität.36 Berufserfolg, Ausbildungserfolg > berufliche Leistung Alter Kandidaten < 30 J.; Intelligenztests; Instrumente > 10; eintägige > mehrtägige ACs; Erhebung des Kriteriums > 2 J.

8 Prädiktive Validität: Fazit AC ist konkurrenzfähig, aber nicht unantastbar Orientierung an den Standards Professionelle Planung, Durchführung, Evaluation Multimodale Gestaltung Konstruktvalidität Praxis ist, was funktioniert, und niemand weiss wieso. AC Forschung

9 Konstruktvalidität Some troubling empirical findings (Sackett & Dreher, 1982) Why Do Assessment Center Work? (Klimoski & Brickner, 1987) Beobachter bewerten statt Verhaltensdimensionen die Übungsergebnisse Konstruktvalidität: Massnahmen Dimensionen Wenig Dimensionen Trennscharfe Dimensionen Konkret, aufgabenbezogen definieren Beobachter Schlüsselrolle für Psychologen Qualität des Trainings (nicht Dauer) Bezugsrahmentraining (Lievens, 1998)

10 Konstruktvalidität: Massnahmen Übungen Klar dimensionsbezogenes Verhalten provozieren Standardisieren (z.b. mit Rollenspielern) Dimensionen den Tn mitteilen (v.a. DC) Beobachtungs-, Beurteilungsprozess Verhaltenschecklisten (6-12 V./Dim.) Rotation von Beobachtern Videounterstützung & Integrationsdiskussion ohne Effekt (!) (Lievens, 1998) Konstruktvalidität: Fazit Verbesserungsmassnahmen o.k., aber eher geringer Effekt Darin besteht das Wesen der Wissenschaft. Zuerst denkt man an etwas, das wahr sein könnte. Dann sieht man nach, ob es der Fall ist und im Allgemeinen ist es nicht der Fall. Schaut man das Richtige an?

11 Informationsverarbeitung Warum funktionieren AC trotzdem? oder: Auswege aus dem Konstruktvaliditätsdilemma Assessor ratings of candidates are more veridical than previously thought. (Lievens, 2002) Den Assessoren fallen einige wenige Eigenschaften auf: Dominanz, Leistungsmotivation, soziale Kompetenz, Selbstvertrauen (Schuler, 2007) ; problem-solving, interpersonal skills, motivation (Spector, Schneider, Vance & Hezlett, 2000). Informationsverarbeitung Warum funktionieren AC trotzdem? Candidates real performance differs across situations. (Lievens, 2002; Lance, 2007) Candidates ability to identify relevant criteria is related to their performance in the respective selection procedure. (Koenig, Melchers, Kleinmann, Richter, Klehe, 2007)

12 Informationsverarbeitung: Fazit Informationsverarbeitung weiter erforschen Beobachtertraining, Bezugsrahmentraining Grösstmögliche Standardisierung und Realitätsnähe der Übungen Berücksichtigung der Übungsergebnisse Eruieren versteckter Aspekte AC & Persönlichkeitstests Erweiterung der Informationsbasis PEDRs/OAR kurze Zeitspanne; maximale Leistung; Fremdperspektive Persönlichkeitstests umfassender Zeithorizont; durchschnittliche Leistung; Eigenperspektive Korrelation mit relevanten Aussenkriterien gibt Information über den Wert des Tests. Korrelation mit AC Ratings gibt Information über den wahren Inhalt von Dimensionen.

13 AC & Persönlichkeitstests: Fazit Geringe Korrelation mit AC-Ratings Perspektive scheint wichtiger als Inhalt (Zu) umfassende Ergebnisse Zu Selektionszwecken ; für Entwicklungs- AC Wahrnehmung der Teilnehmer 1. Blick: Weiterer verzweifelter Versuch, etwas Neues zu publizieren 2. Blick: Akzeptieren es die Richtigen? Agenda for future research on applicant reactions to selection procedures. (Chan & Schmitt, 2004) Personality is related to applicant perceptions. (Truxillo, Bauer, Campion & Paronto, 2006)

14 Wahrnehmung der Teilnehmer: Fazit Teilnehmerfeedback ist meist Standard. Differenziertere Erfassung bezüglich etablierter Fairnessdimensionen Hintergrund der Kandidaten Persönlichkeitsdimensionen Marketingfunktion Benchmarking Immerhin einiges klar? Es gibt ein AC- Gerüst AC sind konkurrenzfähig Beobachter sind fähig, das Richtige zu erfassen Zusammensetzung, Schulung und Commitment der Beobachter ist entscheidend

15 Immerhin einiges klar? Sorgfältige Auswahl der Assessoren Berücksichtigung der Übungsergebnisse Bedeutung der Übungskonstruktion Aussagekraft der einzelnen Elemente evaluieren (inkrementelle Validität) Implementierung von Persönlichkeitstests kritisch prüfen Detaillierte Auswertung der Teilnehmerfeedbacks Fragen / Diskussion