Zwei Ansätze zur Erhöhung der Kriteriumsvalidität von Persönlichkeitstests

Transkript

1 Zwei Ansätze zur Erhöhung der Kriteriumsvalidität von Persönlichkeitstests 1. Einleitung Verschiedene Untersuchungen zeigen auf, dass es einen Zusammenhang zwischen Persönlichkeit und Berufserfolg gibt. Dieser fällt jedoch moderat aus. Verschiedene Autoren versuchen, diese geringe Validität zu erklären, indem sie unterschiedliche Variablen untersuchen, die die Vorhersagekraft des Berufserfolgs durch Persönlichkeitstests erhöhen könnten. Zwei Ansätze, die in diesem Zusammenhang am erfolgreichsten zu sein scheinen, sollen in dieser Lizentiatsarbeit mit einer Stichprobe im Feld untersucht werden. Bei diesen Ansätzen handelt es sich um die Schaffung eines Arbeitsbezugs (Arbeits - Frame of Reference, FOR) für die Persönlichkeitstests und die Heranziehung von Fremd- statt Selbstbeurteilungen. 2. Empirische Befunde 2.1 Persönlichkeit als Prädiktor von Berufserfolg Guion und Gottier (1965) fanden in ihrer Arbeit praktisch keine Zusammenhänge zwischen Persönlichkeit und Berufserfolg und riefen dazu auf, diese im Rahmen der Personalforschung zu vernachlässigen. Obwohl diese Untersuchung verschiedenste methodische Mängel aufweist (Schuler & Höft, 2006) konnte sich das schlechte Image der Persönlichkeitstests über zwanzig Jahre lang aufrecht halten. Erst Ende der achtziger Jahre kam wieder Hoffnung auf bzgl. dieser Instrumentarien. In diesem Zeitraum fand das Fünffaktoren-Modell der Persönlichkeit immer mehr Akzeptanz (Barrick, Mount & Judge, 2001). Unter Anwendung des Fünffaktoren-Modells wurden Metaanalysen (Barrick & Mount, 1991; Tett, Jackson & Rothstein, 1991; Salgado, 1997) publiziert, die die Persönlichkeitstests wieder in einem anderen Licht erscheinen liessen und das Interesse neu weckten. In diesen Metaanalysen wurde klar, dass nicht alle Big Five gleich gut geeignet sind, um Berufserfolg vorherzusagen. Auch konnte der Berufserfolg nicht für alle Berufsgruppen gleich gut damit vorhergesagt werden. Barrick et al. (2001) ziehen mit ihrer Metaanalyse zweiter Ordnung ein Fazit der Forschungsergebnisse: Gewissenhaftigkeit kristallisiert sich als derjenige Persönlichkeitsfaktor heraus, der die höchste Kriteriumsvalidität aufweist und der diese Position über verschiedene Berufsgruppen und verschiedene Leistungskriterien aufrecht zu erhalten vermag. Auch die Validität der Emotionalen Stabilität weist eine berufsgruppen- und kriterienübergreifende Höhe auf, jedoch auf einem geringeren Niveau. Extraversion, Verträglichkeit und Offenheit sind nicht für alle Berufe und für alle Kriterien geeignet. In diese Metaanalyse fliessen praktisch alle Ergebnisse der Forschung bis dahin ein. Da die Kriteriumsvalidität (nach Korrektur hinsichtlich Prädiktor- und Kriteriumsunreliabilität und Varianzeinschränkung) aber selbst bei der 1

2 Gewissenhaftigkeit unter.30 bleibt, rufen die Autoren auf, den Fokus der Forschung zu ändern. Es brauche innovative Ideen, um die Validität zu erhöhen und nicht noch weitere Messungen des Zusammenhangs zwischen Big Five und Berufserfolg. Neben den Persönlichkeitsfacetten des Big Five gibt es noch andere untersuchte Persönlichkeitsmerkmale. Um beispielsweise die Vertrauenswürdigkeit von Mitarbeitenden oder Stellenbewerbern vor allem in sicherheitsempfindlichen Bereichen zu messen, wurde eine Vielzahl von Integritätstests entwickelt. Unterteilt werden die Integritätstests nach Marcus, Funke und Schuler (1997) in zwei Gruppen. Dies sind die einstellungsorientierten und die eigenschaftsorientierten Verfahren. Ones, Viswesvaran und Schmidt (1993) fanden in einer Metaanalyse heraus, dass sich Kriterien allgemeiner beruflicher Leistung anhand von Integritätstests prognostizieren lassen. Dies gilt sowohl für die einstellungs- als auch die eigenschaftsorientierten Verfahren. Nach Marcus et al. (1997) können Integritätstests damit einen Beitrag zur Renaissance vom Persönlichkeitstest in der Eignungsdiagnostik leisten. 2.2 Fremdbeurteilung MacKinnon (1944, zitiert nach Hogan, Hogan & Roberts, 1996) unterteilt die Persönlichkeit in zwei Bereiche. Zum einen seien da Faktoren innerhalb des Menschen, die das Verhalten antreiben und somit auch als Erklärung dafür dienen. Zum anderen nennt er von aussen wahrnehmbare Persönlichkeitseigenschaften eines Menschen, die sich auf den zwischenmenschlichen Umgang beziehen. Letztere entsprechen der Reputation einer Person und lassen sich v. a. aus der Perspektive anderer, die die Person in verschiedenen Situationen erlebt haben, messen. Damit erscheint die Beurteilung der arbeitsbezogenen Persönlichkeit durch Arbeitskollegen als geeignet, weil diese die Beurteilten und deren Reputation vor allem im Arbeitskontext kennen. Die Selbstbeurteilung der Persönlichkeit ist nicht nur auf die Arbeit bezogen sondern stellt eine globale Einschätzung der Persönlichkeit in verschiedenen Bereichen dar. Für die Relevanz der Fremdbeurteilung haben Mount, Barrick und Strauss (1994) erste Indizien geliefert. Sie fanden in ihrer Untersuchung, dass die Validität der Fremdbeurteilung mindestens so hoch ist wie die der Selbstbeurteilung und dass sie einen inkrementellen Beitrag an die Varianzaufklärung der Arbeitsleistung liefert über die Selbstbeurteilung hinaus. Connolly, Kavanagh und Viswesvaran (2007) finden in ihrer Metaanalyse trotz hoher Konstruktüberlappung zwischen Selbst- und Fremdbeurteilung der Persönlichkeit je einen bedeutenden Anteil an eigener aufgeklärter Varianz. Die beiden Ansätze korrelieren also bedeutsam, erfassen aber unterschiedliche Aspekte der Persönlichkeit. Die folgenden Hypothesen werden daraus abgeleitet: H1: Sowohl die Selbst- als auch die Fremdbeurteilung der Persönlichkeit korrelieren mit Berufserfolg. H2: Die Fremdbeurteilung der Persönlichkeit hat inkrementelle Validität gegenüber der Selbstbeurteilung. 2

3 2.3 Frame of Reference Die Fremdbeurteilung durch die Arbeitskollegen ist eine mögliche Methode, um die Einschätzung der Persönlichkeit auf den Arbeitskontext zu beziehen. Eine andere Möglichkeit ist die Schaffung eines gemeinsamen Bezugsrahmens (Frame of Reference, FOR) für die Bearbeitung eines Persönlichkeitstests. Zur Vorhersage der beruflichen Leistung ist der Bezugsrahmen Arbeit nahe liegend. Dabei geht es darum, allen Testabsolventen denselben Bezugsrahmen für das Ausfüllen des Tests zu bieten, indem man beispielsweise jedes Item mit bei der Arbeit ergänzt und so den Test arbeitsspezifisch formuliert. Wenn ein Persönlichkeitsinventar im Rahmen der Personalselektion eingesetzt wird, kann es sein, dass die eine Person ihre eigene Persönlichkeit sehr global beurteilt, so dass Gültigkeit über verschiedene Lebenssituationen (z. B. Familie, Arbeit, Sport) eintritt. Eine andere Person hat vielleicht gleich das Gefühl, dass in diesem Zusammenhang nur die arbeitsbezogene Persönlichkeit gemeint ist und füllt den Persönlichkeitstest dementsprechend aus. Das führt zu Fehlervarianz in den Resultaten, was sich negativ auf die Kriteriumsvalidität auswirkt (Schmit, Ryan, Stierwalt & Powell, 1995). Schmit et al. (1995) gelang es, durch das Einführen eines spezifischen FOR die Kriteriumsvalidität von Gewissenhaftigkeit in einer studentischen Stichprobe zu erhöhen. Bing, Whanger, Davison und VanHook (2004) replizieren die Resultate von Schmit et al. (1995) ebenfalls mit Studenten. Hunthausen, Truxillo, Bauer und Hammer (2003) untersuchen im Gegensatz zu Schmit et al. (1995) und Bing et al. (2004) alle fünf Faktoren der Persönlichkeit in einer Feldstichprobe. Sie fanden inkrementelle Validität der FOR-Bedingung für Gewissenhaftigkeit, Extraversion und Offenheit für Erfahrungen. Die folgende Hypothese wird daraus abgeleitet: H3: Ein Persönlichkeitstest mit arbeitsspezifischen Items ist besser geeignet, um Berufserfolg vorherzusagen als der ansonsten gleiche Test ohne spezifischen FOR. Sowohl die Fremdbeurteilung als auch der FOR fokussieren auf die arbeitsbezogene Persönlichkeit auf ihre eigene Weise. In dieser Untersuchung wird zum ersten Mal die Kombination der beiden Variablen untersucht. Zwei offene Fragen scheinen dabei interessant: Offene Frage 1: Ist der Arbeits-FOR oder die Fremdbeurteilung wirksamer, um die Kriteriumsvalidität von Persönlichkeitstests zu erhöhen? Offene Frage 2: Inwiefern wirkt sich die Kombination von Fremdbeurteilung und FOR auf die Kriteriumsvalidität von Persönlichkeitstests aus? 3

4 3. Methode 3.1 Stichprobe und Design Die Stichprobe umfasst mindestens 100 Mitarbeitende der Securitas. Die Bögen werden an alle Angestellten der Securitas St. Gallen per Post zugeschickt, wobei sie in einem Brief über den Nutzen für die Securitas und die Studie informiert werden. Die Geschäftsleitung der Securitas trägt die Untersuchung mit und wird die Mitarbeiter zum Ausfüllen des Fragebogens motivieren. In dieser Studie kommt ein 2 (allgemein vs. arbeitsbezogen) 2 (Selbst- vs. Fremdbeurteilung) Design zum Einsatz. Bei beiden Faktoren handelt es sich um Messwiederholungsfaktoren. Die Erhebung der allgemeinen und der arbeitsbezogenen Persönlichkeit erfolgt innerhalb desselben Fragebogens nacheinander, wobei die Reihenfolge der beiden über die Probanden hinweg ausbalanciert wird. Die Reihenfolge wird als Kontrollvariable für die weiteren Auswertungen berücksichtigt. Der Bogen für die Fremdbeurteilung wird den Mitarbeitenden gemeinsam mit demjenigen für die Selbstbeurteilung zugeschickt, wobei sie selbst einen Arbeitskollegen bestimmen, der sie möglichst gut kennt und der die Fremdbeurteilung für sie macht. Der Fremdrater erhält gleich ein an die Universität adressiertes, frankiertes Antwortcouvert, um die Anonymität zu gewährleisten. Erfasst werden die folgenden demographischen Variablen: Alter Geschlecht Beschäftigungsgrad Unterteilung: Revier / Veranstaltungsdienst / Ordnungsdienst Betriebszugehörigkeit Für die Fremdbeurteilung wird zusätzlich noch der Bekanntheitsgrad zwischen Beurteiler und Beurteiltem erhoben. 3.2 Messinstrumente Persönlichkeitstest Seit Beginn der neunziger Jahre herrscht zwar eine gewisse Einigkeit über die Struktur der Persönlichkeit über die Terminologie ist man sich nicht ganz so einig. In dieser Untersuchung wird die Unterteilung nach Costa und McCrae (1995) übernommen. Sie nennen die globalen fünf Faktoren Gewissenhaftigkeit, Neurotizismus, Extraversion, Verträglichkeit und Offenheit für Erfahrungen und unterteilen diese in je sechs Unterfacetten. Aus dem International Personality Item Pool (IPIP) wird ein Persönlichkeitstest zusammengestellt, wobei die Items übersetzt werden. Um die für die Stichprobe relevanten Persönlichkeitseigenschaften zu eruieren, wurde anhand von offiziellen Stellenbeschreibungen, mit Hilfe der Human Resource Abteilung der Securitas und basierend auf früheren Forschungsergebnissen (Black, 2000) ein Anforderungsprofil erstellt. Im Persönlichkeitstest werden 11 Facetten 4

5 der Big Five gemessen, die die Anforderungen aus diesem Profil abdecken und die in Tabelle 1 dargestellt sind. Tab. 1. Darstellung der verwendeten Big Five-Facetten Gewissenhaftigkeit Emotionale Stabilität Extraversion Verträglichkeit Kompetenz Reizbarkeit Freundlichkeit Entgegenkommen Ordnungsliebe Soziale Durchsetzungsfähigkeit Pflichtbewusstsein Befangenheit Selbstdisziplin Impulsivität Umsicht Hinzu kommen auf ausdrücklichen Wunsch der Securitas eine Skala zu Integrität und eine Skala zu kontraproduktivem Arbeitsverhalten. Die Items für die Skala der Integrität stammen ebenfalls aus dem International Personality Item Pool. Die Items zur Erfassung von kontraproduktivem Arbeitsverhalten bestehen aus einer Auswahl von Items aus dem von Marcus, Schuler, Quell und Hümpfner (2002) entwickelten Fragebogen zu kontraproduktivem Arbeitsverhalten. Alle Persönlichkeitseigenschaften werden anhand von 6-8 Items gemessen, wobei diese anhand einer fünfstufigen Likert-Skala (starke Ablehnung bis starke Zustimmung) eingeschätzt werden sollen. Bei der FOR-Version wird für jedes Item ein Arbeitsbezug hergestellt. Für die Fremdbeurteilung wird sowohl das Standarditem als auch das arbeitsbezogene Item in die Fremdperspektive umformuliert. Tabelle 2 zeigt diese Umformulierung für alle 4 Bedingungen. Tab. 2. Umformulierung eines Beispielitems für das 2 2-Within-Subjects-Design Selbstbeurteilung Fremdbeurteilung Allgemein Unter Druck bleibe ich ruhig. XY bleibt unter Druck ruhig. Arbeits-FOR Bei der Arbeit bleibe ich unter Druck ruhig. XY bleibt bei der Arbeit unter Druck ruhig. Das Instrument wird in einem Pre-Test vorgetestet. Dabei werden Psychologiestudent/-innen die allgemeine Selbstbeurteilung ausfüllen. Ziel ist es dabei, aus den aufgrund inhaltlicher Kriterien festgelegten Items, diejenigen herauszufiltern, die auch psychometrisch günstige Eigenschaften haben interne Konsistenz der Skalen (Cronbachs Alpha), Itemtrennschärfe und Itemschwierigkeit werden angeschaut. 5

6 3.2.2 Leistungsbeurteilung Die Securitas misst die Leistung ihrer Mitarbeitenden regelmässig anhand einer Vorgesetztenbeurteilung. Diese Leistungsbeurteilungen sollen als Kriteriumsmass verwendet werden. Bei dem verwendeten Instrument werden acht unterschiedliche Leistungsmerkmale eingeschätzt, die für den Beruf eines Securitas relevant sind (Erscheinungsbild, Verhalten im Dienst, Arbeitsausführung, Umgangsformen, Loyalität, Kenntnisse Auftrag, Kenntnisse der allgemeinen Dienstvorschrift, Kenntnisse Securitas). Hier soll zunächst eine explorative Faktorenanalyse gerechnet werden, um herauszufinden, inwiefern sich die Bewertung der einzelnen Leistungsfaktoren unterscheidet. Dabei wird sich zeigen, ob die Hypothesenprüfung mit den einzelnen Leistungsmerkmalen oder mit dem Durchschnitt erfolgen wird. Da die Vorgesetztenbeurteilung vier Mal jährlich erfolgt, kann ausserdem die Retest-Reliabilität des Instruments berechnet werden. 3.3 Auswertung Für die Prüfung von Hypothese 1 werden Korrelationen berechnet. Sowohl Hypothesen 2 und 3 als auch die offenen Fragen werden mittels hierarchischen multiplen Regressionsanalysen auf inkrementelle Validität getestet. 4. Offene Fragen Allgemeine und Arbeitsspezifische Testversion werden nacheinander innerhalb desselben Bogens ausgefüllt. Wie könnte man die Carryover-Effekte gering halten bzw. kontrollieren? Welche anderen Variablen, neben dem Bekanntheitsgrad, könnten das Fremdurteil beeinflussen? Soll die aktuelle Leistungsbeurteilung oder ein Durchschnitt der Leistungsbeurteilungen über die letzten vier Messzeitpunkte als Kriterium verwendet werden? 5. Literaturverzeichnis Barrick, M. R. & Mount, M. K. (1991). The Big Five personality dimensions and job performance: A meta-analysis. Personnel Psychology, 44, Barrick, M. R., Mount, M. K. & Judge, T. A. (2001). Personality and performance at the beginning of the new millennium: What do we know and where do we go next? Personality and Performance, 9, Bing, M. N., Whanger, J. C., Davison, H. K., & VanHook, J. B. (2004). Incremental validity of the frame-of-reference effect in personality scale scores: A replication and extension. Journal of Applied Psychology, 89, Black, J. (2000). Personality testing and police selection: Utility of the Big Five. New Zealand Journal of Psychology, 29, 2-9. Connolly, J. J., Kavanagh, E. J., & Viwesvaran, C. (2007). The convergent validity between 6

7 self and observer ratings of personality: A meta-analytic review. International Journal of Selection and Assessment, 25, Costa, P. T., & McCrae, R. R. (1995). Domains and Facets: Hierarchical Personality Assessment Using the Revised NEO Personality Inventory. Journal of Personality Assessment, 64, Goldberg, L. R. (1992). The development of markers of the Big-Five factor structure. Psychological Assessment, 4, Guion, R. M., & Gottier, R.F. (1965). Validity of Personality measures in personnel selection. Personnel Psychology, 18, Hogan, R., Hogan, J., & Roberts, B. W. (1996). Personality measurement and employment decisions. American Psychologists, 51, Hunthausen, J. M., Truxillo, D. M., Bauer, T. N., & Hammer, L. B. (2003). A field study of frame-of-reference effects on personality test validity. Journal of Applied Psychology, 88, Marcus, B., Funke, U., & Schuler, H. (1997). Integrity Tests als spezielle Gruppe eignungsdiagnostischer Verfahren: Literaturüberblick und metaanalytische Befunde zur Konstruktvalidität. Zeitschrift für Arbeits- und Organisationspsychologie, 41, Marcus, B., Schuler, H., Quell, P., & Hümpfner, G. (2002). Measuring Counterproductivity: Development and Initial Validation of a German Self-Report Questionnaire. International Journal of Selection and Assessment, 10, Ones, D. S., Viswesvaran, C., & Schmidt, F. L. (1993). Meta-analysis of integrity test validities. Findings and implications for personnel selection and theories of job performance. Journal of Applied Psychology, 78, Salgado, J. F. (1997). The Five Factor Model of Personality and Job Performance in the European Community. Journal of Applied Psychology, 82, Schmit, M. J., Ryan, A. M., Stierwalt, S. L., & Powell, A. B. (1995). Frame-of-reference effects on personality scale scores and criterion-related validity. Journal of Applied Psychology, 80, Schuler, H., & Höft, S. (2006). Konstruktorientierte Verfahren der Personalauswahl. In H. Schuler (Hrsg.), Lehrbuch der Personalpsychologie. Göttingen: Hogrefe. Tett, R. P., Jackson, D.N., & Rothstein, M. (1991). Personality measures as predictors of job performance: A meta-analytic review. Personnel Psychology, 44,