CASE Study Die Anwendung von CASE Scores im JOIN Praktikanten-Programm

Transkript

1 candidate select GmbH CASE Study Die Anwendung von CASE Scores im JOIN Praktikanten-Programm

2 candidate select GmbH Die candidate select GmbH (CASE) ermöglicht Unternehmen, die akademische Leistung von Bewerbern einzuschätzen. Die Basis für diesen Vergleich sind unter anderem mehr als Notenverteilungen auf Studienprogrammebene und mehr als im Rahmen der Studienreihe Fachkraft 2020 befragte Studierende. Die Bewertung wird von dem CASE-Algorithmus vorgenommen. Im ersten Schritt wird ein Abschluss dabei mit den Abschlüssen der Kommilitonen im selben Studienprogramm verglichen, um die Position (Perzentil) in der lokalen Notenverteilung zu ermitteln. Nachdem bekannt ist, wie ein Bewerber im Vergleich zu seinen Kommilitonen abgeschlossen hat, wird im zweiten Schritt ermittelt, wie kompetitiv diese waren. In diesem Schritt werden Studienprogramme anhand der kognitiven und persönlichen Fähigkeiten der Studenten verglichen. 12 Auf Basis dieser zwei Schritte ist es möglich zu verstehen, wie ein Bewerber im Vergleich zu seinen Kommilitonen abgeschnitten hat und wie diese Kommilitonen im Vergleich zu Studierenden anderer Hochschulen sind. Um diese beiden Informationen sinnvoll miteinander kombinieren zu können, werden diese durch einen Optimierungsalgorithmus gewichtet. Hierdurch wird festgelegt, inwieweit ein sehr er Absolvent einer weniger kompetitiven Hochschule einen durchschnittlichen Absolventen einer sehr kompetitiven Hochschule überholen kann. Der finale CASE- Score berücksichtigt alle diese Informationen und vergleicht dadurch Abschlüsse zwischen Hochschulen, Studienfächern, Abschlussarten und Abschlussjahren. Um einen Vergleich zwischen Hochschulen, Abschlussarten und Abschlussjahren der gleichen Fachgruppe zu ermöglichen, wird neben dem CASE-Score auch der CASE-Subject-Score angegeben. 1 Einleitung Es gibt verschiedene Gründe, warum eine Note wenig Aussagekraft mit Blick auf den Arbeitsmarkterfolg von Absolventen hat. So wird in Deutschland zum Beispiel eine absolute Notenskala angewandt, welche zwischen Hochschulen, Studienfächern, Abschlussarten und Jahrgängen stark unterschiedlich interpretiert und genutzt wird. Darüber hinaus gibt es klare Unterschiede zwischen Studienprogrammen, wenn man die Fähigkeiten und die Motivation der Studierenden betrachtet. Hieraus resultieren Abweichungen in Qualität und Wettbewerbsfähigkeit der Absolventen. Das Ziel von CASE ist es, Noten um die zusätzlichen Informationen anzureichern, die notwendig sind, um ein aussagekräftiges Signal für den Arbeitsmarkt ableiten zu können. Diese CASE-Study zeigt, dass durch intelligente Nutzung der Hochschulleistung von Bewerbern gemessen durch den CASE-Score bessere Ergebnisse im Recruiting des Praktikantenprogramms JOIN der Deutsche Post DHL Group (DPDHL) erzielt werden können. Gleichzeitig ließ sich in der Stichprobe ohne Ergebnisvererungen ein großer Teil Rekrutierungsaufwandes einsparen. Hervorzuheben ist hierbei die Größe und Qualität des Datensatzes, wodurch viele interessante Analysen möglich sind. Wir sind unserem Partner dankbar für die Bereitstellung der Daten und das Ermöglichen dieser CASE-Study. 1 Persönlichkeit wird mit Hilfe der 50 Item Big5 Batterie aus dem International Personality Item Pool gemessen. Kognitive Fähigkeiten werden durch drei verschiedene Testbatterien ermittelt: (1) Matrix-Tests und (2) Visuelle Puzzle, um fluide Intelligenz zu messen sowie (3) Quiz-Items, um kristalline Intelligenz herzuleiten. 2 Die Datenerhebung findet im Rahmen der Fachkraft-Studienreihe mit aktuell mehr als Teilnehmern seit 2012 statt. Neue Daten werden alle sechs Monate erhoben. CASE Study DPDHL 1 März, 2017

3 2 Studiendesign und Daten Zwischen Oktober 2016 und Februar 2017 hat CASE seinem Kunden DPDHL ausführliche Reports zu der Abschlussqualität der Bewerber im JOIN-Praktikanten-Programm zu Verfügung gestellt. Die Bewerber wurden dabei wochenweise gesammelt, anschließend an CASE weitergeleitet und durch den CASE-Algorithmus analysiert. Grundlage dieser CASE-Study sind insgesamt 161 Bewerber. 3 Für diese Stichprobe liegen folgende Informationen vor: (1) Abschlussinformationen Hochschule, Studienfach, Abschlussart, Abschlussjahr und Abschlussnote 4, (2) CASE Bewertung Perzentil in der Notenverteilung des Studienprogramms, Perzentil CASE-Subject-Score und Perzentil CASE-Score sowie (3) Ergebnis- Variablen Abschneiden im CV Screening 5, Abschneiden im Online-Assessment-Test 6, Abschneiden im Telefoninterview 7, Teilnahme am Assessment-Center und Erhalten eines Job-Angebots. Abbildung 1 zeigt eine Übersicht des Bewerbungsprozesses im JOIN-Praktikanten-Programm von DPD- HL. Im ersten Schritt wird ein händisches CV-Screening durchgeführt, und die Kandidaten partizipieren an einem Online-Assessment-Test (OAT). Anschließend werden die Telefoninterviews mit den Bewerbern geführt. Die finale Entscheidung über eine Einstellung fällt im Assessment-Center. In jedem Bewerbungsschritt werden ungefähr 50% der (verbleibenden) Bewerber ausgeschlossen. Alle Bewerbungsschritte weisen eine signifikant positive Korrelation auf. Online-Test 0,47* CV-Screening Schritt 1 Schritt 2 Schritt 3 0,25* 0,61* Telefon- Interview 0,40* Assessment- Center 0,53* Job-Angebot 41% der Bewerber schaffen es ins Telefon-Interview 22% der Bewerber schaffen es ins Assessment-Center 12% der Bewerber erhalten ein Job-Angebot Abbildung 1: Bewerbungsprozess im JOIN-Praktikanten-Programm der Deutsche Post DHL Group. Die Zahlen entsprechen der Korrelationen zwischen den jeweiligen Bewerbungsschritten. Das (*) zeigt statistische Signifikanz bei α = 0.05 an. 3 Bewerber von denen nicht alle benötigten Informationen vorlagen, wurden von dieser CASE-Study ausgeschlossen. 4 Als absolute Note und als ECTS Note 5 Drei Qualitätsstufen: A,B und C 6 Als Prozentwert von 0% bis 100% 7 Drei Qualitätsstufen: A,B und C CASE Study DPDHL 2 März, 2017

4 3 Ergebnisse Es folgt zunächst eine graphische Darstellung der Ergebnisse. Abbildung 2 zeigt alle Bewerberinnen und Bewerber unser Stichprobe und fasst einige Informationen zusammen. 1. Graue Kandidaten bekamen keine Einladung zum Assessment-Center 2. Blaue Kandidaten bekamen eine Einladung zum Assessment-Center, aber kein Angebot 3. Grüne Kandidaten waren im Assessment-Center erfolgreich und bekamen ein Angebot 4. Kandidaten weiter rechts schnitten besser im Online-Assessment-Test ab 5. Kandidaten weiter unten hatten bessere Studienabschlüsse (niedrige CASE Scores sind besser) 0 CASE Sco Online Test Angebot nach AC Kein Angebot nach AC Kein AC Regressionslinie Abbildung 2: Streudiagramm zwischen Online-Assessment-Test und CASE-Score: Fast alle Teilnehmer im grünen Bereich und keine Teilnehmer im roten Bereich erhalten ein Job-Angebot. Die Regressionsgerade zeigt die Gerade mit der besten Anpassung. In grau dargestellte Kandidaten wurden nicht zum Assessment-Center geladen, blaue Kandidaten wurden eingeladen, erhielten aber kein Job-Angebot, und grüne Kandidaten erhielten nach dem Assessment-Center ein Job-Angebot. Die eingezeichnete rote Fläche beschreibt den Bereich der Kandidaten, die im Online-Assessment-Test weniger als 50% erreicht haben und deren CASE-Score zur eren Hälfte (größer 50%) gehört. Eine erste zentrale Beobachtung ist, dass in der roten Fläche keine grünen Punkte enthalten sind, somit kein Kandidat hier ein Angebot bekam. Die meisten Angebote finden sich in der grünen Fläche, die Bewerber mit jeweils em Online-Test und Studienabschluss umfasst. Die einfache Regel, dass nur Bewerber im grünen Feld eingeladen würden, hätte fünf Kandidaten, die ein Angebot bekommen haben, verpasst. Von diesen liegen vier in der oberen rechten Ecke (er Test, er Abschluss) und einer in der linken unteren Ecke (er Abschluss, er Test). Dass der CASE-Score bei einem Schwellenwert von 50% mehr e Kandidaten verpasst als der Online-Test liegt daran, dass fast alle Teilnehmer im Test mit mehr als 50% abschneiden, während nur ca. die Hälfte der Teilnehmer einen CASE-Score von unter 50% erhält. CASE Study DPDHL 3 März, 2017

5 CASE Score Online-Test ECTS Note CASE Subject Score CV-Screening -0,42* -0,37* 0,34* -0,21 0,10 Assessment- Center 0,53* 0,10 Telefon- Interview Job-Angebot Abbildung 3: Korrelation zwischen Vorselektion, ECTS Noten sowie CASE Scoring mit dem Job-Angebot. Das (*) zeigt statistische Signifikanz bei α = 0.05 an. 0 CASE Sco Online Test Angebot nach AC Kein Angebot nach AC Kein AC Regressionslinie Abbildung 4: Streudiagramm zwischen Online-Assessment-Test (OAT) und CASE-Score (CS): Eine einfache Regel produziert kaum Fehler: OAT CS > 0. Die Regressionsgerade zeigt die Gerade mit der besten Anpassung. In grau dargestellte Kandidaten wurden nicht zum Assessment-Center geladen, blaue Kandidaten wurden eingeladen, erhielten aber kein Job-Angebot, und grüne Kandidaten erhielten nach dem Assessment-Center ein Job-Angebot. CASE Study DPDHL 4 März, 2017

6 Die nähere Betrachtung zeigt, dass der Studienabschluss gemessen durch den CASE-Score Angebote insgesamt leicht besser vorhersagt als der Online-Test. Abbildung 3 dokumentiert die Korrelationen 8 zwischen den verschiedenen Schritten im Recruiting-Prozess und der Zielvariable dem Job-Angebot. Es zeigt sich, dass nach dem Assessment-Center selbst das CASE-Scoring der beste Prädiktor für eine Einstellung ist. Auf Grund der fachspezifischen Auswahl bei DPDHL schneidet der CASE-Subject-Score (-0.42) sogar noch leicht besser ab als der CASE-Score (-0.37). Knapp dahinter befindet sich das Online Assessment-Center (0.34). Zwischen einer Einstellung nach dem Assessment-Center und der ECTS Note als auch dem CV-Screening und dem Telefoninterview besteht kein signifikanter statistischer Zusammenhang. Die Vorselektion auf Basis des jetzigen CV-Screenings und der Telefoninterviews bieten keine messbaren Vorteile für die Auswahl im Assessment-Center. Mit anderen Worten: Die Reduktion der Kandidaten durch arbeitsintensive Vorgänge in diesen Schritten führt nicht zu einer Verbesserung des Kandidatenpools im Assessment- Center. Abbildung 4 zeigt, wie Online-Test und CASE-Score im Zusammenspiel optimal genutzt werden können. Mit der einfachen Regel, dass das Online-Assessment-Test (OAT) Ergebnis minus den CASE positiv sein muss also OAT CASEScore > 0 werden 95% aller Angebote erfasst (nur ein grüner Punkt ist außerhalb des grünen Dreiecks) und 53% aller nicht erfolgreichen Teilnehmer im Assessment-Center ausgeschlossen (9 von 17 blauen Punkten sind außerhalb des grünen Dreiecks). Insgesamt werden bei Anwendung der Regel ca. 55% der Bewerber direkt ausgeschlossen. 8 Ein technischer Wert für die Stärke eines Zusammenhangs. Je näher die Werte an 1 oder -1 sind, desto aussagekräftiger ist der Schritt als Auswahlinstrument. CASE Study DPDHL 5 März, 2017

7 4 Bedeutung der Ergebnisse Die folgende Sektion diskutiert die Ergebnisse hinsichtlich möglicher Optimierungen im Bewerbungsprozess des Praktikanten-Programms JOIN von DPDHL. Hierzu werden zwei Argumente nebeneinandergestellt: (1) Potentielle Einsparungsmöglichkeiten durch einen effizienteren Rekrutierungs-Prozess und (2) Vorteile durch eine Steigerung der Qualität von Praktikanten und damit der potentiellen Fach- und Führungskräfte in der Zukunft. Bei einer Umstellung des Bewerbungsprozesses auf die Regel OAT CASEScore > 0 ergab die Analyse, dass in der vorliegenden Stichprobe über 80% des Aufwandes bei maximaler Simplifizierung des Prozesses hätte eingespart werden können ohne das Ergebnis zu verern. Bedeutender als das gegebene Einsparpotential ist jedoch die Möglichkeit aus dem vorhandenen Bewerberpool noch bessere Kandidaten für das Assessment-Center auszuwählen. Abbildung 5 zeigt 9 Kandidaten (rot markiert), die zwar nicht ins Assessment-Center eingeladen wurden, deren Abschneiden im CASE-Scoring und im Online-Assessment- Test allerdings sehr positiv war. Im aktuellen Prozess sind diese Talente verloren gegangen. 0 CASE Sco Online Test Angebot nach AC Kein Angebot nach AC Kein AC Regressionslinie Kennenlernen! Abbildung 5: Streudiagramm zwischen Online-Assessment-Test und CASE Score: Keine Talente verpassen. Die Regressionsgerade zeigt die Gerade mit der besten Anpassung. In grau dargestellte Kandidaten wurden nicht zum Assessment-Center geladen, blaue Kandidaten wurden eingeladen, erhielten aber kein Job- Angebot und grüne Kandidaten erhielten nach dem Assessment-Center ein Job-Angebot. Eine Steigerung der Qualität des Kandidatenpools im Assessment-Center steigert dabei nicht nur kurzfristig die Qualität der Praktikanten bei DPDHL, sondern sichert auch langfristig die Gewinnung von Fach- und Führungskräften. JOIN Alumni haben bereits Organisationswissen, weisen eine höhere Identifikation mit DPDHL auf und haben zukünftig ein niedrigeres Einstellungsrisiko, da sie ihre Produktivität bereits unter Beweis gestellt haben. Sollten diese Kräfte darüber hinaus zukünftig über andere Kanäle gewonnen werden müssen, führt dies neben den erwarteten Produktivitätsverlusten zu einer Vervielfachung des Kostenaufwandes. CASE Study DPDHL 6 März, 2017

8 5 Schlussfolgerung Der CASE-Score ist nach dem Assessment-Center vor Ort das valideste Auswahlkriterium in der untersuchten Stichprobe. Zusammen mit den Ergebnissen des Online-Assessment-Tests lässt sich eine Regel formulieren, mit der bis zu 80% der Rekrutierungskosten eingespart werden können. Es wird jedoch empfohlen, die Qualität im Assessment-Center durch die Nutzung von CASE zu steigern. Hierdurch könnten bessere Praktikanten für DPDPHL gewonnen werden, welche sich zukünftig zu Fach- und Führungskräften bei DPDHL entwickeln könnten. Autoren candidate select GmbH Dr. J.N. Bergerhoff und Dr. P.K. Seegers Web: CASE Study DPDHL 7 März, 2017