Auswirkungen eines unmittelbaren automatisierten Feedbacks zum Bewertungsverhalten auf Beobachter

Größe: px

Ab Seite anzeigen:

Download "Auswirkungen eines unmittelbaren automatisierten Feedbacks zum Bewertungsverhalten auf Beobachter"

Elizabeth Waltz
vor 8 Jahren
Abrufe

1 Tablet-PCs im Assessment Center Auswirkungen eines unmittelbaren automatisierten Feedbacks zum Bewertungsverhalten auf Beobachter Stephan 1,2, Friederike Grüterich 2, Anika Biedermann 2, Ann-Kathrin Kittel 2 1 kibit GmbH 2 kölner institut für managementberatung Vortrag auf der 6. Tagung der Fachgruppe Arbeits- und Organisationspsychologie der Deutschen Gesellschaft für Psychologie vom 9. bis 11. September 2009 in Wien

Kittel 2 1 kibit GmbH 2 kölner institut für managementberatung Vortrag auf der 6.

2 Tablet PCs im Assessment Center KI.PAT-Technologie! Handschriftlich: digitale Tinte! Bewertungen auf BARS! plus: drag & drop Texte! plus: copy, cut & paste! plus: zentrale DB / WLAN 1. Organisatorische Vorteile (papierfrei, Automatismen,...) 2. Flexibilitätszugewinn (modulare ACs, Remote AC,...) 3. Qualitätssteigerung!? Beobachterfeedback in Echtzeit Seite 2

plus: zentrale DB / WLAN 1. Organisatorische Vorteile (papierfrei, Automatismen,...) 2.

3 Abbildung 1: beobachten Abbildung 2: bewerten

4 3 Studien! Studie 1: Voruntersuchung (Harks, 2005) Vergleich von Pen & Paper vs. KI.PAT (Tablet PC)! Studie 2: Beurteilungsqualität im AC (Grüterich, 2006) EG: automatisiertes BEO-Feedback (Basis: Experten) KG: kein Feedback! Studie 3: Beurteilungsqualität im AC (Biedermann & Kittel, 2008) EG: automatisiertes BEO-Feedback (Basis: andere VPN der EG) KG: kognitive Aufgabe Seite 4

Studie 2: Beurteilungsqualität im AC (Grüterich, 2006) EG: automatisiertes BEO-Feedback

5 Ergebnisse Studie 1: Pen & Paper vs. KI.PAT (N = 40) Beobachtung/Bewertung zweier Videosequenzen! Interrater-Korrelation keine sign. Unterschiede (Tablet: r =.31 und Pen & Paper: r =.28)! Zeit, die für die Beobachtung genutzt wird Pen & Paper-Gruppe verwendet sign. mehr Zeit für Beobachtungen! Akzeptanz / Usability: keine sign. Unterschiede KI.PAT Pen & Paper Die Handhabung der Beurteilungssystematik war für mich einfach. 5,33 > 4,89 Die Aufgabe hat mir Spaß gemacht. 5,14 < 5,42 Das Mitschreiben von Stärken/Schwächen [...] fiel mir leicht. 4,00 < 4,16 Das Mitschreiben [...] hielt mich von weiteren Beobachtungen ab. 2,57 > 3,36 Die Beurteilungssystematik war übersichtlich aufgebaut. 5,38 > 5,05 Die diagnostische Methodik würde ich weiter empfehlen. 4,38 < 4,55 Skala: 1 (trifft nicht zu) 6 (trifft voll zu) Seite 5

PAT Pen & Paper Die Handhabung der Beurteilungssystematik war für mich einfach. 5,33 > 4,89 Die Aufgabe hat mir Spaß gemacht. 5,14 < 5,42 Das Mitschreiben von Stärken/Schwächen [...] fiel mir leicht.

6 Versuchsaufbau von Studie 2 (vereinfacht) N = 71, quasiexperimentelles 2x3 Design! Videos von 4 Kandidaten in 3 unterschiedlichen Situationen: - Rollenspiel (R) - Gruppendiskussion (G) - Präsentation (P)! 5 Bewertungsdimensionen! EG: automatisiertes BEO-Feedback (Basis: Experten, als BEO-Team getarnt) KG: kein Feedback! Bewertungen nach jeder Situation (12x); BEO-Feedback pro Block (3x) Seite 6

(G) - Präsentation (P)! 5 Bewertungsdimensionen!

7 Feedbackintervention für Studie 2 (insg. 5 Grafiken) EG: mit Beobachterfeedback, KG: kein Feedback! Beispiel 1: Häufigkeitsverteilung der Bewertungen je Skalenkategorie im Vergleich zu den mittleren Expertenurteilen (" Elevation)! Beispiel 2: Abweichungen zur Expertenbewertung auf Dimensionsebene. Über alle Kandidaten und alle Situationen. (" Stereotype Akkuratheit) Seite 7

Beispiel 1: Häufigkeitsverteilung der Bewertungen je Skalenkategorie im Vergleich zu den

8 Ergebnisse Studie 2 (Seite 1 von 3) Anpassung der Bewertungen an die Referenz in der EG Assessoren passen Ihre Bewertungen als Folge eines Feedbacks an. " Signifikante Annäherung hinsichtlich aller Maße. Seite 8

passen Ihre Bewertungen als Folge eines Feedbacks an.

9 4 Akkuratheitskomponenten nach Cronbach (1955)! Elevation (E) erlaubt Aussagen darüber, ob ein Beurteiler im Durchschnitt über alle zu beurteilenden Personen und Dimensionen hinweg angemessen, milder oder strenger urteilt als die anderen Urteiler.! Differentielle Elevation (DE) gibt das Ausmaß an, in dem ein Urteiler im Hinblick auf eine einzelne zu beurteilende Personen angemessen, zu mildoder zu streng urteilt.! Stereotype Akkuratheit (SA) erfasst wie genau Dimensionen beurteilt werden.! Differentielle Akkuratheit (DA) Seite 9

angemessen, milder oder strenger urteilt als die anderen Urteiler.

10 Ergebnisse Studie 2 (Seite 2 von 3) Akkuratheit und Beobachterübereinstimmung sign. Verbesserung nicht sign. sign. Verbesserung sign. Verbesserung Seite 10

11 Ergebnisse Studie 2 (Seite 3 von 3) Weitere Variablen: Motivation, Beurteilungssicherheit Diff. zu t3 signifikant sign. Zunahme Motivation in der KG ist höher; aber: in beiden Gruppen >6 auf 7er-Skala; Regressionsanalyse: Motivation ist Prädiktor für Akkuratheit. Seite 11

Zunahme Motivation in der KG ist höher; aber: in beiden Gruppen >6

12 Versuchsaufbau von Studie 3 (vereinfacht) N = 78, quasiexperimentelles 2x2x4 Design! Versuchsdesign ähnlich zu Studie 2. ABER:! Feedback wurde auf zwei Grafiken reduziert.! KG bearbeitet kognitive Aufgabe.! Als Referenzgruppe für die Feedbackintervention wurden tatsächlich die jeweils anderen Versuchspersonen (= BEO-Team) herangezogen. Seite 12

13 Feedbackintervention für Studie 3 (insg. 2 Grafiken) EG: mit Beobachterfeedback; KG: kognitiven Aufgaben Abbildung 1: Beobachterfeedback Abbildung 2: kognitive Aufgaben Seite 13

14 Ergebnisse Studie 3: Elevation (Seite 1 von 3) Diff. zu t3 signifikant Beugt das BEO-Feedback einer Verschlechterung der Akkuratheit vor? Unerwartete Unterschiede zw. den unterschiedlichen Videoreihenfolgen Seite 14

15 Ergebnisse Studie 3: Differentielle Elevation (Seite 2 von 3) Diff. zu t4 signifikant Beugt das BEO-Feedback einer Verschlechterung der Akkuratheit vor? Seite 15

16 Ergebnisse Studie 3: Stereotype Akkuratheit (Seite 3 von 3) sign. Verbesserung Ergebnis vergleichbar mit Studie 2 Seite 16

17 Beobachterfeedback hat eine Wirkung, aber welche? Weiterführende Forschungsfragen! Relevante Einflussfaktoren Warum startet die EG in unseren Untersuchungen auf schlechterem Niveau, wenngleich sie sich dann verbessert (Studie 1) bzw. sich weniger verschlechtert (Studie 3)?! Differenzierten Wirkung von Feedback Wie sollte die Feedbackintervention erfolgen? - Darstellungsform - Feedbackzeitpunkt - automatisch vs. selbst initiiert - Datenbasis: punktuell vs. kumuliert! Testung unter Realbedingungen Seite 17

verbessert (Studie 1) bzw. sich weniger verschlechtert (Studie 3)?

18 Vielen Dank für Ihre Aufmerksamkeit!

Ähnliche Dokumente

Glaube an die Existenz von Regeln für Vergleiche und Kenntnis der Regeln

Glaube an die Existenz von Regeln für Vergleiche und Kenntnis der Regeln Regeln ja Regeln nein Kenntnis Regeln ja Kenntnis Regeln nein 0 % 10 % 20 % 30 % 40 % 50 % 60 % 70 % 80 % 90 % Glauben Sie, dass