A3: Eignungstest für Studiengänge, vergleichbare Ausbildungen sowie gehobenen Dienst

Transkript

1 A3: Eignungstest für Studiengänge, vergleichbare Ausbildungen sowie gehobenen Dienst Verfahrenshinweise nach DIN Berlin Düsseldorf Hannover Leipzig Stuttgart

2 1 1 Zielsetzung und Anwendungsbereich Der Eignungstest A3 ist mit über Durchführungen pro Jahr wahrscheinlich das am häufigsten eingesetzte Auswahlverfahren im öffentlichen Dienst. Wie alle dgp-eignungstests konzentriert sich auch der A3 auf die numerische und verbale Verarbeitungskapazität, die beiden zentralen Dimensionen des Berliner Intelligenzstrukturmodells. Um die Vorhersage der beruflichen Leistung weiter zu steigern, enthält der A3 zusätzlich einen Test büropraktischer Tätigkeiten, einen Rechtschreibtest sowie Kenntnistests aus den Bereichen interkulturelles Wissen sowie Politik und Gesellschaft. Zielgruppe sind Bewerberinnen und Bewerber, die die allgemeine Hochschulreife besitzen. Der A3 wird u. a. zur Eignungsfeststellung für folgende Berufsbilder und Laufbahnen verwendet: Gehobener Dienst, LG II, AGL II; Wirtschaftsinformatiker (BA); Bachelor of Public Administration; Feuerwehr g. D. 2 Vorherige Versionen Der Eignungstest A3 wird seit dem Jahr 2012 verwendet und basiert auf dem Eignungstest A2. Die Änderungen betreffen insbesondere die Testlänge, -dauer und -zusammensetzung. Die Verlängerung der einzelnen Subtests erlaubt eine reliablere Erfassung der betrachteten Merkmalsdimensionen. Leistungstests, die unter Zeitbegrenzung durchgeführt werden, erfassen immer sowohl Verarbeitungsgeschwindigkeit als auch Verarbeitungskapazität. Da sich die Verarbeitungskapazität besser zur Vorhersage von Berufs- und Ausbildungserfolg eignet, wurde die Dauer aller Subtests verlängert. Dies führt dazu, dass die Verarbeitungsgeschwindigkeit weniger stark ins Gewicht fällt. Die Bereiche Kenntnisse und Arbeitseffizienz wurden zugunsten der Verarbeitungskapazität reduziert. 3 Fähigkeitsdimensionen und Subtests Verbale Verarbeitungskapazität Die Verarbeitung von komplexen sprachlichen Inhalten, das formallogisch exakte Denken und das sachgerechte Beurteilen von Informationen stehen in diesem Testteil im Fokus. Folgende Subtests überprüfen die Ausprägung der verbalen Verarbeitungskapazität: Analogien, Wortklassifikationen, Logische Schlüsse, Schlüsse vergleichen, Textanalyse Numerische Verarbeitungskapazität Überprüft wird hier der Grad der Aneignung und Verfügbarkeit des Beziehungssystems Zahlen, wobei die analytische Auseinandersetzung mit komplexen numerischen Informationen, der logisch korrekte Umgang mit Zahlenmaterial und die Rechenpraxis Hintergrund der Aufgabenstellungen sind. Im Einzelnen befinden sich folgende Aufgabengruppen in diesem Testteil: Tabellen & Statistiken, Textrechnen, Buchstabenreihen, Ergebnisse schätzen, Zahlenmatrizen

3 2 Arbeitseffizienz Die Simulation von büropraktischen Tätigkeiten wird durch die Reisekostenaufgabe realisiert. Dabei kommt es darauf an, gegebene Bearbeitungsregeln zu verstehen, korrekt anzuwenden sowie schnell und genau zu arbeiten. Rechtschreibung Der Rechtschreibtest überprüft die orthografischen Kenntnisse der Bewerber/innen. In einem Lückentext werden für die fehlenden Wörter verschiedene Schreibweisen angeboten, von denen die korrekte gekennzeichnet werden muss. Grundlage des Rechtschreibtests sind selbstverständlich die aktuellen Rechtschreibregeln. Kenntnisse Im A3 werden Kenntnisse in den Bereichen Politik und Gesellschaft sowie Interkulturelles Wissen überprüft. 4 Durchführung Die Durchführung erfolgt als Gruppen- oder Einzeltestung. Jede Aufgabe wird vor Bearbeitungsbeginn durch den/die Testanweiser/in anhand mindestens eines Beispiels erläutert. Die Bearbeitung der Subtests erfolgt unter Zeitbegrenzung. Aufgrund der Länge des Tests ist eine Pause von 10 Minuten vorgesehen. Erforderliche Materialien: A3 Testheft, evtl. zusätzliche Kenntnistests, Antwortbogen, Bleistift, Radiergummi, Notizzettel Zugelassene Hilfsmittel: keine 5 Auswertung und Interpretation Die Testergebnisse liegen in Form von T-Scores (M = 100, SD = 10) vor. Der Ergebnisbericht enthält aggregierte Angaben zu den Leistungen in den vier Kernbereichen verbale und numerische Verarbeitungskapazität, Arbeitseffizienz und Rechtschreibung sowie detaillierte Angaben zu den Leistungen in den einzelnen Kenntnistests. Da die einzelnen Leistungsbereiche eine unterschiedliche Bedeutung für die Eignung bei verschiedenen Berufsbildern oder Laufbahnen haben, werden die einzelnen Fähigkeitsdimensionen in Abhängigkeit der Laufbahn anforderungsspezifisch gewichtet (siehe Tabelle auf der folgenden Seite).

4 3 Leistungsbereiche Geh. Dienst, LG II, AGL II Wirtschafts- Informatiker (BA) Bachelor of Public Administration Verarbeitungskapazität verbal Verarbeitungskapazität numerisch Arbeitseffizienz Rechtschreibung 6 5 Politik und Gesellschaft Interkulturelles Wissen 5 5 Informatik-Basiswissen 10 Englisch 5 Exemplarische Gewichtungen der Testkomponenten des A3. Alle Angaben in Prozent. Bei der Vorauswahl von Bewerber/innen mit gleichem Empfehlungsgrad kann auf den Gesamtpunktwert zurückgegriffen werden. Bewerber/innen mit höherem Gesamtpunktwert haben grundsätzlich eine bessere Eignungsprognose als Bewerber/innen mit geringerem Gesamtpunktwert. 6 Aufwand und Zeitbedarf Bei kleinen Gruppen (bis ca. 45 Teilnehmer) muss nur der Testanweiser / die Testanweiserin, bei größeren Gruppen mindestens eine zusätzliche Aufsichtsperson vor Ort sein. Die Testdauer beträgt je nach Gruppengröße ca. 3,5 bis 4 Stunden. Falls Zusatztests verwendet werden, kann sich die Testzeit verlängern. 7 Testung von Schwerbehinderten Für behinderte Bewerberinnen und Bewerber erfolgt ab einem amtlichen Grad der Behinderung von 30 % eine individuelle Anpassung der Testbedingungen. Erste Informationen zu individuellen Anpassungswünschen liefert ein Fragebogen der dgp, der zusammen mit den Informationen zur Testung der kognitiven Leistungen versandt wird. Im weiteren Verlauf klärt ein Psychologe / eine Psychologin der dgp in einem persönlichen Gespräch, ob und welche behinderungsspezifischen Anpassungen der Testbedingungen erforderlich sind. Fragebogen und persönliches Gespräch beachten selbstverständlich die gesetzlichen Vorgaben.

5 4 8 Objektivität Die Test-Instruktionen sind standardisiert. Der A3 wird ausschließlich von Diplom-Psychologinnen und -Psychologen sowie psychologisch-technischen Assistentinnen und Assistenten angewiesen (Durchführungsobjektivität). Die Auswertung erfolgt computergestützt und automatisiert (Auswertungsobjektivität). Die Empfehlung für jede Bewerberin / jeden Bewerber richtet sich nach a priori festgelegten Normwerten (Interpretationsobjektivität). 9 Reliabilität Die inneren Konsistenzen der gemessenen Fähigkeitsdimensionen liegen zwischen α =.80 (verbale Verarbeitungskapazität) und α =.84 (numerische Verarbeitungskapazität). Die innere Konsistenz der Gesamtbatterie beträgt α =.91. Da nicht beantwortete Items bei der Berechnung von Cronbachs Alpha nicht als falsche Antworten gezählt, sondern ausgeschlossen wurden, sind die inneren Konsistenzen konservativ geschätzt. 10 Validität Faktorielle Validität Die zweifaktorielle Struktur (numerische und verbale Verarbeitungskapazität) konnte durch eine konfirmatorische Faktorenanalyse nachgewiesen werden; RMSEA =.041, SRMR =.035, CFI =.974. Das zweifaktorielle Modell reproduziert die empirische Varianz-Kovarianzmatrix signifikant besser als das einfaktorielle (g-faktor)-modell; χ²-diff = 149, p <.001. Weitere Informationen können auf Anfrage bezogen werden. Prädiktive Validität Für das Vorgängerverfahren A2 wurde eine empirische Validierungsstudie durchgeführt. Die unkorrigierte Korrelation zwischen dem Empfehlungsgrad des schriftlichen A2-Verfahrens und der Abschlussnote der Ausbildungsprüfung beträgt r =.44. Quelle: Haarhaus, B., Buchhester, S., & Ristel, N. (2012). Bewährungskontrolle des A2-Verfahrens: Hintergründe, Ergebnisse und Konsequenzen. DGP-Informationen, 53(62), Fairness DIF-Analysen (auf Basis logistischer Regressionen) zufolge weisen 96 % (Alter) bzw. 100 % (Geschlecht) aller Items keinen nennenswerten Bias auf. Detaillierte Analysen können auf Anfrage bezogen werden. 12 Normen Normen liegen zur Zeit im Umfang von Jugendlichen und Erwachsenen im Alter von 16 bis 56 Jahren vor und werden in regelmäßigen Abständen aktualisiert. Die letzte Aktualisierung der Normierung erfolgte im Juli Testformen Es existieren zwei Pseudoparallel-Formen (Form A und Form B).