Bremer Institut für Pädagogik und Psychologie (bipp) www.bipp-bremen.de Schule an der N.N. Str. - Förderzentrum - 28309 Bremen März 2004 Evaluation der Fördermaßnahme zur Senkung der Wiederholerquote sowie zur Verbesserung der Abschlussquoten im 1. Halbjahr des Schuljahres 2003/2004 mit Hilfe des FIT FOR LIFE Training sozialer Kompetenz für Jugendliche Zusammenfassung: In einer 7. und 8. Klasse des FÖZ N.N. Str. mit insgesamt 28 SchülerInnen, die in vier Trainingsgruppen aufgeteilt wurden, haben qualifizierte Trainerinnen des bipp, im Beisein und unter Mitarbeit der Klassenlehrerinnen, das FIT FOR LIFE Training sozialer Kompetenz für Jugendliche durchgeführt (Umfang von 24 Stunden pro Klasse). Quantitative Evaluation: Die Rückmeldung der SchülerInnen zum FIT FOR LIFE Training zeigt eine sehr hohe Akzeptanz und Transparenz des Trainings und der Trainerinnen. Darüber hinaus melden die SchülerInnen mit sehr hoher Zustimmung zurück, dass sie für den Umgang mit Gefühlen, die Verständigung mit anderen Menschen und die Vorbereitung auf den Beruf viel dazu gelernt haben. Die Einschätzung des Sozialverhaltens der SchülerInnen durch die Klassenlehrerinnen hat folgende Hauptergebnisse erbracht: Das Sozialverhalten der SchülerInnen hat sich durch das FIT FOR LIFE Training sehr bedeutsam verbessert. Im Einzelnen haben sich ihre Fähigkeiten Aufmerksamkeit, Empathie, Kommunikation, Kooperation, Überwinden von Misserfolgen, Umgang mit Gefühlen und Offenheit gegenüber Personen anderer Kulturen sehr deutlich verbessert. Ihre Initiativlosigkeit hat deutlich abgenommen. Qualitative Evaluation: Es liegen Berichte von einer Trainerin und einer Klassenlehrerin vor. Die Trainerin hebt die große Akzeptanz des Trainings durch die SchülerInnen hervor, die sich auch beim Erarbeiten und Einhalten von Gruppenregeln positiv hervorgetan haben. Beide stimmen darin überein, dass es durch das Training gelang, Außenseiter und Neuankömmlinge in die Klassengemeinschaft zu integrieren. Die Klassenlehrerin hebt zusätzlich hervor, wie sehr sich ihre SchülerInnen in Kommunikation, Empathie, Konfliktlösung und Selbstreflexion entwickelt haben. Die SchülerInnen haben zum Schluss darauf bestanden, dass das Training von ihr weiter geführt wird.
Rückmeldung der Jugendlichen zum Sozialtraining Nach Beendigung des Sozialtrainings haben die Jugendlichen in Form einer Rückmeldung selbst eingeschätzt, wie ihnen das Training gefallen hat. Insgesamt haben 25 Schüler eine Rückmeldung zum Training gegeben. Der Bogen ist so aufgebaut, dass auf einer Skala von 0 bis 6 die Zustimmung zu 7 Fragen gegeben werden soll. Null bedeutet man stimmt gar nicht zu und Sechs bedeutet totale Zustimmung (siehe Anhang Rückmeldung zum Training ). Um einen Gesamteindruck zur Rückmeldung zu erhalten, wurde zu jeder der sieben Fragen der Mittelwert des Zustimmungswertes gebildet. Der Gesamtwert kann bei sieben Fragen mit einer Skalierung bis maximal sechs höchstens 42 Punkte ergeben. Fragebogen Sozialverhalten der Jugendlichen Vor und nach dem Sozialtraining wurden von Trainer und Lehrer gemeinsam für jeden Schüler ein Einschätzungsbogen zum Sozialverhalten des Schülers ausgefüllt. Dieser Bogen umfasst informative Daten wie den Zeitpunkt, die Schule, Klassenstufe, den Namen der EinschätzerIn, einen Code zur SchülerIn und das Geschlecht. Zudem die Information, ob der betreffende Schüler an dem Training teilgenommen hat oder nicht. Dann gibt es insgesamt 18 Aspekte in bezug auf soziales Verhalten, welche auf einer Skala zum Grad der Zustimmung von 0 (Null) bis 6 (Total) eingeschätzt werden. Die Aspekte 1 bis 8 beziehen sich auf positive Verhaltensaspekte, wie z.b. Umgang mit Gefühlen und die Aspekte 9 bis 18 auf negative Verhaltensaspekte wie, z.b. verbale Aggression (siehe Anhang Sozialverhalten des Jugendlichen ). Die Punktwerte, welche für jeden Aspekt (auf einer Skala von 0 bis 6) eingeschätzt werden, rechnet man zu einem Gesamtwert zusammen, welcher dann über die Zeit oder auch schulweise verglichen werden kann. Da diese Bögen für alle Schüler vor und nach dem Training ausgefüllt werden, kann man beobachten, wie sich die Werte von Zeitpunkt 1 (T1) zu Zeitpunkt 2 (T2) verändert haben. Durch diese Veränderung lassen sich Rückschlüsse über die Effekte des Sozialtrainings ziehen. Zuerst werden alle Aspekte des sozialen Verhaltens im Vergleich T1 und T2 betrachtet. Dabei wurde zu jedem Aspekt der Mittelwert zum ersten Zeitpunkt und der Mittelwert zum zweiten
Zeitpunkt aus den Werten für alle Schülern gebildet. Die Differenz zwischen diesen zwei Werten steht für die Zu- oder Abnahme des jeweiligen Aspektes von Sozialverhalten. Rückmeldung der Jugendlichen zum Sozialtraining Der niedrigste Summenwert für alle sieben Fragen in dem Rückmeldebogen zum Sozialtraining liegt im Schnitt bei 12 Punkten und der Höchste bei den maximal zu erreichenden 42 Punkten. Die Verteilung der Mittelwerte aller sieben Fragen ist hier zur Übersicht graphisch dargestellt. Rückmeldung der Jugendlichen zum Sozialtraining 6 5 4 4,72 5,16 4,41 4,24 4,04 4,56 4,21 3 2 1 0 1) Training gefallen 2) mit Trainer zufrieden 6) besser reden Mittelwert der Skalenwerte Insgesamt eine sehr gute Rückmeldung bei der die Spannbreite bei einigen Items sogar über dem Mindestwert 0 anfing. Der Mittelwert aller Items zusammen beträgt 4,47 (von 6) und liegt damit sehr hoch. Interessant ist nun die Betrachtung der Mittelwerte aller 7 Items um zu sehen, welche Aussagen besonders zutreffend sind. Item 2 Mit unserer TrainerIn war ich sehr zufrieden hat eine Spannbreite von 3 bis 6, das heißt es hat niemand einen schlechteren Wert als 3 angegeben. Gleichzeitig hat dieses Item den höchsten Wert mit 5,16 (von 6) Punkten für die Zustimmung zu Mit unserer TrainerIn war ich sehr zufrieden..
Danach findet das Item 1 Das Sozialtraining hat mir gut gefallen. sehr hohe Zustimmung mit 4,72 (von 6) und hat auch hier hat niemand einen schlechteren Wert als 2 angegeben. Ebenfalls viel Zustimmung findet Item 6 Ich habe gelernt, mit anderen Menschen besser zu reden. mit 4,56 (von 6) Punkten. Auffällig ist, das selbst der niedrigste Wert von 4,04 (von 6) Punkten noch sehr hoch ist. Anhand dieser Zahlen kann man sagen, dass die Jugendlichen im Durchschnitt dem Sozialtraining eine sehr positive Rückmeldung gegeben haben. Fragebogen Sozialverhalten der Jugendlichen Anhand der Fragebögen kann man sagen, wie die Werte vor dem Training lagen und wie sie sich zum Zeitpunkt des Nachtests hin verändert haben. Bei der Darstellung dieser Mittelwerte für jedes Item muss darauf hingewiesen werden, dass nicht alle gefundenen Veränderungen groß genug sind, um statistisch von Bedeutung zu sein, das heißt einige Werte sind nicht signifikant. Ihr Zustandekommen kann sich auch allein durch den Zufall bedingen oder die Stichprobe (also die Anzahl der Jugendlichen, die untersucht wurden) war zu klein, um wirkliche Aussagen zu einigen Werten machen zu können (hier waren es nur 28 Jugendliche). Das trifft hier für die Werte zu Item 7 Umgang mit Kritik, Item 9 Aggressivität gegen Sachen, 11 Hilflosigkeit, 12 Pessimismus, 13 Unsicherheit, 14 Verbale Aggressivität, 15 Zurückgezogenheit, 16 Vermeiden von Kontakt zu Menschen anderer Herkunft, 17 Allgemeine rassistische Äußerungen und 18 Rassistische Äußerungen face to face zu. Die positiven Aspekte (1 bis 8) haben alle nach dem Training eine noch bessere Einschätzung bekommen und sind auch fast alle statistisch bedeutsam. Die Veränderung für Item 7 Umgang mit Kritik allein nicht statistisch bedeutsam ist. Dies kann durch den Zufall oder einen Sensibilisierungseffekt zustande gekommen sein. Das bedeutet, dass die Lehrer und Trainer im Laufe des Trainings empfindsamer für Äußerungen dieser Art werden und diese somit stärker zur Kenntnis nehmen. Das heißt, dass sich im Schnitt alle Jugendlichen in ihrem positiven Sozialverhalten verbessert haben.
Sozialverhalten der Jugendlichen 2,93 1,07 1) Aufmerksamkeit 2,51 0,69 2) Empathie 2,77 1,01 3) Kommunikation 2,85 1,23 4) Kooperation 2,42 0,73 5) Überw. Misserfolge 2,27 0,88 6) Gefühle 2,65 0,21 7) Kritikfähigkeit 4,31 0,51 8) Offenheit andere Kulturen 0,48 0,45 9) Aggress. (Sachen) - 0,74 2,71 10) Initiativlosigkeit 2,12 0,03 11) Hilflosigkeit - 0,27 2,04 12) Pessimismus 2,31 0,11 13) Unsicherheit 1,74 0,52 14) Aggress.(verbal) - 0,36 2,07 15) Zurückgezogenheit - 0,31 0,44 16) Kontakt vermeiden - 0,06 0,25 17) Allgemein rassistisch - 0,13-1,5-1 -0,5 0 0,5 1 1,5 2 2,5 3 3,5 4 4,5 5 5,5 6 18) Direkt rassistisch T1 Veränderung zu T2 Das Item 4 Kooperationsfähigkeit hat sich hier am deutlichsten verbessert. Es lag vor dem Training bei 2,96 und danach bei 4,04 (Zunahme um 1,08). Item 1 Aufmerksamkeit hat sich von 2,93 auf 4,01 (Zunahme um 1,08) auch sehr stark verbessert. Auch Item 3 Kommunikationsfähigkeit hat sich von 2,82 auf 3,74 stark verbessert (Zunahme um 0,92). Das Item 6 Umgang mit Gefühlen hat sich von 2,29 auf 3,18 ebenfalls sehr verbessert ( Zunahme um 0,89). Alle diese Verbesserungen sind statistisch bedeutsam.
Eine Zunahme des Wertes für Item 9 bis 18 zeigt an, dass das negative Verhalten negativer eingeschätzt wird. Ein Wert mit einem negativen Vorzeichen zeigt an, dass das negative Verhalten abgenommen hat, also eine Verbesserung des Sozialverhaltens stattgefunden hat. Beispielsweise Item 10 Initiativlosigkeit hat von 2,62 auf 1,96 abgenommen (Abnahme um 0,66) und auch bei Item 12 Pessimismus hat sich von 2,14 auf 1,73 verringert (Abnahme um 0,41). Nun haben wir hier bei den negativen Aspekten 9 Aggressivität gegen Sachen, 11 Hilflosigkeit, 13 Unsicherheit, 14 verbale Aggressivität,16 Vermeiden von Kontakt zu Menschen anderer Herkunft, 17 Allgemeine rassistische Äußerungen und 18 rassistische Äußerungen face to face keine Abnahme des negativen Verhaltens. Da alle hier aufgeführten Werte mathematisch in ihrer Bedeutsamkeit zu klein sind um wirkliche Aussagen über einen Effekt machen zu können (diese Werte sind nicht statistisch bedeutsam) kann die hier abgebildete Veränderung auch durch den Zufall oder eine zu kleine Stichprobe (nur 28 Jugendliche) bedingt sein. Wie anfangs bemerkt, wurde über jeden Schüler ein Gesamtwert zum Sozialverhalten errechnet und dieser auch entsprechend vor und nach dem Training betrachtet. Dabei wurde die Bewertung der negativen Aspekte so umgewandelt, dass nun höhere Werte besseres Sozialverhalten auch für die negativen Aspekte bedeutet. Der Gesamtwert sagt also etwas über die Zunahme von sozialem Verhalten aus; wenn er ansteigt hat es sich verbessert. Es wurde hier einmal der Vergleich Vortest (T1) und Nachtest (T2) für alle Schüler insgesamt ein Vergleich der Mittelwerte dargestellt.
Abbildung 3: Gesamteffekt des FIT FOR LIFE Training sozialer Kompetenz für Jugendliche Sozialverhalten der Jugendlichen 6 5 4 3 Schule N.N. 2 1 0 Vortest Nachtest Vortest Nachtest Unterschied Dudweilerstraße 3,23 4,07 hoch signifikant Man kann deutlich eine Zunahme des Gesamtwertes im Vergleich vom Vortest zum Nachtest feststellen. Der Gesamtwert kann höchstens 6 betragen. Im Vortest ergab sich ein Mittelwert von 3,23 und im Nachtest ein Mittelwert von 4,07. Der Unterschied ist klar zu erkennen und von statistischer Bedeutung (signifikant), also von mathematischer Aussagekraft. Es wurden insgesamt nur 28 Schüler eingeschätzt. Nun interessiert es auch, wie die Jungen und die Mädchen im Vergleich abschneiden.
Vortest Nachtest Unterschied Jungen 3,10 3,93 hoch signifikant Mädchen 3,65 4,51 hoch signifikant Die Mittelwerte bei den Jungen liegen anfangs bei 3,10 und steigen dann auf 3,93 (Verbesserung um 0,83). Die Mittelwerte der Mädchen liegen anfangs bei 3,65 und steigen auf 4,51 (Verbesserung um 0,86). Das bedeutet, dass die Mädchen schon im Vortest im Schnitt deutlich höhere Werte hatten als die Jungen. Die Jungen lagen entsprechend tiefer, haben sich aber fast genauso stark verbessert wie die Mädchen. Auch hier sind die Werte als statistische bedeutsam (signifikant) anzusehen. Bremen, März 2004 Dr. Gert Jugert Bremer Institut für Pädagogik und Psychologie (bipp)