Evaluation der Wirksamkeit des Swisscom Medienkurses für Schüler und Schülerinnen der Oberstufe

Transkript

1 Evaluation der Wirksamkeit des Swisscom Medienkurses für Schüler und Schülerinnen der Oberstufe Dr. Egon Werlen Prof. Per Bergamin Inhaltsverzeichnis ZUSAMMENFASSUNG AUSGANGSLAGE UND ZIELE AUFTRAG FORSCHUNGSFRAGE METHODE FRAGEBOGEN STICHPROBE ANALYSEN RESULTATE WIRKSAMKEIT ALLGEMEIN WIRKSAMKEIT DER FÜNF MODULE NACH GESCHLECHT UND SCHULJAHR WIRKSAMKEIT NACH MODULEN WIRKSAMKEIT MODUL 1: FASZINATION NEUE MEDIEN WIRKSAMKEIT MODUL 2: RECHT IM INTERNET WIRKSAMKEIT MODUL 3: SOZIALE NETZE WIRKSAMKEIT MODUL 4: SICHERES SURFEN WIRKSAMKEIT MODUL 5: CYBERMOBBING ZUSAMMENFASSUNG WIRKSAMKEIT NACH MODULEN DISKUSSION EMPFEHLUNGEN UND AUSBLICK LITERATUR ANHANG ANHANG 1A: BESCHREIBUNG DES INHALTS DES FRAGEBOGENS ANHANG 1B: FRAGEBOGEN ANHANG 2: STATISCHE KENNWERTE DER SKALEN UND ITEMS ANHANG 3: DATENTABELLEN... 42

2 Zusammenfassung Swisscom bietet Medienkurse für Schülerinnen und Schüler der Oberstufe an. Neben einem Basismodul (Faszination Neue Medien) werden Module zu Recht im Internet, soziale Netzwerke, sicheres Surfen und Cybermobbing angeboten. In einer Stichprobe mit 175 Schülerinnen und Schüler (SuS) wurde vor Beginn des Kurses sowie einen Monat nach Ende des Kurses einen Fragebogen ausgefüllt. Alle Teilnehmenden beantworteten jeweils nur die Fragen zu den Modulthemen, welche sie belegt haben. Um die Wirkung der Intervention bzw. der belegten Kurseinheiten zu prüfen, wurden weitere Klassen in denselben Regionen, derselben Schuljahre und Niveaustufen befragt. Diese Kontrollgruppe beantwortete jeweils die Fragen zu allen fünf Modulen und besteht aus insgesamt 284 SuS. Der Swisscom Medienkurs für die Oberstufe führt in allen Modulen sowohl bei der Belegung von einzelnen als auch mehreren Modulen zu einer signifikanten Verbesserung der Medienkompetenz in allen fünf angebotenen Themenbereichen. Die SuS der Kontrollgruppe zeigten im Durchschnitt über alle Klassen hinweg keine Veränderungen. Zudem wurden folgende weiteren Resultate gefunden Rund die Hälfte (47%) erreichten eine Berbesserung ihrer Medienkompetenz und in etwa 1/3 der SuS profitierte bedeutend von den belegten Medienkursmodulen. SuS mit weniger Wissen bei der Erstmessung profitieren am stärksten. Geschlecht und Schuljahr haben keinen bedeutenden Einfluss auf den Zuwachs von Wissen und Verstehen. In etwa 9% der SuS vergrösserten ihr Interesse an den Themen des Medienkurses bedeutend. Einzelne gemessene Fertigkeiten konnten erhöht werden: - 49% schreiben bessere Passwörter - 74% kennen 2 von 3 Hilfen bei Cybermobbing. 2

3 1. Ausgangslage und Ziele Die Swisscom bietet Medienkurse für Schülerinnen und Schüler der Oberstufe an. Dieses Angebot richtet sich an Lehrpersonen der Oberstufe mit dem Ziel die Medienkompetenz der Schülerinnen und Schüler zu fördern. Die Lehrpersonen können aus fünf Modulen wählen, wobei das Modul Faszination neue Medien die Basis für die anderen Module ist. Jedes Modul dauert 45 Minuten und wird von einer schulexternen Person unter Anwesenheit der Lehrperson angeboten. Es werden praktische Arbeiten, Präsentationen und Videos eingesetzt. Pro Modul gilt ein Maximum von 25 Schülerinnen und Schülern, die in verschiedenen Sozialformen arbeiten (einzeln, mit Partner, in Gruppe, im Plenum). Die fünf Module beinhalten folgende Themen: 1. Faszination neue Medien 2. Recht im Internet 3. Soziale Netzwerke 4. Sicheres Surfen 5. Cybermobbing Alle Schulen die von Mitte Dezember bis Anfang Februar ein oder mehrere Module des Medienkurses planten wurden angefragt, ob sie bereit sind, vor und nach dem Medienkurs die teilnehmenden SuS einen Fragebogen ausfüllen zu lassen. Alle acht angefragten Schulen sagten zu und in sieben Schulen wurde der Fragebogen ausgefüllt. Für die Kontrollgruppe wurden weitere Schulen, die den Medienkurs buchten, angefragt, ob sie den Fragebogen zweimal ausfüllen lassen wollten bevor sie den Medienkurs durchführen Auftrag Das Institut für Fernstudien- und elearningforschung (IFeL) der Fernfachhochschule erhielt folgenden Auftrag seitens der Swisscom: 1. Überarbeitung des bestehenden Evaluations-Fragebogens, 2. Verbessrung des Evaluations-Designs 3. Organisation und Koordination der Datenerhebung (Dezember 2012 bis Februar 2013)] 4. Durchführung der statistischen Analysen 5. Aufbereitung der Resultate (Tabellen, Abbildungen, Bericht) und 6. Präsentation der Resultate für interne und externe Zielgruppen Forschungsfrage Mit der grundsätzlichen Forschungsfrage, welche hinter dem Evaluationsauftrag steht, sollte festgestellt werden, ob im Vergleich zu einer Kontrollgruppe die durch externe Swisscom Mitarbeitende moderierten Kurse einen positiven Einfluss auf das Wissen und Verhalten der SuS zeigten. Diese Frage wurde für alle fünf Module (Themen) beantwortet. Zusätzlich wurden vier weitere allgemeine Variablen in die Untersuchungen miteinbezogen: Geschlecht, Schuljahr, Schulstufe und Vorwissen. 3

4 2. Methode 2.1. Fragebogen Der aktuelle Online-Fragebogen für die Evaluation des Swisscom Medienkurse orientiert sich stark an den Inhalten der Module des Medienkurses (Fragebogen und Beschreibung siehe Anhang A1). Anhand der vorgegebenen Lernziele der einzelnen Module und dem dahinter stehenden Inhalt, wurden Fragen zu den drei Taxonomiestufen Wissen, Verstehen und soweit wie möglich zum Anwenden (Verhalten) der SuS gebildet. Entsprechend wurde der Fragebogen in einen allgemeinen Teil, den alle SuS ausfüllen sowie einen spezifischen Teil, welcher je nach Belegung der Themen ausgefüllt wurde, aufgeteilt. Das Evaluationsdesign umfasste bei der Untersuchungsgruppe eine Erstmessung (vor dem Kurs) und eine Zweitmessung nach dem Kurs, während die Messung bei der Kontrollgruppe durch eine Erst- und Zweitbefragung in denselben zeitlichen Abständen erfolgte. Die SuS der Kontrollgruppe füllten jeweils die Fragen zu allen 5 Modulen mit Ausnahme, der der Zufriedenheit aus. Folgende Abbildung zeigt einen Überblick zum Untersuchungsdesign: Alle SuS füllten den Fragebogen während dem Unterricht aus. Mit Ausnahmen von drei Klassen aus der Kursgruppe fand die Befragung für alle online statt Stichprobe Der online Fragebogen wurde für die Erstmessung von insgesamt 579 Schülerinnen und Schülern (SuS) aus 31 Klassen in 16 Schulen ausgefüllt (Tabelle 1). Die SuS besuchen alle die Oberstufe (Bezirksschule, Sekundarschule, Realschule, Kantonsschule) in den Kantonen Aargau, Basel Landschaft, Luzern, St. Gallen oder Thurgau und verteilen sich auf vier Schuljahre (6. 2 bis 9. Schuljahr). Tabelle 1: Anzahl SuS, Klassen und Schulen (für den Allgemeinen Teil) SuS Klassen Schulen KG Kurs KG Kurs KG Kurs T Daten nicht brauchbar* T1 T bei T2 abwesend T2 noch nicht gemacht T T1 und T Legende: KG = Kontrollgruppe; Kurs = Kursteilnehmer; SuS = Schülerinnen und Schüler; T1 = Erstmessung (vorher); T2 = Zweitmessung (nachher); * nicht brauchbar bedeutet: Die SuS haben den Fragebogen offensichtlich nicht ernsthaft ausgefüllt (z.b. über weite Teile immer das erste Kästchen angeklickt) Die SuS der Kursgruppe stammen aus Schulklassen, die sich für den Medienkurs angemeldet haben und die gewählten Module zwischen Mitte Dezember 2012 und Ende Februar 2013 durchführten. Sie hatten sich für eines oder mehrere der Module angemeldet und wurden gefragt, ob sie vor dem Durchführen der Module des Medienkurses im Abstand von einem Monat ihre SuS einen Fragbogen ausfüllen lassen würden. Die Kontrollgruppe besteht aus Schulen aus denselben Kantonen wie die Kursgruppe. Als Belohnung für das zweimalige Ausfüllen des Fragebogens erhielten alle beteiligten Schulen den Medienkurs kostenlos. Den zweiten Messzeitpunt einen Monat nach dem Medienkurs (Kursgruppe) bzw. einen Monat nach der Erstmessung (Kontrollgruppe) füllten insgesamt 513 SuS aus 28 Klasse in 14 Schulen aus. 29 SuS aus 1 In zwei Schulen war die Infrastruktur für eine online-befragung zum gegebenen Zeitpunkt nicht ausreichend. 2 Aus dem 6. Schuljahr beteiligten sich 11 SuS aus einer Schule mit gemischten Schuljahrgängen. 4

5 der Kursgruppe und 13 SuS aus der Kontrollgruppe füllten den Fragebogen so aus, dass er für die Auswertung nutzlos wird. Meist klickten sie über weite Teile des Fragebogens immer dieselbe Antwort (meist den tiefsten Wert) an. Vom ersten Messzeitpunkt (T1) zum zweiten (T2) ergab sich wie in den meisten Fällen entsprechender Untersuchungen eine Reduktion der Stichprobe durch kleinere Ausfälle. Eine Klasse führte die Nacherhebung erst nach Erstellung dieses Berichtes durch, eine Klasse der Kursgruppe verschob den Medienkurs auf einen späteren Zeitpunkt, die Zweitmessung erfolgte ebenfalls erst nach Erstellung dieses Berichtes. Neben einzelnen SuS in der Kurs- und der Kontrollgruppe lieferte fast eine ganze Klasse aus der Kursgruppe (18 von 20 SuS) keine brauchbaren Daten. Mit den Veränderungen ergibt sich für beide Messzeitpunkte eine Stichprobe von insgesamt 459 SuS, davon 284 in der Kontrollgruppe (KG) und 175 in der Kursgruppe (Kurs). Damit beträgt die Rücklaufquote für beide Erhebungszeitpunkte somit 80% für die Kontrollgruppe und 66% für die Kursgruppe. Die geographische Verteilung der Stichprobe in der Schweiz ergibt sich aus Tabelle 2: Tabelle 2: Stichproben nach Gruppe und Kanton KG Kurs Kanton T1 T2 T1+T2 T1 T2 T1+T2 Aargau Basel Landschaft Luzern St. Gallen Thurgau Total Legende: KG = Kontrollgruppe; Kurs = Kursteilnehmer; SuS = Schülerinnen und Schüler; T1 = Erstmessung (vorher); T2 = Zweitmessung (nachher) Tabelle 3 zeigt eine detaillierte Darstellung der Anzahl SuS mit einer Erstmessung (T1) und beiden Messungen (T1 und T2) aufgeteilt nach Gruppe, Kanton, Schule und Klasse sowie der Modulbelegung. 5

6 Tabelle 3: Auflistung der Anzahl SuS nach Gruppe, Kanton, Schule und Klasse Schule Klasse T1 T1+T2 KG Aargau Schule K10 Klasse Klasse Basel Landschaft Schule K2 Klasse Schule K3 Klasse Schule K8 Klasse Klasse Schule K14 Klasse 1 19 Luzern Schule K1 Klasse Schule K6 Klasse Klasse Schule K12 Klasse Klasse Schule K4 Klasse Klasse Klasse Klasse Schule K5 Klasse St. Gallen Schule K13 Klasse Klasse Thurgau Schule K9 Klasse Schule Klasse T1 T2 besuchte Module Kurs Aargau Schule 1 Klasse Module Schule 7 Klasse Module Schule 8 Klasse 1 17 Module Basel Landschaft Schule 6 Klasse Module Luzern Schule 2 Klasse Module Klasse Module St. Gallen Schule 4 Klasse Module Thurgau Schule 3 Klasse Module Klasse Module Klasse Module Klasse Module Klasse Module In der Kursgruppe zeigt die Aufteilung der SuS nach Schuljahr, dass in allen drei Schuljahren der Oberstufe ähnlich viele SuS mitmachten (Tabelle 4). Nur acht SuS aus dem Kanton Aargau besuchen das 6. Schuljahr (in einer Klasse mit SuS aus allen vier Schuljahren). In der Kontrollgruppe befinden sich prozentual mehr SuS aus dem 7. und weniger aus dem 9. Schuljahr. In beiden Gruppen liegt das durchschnittliche Alter bei etwa 14.5 Jahren. Statistisch sind die SuS der Kursgruppe älter (F=6.60, p=.010). Praktisch hat dieser Unterschied wenig Relevanz, da sich das Alter in beiden Gruppen nur um wenige Monate unterscheidet. In der Kontrollgruppe ist das Geschlechtsverhältnis etwas ausgeglichener (47% Jungen, 53% Mädchen) als in der Kursgruppe (55% Jungen, 45% Mädchen) Dieser Unterschied ist mit F=8.90, p=.003 signifikant. Da das Geschlecht aber keinen signifikanten Einfluss auf die Resultate hat (siehe Kapitel 3.1), kann dieser Unterschied ebenfalls vernachlässigt werden. 6

7 Tabelle 4: Stichprobe nach Gruppe und Schuljahr KG Kurs Schuljahr T1 T2 T1+T2 T1 T2 T1+T2 6. Schuljahr Schuljahr Schuljahr Schuljahr Total männlich 48% 49% 47% 58% 57% 55% Alter Legende: KG = Kontrollgruppe; Kurs = Kursgruppe Analysen Beim vorliegenden Bericht geht es darum die Wirksamkeit der Swisscom Medienkurse und die Stärke der Wirksamkeit aufzuzeigen. Aus messtheoretischen Gründen und um eine brauchbare und einfache Aussage zu erhalten, wurden die einzelnen Fragen in der Regel zu Skalen zusammengefasst, d.h. mehrere Fragen ergeben eine Skala. Besonders im Modul 2 und 3 erfüllen nicht alle Skalen die statistischen Kennwerte (Reliabilität, Itemschwierigkeit, Trennschärfe). Trotzdem wurden für alle Module Skalen gerechnet. Ungenügende statistische Kennwerte können zur Folge haben, dass sich die Ergebnisse bei einer Wiederholung der Evaluation unter den selben Bedingungen nicht wiederholen lassen, das bedeutet die Ergebnisse sind unter Umständen nicht stabil. In den Tabellen mit den Resultaten ist angegeben, welche Skalen die statistischen Kennwerte nicht erreicht haben. Ebenso wird in der Diskussion auf diese Problematik eingegangen. Informationen zu den statistischen Kennwerten finden sich in Anhang 2. Für die Darstellung der Ergebnisse wurde ein Verfahren gewählt, dass einfache Vergleiche zwischen den Modulen, den zusätzlichen Variablen (wie z.b. Geschlecht, Jahrgang usw.) sowie eindeutige Aussagen zur Gesamtstichprobe erlauben. Deshalb wird für den Durchschnitt aller Module sowie für jedes einzelne Module ein Index wie im Folgenden beschrieben berechnet (Index Medienkurs; Index Modul 1 bis 5): Jeder Index wird aus dem Mittelwert der dichotomisierten Skalen (unter vs. über dem cut-off 3 ) gebildet. Dazu wird allen SuS pro Skala ein Wert von 0 (unter dem cut-off) oder 1 (über dem cut-off) gegeben. Aus diesen Werten, wird in einem weiteren Schritt das arithmetische Mittel berechnet. Damit hat jeder Index einen Wert zwischen 0 und 1. In Tabelle 5 werden die Indices und deren Inhalt in einer Übersicht dargestellt. In dieser Tabelle werden zudem jeweils die Originalskalierung, der cut-off und die Anzahl der Items pro Skala aufgeführt. Zur Darstellung der Stärke der Wirksamkeit bietet es sich an die Werte in sogenannte Effektstärken umzurechnen. Diese werden oft mit einem d nach Cohen (1988) ausgedrückt. In diesem Bericht werden die Effektstärken (d) nach folgender Formel berechnet: die Werte der Zweitmessung der Kursgruppe (Kurs nachher, T2) minus die Werte der Erstmessung der Kursgruppe (Kurs vorher, T1) geteilt durch die gemeinsame (d.h. von Kurs- und Kontrollgruppe) Standardabweichung (Streuung) der Erstmessung (Standardabweichung KG Kurs T1). Dasselbe Verfahren wird bei der Kontrollgruppe angewendet: die Werte der Zweitmessung der Kontrollgruppe (KG nachher, T2) minus die Werte der Erstmessung der Kontrollgruppe (KG vorher, T1) geteilt durch die gemeinsame (d.h. von Kurs- und Kontrollgruppe) Standardabweichung (Streuung) der Erstmessung (Standardabweichung KG Kurs T1). Dann wird die Effektstärke der Kontrollgruppe von der Effektstärke der Kursgruppe abgezählt. d = Kurs nachher (T2) Kurs vorher (T1) Standardabweichung KG Kurs T1 KG nachher (T2) KG vorher (T1) Standardabweichung KG Kurs T1 3 cut-off = Schwellenwert 7

8 Damit erhält man Werte, die jeweils die Grösse der Wirkung der Module des Medienkurses abbilden und miteinander vergleichbar sind. Es handelt sich dabei um Veränderungen gemessen in Einheiten der Standardabweichung. Der Effekt der Kontrollgruppe wird vom Effekt der Kursgruppe abgezählt, um Veränderungen, die nicht durch die Module des Medienkurses zustande kommen, herauszunehmen 4. Solche Veränderungen können zum Beispiel durch Lernprozesse in anderen Fächern oder durch Interventionen der Eltern, Alltagserfahrungen usw. geschehen. Cohen (1988) hat für die Forschung in den Sozialwissenschaften ein d=.20 als schwachen, ein d=.50 als mittleren und ein d=.80 als starken Effekt definiert. Als Faustregel gilt, dass der Wert einer Effektstärke geteilt durch zwei, den Prozentanteil der Schülerinnen und Schüler angibt, der eine relevante Veränderung gemacht hat. Bei einem Effekt von d=.50 kann man annehmen, dass 25% der Schülerinnen und Schüler eine relevante Veränderung zeigen. Die statistischen Analysen sind Varianzanalysen (GLM), die mit SPSS 20 durchgeführt wurden. Die Effektstärken wurden mit dem Programm Excel von Microsoft Windows berechnet. Mit dem Programm g*power (Faul, Erdfelder, Lang & Buchner, 2007) wurde für die vorhandene Stichprobe eine Sensitivitätsanalyse (Poweranalyse) durchgeführt. Bei einem festgelegten Signifikanzniveau von 0.05 und einer Power von.95 lassen sich mittlere Effektstärken feststellen. Für die Berechnung vorher nachher mit allen SuS in Kontroll- und Kursgruppe, die beide Messungen durchgeführt haben (N=339 bis 390), können je nach Modul Effekte von f=.18 bis f=.20 festgestellt werden. Dies bedeutet, dass Veränderungen der Kursgruppe relativ zur Kontrollgruppe statistisch nur dann signifikant werden, wenn sie eine mittlere Ausprägung erreichen. Im allgemeinen Teil mit 459 SuS lassen sich Effekte bis zu f=.17 (mittlerer Effekt) finden. 4 Eigene Berechnungen zeigen, dass Signifikanzwerte der Effektstärken (d) den Signifikanzwerten der Varianzanalysen sehr nahe kommen. Unterschiede gibt es allenfalls bei Resultaten Nahe dem gewählten Signifikanzniveau. 8

9 Tabelle 5: Bildung der Indices (Modul 1 bis Modul 5; Medienkurs) Skalierung Skala cutoff Anzahl Items Faszination neue Medien 0-1 Mw 4 Skalen Bewusste Nutzung der Medien 1-10 > 5 5 Items Vergleich der eigenen Nutzung mir anderen 1-10 > 5 2 Items Suchtverhalten erkennen 1-10 > 5 4 Skalen (10 Items) Wissen, dass Mediensucht existiert 0-3 > 1 3 Items Recht im Internet 0-1 Mw 4 Skalen Wissen zu Urheberrecht 0-3 > 1 3 Items Umgang mit Urheberrecht 0-8 > 4 8 Items Wissen zu Persönlichkeitsrecht 0-2 > 0 2 Items Umgang mit Persönlichkeitsrecht 0-3 > 1 3 Items Soziale Netzwerke 0-1 Mw 4 Skalen / 2 Items Nachteil Soziale Netzwerke 1-10 > 5 4 Items Postings (Inhalt überdenken) 1-10 > 5 2 Items Was ist Think before you post 0-1 > 0 1 Item Einstellung auf Facebook 0-1 > 0 1 Item Verhalten auf Facebook / Internet 1-10 > 5 4 Items Risiken auf Facebook / Internet 1-10 > 5 3 Items Sicheres Surfen 0-1 Mw 3 Skalen / 1 Item Gefahren des Surfens kennen 0-2 > 1 2 Items Gefahrenquellen kennen 1-10 > 5 4 Items Internetregeln kennen 1-10 > 5 8 Items Passwort machen können 0-5 > 1 1 Item (Passwort schreiben) Cybermobbing 0-1 Mw 6 Skalen Motive 1-10 > 5 4 Items Motive der Täter 1-10 > 5 4 Items Folgen 1-10 > 5 5 Items ist nur Spass 1-10 > 5 3 Items Reaktion 0-5 > 2 5 Items Hilfen 0-3 > 1 3 Items Index Medienkurs (Mittel aus Index 1-5) 0-1 Mw 5 Indices Legende: Mw=Mittelwert, cut-off=schwellenwert/grenzwert Einige SuS sind von der Erst- zur Zeitmessung aus der Stichprobe gefallen. Im Folgenden und in Tabelle 6 ein Vergleich der SuS, die den Fragebogen zweimal (T1 und T2), mit denen, die den Fragebogen nur einmal (T1) ausgefüllt haben. Es zeigt sich nur beim Index Modul 1 (Neue Medien) einen Unterschied. Sowohl in der Kurs-, wie in der Kontrollgruppe haben SuS, die aus der Evaluation wegfielen, in der Erstmessung signifikant höhere Werte (F=7.97, p=.005). Zudem haben die SuS der Kontrollgruppe signifikant höhere Ausgangswerte als jene in der Kursgruppe (F=5.99, p=.015). Inwiefern das einen Einfluss auf die Wirksamkeit des Medienkurses hat, ist schwer einzuschätzen. Der Index Medienkurs weist eine signifikante Interaktion zwischen den SuS mit beiden (T1 und T2) und nur einer Messung (T1) und der Gruppenzugehörigkeit (Kurs-, vs. Kontrollgruppe) auf (F=7.74, p=.006: Die SuS aus beiden Gruppen (Kurs- und Kontrollgruppe), die beide Messungen mit machten, unterschieden sich in der Erstmessung (T1) nicht. Doch sind in der Kursgruppe die Werte der SuS, die aus der Studie ausgeschieden sind, signifikant tiefer als in der Kontrollgruppe. Alle übrigen Indices weisen keine Unterschiede zwischen den SuS aus, die nur bei der Erstmessung beteiligt waren und jenen, die beide Messungen durchführten. 9

10 Tabelle 6: Unterschiede SuS mit und ohne Zweitmessung (T2) KG Kurs alle Mw (sd) Mw (sd) Mw (sd) F p Index Medienkurs T2 fehlt 0.66 (0.13) 0.58 (0.16) 0.61 (0.15) T T2 vorhanden 0.63 (0.13) 0.64 (0.19) 0.64 (0.15) KG-Kurs alle 0.64 (0.13) 0.62 (0.18) 0.63 (0.15) Interaktion Index Neue Medien T2 fehlt 0.66 (0.24) 0.58 (0.21) 0.62 (0.23) T T2 vorhanden 0.57 (0.24) 0.51 (0.21) 0.56 (0.24) KG-Kurs alle 0.59 (0.25) 0.55 (0.21) 0.58 (0.24) Interaktion Index Recht im Internet T2 fehlt 0.65 (0.21) 0.62 (0.18) 0.64 (0.20) T T2 vorhanden 0.66 (0.19) 0.70 (0.18) 0.67 (0.19) KG-Kurs alle 0.65 (0.19) 0.68 (0.18) 0.66 (0.19) Interaktion Index Soziale Netze T2 fehlt 0.77 (0.20) 0.75 (0.21) 0.76 (0.20) T T2 vorhanden 0.77 (0.22) 0.74 (0.23) 0.76 (0.22) KG-Kurs alle 0.77 (0.21) 0.74 (0.22) 0.76 (0.22) Interaktion Index Sicheres Surfen T2 fehlt 0.64 (0.18) 0.64 (0.14) 0.64 (0.16) T T2 vorhanden 0.64 (0.16) 0.64 (0.20) 0.64 (0.17) KG-Kurs alle 0.64 (0.16) 0.64 (0.19) 0.64 (0.17) Interaktion Index Cybermobbing T2 fehlt 0.56 (0.24) 0.50 (0.22) 0.53 (0.23) T T2 vorhanden 0.55 (0.22) 0.59 (0.22) 0.56 (0.22) KG-Kurs alle 0.55 (0.22) 0.56 (0.22) 0.55 (0.22) Interaktion Legende: KG=Kontrollgruppe, Kurs=Kursgruppe, Mw=Mittelwert, (sd)=standardabweichung (Streuung), F=F-Werte der Varianzanalyse, p=signifikanzniveau (<.050 = statistisch signifikant auf dem 5% Niveau) 10

11 3. Resultate In diesem Abschnitt wird die Wirksamkeit des Medienkurses allgemein als Durchschnitt aufgezeigt, dann folgt die Darstellung der Wirksamkeit für jedes der fünf Module. Dabei wird jeweils zuerst die statistische Signifikanz gezeigt. Ist die Interaktion Zeit mit Gruppe (Kurs- vs. Kontrollgruppe) signifikant, bedeutet das, dass eine Veränderung zwischen Erst- und Zweitmessung staatgefunden hat. Sind die entsprechenden Differenzen positiv hat ein Fortschritt stattgefunden, sind die Werte negativ hat eine Verschlechterung stattgefunden. Es kann schon jetzt bemerkt werden, dass in der Regel die Werte der Kontrollgruppe stabil bleiben und sich die Werte der Kursgruppe verbessert haben. Die Gründe, warum eine Verbesserung bzw. eine Verschlechterung eintritt sind vielfältig. Auch wenn versucht wurde, im Fragebogen die Fragen möglichst gezielt zu stellen, können Gründe wie Motivation oder bestimmte Ereignisse vor der Umfrage Einfluss auf das Resultat nehmen. Daher wird die Effektstärke über Cohen s d berechnet. Damit wird die Stärke des Einflusses der Module des Medienkurses selbst abgeschätzt. Wie erwähnt, bedeutet ein d um.20 ein schwacher Effekt, einer um.50 ein mittlerer und einer um.80 ein starker Effekt. Damit bleibt noch offen, was die Veränderungen bedeuten. Einen Hinweis für die Bedeutsamkeit (Relevanz) der Ergebnisse wird durch den Anteil, des sich durch den Medienkurs relevant verbesserten Wissens und Verstehend der SuS geschätzt. Diese Prozentzahl wird mit Hilfe der Effektstärkte gebildet (Effektstärke / 2). Einen weiteren Hinweis für die Bedeutsamkeit der Veränderungen bilden die Prozentzahlen der SuS in Kurs- und Kontrollgruppe, deren Index eine Verbesserung erfahren hat. Ausgewertet werden jeweils die Variablen Wissen, Interesse und in einzelnen entsprechend aufgebauten Modulen Fertigkeiten. Diese Faktoren wurden basierend auf dem Handlungskompetenz-Modell von Gnahs (2007) ausgewählt, da sie neben situativen Einflüssen wichtige Elemente sind die Handlungsperformanz beeinflussen. Die Abbildung 1 zeigt im Überblick das Modell: Abbildung 1: Auswahl der Evaluationsvariablen in Anlehnung an das Handlungskompetenzmodell von Gnahs (2007) Die Tabellen mit den Originalwerten (Mittelwert, Standardabweichung, Anzahl SuS und den standardisierten Werten (1-10) für die Abbildungen befinden sich im Anhang A3. 11

12 3.1. Wirksamkeit allgemein Um einen allgemeinen Wert zur Wirksamkeit und Effektivität des Medienkurses zu erhalten wurde ein Mittelwert aus den Indices der fünf Module gebildet. Der Index Medienkurs verändert sich bei der Kontrollgruppe (N=290) nicht und steigt in der Kursgruppe (N=175) um ca. einen Punkt an (Abbildung 2). Statistisch gesehen ist die Veränderung in der Kursgruppe relativ zur Kontrollgruppe hoch signifikant (Interaktion Zeit*Gruppe: F=40.68, p=.000). Die entsprechende Effektstärke von d=.62 liegt in einem mittleren Bereich. Die praktische Bedeutung dieser positiven Veränderung lässt sich folgendermassen beurteilen: Da die Kontrollgruppe stabil geblieben ist und nur die Kursgruppe eine Verbesserung erreicht hat, kann angenommen werden, dass der Besuch des Medienkurses bzw. Teilen davon zu einer Steigerung des Wissens und Verstehens in den behandelten Themen in den Klassen geführt hat. Die Effektstärke von d=.62 lässt ich nach einer Faustregel so interpretieren, dass bei 31% der Kursteilnehmer eine bedeutende Zunahme des Wissens und Verstehens erfolgt ist. Ein deutlich geringerer Zuwachs erfolgte beim generellen Interesse an den Themen des Medienkurses. Der Zuwachs in der Kursgruppe war knapp nicht signifikant (Interaktion Zeit*Gruppe: F=3.71, p=.055). Die Effektstärke ist mit d=.18 relativ gering. Dies bedeutet, dass sich das Interesse an den Themen in einem geringen Mass positiv verändert hat. Bei der Verhaltensvariable, gemessen durch die selbst angegebene Zeit, welche die SuS vor dem Computer, im Internet oder am Handy verbringen, hat sich kein signifikanter Unterschied zwischen der Kurs- und der KG ergeben (Interaktion Zeit*Gruppe: F=0.11, p=.736). In den Abbildungen der einzelnen Module (Kapitel 3.2) wird für eine bessere Lesebarkeit auf die nochmalige Darstellung des Interesses verzichtet, da die Reliabilität dieser Variable (α =.68) relativ hoch ist. Abbildung 2: Veränderung des Index Medienkurs und des Interesses an den Themen des Medienkurses; Die Werte sind auf den Bereich 1 bis 10 standardisiert. 12

13 Abbildung 3: Verbesserungen des Index Medienkurs nach tiefem, mittlerem und hohem Ausgangswert Eine Aufteilung nach tiefem (0 bis 5), mittlerem (5.1 bis 7.5) und hohem (7.6 bis 10) Ausgangswert des Index Medienkurs (Erstmessung), macht deutlich, dass in erster Linie die SuS mit tiefen Werten profitieren. Zudem zeigt sich ein deutlich weniger grosse Steigerung der Indices bei tiefen Ausganswerten in der Kontrollgruppe (Kursgruppe: 89%; Kontrollgruppe: 38%). Auch bei den SuS mit mittleren und hohen Ausgangswerten profitieren die SuS aus der Kursgruppe häufiger. Total haben 47% der Kursteilnehmenden nach dem Medienkurs einen höheren Index, und nur bei 16% in der Kontrollgruppe zeigen innerhalb eines Monats einen Anstieg im Index. Die Zufriedenheit mit dem Medienkurs wurde nur bei den Kursteilnehmenden erfragt. Der grösste Teil der SuS gab an, in einem mittleren oder höheren Mass mit den besuchten Modulen des Medienkurses zufrieden zu sein. Unterschiede zeigen sich zwischen den sehr und den moderat Zufriedenen: Die Mädchen zeigen sich damit etwas weniger zufrieden als die Jungen, die SuS des 8. Schuljahres finden sich etwas häufiger in der Gruppe der mittelmässig Zufriedenen. Abbildung 4: Zufriedenheit mit dem Swisscom Medienkurs nach Geschlecht und Schuljahr 13

14 Wirksamkeit der fünf Module nach Geschlecht und Schuljahr Die Effektstärke für den Index Medienkurs für die Mädchen ist hoch (d=.92) und immer noch stark aber etwas tiefer für die Jungen (d=.69). Dennoch gibt es keinen Geschlechtsunterschied über Zeit (Interaktion Zeit*Geschlecht: F=2.11, p=.147). Insgesamt kann also davon ausgegangen werden das Mädchen und Jungen nicht unterschiedlich von den Angeboten profitieren. Ähnlich sieht eine detaillierte Analyse der fünf Module aus. Ausgenommen in Modul 4 (Sicheres Surfen; Interaktion Zeit*Geschlecht: F=10.50, p=.001) findet sich kein Einfluss durch das Geschlecht. Dieser kommt jedoch hauptsächlich durch kleine gegensätzliche Veränderungen in der Kontrollgruppe zu Stande (Abbildung 5). Abbildung 5: Wissen / Verstehen vor und nach dem Medienkurs nach Geschlecht; Die Werte sind auf den Bereich 1 bis 10 standardisiert. Die Effektstärke für den Index Medienkurs im 9. Schuljahr ist mit d=.98 sehr hoch, im 7. und 8. Schuljahr zwischen mittel und stark (d=.62 bzw. d=.67). Der Zuwachs in der Kursgruppe findet sich in allen fünf Modulen und variiert zwischen den drei Jahrgängen, zeigt aber kein konsistentes Muster. Der Index Medienkurs zeigt einen Einfluss durch das Schuljahr in Verbindung mit der Kontrollgruppe (Interaktion Zeit*Schuljahr*Gruppe: F=8.42, p=.000; Abbildung 6). Im neunten Schuljahr sinkt der Index Medienkurs in der Kontrollgruppe und wächst in der Kursgruppe. Interaktion Zeit*Schuljahr findet sich in allen fünf Modulen, wird jedoch nur im Modul 1 (Neue Medien) signifikant. 14

15 Abbildung 6: Wissen und Verstehen vor und nach dem Medienkurs nach Schuljahr; Die Werte sind auf den Bereich 1 bis 10 standardisiert. 15

16 3.2. Wirksamkeit nach Modulen Die Darstellungen der Lernwirksamkeit der einzelnen Module wird jeweils mit der Angabe des Modulinhalts, gefolgt von der Anzahl SuS in Kurs- und Kontrollgruppe und dem für die Evaluation entscheidenden Interaktionseffekt von Zeit mit Gruppe (Kurs- vs. Kontrollgruppe) aufgezeigt. Dieser Wert gibt an, ob sich eine signifikante Veränderung über Zeit für Kurs- und Kontrollgruppe ergeben hat. Zur Einschätzung der Grösse der Veränderung der Kursgruppe relativ zur Kontrollgruppe wird wie oben die Effektstärke angegeben. Die Prozente relevanter Veränderungen und die Prozente der Verbesserungen (in Kurs- und Kontrollgruppe) schätzen die Bedeutsamkeit der Verbesserungen ein. Die Veränderungen in Kurs- und Kontrollgruppe, sowie in den einzelnen Schulen werden in einer einzigen Abbildung dargestellt. Eine zweite Abbildung zeigt die dem Index zugrunde liegenden Skalen für Kurs- und Kontrollgruppe. Wo weitere Items, Skalen bzw. Unterskalen verwendet wurden, werden deren Ergebnisse um die Grafiken übersichtlich zu halten lediglich im Text präsentiert Wirksamkeit Modul 1: Faszination Neue Medien Das Modul 1 ist ein Einführungsmodul, das den anderen vorangehen sollte, was allerdings in der Praxis nicht immer so gehandhabt wurde. Inhaltlich geht es in diesem Modul darum, den SuS die eigene Nutzung moderner Medien bewusst zu machen und diese im Vergleich mit Personen aus ihrer Umgebung relativieren. Zudem wird das Suchtpotential moderner Medien behandelt. Das Modul 1 wurde von 52 SuS in insgesamt sechs Klassen aus zwei Schulen besucht (Kontrollgruppe: N=290). Der Index Modul 1 (Abbildung 7) zeigt eine signifikante Veränderung in der Kursgruppe und keine Veränderung in der Kontrollgruppe (Interaktion Zeit*Gruppe: F=5.71, p=.017). Die relative Veränderung der Kursgruppe zur Kontrollgruppe hat eine mittlere Effektstärke von d=.41. Das ergibt eine geschätzte relevante Veränderung bei 20% der SuS. Dies widerspiegelt sich darin, dass 44% der SuS in der Kursgruppe und nur 30% in der Kontrollgruppe eine Steigerung beim Index des Moduls 1 zeigen. Abbildung 7: Index Modul 1: Neue Medien (Kontrollgruppe, Kursgruppe und nach Schule) 16

17 Betrachtet man die dem Index Modul 1 zugrunde liegenden Skalen in Abbildung 8, erkennt man, dass vor allem das Bewusst-Sein der eigenen Nutzung (Interaktion Zeit*Gruppe: F=13.48, p=.000) und das Erkennen von Suchtverhalten (Interaktion Zeit*Gruppe: F=6.71, p=.010) in der Kursgruppe im Vergleich zur Kontrollgruppe zugenommen hat. Der Vergleich der eigenen Nutzung mit der anderer Personen sowie das Wissen um die Existenz von Mediensucht, nehmen zwar zu, werden aber nicht signifikant (Interaktionen Zeit*Gruppe: F=1.40, p=.238; F=1.90, p=.170). In der Kontrollgruppe ergeben sich zudem nur minimale Veränderungen. Abbildung 8: Lernzielidikatoren des Index Modul 1: Neue Medien (Kontrollgruppe, Kursgruppe). Die Werte sind auf den Bereich 1 bis 10 standardisiert. Die Verbesserung des Erkennens des Suchtverhaltens lässt sich vor allem darauf zurückführen, dass gelernt wird, dass Kontrollverlust ein Zeichen für Suchtverhalten ist. Die anderen Skalen für das Erkennen des Suchtverhaltens (Einengung der Verhaltensmuster und schädliche Konsequenzen) sind nicht signifikant häufiger als in der Kontrollgruppe. 17

18 Wirksamkeit Modul 2: Recht im Internet Im Modul 2 werden den SuS relevante Themen des Urheber- und das Persönlichkeitsrechts in Bezug auf die neuen Medien näher gebracht. Dieses Modul wurde von 90 SuS in insgesamt 7 Klassen aus drei Schulen besucht (Kontrollgruppe: N=288). Der Index Modul 2 (Abbildung 9) zeigt eine hoch signifikante Veränderung in der Kursgruppe und keine Veränderung in der Kontrollgruppe (Interaktion Zeit*Gruppe: F=24.97, p=.000). Die relative Veränderung der Kursgruppe zur Kontrollgruppe hat eine starke Effektstärke von d=.76. Das ergibt eine geschätzte Veränderung bei 38% der SuS. Das widerspiegelt sich darin, dass 54% der SuS in der Kursgruppe und nur 30% in der Kontrollgruppe eine Steigerung auf dem Index Modul 2 zeigen. Abbildung 9: Index Modul 2: Recht im Internet (Kontrollgruppe, Kursgruppe und nach Schule) Die dem Index Modul 2 zugrunde liegenden Skalen beinhalten jeweils Wissen und den richtigen Umgang zum Recht im Internet. In Abbildung 10 sieht man eine deutliche und signifikante Zunahme in beiden Bereichen des Urheberrechts (Interaktion Zeit*Gruppe: Wissen: F=13.44, p=.000; Umgang: F=35.38, p=.000). Diese tragen hauptsächlich zum Anstieg des Index 2 bei. Wissen und Umgang bezüglich Persönlichkeitsrechts haben alle SuS bereits einen hohen Ausgangswert und nehmen nur, wie erwartet, minimal zu. In Bezug zur Kontrollgruppe ergeben sich keine Unterschiede. 18

19 Abbildung 10: Lernzielidikatoren des Index Modul 2: Recht im Internet (Kontrollgruppe, Kursgruppe); Die Werte sind auf den Bereich 1 bis 10 standardisiert. 19

20 Wirksamkeit Modul 3: Soziale Netze Das Modul 3 wurde von 94 SuS von insgesamt sieben Klassen aus drei Schulen besucht (Kontrollgruppe: N=283). Der Index Modul 3 (Abbildung 11) zeigt eine signifikante Veränderung in der Kursgruppe und keine Veränderung in der Kontrollgruppe (Interaktion Zeit*Gruppe: F=13.13, p=.000). Die relative Veränderung der Kursgruppe zur Kontrollgruppe hat eine mittlere Effektstärke von d=.44. Das ergibt eine geschätzte relevante Veränderung bei 22% der SuS. Das widerspiegelt sich darin, dass 45% der SuS in der Kursgruppe und nur 30% in der Kontrollgruppe eine Steigerung auf dem Index Modul 3 zeigen. Abbildung 11: Index Modul 3: Soziale Netze (Kontrollgruppe, Kursgruppe und nach Schule) Die Nachteile sozialer Netze werden in der Kursgruppe bei der Nachmessung signifikant häufiger erkannt (Interaktion Zeit*Gruppe: F=5.88, p=.016). Ebenfalls eine leichte aber keine signifikante Steigerung zeigen die Skalen zum überlegten Schreiben von Beiträgen in sozialen Netzen (Postings) und das Verhalten auf Facebook. Keine Verbesserungen in der Kursgruppe ergeben sich auch bei den Vorteilen sozialer Netze und den Risiken von Facebook. Die Kontrollgruppe weist nirgends bedeutende Veränderungen auf. Auch in weiteren Einzelfragen zu sozialen Netzen (1) wissen was Think before you post bedeutet, (2) beste Einstellung in Facebook, (3) Profildaten in Facebook sichtbar machen und (4) Risiko die Heimadresse zu veröffentlichen) ergeben sich keine signifikanten Veränderungen der Kursgruppe in Beziehung zur Kontrollgruppe (Abbildung 12). 20

21 Abbildung 12: Lernzielindikatoren des Index Modul 3: Soziale Netze (Kontrollgruppe, Kursgruppe); Die Werte sind auf den Bereich 1 bis 10 standardisiert. In vier weiteren Einzelfragen zu sozialen Netzen (wissen was Think before you post bedeutet, beste Einstellung in Facebook, Profildaten in Facebook sichtbar und dem Risiko die Heimadresse zu veröffentlichen) gibt es keine signifikanten Veränderungen der Kursgruppe in Beziehung zur Kontrollgruppe. 21

22 Wirksamkeit Modul 4: Sicheres Surfen Das Modul 4 wurde von 82 SuS in insgesamt zehn Klassen aus vier Schulen besucht (Kontrollgruppe: N=280). Der Index Modul 4 (Abbildung 13) zeigt eine signifikante Veränderung in der Kursgruppe und keine Veränderung in der Kontrollgruppe (Interaktion Zeit*Gruppe: F=10.25, p=.000). Die relative Veränderung der Kursgruppe zur Kontrollgruppe hat eine mittlere Effektstärke von d=.43. Das ergibt eine geschätzte relevante Veränderung bei 21% der SuS. Das widerspiegelt sich darin, dass 33% der SuS in der Kursgruppe und nur 18% in der Kontrollgruppe eine Steigerung auf dem Index Modul 4 zeigen. Abbildung 13: Index Modul 4: Sicheres Surfen (Kontrollgruppe, Kursgruppe und nach Schule) Dem Index Modul 4 liegen folgende Skalen zugrunde: (1) Kennen der Begriff Virus, Wurm, Trojanisches Pferd, Phishing), (2) Kennen von Gefahrenquellen (z.b. Virus aus Webseite), (3) Internetregeln (Verhalten im Internet) sowie (4) Schreiben eines guten Passwortes (mehr als 8 Zeichen, Buchstaben und Zahlen, Klein- und Grossbuchstaben, Sonderzeichen). In Abbildung M4.2 sind die Vor- und Nachmessungen dieser Themen abgebildet. In der Kontrollgruppe gibt es keine Veränderungen. Die Kursgruppe zeigt mit Ausnahme des Kennens der Definitionen von Gefahren (Trojanisches Pferd, Phishing) überall eine signifikante Verbesserung (Interaktionen Zeit*Gruppe: Gefahrenquellen F=7.74, p=.006; Internetregeln F=6.93, p=.009; Passwort F=10.54, p=.001). Das Schreiben eines guten Passwortes verbesserte sich bei 49% der SuS. Eine bedeutende Veränderung wird für 21% geschätzt. Das Erkennen der Definitionen von Gefahren des Internets war vor und auch nach dem Medienkurs für die meisten sehr schwierig. Das Erkennen von Gefahrenquellen des Internets wurde in zwei Gruppen von Gefahren eingeteilt: richtige Gefahren für Viren und andere Malware (z.b. s, Einkaufen im Internet) und unwahrscheinliche Gefahrenquellen (z.b. Film auf DVD, Tablets). Die signifikante Veränderung lässt sich vor allem auf das Erkennen der richtigen Gefahrenquellen zurückführen (Interaktion Zeit*Gruppe: F=7.74, p=.006). Die unwahrscheinlichen Gefahren werden nach dem Modul 4 nicht signifikant häufiger angegeben. 22

23 Abbildung 14: Lernzielindikatoren des Index Modul 4: Sicheres Surfen (Kontrollgruppe, Kursgruppe); Die Werte sind auf den Bereich 1 bis 10 standardisiert. 23

24 Wirksamkeit Modul 5: Cybermobbing Das Modul 5 (Cybermobbing) wurde von 92 SuS in insgesamt zehn Klassen aus vier Schulen besucht (Kontrollgruppe: N=290). Der Index Modul 5 (Abbildung 15) zeigt eine signifikante Veränderung in der Kursgruppe und keine Veränderung in der Kontrollgruppe (Interaktion Zeit*Gruppe: F=10.05, p=.002). Die relative Veränderung der Kursgruppe zur Kontrollgruppe hat eine mittlere Effektstärke von d=.45. Das ergibt eine geschätzte relevante Veränderung bei 22% der SuS. Das widerspiegelt sich darin, dass 50% der SuS in der Kursgruppe und nur 33% in der Kontrollgruppe eine Steigerung auf dem Index Modul 5 zeigen. Modul 5 beinhaltet verschiedene Aspekte von Cybermobbing (1) Motive, (2) Folgen, (3) Reaktion und (4) Hilfen. In Abbildung 16 sind die Vor- und Nachmessungen der gemessenen Aspekte von Cybermobbing abgebildet. In der Kontrollgruppe ergeben sich wenig Veränderungen mit Ausnahme zweier Verschlechterungen beim Kennen der Folgen und richtiger Reaktionen bei Cybermobbing sowie eine Zunahme der Ansicht, dass Cybermobbing Spass macht. Die Kursgruppe weisst mit Ausnahme des Kennens der Folgen von Cybermobbing und der Ansicht, dass Cybermobbing eine ernsthafte Sache ist (gemessen mit Cybermobbing macht Spass ; ist cool ; ist eine ernste Sache ), daran überall Verbesserungen auf. Die Steigerung der Kenntnisse der Kursgruppe in Bezug auf die Kontrollgruppe sind für die Motive des Cybermobbings, dem Kennen der Motive für die Täter und der Ernsthaftigkeit des Cybermobbings nicht signifikant (Interaktion Zeit*Gruppe: F=1.41, p=.235; F=1.26, p=.262; F=0.70, p=.405). Die anderen Variablen zeigen alle signifikante Verbesserungen (Interaktionen Zeit*Gruppe: Folgen F=7.04, p=.008; richtige Reaktion F=21.61, p=.000; Kennen der richtigen Hilfen F=21.36, p=.000). Abbildung 15: Index Modul 5: Cybermobbing (Kontrollgruppe, Kursgruppe und nach Schule) 24

25 Abbildung 16: Lernzielindikatoren des Index Modul 5: Cybermobbing (Kontrollgruppe, Kursgruppe); Die Werte sind auf den Bereich 1 bis 10 standardisiert. Zum Cybermobbing wurde eine weitere Skala zum Thema Was ist neu an Cybermobbing gebildet, die aus methodischen Überlegungen nicht in den Index Modul 5 einging. Die Kursgruppe erkannte in der Nachmessung mehr neue Aspekte als zuvor und als die Kontrollgruppe (Interaktion Zeit*Gruppe F=7.30, p=.007). Zudem wurden auch falsche Reaktionen und Hilfen auf Cybermobbing erfragt. Hier ergaben sich Unterschiede in der Veränderung durch die vermehrte Angaben falscher Reaktionen und Hilfen in der Kontrollgruppe, wohingegen die Kursgruppe unverändert tiefe Werte beibehielt (Interaktionen Zeit*Gruppe: F=6.37, p=.012; F=5.56, p=.019). Die Skalen zu Reaktionen und Hilfen, die alle Items (richtige und falsche) enthielten ergaben sehr signifikante Unterschiede (Interaktionen Zeit*Gruppe: F=24.60, p=.000; F=26.27, p=.000). In der Kursgruppe kannten in der Nachmessung 74% mindestens 2 der 3 offiziellen Hilfen bei Problemen mit Cybermobbing. In der Vormessung waren es 53%. Eine bedeutende Veränderung der Kursgruppe im Vergleich zur Kontrollgruppe wird für 32% der SuS geschätzt. 25

26 Zusammenfassung Wirksamkeit nach Modulen Der Swisscom Medienkurs für die Oberstufe führt zu einer signifikanten Zunahme von Wissen und Verstehen. Der durchschnittliche Effekt über alle Module liegt mit d=.62 (Cohen) in einem mittleren bis hohen Bereich. Modul 2 (Recht im Internet) weist den stärksten Effekt (d=.75) auf., Bei den anderen vier Module ergaben mittelstarke Effekte (d=.41 bis d=.45). Im Rahmen unserer Untersuchung lassen sich folgende 11 detaillierte Aussagen zum Kursangebot der Swisscom treffen: (1) Im Vergleich zu einer Kontrollgruppe verbessern der Swisscom Medienkurses Wissen und Verstehen der behandelten Inhalte (31% der SuS profitieren bedeutend; Kapitel 3.1). (2) SuS mit tiefen Ausgangswerten (Wissen bei der Erstmessung) profitieren deutlich mehr als jene mit mittleren oder hohen Ausgangswerten (Kapitel 3.1). (3) Geschlecht und Schuljahr haben keinen bedeutenden Einfluss auf den Zuwachs von Wissen und Verstehen in den einzelnen Modulen (Kapitel 3.1). (4) Das Interesse an den Themen des Medienkurses verbessert sich im Vergleich zur Kontrollgruppe nur wenig (9% der SuS erhöhten ihr Interesse bedeutend; Kapitel 3.1). (5) Einzelne Fertigkeiten, die gemessen wurden, verbesserten sich im Vergleich zur Kontrollgruppe signifikant (Passwort schreiben: 49% der SuS verbessern sich - 21% der SuS profitieren bedeutend; mindestens 2 von 3 Hilfen bei Cybermobbing kennen: steigt von 53% auf 74%; Kapitel 3.2.4/5). (6) In allen Modulen erhöhen sich die durchschnittlichen Werte der Kursteilnehmenden. Die Werte der Kontrollgruppe bleiben stabil. Die Effekte sind alle signifikant und in allen Modulen profitieren mindestens 20% der SuS bedeutend (Kapitel 3.2). (7) Im Modul 1 verbessert sich Wissen und Verstehen der Kursgruppe zum Thema Faszination Neue Medien und eigener Medienkonsum im Vergleich zur Kontrollgruppe signifikant (20% der SuS profitieren bedeutend; Kapitel 3.2.1). (8) Im Modul 2 verbessert sich Wissen und Verstehen der Kursgruppe zum Recht im Internet im Vergleich zur Kontrollgruppe signifikant (38% der SuS profitieren bedeutend; Kapitel 3.2.2). (9) Im Modul 3 verbessert sich Wissen und Verstehen der Kursgruppe zum Thema Verhalten in Sozialen Netzen im Vergleich zur Kontrollgruppe signifikant (22% der SuS profitieren bedeutend; Kapitel 3.2.3). (10) Im Modul 4 verbessert sich Wissen und Verstehen der Kursgruppe zum Thema Surfen im Internet im Vergleich zur Kontrollgruppe signifikant (21% der SuS profitieren bedeutend; Kapitel 3.2.4). (11) Im Modul 5 (Cybermobbing) verbessert sich Wissen und Verstehen der Kursgruppe zum Thema Cybermobbing im Vergleich zur Kontrollgruppe signifikant (22% der SuS profitieren bedeutend; Kapitel 3.2.5). 26

27 4. Diskussion Sowohl die allgemeine Wirksamkeit über alle Module hinweg, wie auch alle Module zeigen im Vergleich zu einer Kontrollgruppe signifikante Verbesserungen beim Zuwachs von Wissen und Verstehen) der SuS, die einzelne oder mehrere Module des Swisscom Medienkurses besucht haben. Auch beim generellen Interesse und den gemessenen Fertigkeiten ergeben sich leichte Verbesserungen. In Anbetracht der Kürze der einmaligen Intervention (45 Minuten pro Modul mit ca. 20 Minuten Vorbereitung für einzelne Module) sind Effekt im mittleren Bereich als ein sehr gutes Resultat einzustufen. Die Zweitmessung erfolgte einen Monat nach der Absolvierung des Kurses durch die SuS und es wurde keine längerfristige follow-up Messung durchgeführt. Daher ist zur Zeit noch offen, wie sich die gefundenen Effekte langfristig auswirken. Trotz dieser Einschränkung dürfen die signifikanten Veränderungen mit mittleren Effekten als relevant betrachtet werden. Zudem kann davon ausgegangen werden, dass besonders jene SuS am meisten profitieren, die in der Erstmessung vor dem Medienkurs wenig Wissen und Verstehen zu den befragten Themen vorweisen. Zwar ist das ein Phänomen, das als Regression zur Mitte bezeichnet (z.b. Kleist, 2006) bezeichnet wird, doch findet dieser Effekt bei der Kontrollgruppe deutlich weniger statt. Dies bedeutet dass SuS mit tieferen Ausgangswerten tatsächlich mehr profitieren, was sicher im Sinne der Kursautoren ist. Vereinzelt Skalen (diese wurden ja immer im Hinblick auf die aufgeführten Lernziele gebildet) zeigen in der Kursgruppe praktisch keine Veränderungen. Dies betrifft das Wissen und den Umgang mit dem Persönlichkeitsrecht und die Fragen nach der positiven Beurteilung des Cybermobbing (Spass am Cybermobbing). In diesen Fällen sind die durchschnittlichen Ausgangswerte der SuS bereits so hoch, dass eine Veränderung wahrscheinlich nicht mehr möglich ist. Eine Ausnahme bildet der Kursteil des Moduls 4 (Sicheres Surfen) Kennen der Gefahren im Internet. Die SuS zeigen auch nach dem Medienkurs Mühe die Definitionen von Phishing und Trojanischem Pferd ihren Begriffen zuzuordnen. Hier könnte eine Steigerung des Wissens durch eine entsprechende Änderung erzielt werden. Da die Evaluation über alle fünf Module stabile Werte bei der Kontrollgruppe und den Veränderungen von der Erst- zur Zweitmessung der Kursgruppe zeigte, kann davon ausgegangen werden, dass der Fragebogen für die Evaluation geeignet wer. In Anhang 2 befinden sich die statistischen Kennwerte für die einzelnen Skalen. Bei einzelnen Skalen ist die Reliabilität (innere Konsistenz) zu tief. Das kann einen Einfluss auf die Wiederholbarkeit der Evaluation haben. Bei einer entsprechenden Wiederholung der Messungen in Zukunft, müssten diese Skalen noch überarbeitet werden. Da jedoch alle Module vergleichbare Ergebnisse liefern, kann man davon ausgehen, dass diese methodischen Probleme keinen grossen Einfluss auf die aktuellen Messungen hatten. 5. Empfehlungen und Ausblick Folgende Empfehlungen werden aus den gewonnen Erkenntnissen abgeleitet: 1. Die Form der Kurse (Intervention schulexterner Moderator/innen im Rahmen einer Lektion) zeigt besonders bei tieferem Vorwissen Wirkung. Eine angepasste Entwicklung für jüngeren SuS ist daher eine Option. 2. Der Kursteil des Moduls 4 Kennen der Gefahren im Internet wird zur Überarbeitung empfohlen. 3. Die Nutzung der Kurse als generelle Massnahme zur Erhöhung der Medienkompetenz ist weniger empfehlenswert. Hingegen können die Kursmodule gut als punktuelle Intervention bei mangelnder Expertise, wenig Ressourcen oder bei aktuellen Problemen genutzt werden. 4. Die Lehrpersonen bzw. Schulen, die planen das Angebot der Swisscom einzusetzen, wird empfohlen, zu überprüfen, welche thematischen Medienkompetenzen bei ihren SuS vorhanden sind, wo in den Lehrplänen allfällige Medienkompetenzen gefördert werden sollen oder ob ein spezifischer Förderungsbedarf vorhanden ist. 5. Unter einer längerfristigen Perspektive ist davon auszugehen, dass die Medienkompetenz der SuS in einzelnen Bereichen Veränderungen unterliegt. Deshalb wird eine periodische Überprüfung der Adäquatheit der Lernzielerreichung empfohlen. 27

28 Ausblickend kann festgehalten werden, dass die positiven Lernwirkungen der Medienkursmodule in der vorliegenden Untersuchung festgestellt werden konnten. Die entsprechenden Messungen wurden einen Monat nach Beendigung Kurse durchgeführt. Die Frage, wie viel davon über längere Zeit in Erinnerung bleibt und wie viel davon vergessen wird, bleibt bislang eine offene Frage. Die Nachhaltigkeit des Lernerfolges kann mittels einer Folge-Erhebung mit drei Erhebungszeitpunkten, einer Vormessung sowie zwei Nachmessungen (ein Monat und sechs Monate nach Durchführung des Medienkurses) geprüft werden. Entsprechende Vorbereitung sind im Gange. Literatur Cohen, J. (1988). Statistical Power Analysis fort he behavioral sciencies (2 nd Ed.). Lawrence Earlbaum: Hillsdale. Faul, F., E. Erdfelder, A.-G., Lang, & Buchner, A.. (2007). G*Power 3: A flexible statistical power analysis program for the social, behavioral, and biomedical sciences. Behavior Research Methods, 39(2), Gnahs, D. (2007). Kompetenzen Erwerb, Erfassung, Instrumente. Studientexte für Erwachsenenbildung. Bielefeld: Bertelsmann. Kleist, P. (2006). Vier Effekte, Phänomene und Paradoxe in der Medizin. Ihre Relevanz und ihre historischen Wurzeln. Schweizerisches Medizinisches Forum, 6, (heruntergeladen am ) IFeL, April

29 Anhang Anhang 1a: Beschreibung des Inhalts des Fragebogens Die statistischen Kennwerte der einzelnen Skalen befinden sich im Anhang Ax. Auf das Antwortformat und die Skalierung wird an dieser Stelle nicht eingegangen. Der allgemeine Teil des Fragebogens beinhaltet Fragen zu Person und zu Schule (Geburtsjahr und Geburtsmonat, Geschlecht, besuchtes Schuljahr und Schulniveau), zum Interesse an den fünf Themenbereichen des Medienkurses und der Dauer des Gebrauchs von Computer, Internet und Handy/Smartphone. Die SuS der Kursgruppe füllten in der Zeitmessung zusätzlich fünf Fragen zur Zufriedenheit mit demmedienkurs aus. Das Modul 1 (Faszination neue Medien) versucht den SuS ihren Gebrauch von neuen Medien bewusst zu machen, ihren Medienkonsum im Vergleich zu anderen einzuordnen und sie der Merkmale von Computersucht bewusst werden zu lassen. Das Bewusstsein des eigenen Medienkonsums wird nicht mit Fragen über die Dauer des Konsums gemessen, sondern mit drei Fragen zur Einschätzung darüber, ob sie sich bewusst sind, wie häufig und wie lange sie die neuen Medien benutzen und mit, ob sie mit Familie und Freunden über ihren Medienkonsum sprechen (2). Zwei Items fragen nach einem Vergleich ihres Medienkonsum mit Freunden und MitschülerInnen. Das Wissen zur Mediensucht wird einerseits mit zwei richtigen und einer falschen Aussage getestet und mit insgesamt zehn Suchtmerkmalen aus den Bereichen Einengung der Verhaltensmuster (2), Kontrollverlust (3), schädliche Konsequenzen (2) und falschen Merkmalen (3). Das Modul 2 (Recht im Internet) vermittelt den SuS Inhalte zum Urheber- und Persönlichkeitsrecht. Die SuS sollten das Urheber- und das Persönlichkeitsrecht verstehen, sie sollen wissen, wie sie mit Musik, Bildern und Texten umgehen sollen und sich bewusst sein, dass sie ihre Persönlichkeitsrechte einfordern können. Im Fragebogen werden drei Fragen zum Wissen über das Urheberrecht gestellt und zwei zum Wissen über das Persönlichkeitsrecht. Zum Umgang mit Musik, Bildern und Texten in Bezug auf Urheber- (8) und Persönlichkeitsrecht (3) wird gefragt, ob in einem Satz dargestellte Situationen erlaubt sind oder nicht. Zum Einfordern der Persönlichkeitsrechte wird keine Frage vorgegeben. Das Modul 3 (Soziale Netze) will, dass die SuS die Vor- und Nachteile sozialer Netze kennen, sich vor dem Schreiben von Beiträgen auf sozialen Netzen / ins Internet Gedanken über den Inhalt und dessen Konsequenzen machen ( Think before you post ) und die Einstellungen im Facebook kontrollieren. Acht Vor- und Nachteile werden im Fragebogen als Stichworte vorgeben, die darauf hin engeschätzt werden sollen, ob es sich mehr um einen Vorteil oder um einen Nachteil handelt. Zwei Fragen betreffen das Posten von Beiträgen im Internet / Facebook (darauf achten was man schreibt, etwas absichtlich nicht schreiben). Mit drei Aussagen wird getestet, ob die SuS den Ausdruck Think before you post verstehen. Zum Bereich Einstellungen im Facebook wird nach den Einstellungen der Privatsphäre, in vier Situationen (in je einem Satz) nach problematischen Verhaltensweisen (Adresse publizieren, delikate Fotos hochladen) und nach dem Risiko der Publikation von persönlichen Informationen gefragt. Das Modul 4 (Sicheres Surfen) hat zum Ziel, dass die SuS Gefahren (z.b. Virus, Phishing) kennen, Gefahrenquellen verstehen sowie Passwort- und Internetregeln gelernt werden. Entsprechend werden im Fragebogen die Definitionen von Phishing und Trojanischem Pferd vorgegeben und mit einer Auswahl echter und erfundener Gefahren nach dem definierten Begriff gefragt. Diese Frage erwies sich als sehr schwierig. Bereits im Vorfeld wurden daher Virus und Wurm aus dem Fragebogen gestrichen. Weiter wurden sieben Gefahrenquellen (z.b. s, Downloads, Film auf DVD) aufgezählt und danach gefragt wie stark es möglich ist dort schädliche Programme aufzulesen. Zehn im Medienkurs unterrichtete Internetregeln wurden als Aussagen formuliert und nach ihrer Richtigkeit gefragt. Die Passwortregeln werden getestet, indem die SuS ein Passwort schreiben müssen, das auf vier Kriterien geprüft wird (> 8 Zeichen, Zahlen und Buchstaben, Gross- und Kleinschrift, Sonderzeichen). 29