Projekt- und Forschungsseminar SS 2008 BSCW Evaluation 2008 im Rahmen der Längsschnittstudie über die Entwicklungspfade einer Lern- und Austauschplattform für die Lehrenden an Berufsbildenden Schulen im Fach Informatik Bernd Pape 19. Januar 2009
Übersicht 1. Einleitung 2. Zur Längsschnittstudie 3. Ausgewählte Ergebnisse 4. Effizienz und Effektivität 5. Fazit 6. Diskussion
1. Einleitung Bernd Pape 1988 1994 Universität Göttingen Berufserfahrung Zertifizierungen 2007 2009 Universität Göttingen Masterstudiengang Wirtschaftspädagogik/ Wirtschaftsinformatik Professur für Anwendungssysteme und E-Business Projekt- und Forschungsseminar Durchführung eines Forschungsprojekts, das übergreifende Problembereiche behandelt 3
2. Zur Längsschnittstudie Längsschnittstudie über die Entwicklungspfade einer Lern- und Austauschplattform für die Lehrenden an Berufsbildenden Schulen im Fach Informatik Ziele der Studie: Evolutionsentwicklung der Plattform Bewertungen der Benutzer in Bezug auf Funktionalität, Motivation, Akzeptanz und Nutzen Effektivität und Effizienz der Plattform Entwicklung der Benutzerzahlen 4
2. Zur Längsschnittstudie Datenbeschaffung Field Research (Primärforschung) eine Onlinebefragung von 2008 mit 253 Benutzern der Plattform Standardisierte Interviews mit ausgewählten 12 Benutzern der Plattform Desk Research (Sekundärforschung) eine Onlinebefragung von 2005 mit 445 Benutzern der Plattform Datenmaterial über die Plattform 5
2. Zur Längsschnittstudie Zeitpunkte der Datenerhebung Onlinebefragung vom 18.06.2008 16.07.2008 genehmigt durch Landesschulbehörde Interviews mit ausgewählten 12 Benutzern 01.09.2008 20.09.2008 6 persönlich geführte Interviews 6 telefonisch geführte Interviews 6
2. Zur Längsschnittstudie 7
3. Ausgewählte Ergebnisse Evaluation der BBS-BSCW Plattform 2008 durch Onlinebefragung Benutzeranzahl: 4350 (Juni 2008) 253 Benutzerinnen und Benutzer haben sich beteiligt => 5,82 % Rücklauf 8
3. Ausgewählte Ergebnisse 9
3. Ausgewählte Ergebnisse 10
3. Ausgewählte Ergebnisse 11
3. Ausgewählte Ergebnisse 12
3. Ausgewählte Ergebnisse 13
3. Ausgewählte Ergebnisse Welche anderen Plattformen setzen Sie zur Arbeit mit Lehrkräften ein? Nennung Anzahl Anteil nline (Kooperationsplattform im NIBIS) 16 10,00% Moodle 14 8,75% STUD.IP 10 6,25% BSCW zum Üben (http://public.bscw.de) 1 0,63% yahoo-groups (Mailingliste) oder ähnliches 3 1,88% TEAMLEARN 22 13,75% Quickplace (z.b. in ProReKo, ausserhalb des TEAMLEARN) 2 1,25% INTRANET der Schule (Ohne Zugriffsmöglichkeit aus dem Internet) 43 26,88% INTRANET der Schule (MIT Zugriffsmöglichkeit aus dem Internet) 64 40,00% Andere 40 25,00% Andere verwendete Plattformen: lo-net ISERV www.net-files.de gmx, gmail Google-Groups DMS Prowim www.eduplaza.de www.net-files.de www.4teachers.de 14
3. Ausgewählte Ergebnisse Welche Plattform setzen Sie zur Arbeit mit Schülern ein? Nennung Anzahl Anteil nline (Kooperationsplattform im NIBIS) 4 2,60% Moodle 11 7,14% STUD.IP 2 1,30% BSCW zum Üben (http://public.bscw.de) 0 0,00% Lo-net 47 30,52% yahoo-groups (Mailingliste) oder ähnliches 4 2,60% TEAMLEARN 9 5,84% Quickplace (z.b. in ProReKo, ausserhalb des TEAMLEARN) 1 0,65% INTRANET der Schule (Ohne Zugriffsmöglichkeit aus dem Internet) 43 27,92% INTRANET der Schule (MIT Zugriffsmöglichkeit aus dem Internet) 43 27,92% Andere 22 14,29% Andere verwendete Plattformen: www.eduplaza.de DMS ISERV Doko-Wiki BSCL http://www.foren-city.de INIS Portal rpi-virtuell.de Google-Groups www.teachsam.de BSCL (=BSCW für Schüler) 15
3. Ausgewählte Ergebnisse Seit wann nutzen Sie die BBS-BSCW-Plattform? 16
3. Ausgewählte Ergebnisse 17
3. Ausgewählte Ergebnisse Sie nutzen den BBS-BSCW im Rahmen von Nennung Anzahl Anteil innerschulischer Arbeit 114 50,89% überschulischer Arbeit 30 13,39% Lehrerfortbildung 37 16,52% Materialienarbeit in offiziellen Kommissionen 11 4,91% Fachleitertätigkeit an Studienseminaren für das Lehramt 33 14,73% Organisation eigener Unterlagen für die schulische Arbeit 56 25,00% Anders 36 16,07% Andere Nennungen: zum Versand der Dokumente zwischen BBS und Heimarbeitsplatz Einsatz im Studienseminar Vor- und Nachbereitung von (Fach-)Seminaren Überregionaler Prüfungserstellungsausschuss IHK Sammlung von Unterrichtsmaterialien für das Team 18
3. Ausgewählte Ergebnisse Sie nutzen BBS-BSCW, indem Sie Nennung Anzahl Anteil eigene Dokumente einstellen und von überall bearbeiten 148 64,63% (Gruppen-)Arbeit an gemeinsamen Dokumenten durchführen 104 45,41% dienstliche Dokumente der Schule/des Studienseminars verteilen 99 43,23% eigene Termine verwalten 10 4,37% (Gruppen-)Termine verwalten 27 11,79% Kontakte verwalten 18 7,86% Veröffentlichungen im Internet gestalten 6 2,62% Diskussionen führen ("Forum") 11 4,80% Mail versenden/erhalten 11 4,80% Volltextsuche 20 8,73% Anders 23 10,04% Andere Nennungen: von Studienseminar eingestellte Vordrucke und Protokolle laden Hilfen (Texte) für den Unterricht suche Dokumente downloaden Materialien austauschen (einstellen/herunterladen) Informationsentnahme Einsicht von Dokumenten 19
3. Ausgewählte Ergebnisse Was müsste die Plattform zukünftig unterstützen, um für Sie noch attraktiver zu sein? Nennung Anzahl Anteil Lernende und Lehrende auf einer Plattform 50 25,38% Verwaltung der Leistungen der Schüler 39 19,80% Unterstützung von Verwaltungsprozessen in der Schule 52 26,40% persönlich gestaltbare Startseite 55 27,92% Vorabanzeige von Dokumenten (Miniaturansicht) 70 35,53% einbinden der Plattform als Netzlaufwerk im Explorer 55 27,92% gleichzeitiges Arbeiten an einem Dokument 50 25,38% Verschlüsselung von Dokumenten 24 12,18% Synchronisation der Daten mit lokalen Daten 53 26,90% Synchronisation der Termine mit Terminplaner 38 19,29% Anderes 20 10,15% Andere Nennungen: aktive Gruppen Anonymität des Einstellers von Informationen kopieren kompletter Verzeichnisse leichterer Wechsel von über- und untergeordneten Ordnern zu viele Plattformen nebeneinander Dateiordner mit Dokumenten hochladen einfachere Bedienbarkeit und Handhabung 20
3. Ausgewählte Ergebnisse Was könnte Sie veranlassen, die Plattform häufiger einzusetzen/ zu nutzen? Lehrer-Schüler-Austausch über die Plattform eine hohe Akzeptanz der Benutzer die Aktivität in der Gruppe; die Bereitschaft mehr einzustellen eine hohe Verfügbarkeit in der Schule eine sortierte, sinnvolle, bewertete Ablage eine schulische Festlegung auf die Plattform wird in der Schule eher pädagogisch genutzt; organisatorisch wäre größere Nutzung denkbar wenn es aktueller wäre, übersichtlicher und strukturierter 21
3. Ausgewählte Ergebnisse Was vermuten Sie sind die Gründe, warum wenig Daten/ Material von den Nutzern auf der Plattform eingestellt wird und die Akzeptanz der Plattform relativ niedrig ist? Angst vor Kritik Unsicherheit/ Zweifel an der eigenen Qualität Berührungsängste technische Barrieren generell hohe Arbeitsbelastung Daten liegen nicht in digitaler Form vor Geben und Nehmen Verhältnis stimmt nicht urheberrechtliche Gründe jeder arbeitet für sich alleine fehlender Teamgedanke 22
3. Ausgewählte Ergebnisse 23
3. Ausgewählte Ergebnisse 24
3. Ausgewählte Ergebnisse 25
3. Ausgewählte Ergebnisse 26
4. Effektivität und Effizienz Effektivität/ Wirksamkeit bedeutet: "die richtigen Dinge tun". Wie stufen Sie die BBS-BSCW-Plattform bezüglich der Effektivität/ Wirksamkeit ein? Effizienz/ Wirtschaftlichkeit bedeutet "die Dinge richtig tun". Wie stufen Sie die BBS-BSCW-Plattform bezüglich der Effizienz/ Wirtschaftlichkeit ein? in den Interviews wurde nach der Effektivität /Wirksamkeit sowie der Effizienz / Wirtschaftlichkeit der Plattform befragt und die Befragten mussten diese bewerten mit hoch (3), mittel (2) und niedrig (1). 27
4. Effektivität und Effizienz Effektivität /Wirksamkeit sowie der Effizienz / Wirtschaftlichkeit der BSCW-Plattform hoch (3), mittel (2) und niedrig (1). niedrig 0 2 mittel 4 3 hoch 8 7 Quelle: Heinrich (2005), S. 78 Effektivität Effizienz Effektivität Effizienz 28
5. Fazit hohe bewertete Effektivität & Effizienz der BSCW-Plattform generelle Probleme der Akzeptanz von Plattformen Schulen sollten effizient und effektiv ihre Verwaltungsprozesse über die Plattform abwickeln die Kommunikation zwischen Lehrern und Schülern sollte erlaubt werden die Verwendung einer Kooperationsplattform sollte bei den Schulinspektionen in die Bewertung aufgenommen werden z.b. unter den folgenden Punkten: 12. Schulkultur: Kooperation mit anderen Schulen und externen Partnern 14. Schulmanagement: Verwaltungs- und Ressourcenmanagement 16. Qualitätsentwicklung: Ziele und Strategien der Qualitätssicherung und -entwicklung 29
6. Diskussion Vielen Dank für Ihre Aufmerksamkeit! Diskussion! Potentiale? Probleme?
Anhang A1: Nutzerzahlen von 1998 bis 2008 A2: Nutzerzuwachs von 1998 bis 2008 A3: Attraktivität Onlineumfrage/Interview A4: Missfallen an der Plattform A5: Gefallen an der Plattform A6: Plattformeinsatz schulintern A7: Plattformeinsatz schulübergreifend A8: Beispiel einer Organisationsstruktur A9: Beispiel einer Organisationsstruktur A10: Bewertungen nach Altersgruppen A11: Genehmigung Onlinebefragung 2008 A12: Onlinebefragung 2008 31
A1: Nutzerzahlen von 1998 bis 2008 32
A2: Nutzerzuwachs von 1998 bis 2008 33
A3: Attraktivität Onlineumfrage/Interview Was müsste die Plattform zukünftig unterstützen, um für Sie noch attraktiver zu sein? Onlineumfrage Interview Nennung Anzahl Anteil Anzahl Anteil Lernende und Lehrende auf einer Plattform 50 25,38% 7 58,33% Verwaltung der Leistungen der Schüler 39 19,80% 0 0,00% Unterstützung von Verwaltungsprozessen in der Schule 52 26,40% 12 100,00% persönlich gestaltbare Startseite 55 27,92% 4 33,33% Vorabanzeige von Dokumenten (Miniaturansicht) 70 35,53% 10 83,33% einbinden der Plattform als Netzlaufwerk im Explorer 55 27,92% 10 83,33% gleichzeitiges Arbeiten an einem Dokument 50 25,38% 7 58,33% Verschlüsselung von Dokumenten 24 12,18% 8 66,67% Synchronisation der Daten mit lokalen Daten 53 26,90% 11 91,67% Synchronisation der Termine mit Terminplaner 38 19,29% 8 66,67% Anderes 20 10,15% 6 50,00% Andere Nennungen (Interview): maßgebliche Veränderung das Arbeiten mit Schülern eigener Banner der Schule einbinden Ordnersymbole mit Farben: Wichtigkeit oder Gruppenzugehörigkeit; in der Ansicht nur einzelne Ordner ausklappen; Ordneransicht sollte frei sortierbar sein: 0-10 steht die 10 nach der 1 Anzeige der letzten 20 neuen Dokumente/ Daten (Uploads) auf einen Blick es müsste für die Plattform geworben werden bessere Struktur 34
A4: Missfallen an der Plattform Mir missfällt am BBS-BSCW besonders der/die/das Nennung Anzahl Anteil Nichts 84 37,17% Verfügbarkeit (Zugang nicht möglich) 10 4,42% Benutzeroberfläche 89 39,38% Transparenz/ Arbeitsbericht (Wer hat wann was gemacht?) 33 14,60% Arbeitsgeschwindigkeit 43 19,03% Kostenfreiheit 3 1,33% Variabilität (jeder User kann selbst Gruppen verwalten) 12 5,31% Sonstiges (bitte angeben): 22 9,73% Andere Nennungen: zu viele Plattformen nebeneinander Übersichtlichkeit Umständlichkeit Struktur Handhabung Auto-Logout 35
A5: Gefallen an der Plattform Ich finde am BBS-BSCW besonders gut die/den/das Nennung Anzahl Anteil Nichts 35 15,09% Verfügbarkeit (Zugang nicht möglich) 52 22,41% Benutzeroberfläche 19 8,19% Transparenz/ Arbeitsbericht (Wer hat wann was gemacht?) 53 22,84% Arbeitsgeschwindigkeit 17 7,33% Kostenfreiheit 160 68,97% Variabilität (jeder User kann selbst Gruppen verwalten) 60 25,86% Sonstiges (bitte angeben): 4 1,72% Andere Nennungen: Einfacher zu bedienen als viele andere Möglichkeiten überschulischer Austausch von Materialien perfekte Administration durch Herrn Strahler einbeziehen von außerschulischen Kooperationspartnern Datensicherheit durch Nibis Verfügbar an jedem Internetarbeitsplatz 36
A6: Plattformeinsatz schulintern 37
A7: Plattformeinsatz schulübergreifend 38
A8: Beispiel einer Organisationsstruktur 39
A9: Beispiel einer Organisationsstruktur 40
A10: Bewertungen nach Altersgruppen Bewertung der Funktionalitäten/ Gesamtbewertung 2005 2008 Notenschnitt µ N µ N Alle Befragten Funktionalitäten 2,62 376 2,82 220 Gesamt 2,64 396 2,79 240 Personen vor 1950 Funktionalitäten 2,58 36 2,5 8 Gesamt 2,45 38 2,25 8 Personen 1950-1959 Funktionalitäten 2,55 122 2,76 59 Gesamt 2,63 126 2,74 70 Personen 1960-1969 Funktionalitäten 2,77 128 3 67 Gesamt 2,89 141 2,9 70 Personen nach 1970 Funktionalitäten 2,53 90 2,74 85 2005 2008 Bewertung der Funktionalitäten hat sich verschlechtert von 2005 auf 2008 Gesamtbewertung der Plattform für die Arbeit hat sich verschlechtert von 2005 auf 2008 Dies zeigt sich besonders deutlich bei Personen die nach 1970 geboren sind. Die Gesamtnote hat sich dort von gut (2,36) auf befriedigend (2,77) verschlechtert Es besteht eine Korrelation (0,721) zwischen der Bewertung der Funktionalitäten und der Gesamtbewertung 41
A11: Genehmigung Onlinebefragung 2008 42
A12: Onlinebefragung 2008 Hier geht es zu den Fragen der Onlinebefragung 2008 Bitte hier klicken! Ende