Kriterienkataloge. Kriterienkataloge 4. I. Allgemeine Hintergundinformationen. Inhalt: Grundlagen & exemplarische Anwendung an LEGO MindStorms

Transkript

1 Kriterienkataloge Grundlagen & exemplarische Anwendung an LEGO MindStorms Seminar E-Learning SoSe 2008 Markus Weber Universität Erlangen-Nürnberg Inhalt: II. Kriterienkataloge & Mindstorms: - Bewertungsgrundlage - Vergabekriterien zur Bewertung multimedialer Anwendungen (DIGITA) - Kriterienkatalog zur Bewertung von Lernsoftware (Tipp & Klick) - Aktualisierte erweiterte Prüfliste (AEPL) für Lernsysteme III. Zusammenfassung und Alternativen Kriterienkataloge 3 Inhalt: I. Allgemeine Hintergrundinformationen - Gründe für Kriterienkataloge - Erstellung von Kriterienkatalogen - Charakteristika von Kriterienkatalogen - Überblick - Beispiele für Abschlussbewertung - Kritische Betrachtung I. Allgemeine Hintergundinformationen Kriterienkataloge 2 Kriterienkataloge 4

2 Gründe für Kriterienkataloge Charakteristika von Kriterienkatalogen Kein Informatiklehrer kann so viele Programme alleine testen!! => Kriterienkataloge (von Fachleuten erstellt) können als wiss. Bewertungsinstrumente Orientierung geben Unterscheidung von: Kriterienanzahl und Kategorien Kriterienform (=> Auswertungsart) offene Fragen (Freitextantworten) Aussagenbewertung mit Skala (Ja, Teilweise, Nein) Schulnotenwertung / Plus-Minus System Kriteriengewichtung / -unterteilung Kategorie oder Einzelgewichtung Haupt- und Nebenkriterien Kriterienkataloge 5 Kriterienkataloge 7 Erstellung v. Kriterienkatalogen Überblick Kriterienbasierte Evaluationsinstrumente werden in drei Stufen erstellt: 1. Festlegen der Kriterien Experten und Fachkräfte stellen Kriterien für den Inhalt zusammen 2. Sammeln von Daten Nach diesen Kriterien bewerten Anwender oder Experten die Lernsoftware 3. Auswertung Mit vorher festgelegten Gewichtungen werden die Daten von Fachleuten ausgewertet Kriterienkataloge 6 Kriterienkataloge 8

3 I-CDROM: Beispiel für Abschlussbewertungen Sodis 2-2: 2: Beispiel für Abschlussbewertungen Kriterienkataloge 9 Kriterienkataloge 11 Sodis 1-2: Beispiel für Abschlussbewertungen Vorteile: Kritische Betrachtung Niedrige Kosten (1 Arbeitskraft mit Programmkopie nötig) Einfache Organisation (zentral Institutionen => Trennung von Softwarebewertung & realem Einsatzgebiet) Objektives, methodische sauberes Verfahren (schrittweises Abarbeiten festgelegter Kriterien) Ausschlusskriterien (K.O. Kriterien grenzen Softwarebreite ein) Kriterienkataloge 10 Kriterienkataloge 12

4 Kritische Betrachtung Kriterienkataloge am Beispiel Nachteile: Isolierte Betrachtung der Qualitätskriterien (Lernsituation bleibt außen vor) Gewichtung der Kriterien (wünschenswert s. päd./did.krit did.krit.. wichtiger als techn. Krit.. => muss in Abschlusswertung ersichtlich sein) Mögliche Unvollständigkeit (Betrachtung von systemabhängigen Faktoren) Theoretische Orientierungslosigkeit (Alleinige Betrachtung kann zu falsche Schlüssen führen) Bewertunggrundlage: Prozentzahl 100% - 95% 94% - 81% 80% - 66% 65% - 0% Bewertung Sehr Gut Gut OK ungenügend prozentuale Anteile der positiven Antworten! Entnommen aus der AEPL um Vergleichbarkeit zu erreichen Kriterienkataloge 13 Kriterienkataloge 15 Vergabekriterien zur Bewertung multimedialer Anwendungen (DIGITA) II. Kriterienkataloge am Beispiel Kennzeichen: Dient als Kriterienkatalog bei der Vergabe des Deutschen Bildungsmedien Preis Umfasst drei Oberkategorien mit Kriterien (Interakativität,, Medialität & Adaptivität) Fragebogen mit 106 offenen Fragen (Keine Antwortstruktur, Freitext) Unklare Bewertung, kein Bewertungs- oder Gewichtungsschema (wird normalerweise von Spezialisten ausgewertet) Kriterienkataloge 14 Kriterienkataloge 16

5 Vergabekriterien zur Bewertung multimedialer Anwendungen (DIGITA) Auszug 1 Interaktivität: Vergabekriterien zur Bewertung multimedialer Anwendungen (DIGITA) Ergebnis für Lego Mindstorms: Berechnungs- grundlage Anteil positiver Antworten an ALLEN Fragen Anteil positiver Antworten an BEANTWORTETEN Fragen Positive Antworten 80% 57% Bewertung OK ungenügend Kriterienkataloge 17 Kriterienkataloge 19 Vergabekriterien zur Bewertung multimedialer Anwendungen (DIGITA) Auszug 2 unklare Bewertung: Kriterienkatalog zur Bewertung von Lernsoftware (Tipp & Klick) Kennzeichen: Ursprünglich für die Bewertung von Lernsoftware im Deutschunterricht erstellt Umfasst vier Oberkategorien mit Kriterien (fachliche, pädagogische, fachdidaktische und programmspezifische Kriterien) Fragebogen mit 36 Aussagen, Bewertung mit Skala (Ja/Teilweise/Ansatzweise/Nein) Unklare Bewertung, kein Bewertungs- oder Gewichtungsschema Kriterienkataloge 18 Kriterienkataloge 20

6 Kriterienkatalog zur Bewertung von Lernsoftware (Tipp & Klick) Auszug: Kriterienkatalog zur Bewertung von Lernsoftware (Tipp & Klick) Ergebnis für Lego Mindstorms: Prozentu- aller Teil Berechnungs- grundlage Anteil positiver Antworten an ALLEN Fragen Anteil positiver Antworten an BEANTWORTETEN Fragen Positive Antworten 71% 61% Bewertung OK ungenügend Kriterienkataloge 21 Kriterienkataloge 23 Kriterienkatalog zur Bewertung von Lernsoftware (Tipp & Klick) Aktualisierte erweiterte Prüfliste Aufgeschlüsseltes Ergebnis: Skala Ja Teilweise Ansatzweise Nein 36,1% 25,0% 13,9% 11,1% Gruppierung Pos. & Neg. Alle Fragen 61,1% 25% Gruppierung Pos. & Neg. Beantwortete Fragen 71,1 29% Kriterienkataloge 22 Kennzeichen: Weiterentwicklung aus versch. Promotionsarbeiten: "Großen Prüfliste für Lernsoftware (GPL) [D. Thorme,, 1989] "Erweiterte Prüfliste für Lernsysteme (EPL)" [S. Benkert,, 2001] Aktualisierte erweiterte Prüfliste [G. Rugen,, 2004] 32 Kriterienkategorien (314 Gesamtkriterien, unterteilt in 216 Notwendige & 98 wünschenswerte): z.b.: - Kennzeichnung des Lernsystems - Beurteilung des Lieferumfangs - Beurteilung der Systembeschreibung - Übungen - Netzwerktopologie - Userprofil - Updates - Simulationen - Lizenzierung - akustische Gestaltung Kriterienkataloge 24

7 Aktualisierte erweiterte Prüfliste Besonderheiten: Auswertung erfolgt über Makrogesteuerte PDF Dateien (Automatisch, mit Tastendruck) Kategoriebezogene, grafische Ergebnisübersicht Nicht beantwortete Fragen werden bei der Ergebnisber- echnung nicht mit einbezogen (größere Systemvielfalt) Einfache prozentuale Ergebnisabstufung Aktualisierte erweiterte Prüfliste Auszug 1 - Textgestaltung: Kriterienkataloge 25 Kriterienkataloge 27 Aktualisierte erweiterte Prüfliste Auszug 1 - Bedienbarkeit: Aktualisierte erweiterte Prüfliste Ergebnis für Lego Mindstorms: Kriteriengruppe Notwendige Kriterien Wünschenswerte Kriterien Positive Antworten 96% 65% Bewertung Sehr Gut ungenügend Kriterienkataloge 26 Kriterienkataloge 28

8 Alternativen zur Softwarebewertung III. Zusammenfassung & Alternativen Checklisten: + kurz, meist 1 DinA4 Seite + Kostenlos, frei zugänglich (Inet) + wiss. relevante Kriterienkategorien + einfach selbst auszuwerten -Lernsituation meist außen vor -evtl. zu knapp Kriterienkataloge 29 Kriterienkataloge 31 Alternativen zur Softwarebewertung Zusammenfassung Kundenrezensionen: + Bei diversen Händlern gebräuchlich + Kostenlos, frei zugänglich + praxisnaher Erfahrungsaustausch -Aussagekraft -wiss. Hintergrund fehlt -Lernsituation meist nicht beschrieben -Unsichere Quellen Kriterienkataloge 30 Vorschlag für ein Verfahren: (1) Sich der Hintergründe und Bewertungsrichtlinien einzelner Kriterienkataloge bewusst machen (2) Diese Kriterienkataloge nutzen um die Softwarebreite zu reduzieren (Vorsortierung) (3) von mehreren Kriterienkatalogen Softwareprodukte auswählen und Rezensionen dazu nachschlagen (4) Das beste Produkt vor seinen Einsatz kurz persönlich durchtesten Das schrittweise Vorgehen kann die Nachteile der Kriterienkataloge ausgleichen und die Kosten-Nutzen Nutzen-Rechnung bleibt vertretbar! Kriterienkataloge 32

9 Ende Vielen Dank für die Aufmerksamkeit!! Kriterienkataloge 33