Mirjam Willige/Herbert Rüb

Mirjam Willige/Herbert Rüb Ein Überblick über die zentralen Grundlagen und das Evaluationskonzept des Modellvorhabens MILQ (Multimediale Interaktive Leittext-Qualifizierung)

Impressum Projekt Wissenschaftliche Begleitung zum Projekt "Multimediale Interaktive Leittext-Qualifizierung (MILQ) Förderung Bundesministerium für Bildung und Forschung (BMBF) Förderkennzeichen des BMBF: W 113900 Projektlaufzeit: 01.0.01 31.08.02 Projektdurchführung Neue Arbeit Saar ggmbh Abteilung MLQ/MILQ Bertha-von-Suttner-Str. 1, 66123 Saarbrücken Tel: 06 81 / 8 19 07-44, FAX 06 81 / 8 19 07 10 E-Mail: milq@neue-arbeit-saar.de Internet: www.nasaar.de/milq/index.htm Projektleitung: Franz Corcilius Wissenschaftliche Begleitung Institut für berufliche Bildung, Arbeitsmarkt- und Sozialpolitik INBAS GmbH - Büro Nord Kieler Str. 103, 22769 Hamburg Tel. 040 / 85 50 64 90, Fax 040 / 20 97 79 31 E-Mail: hamburg@inbas.com Internet: http://www.inbas.com Leitung: Herbert Rüb Autor(inn)en Mirjam Willige, Herbert Rüb Hamburg, März 2002 INBAS GmbH 2002

Inhaltsverzeichnis 1. MULTIMEDIALES LERNEN IM BEREICH DER BERUFLICHEN BILDUNG...4 2. DIE ENTWICKLUNG MULTIMEDIALEN LERNENS (IN DER BERUFLICHEN BILDUNG) - FORMEN UND EINSATZFELDER...7 2.1 Zur Entwicklung multimedialen Lernens...7 2.2 Unterschiedliche Formen multimedialen Lernens...9 2.3 Zur Verbreitung des Online-Lernens in der beruflichen Bildung...11 3. LERNTHEORIEN UND LERNPROGRAMME...14 3.1 Lernparadigmen: Behaviorismus, Kognitivismus und Konstruktivismus...15 3.2 Lerntheorien und Lernprogramme: Mediendidaktische Konzeptionen...16 4. EVALUATIONSFORSCHUNG...20 4.1 Unterschiedliche Evaluationsverfahren: Ansätze, Modelle und Ebenen...22 4.2 Methoden der Evaluation...25 4.2.1 Evaluation nach Kriterienkatalogen Qualitätsbeurteilung von Lernprogrammen...25 4.2.2 Methoden zur Evaluation umfassender Lernarrangements sozialwissenschaftliche Methoden...29 5. BESONDERHEITEN DER EVALUATION VON E-LEARNING...29 6. EVALUATION VON E-LEARNING IN DER BERUFLICHEN AUS- UND WEITERBILDUNG...31 6.1 Schwerpunkte, ausgewählte Kriterien und Defizite bei der Evaluation multimedialen und netzbasierten Lernens...32 6.2. Zur Evaluation von MILQ...37 7. ZUSAMMENFASSUNG...43 Literaturverzeichnis...45 3

1. Multimediales Lernen im Bereich der beruflichen Bildung Aufgrund ständiger Weiterentwicklungen auf dem Gebiet der Informations- und Kommunikationstechnologien und der Bedeutung, die dieser Entwicklung für die heutige und zukünftige Gesellschaft beigemessen wird, spricht man von der Informations- und Wissensgesellschaft. Dieser Prozess hat auch die Berufs- und Arbeitswelt erfasst und mit ihr den Bereich der beruflichen Bildung der Aus- und Weiterbildung. Am deutlichsten zum Ausdruck kommt dies im Einsatz verschiedener Formen des E-Learning in der beruflichen Bildung. 1 Die Bedeutung, die diesen heute noch weitgehend neuen Formen des Lernens hinsichtlich der zukünftigen Entwicklung zugeschrieben wird, ist nach der vorherrschenden Ansicht von Fachleuten außerordentlich hoch (Albert 2000: 23). Unter der Projektleitung der Neuen Arbeit Saar ggmbh wird im Rahmen eines Bundesmodellprojektes in Kooperation mit Institutionen, die im Bereich der beruflichen (Nach-) Qualifizierung Projekte und Maßnahmen anbieten, Online-Lernsoftware unter dem Projektnamen MILQ Multimediale Interaktive Leittext-Qualifizierung für die abschlussbezogene Berufsausbildung in unterschiedlichen Berufsfeldern erstellt. Das Bundesmodellprojekt reagiert damit auf einen wachsenden Bedarf und auf das zunehmende Interesse an der Nutzung der Neuen Medien auch in diesem Bereich. Die Online-Lernpro-gramme werden für den Einsatz in der Qualifizierung von Jugendlichen mit schlechteren Startchancen und (jüngeren) Erwachsenen ohne einen formalen oder verwertbaren Berufsabschluss entwickelt. Hier kommen vor allem Maßnahmen zum nachträglichen Erwerb eines Berufsabschlusses für (jüngere) Erwachsene 2 in Frage, aber auch Maßnahmen der Berufsausbildungsvorbereitung, der ausbildungsbegleitenden Hilfen (abh ) oder die Berufsausbildung in über- oder außerbetrieblichen Einrichtungen (BüE- oder BaE-Maß-nahmen). 1 Der Begriff E-Learning ist wie viele Begriffe auf dem Feld der IuK-Technologien nicht klar definiert. Im Folgenden wird er als Oberbegriff für alle computer-, tele- und internetgestützten Lernprogramme verwendet. Kerres (2001:14) dagegen definiert ihn nur als Oberbegriff für alle Varianten internetbasierter Lehr- und Lernangebote. 2 Zum Konzept der berufsbegleitenden Nachqualifizierung, siehe: www.berufsabschluss.de. 4

Durch die Form der Aufbereitung und Präsentation der berufsspezifischen Inhalte, die eingesetzten Medien sowie das intendierte Lernumfeld tragen die im Rahmen von MILQ entwickelten Online-Lernangebote den Erfordernissen und Interessen der genannten Zielgruppen in besonderer Weise Rechnung. Die Vorteile einer modularen Aufbereitung der berufsspezifischen Inhalte werden durch die mediale Präsentation unterstützt. Die Zielgruppe von MILQ ist zumindest im Bereich der nachqualifizierenden Maßnahmen dadurch gekennzeichnet, dass oftmals nicht von einem kontinuierlichen Bildungsverlauf bzw. -ort ausgegangen werden kann. Ein unterschiedliches Vorwissen bei Maßnahmebeginn und die Notwendigkeit, bei einem eventuellen erneuten Wechsel bzw. nach Abbruch der Maßnahme zu einem späteren Zeitpunkt an bereits vorhandenes Wissen anzuknüpfen, sind eher die Regel als die Ausnahme. Hier soll der modulare Aufbau der Online- Lernprogramme das Lernen und den Wissenserwerb unterstützen, den Wiedereinstieg in einen Ausbildungsprozess zu unterschiedlichen Zeitpunkten und an unterschiedlichen Lernorten erleichtern und ein individuelles, flexibles Lernen als Einzelperson oder gemeinsam mit anderen in einer Gruppe ermöglichen. Das Projekt MILQ wird wissenschaftlich begleitet durch das Institut für berufliche Bildung, Arbeitsmarkt- und Sozialpolitik GmbH (INBAS), das die projektbegleitende Evaluation durchführt. Bei der Entwicklung eines Online-Lernprogramms im Rahmen eines Modellversuches ist eine Evaluation insbesondere hinsichtlich der Abschätzung der Zielerreichung und der Dokumentation der Ergebnisse bzw. deren Sicherung notwendig. Gerade bei einem öffentlich geförderten Projekt, das ohne wirtschaftliches Gewinninteresse ein Produkt für den Einsatz in der beruflichen Aus- und Weiterbildung entwickelt, kann eine Evaluation helfen, die in diesem Fall nur schwer herzustellende Marktrealität und damit die Bedingungen am Markt einzuschätzen. Dazu ist es notwendig, das Evaluationsvorhaben in der aktuellen Diskussion der Evaluationsforschung zu verorten und methodisch abzusichern. 5

Ein Überblick über bereits vorliegende Studien zur Evaluation von E-Learning kann dabei dazu beitragen, das gewählte methodische Verfahren zur Evaluation der MILQ-Lernsoftware in den bisherigen Forschungsstand einzuordnen. Fragen nach Ansatzpunkten der Evaluation von Lernprogrammen und -arrangements bzw. generell nach den entscheidenden Kriterien der Evaluation des E-Learning sind hierfür zu beantworten, was in diesem Beitrag geschehen soll. Einleitend wird die Thematik E-Learning zunächst anhand folgender Leitfragen angesprochen: Wie entwickelte sich das Lernen mit Neuen Medien, welche Formen multimedialen Lernens können unterschieden werden? Dabei wird, neben einem Rückblick auf die Entwicklung, auch die aktuelle Situation der Nutzung im Bereich der beruflichen Bildung aufgegriffen. Die Frage nach der tatsächlichen Verbreitung multimedialen Lernens in der beruflichen Bildung bestimmt dabei den Fokus der Betrachtung dieses Abschnitts. Sowohl bei der Betrachtung der zeitlichen Dimension des Einsatzes von unterschiedlichen Formen des E-Learning als auch bei der Betrachtung der Einsatzfelder und Inhalte spielt die Frage nach der Art und Weise der Vermittlung der Inhalte eine entscheidende Rolle: Welche lerntheoretischen Paradigmen können unterschieden werden und welche mediendidaktischen Konzeptionen lassen sich aus ihnen ableiten? Diesen Fragen wird in Abschnitt 3 nachgegangen. Nach dieser Einführung in das E-Learning, die aus unterschiedlichen Perspektiven einen ersten Überblick über Themen und Trends gibt, wird sich der folgende Teil zunächst der Evaluationsforschung allgemein, d.h. unterschiedlichen Ansätzen, Verfahren, Modellen und Methoden widmen, um darauf aufbauend die Besonderheiten der Evaluation von Online- Lernprogrammen aufzugreifen. Daran anschließend werden einzelne Kriterien vorgestellt, die in vielen Evaluationsstudien von (Online-) Lernprogrammen untersucht wurden. Nach der Darstellung einschlägiger Evaluationsansätze und -studien wird abschließend das Vorgehen bei der Evaluation von MILQ umrissen. 6

2. Die Entwicklung multimedialen Lernens (in der beruflichen Bildung) - Formen und Einsatzfelder Der Bereich des Lernens mit Lernprogrammen bzw. -software ist wie der gesamte Bereich der Informations- und Kommunikationstechnologien ein Bereich von Veränderung und Innovation. Bei einer Beschäftigung mit Lernprogrammen für den Bereich berufliche Bildung ist vor diesem Hintergrund zum einen der zeitlichen Dimension, zum anderen den verschiedenen Formen, das heißt der Frage nachzugehen, wann und wie welche Medien genutzt werden. Schließlich ist die Frage zu beantworten, welche Zielgruppen angesprochen bzw. zu welchen Inhalten Lernprogramme angeboten werden. 2.1 Zur Entwicklung multimedialen Lernens Die Entwicklung des technologiebasierten Lernens unter diesen Oberbegriff summieren Bruns/Gajewski (2000:5) alle Trainingsformen, die mithilfe technischer Geräte und Komponenten den Lehr- und Lernprozess gestalten lässt sich im wesentlichen in drei Phasen einteilen: Ausgehend von ersten Ansätzen zum programmierten Unterricht in den 50er und 60er Jahren (Lernprogramme zumeist in Buchform), finden sich Ansätze zum computerunterstützten Unterricht in den 70er Jahren. Hierbei handelte es sich um Lernprogramme, die zumeist am Großrechner genutzt werden können. In dieser Zeit wird die Filmvorführung durch den Einsatz von Videos abgelöst und Sprachlabore finden verstärkt Eingang in den schulischen Unterricht. Mit der in den 80er Jahren beginnenden Produktion der ersten Personalcomputer und dem Aufbau der ersten Computernetze in Unternehmen beginnt ein Prozess der bis heute anhält: Das technologiebasierte Lernen wird netzwerkfähig. Neben computerbasierten Lernprogrammen bzw. Trainings (CBT = Computer Based Training), die offline genutzt werden können, finden sich Programme, die sowohl offline als auch online zu nutzende Elemente aufweisen. Mit der Entdeckung des Internets entstehen schnell erste Lernangebote, die dessen spezifische Techniken verwenden. Mit dem Vordringen des Personal- 7

computers in die Wohnhaushalte und dem Erfolg des Internets über die Sphäre der Wissenschaft und Hochschule hinaus, entwickeln sich neue Techniken und Programmlösungen, die Text, Bild, Video und Ton verschmelzen, in immer rascherer Folge. Der Begriff Neue Medien macht die Runde. Ihre Elemente finden zunehmend auch Eingang in das Lerngeschehen und in die Entwicklung von Lernangeboten, zu Anfang meist in Form spezieller betrieblicher Lösungen. Ein zusätzlicher Impuls für die Entwicklung und die Ausweitung der Nutzung von Lernangeboten, die auf die Neuen Medien rekurrieren, geht nach Ansicht von Bruns/Gajewski (2000) von der kommerziellen Nutzung des Internets aus. In diesem Zusammenhang sind etwa die webbasierten Trainings (WBT = Web Based Training) zu nennen. Nach Kerres (2001:225) hat die Verbreitung von Hypertext-Anwendungen in den 90er Jahren die Diskussion über exploratives Lernen vorangebracht. Durch den Einsatz der neuen Medien sollen nicht nur neuartige Bildungsangebote realisiert, sondern auch andere Lernformen unterstützt und ermöglicht werden. Einige hier zu nennende Stichworte sind: die Kombination von Präsenz- und netzgestütztem Lernen; eine Verkürzung der Präsenzzeit im Seminarraum; selbstbestimmtes Lernen auch am Arbeitsplatz und zu Hause; Lernkontrolle und die kontinuierliche Einbeziehung von Tutoren durch Interaktivität; Kooperation zwischen Teilnehmerinnen und Teilnehmern; die Möglichkeit einer laufenden Aktualisierung der Inhalte; die Vielfältigkeit und Breite des Informationsangebots. Mit computer- bzw. internetbasierten Lernprogrammen verbindet sich darüber hinaus vor allem der Gedanke einer Verschiebung der Zentrierung der Lernorganisation vom Lehrenden zum Lernenden, die durch das Medium (Hensge 2001:16) bzw. durch die veränderten Möglichkeiten der Interaktion zwischen dem Lernprogramm (System) und den Lernenden unterstützt wird (vgl. Abschnitt 3). 8

Für den Einsatz verschiedener Formen des E-Learning finden sich in der Praxis folgende unterschiedliche Begründungsmuster (Kerres 2001: 90-91): E-Learning wird als Ersatz bzw. Alternative für bzw. zum personalen Unterricht, als Ergänzung oder als institutionelle Innovation gesehen. 1 Glowalla/Schoop (1992: 21-23) nennen außerdem stark verkürzte Innovationszyklen, einen Mangel an Lehr- und Ausbildungsplätzen, steigende Kosten im Bildungsbereich und den Einsatz von Simulationen als Ursachen. Diese nicht vollständige Aufzählung vermittelt nicht nur einen Eindruck von der Komplexität der Thematik, sondern auch von den Erwartungen, die mit der Einführung und Verbreitung der IuK- Technlogien verbunden sind. 23 2.2 Unterschiedliche Formen multimedialen Lernens Auf dem Gebiet der Neuen Medien herrscht, wie am Beispiel der Verwendung des Begriffs Multimedia verdeutlicht werden soll, ein Nebeneinander unterschiedlichster Definitionen. Statt nach den konkreten Realisationen von Lernprogrammen in der Praxis begrifflich zu differenzieren, wird, wenn von dem Bereich Lernen mit Neuen Medien gesprochen wird, oft zusammenfassend von einem Einsatz von Multimedia gesprochen. Multimedia erscheint dabei als ein weit gefasster Begriff, der sich leicht einer genauen Bestimmung entzieht. Im Grunde genommen sagt der Begriff lediglich aus, dass verschiedene Medien (Text, Bild, Ton) zusammengenommen und über den Computer gesteuert werden. Das eigentlich Neue der Entwicklung kommt eher in dem von Baumgartner/Payr eingeführten Begriff der Medienintegration zum Ausdruck. Damit ist gemeint, dass der Computer nicht mehr zu anderen audiovisuellen Medien hinzukommt, sondern, dass der Computer als virtuell universelle Maschine (Baumgartner/Payr 1994: 139) die anderen Medien zunehmend ersetzt. 1 Dabei stehen nach Kerres (2001) selten Überlegungen zu Nutzen und Effizienz oder einer grundlegenden Neuorientierung des didaktischen Konzepts die eine Auseinandersetzung mit der Rolle des Lehrens voraussetzen würde im Vordergrund. 2 Siehe hierzu auch die Publikation von Wolfgang Neuhaus (2002) zum E-Learning in der berufsbegleitenden Nachqualifizierung. 3 9

Korrespondierend zu der im letzten Abschnitt aufgezeigten historischen Entwicklung des Einsatzes von Neuen Medien lässt sich hinsichtlich der genutzten Medien differenzieren: Während in der Anfangszeit das sogenannte CBT vorherrschte, das ausschließlich für die Arbeit am PC konzipiert war, wird es in der aktuellen Entwicklung durch das WBT ergänzt oder ersetzt, d. h. durch Programme, die vernetztes Wissen anbieten und zu Grunde legen. Sie nutzen ein Intranet oder das Internet und seine verschiedenen Dienste. Gelernt wird also nicht mehr nur computer-, sondern zunehmend web- bzw. netzwerkunterstützt. Möglichkeiten der Realisation von Lernprogrammen Lernen mit dem Computer (über Diskette, CD-ROM, DVD) Lernen mit dem Internet/Intranet Lernen mit Hilfe von Video Lernen mit Hilfe des Fernsehens Lernen mit Hilfe mobiler Dienste der Telekommunikation und des Datenaustausches Die gemeinsame Nutzung und Integration verschiedener Lernmedien ist mittlerweile eher die Regel als die Ausnahme. So verschmelzen z.b. in der technischen Entwicklung Fernseher, Video, CD-Spieler, DVD und Computer zu einer neuen Einheit. Damit werden neue Lernumgebungen, -möglichkeiten und -formen eröffnet. Verschiedene Einsatzfelder von Lernsoftware können unterschieden werden: Bei Angeboten, die eher für den privaten Gebrauch konzipiert sind, kommen die im Zusammenhang mit computerunterstütztem bzw. dem virtuellen Lernen immer wieder genannten Vorteile, wie die Zeit- und Ortsunabhängigkeit und die Möglichkeit der Selbststeuerung, am deutlichsten zum Ausdruck. Daneben gibt es Lernsoftware, die vorwiegend für die Nutzung am Arbeitsplatz oder innerhalb von Gruppen (beispielsweise im Rahmen von betrieblichen Aus- oder Weiterbildungsmaßnahmen) ausgelegt ist. Weitere Einsatzbereiche sind die schulische Bildung und der Bereich der Hochschulen ( virtueller Campus, Fern- 10

universität). Durch diese Entwicklung etabliert sich ein Bildungsangebot, das soweit es sich um individuell zu nutzende Selbstlernprogramme handelt in unterschiedlicher Hinsicht Differenzen zum öffentlichen bzw. präsenzorientierten Bildungssystem aufweist. Bei der Darstellung unterschiedlicher Formen multimedialen Lernens wird deutlich, dass vollständig selbsterklärende Lernprogramme von solchen unterschieden werden müssen, bei denen es auf die Einbindung in eine bereits vorhandene bzw. zu verändernde Lernumgebung ankommt. Gerade der zuletzt genannte Bereich ist besonders oft im Bereich der beruflichen Aus- und Weiterbildung anzutreffen. Neben der Frage nach der inhaltlich geeigneten Lernsoftware stellen sich damit erhöhte Anforderungen an die Qualifizierung und Kompetenz der Lehrer/innen und Ausbilder/innen. 2.3 Zur Verbreitung des Online-Lernens in der beruflichen Bildung Im Bereich der Berufs- und Arbeitswelt nimmt die Bedeutung neuer Informations- und Kommunikationstechnologien zu. Die Verbreitung von Lerntechnologien in der beruflichen Bildung - von multimedialem und computerunterstütztem Lernen - die nach aktuellen Analysen zunehmend alle Bereiche der beruflichen Bildung (Schenkel 2000: 7; Ross 1998) erfasst, ist eine Reaktion auf diese Entwicklung. Sie führt, wie Dybowski (2001: 9) festhält, zur Erweiterung der beruflichen Bildung um Elemente des selbstorganisierten Lernens und einer Öffnung von Lernwegen und -möglichkeiten. Diese Aussagen geben eine vielfach in der Literatur zum E-Learning anzutreffende Einschätzung eines Trends wieder und beziehen sich auf einen rasch anwachsenden Markt an unterschiedlichsten Formen von Lernprogrammen. Hinsichtlich der inhaltlich-thematischen Ausrichtung und damit der Eignung vorliegender Angebote für den Bereich der beruflichen Aus- und Weiterbildung allgemein, für verschiedene Zielgruppen und Anwendungsformen sowie in Bezug auf die tatsächliche Nutzung gilt es auf Einschränkungen hinzuweisen. Nach einer Bestandsaufnahme aus dem Jahr 1998 fand bis dahin in der betrieblichen und schulischen Ausbildungspraxis eine Compu- 11

terunterstützung nur am Rande statt (Ross 1998: 7). Zu einer ähnlichen Einschätzung kommt auch Albert in seiner im Jahr 2000 veröffentlichen Bestandsaufnahme zur Nutzung von Multimedia und Netzen in der Berufsbildung. Seinen Ergebnissen zufolge steht das multimediale und netzbasierte Lernen in diesem Bereich noch am Anfang der Entwicklung (Albert 2000: 23-24). Nach einer weiteren Marktanalyse aus dem Jahr 2000 (Wagner 2000: 30) sind multimediale Angebote an Lehr- und Lernsoftware auf dem Gebiet der beruflichen Bildung nur spärlich mit wenigen Beispielen und entwickelten Konzeptionen zu belegen. Wenn sich ein Einsatz Neuer Medien findet, dann vor allem in Form von CBT, die überwiegend in der reinen Offline-Anwendung bleiben. Nur selten wird das Netz als Informationsträger genutzt, noch seltener zur Interaktion. Was sind die Ursachen für diese Aussagen, die in einem offensichtlichen Widerspruch zu der Euphorie und den positiven Zukunftsprognosen in Bezug auf den Einsatz von computer- bzw. netzbasierten Lernprogrammen stehen? Dass das Bild, das die Praxis vermittelt, ein anderes ist, lässt sich auf unterschiedliche Ursachen und Hemmnisse zurückführen: Neben der oft nicht in ausreichendem Maße vorhandenen Ausstattung mit Informationsund Kommunikationstechnologien fehlt eine der Nutzung angemessene Lernumgebung (Albert 2000: 23). Das heißt, es mangelt an Konzepten zum Einsatz von E-Learning in der Lernsituation (etwa zu Prozessen des selbstgesteuerten Lernens) und damit auch an Erfahrungen über konkrete Einbindungsmöglichkeiten in vorhandene Strukturen. Spricht man von einem wachsenden Einsatz von computer- bzw. netzbasiertem Lernen in der beruflichen Bildung, so ist auch nach den Inhalten, den Einsatzmöglichkeiten und Zielgruppen zu fragen. Zu unterscheiden ist zwischen Lernsoftware, die speziell für einen Bereich konzipiert ist, beispielsweise für die innerbetriebliche Aus- und Weiterbildung, und Standardangeboten, wie z.b. Sprach-Lernprogramme, die allgemein zugänglich und verwendbar sind. Im ersteren Fall handelt es sich oftmals um spezifische Angebote, die sich inhaltlich-thematisch stark an den Erfordernissen der konkreten betrieblichen Aus- und Weiterbildung orientieren. Lernprogramme, die als Standardlernprogramme in der beruf- 12

1 Grundlage bilden 3000 Standardlernprogramme für den Bereich der beruflichen Bildung. 13 INBAS GmbH lichen Aus- und Weiterbildung zielgruppenspezifisch und überregional eingesetzt werden können, sind hingegen erst in geringem Maße zugänglich. Wie eine Analyse 1 aus dem Jahr 1998 zeigt, dient der überwiegende Teil der Standard- Lernsoftware (50%) der Qualifizierung im Umgang mit dem PC, mehr als 20% vermittelt die Anwendung von Grundlagen in speziellen technischen und kaufmännischen Fachgebieten. 10% beinhalten die Vermittlung von Fremdsprachenkenntnissen (Ross 1998: 3, vgl. auch Schenkel 2000: 7). Wagner ermittelt auf der Grundlage einer Marktanalyse, die mittels Internetrecherchen zum Thema Lernsoftware im Bereich der beruflichen Bildung erfolgte, dass die meisten Anbieter allgemein gültige, für viele Nutzer nutzbare Software anbieten (Wagner 2000: 29) und zwar vor allem für die Bereiche Fremdsprachen, Computer und Wirtschaft. Daneben gibt es noch ein weites Feld an betriebsinterner Lernsoftware, auf die beispielsweise über das Intranet zugegriffen werden kann, und die der Qualifizierung der Mitarbeiter/innen dient. Über die inhaltliche Ausrichtung von Projekten und Modellversuchen zum E-Learning in der Berufsbildung, und hier speziell im Handwerk, informiert eine von Esser/Twardy/Wilbers herausgegebene Publikation (Esser u.a. 2001). Lernprogramme werden vor allem im unmittelbaren Arbeitsbereich angewandt, vor allem im kaufmännisch-verwaltenden Bereich, selten jedoch im Bereich der Aus- und Weiterbildung (Albert 2000: 24). An erster Stelle der Nutzung im Arbeitsbereich steht in den Kleinbetrieben das Lernen am Arbeitsplatz, an zweiter Stelle findet sich als Lernort die organisierte Lehrveranstaltung. Dieser Trend zeichnet sich auch in den Großbetrieben ab. Findet ein Einsatz in der Aus- und Weiterbildung statt, so geschieht dies nach einem Fazit aus Fallstudien überwiegend über einzelne Qualifizierungsmaßnahmen, die multimedial oder netzbasiert unterstützt werden: z.b. tutorielle Unterstützung im Online-

Angebot in Verbindung mit traditionellen Seminarkursen oder über Videokonferenzen. Albert 2000: 25) Hinsichtlich des Nutzungsgrades hält Ross (1998: 5) für das Jahr 1997 fest, dass lediglich 5-10% der Unternehmen Video, computerunterstützte Lernprogramme und Multimedia einsetzen. Wenn ein systematischer Einsatz in der Aus- und Weiterbildung stattfindet, dann vor allem in den Großbetrieben in der produkt- und dienstleistungsbezogenen Fortbildung. Deutlich unterrepräsentiert sind hingegen die kleinen und mittleren Betriebe. Zu den bereits benannten Hindernissen, die eine umfassende Verbreitung des E-Learning in der beruflichen Bildung verhindern, kommt als ein weiteres Hindernis die unzureichende Information über die vorhandenen Angebote hinzu. Auf diesen Umstand weist Wagner (Wagner 2000) in ihrer Marktanalyse hin, die auf der Grundlage von Internetrecherchen durchgeführt wurde. 1 Zusammenstellungen von Lernsoftware für die berufliche Bildung werden z.b. im Auftrag der Bundesanstalt für Arbeit durch den Verlag Bildung und Wissen durchgeführt (Zugriff über KURS-DIREKT online beim Institut der Deutschen Wirtschaft: www.iwkoeln.de oder über das Arbeitsamt (KURS); über die Datenbank SODIS auf dem Bildungsserver NRW bereit gestellt (Wagner 2000:30): www.sodis.de; 2 in der Weiterbildungsdatenbank Berlin gesammelt: www.wdb.de; 3 unter der Adresse http://www.b-o.de zusammengestellt. 4 3. Lerntheorien und Lernprogramme Neben dem sich rasch vollziehenden technischen Fortschritt in der Informations- und Kommunikationstechnologie, der immer neue Möglichkeiten der Information, Präsentati- 1 Aufgelistet werden außerdem verschiedene Internetaderessen von Anbietern multimedialer Produkte und es werden Angebote des BIBB dargestellt. Weitere Angebote werden bei Schmitt-Kölzer (2001) aufgeführt. 2 Hier liegt der Schwerpunkt auf Lernprogrammen für allgemeinbildende Schulen, der Bereich Berufsbildung ist unterrepräsentiert (Schmitt-Kölzer 2001: 24). 3 Im Media-Katalog werden Angebote zum Selbstlernen, Unterrichtshilfen und Info-Materialien zur beruflichen Weiterbildung veröffentlicht. 4 Die Seite richtet sich an Lehrer, Schüler, Eltern und Erwachsene, die sich fortbilden möchten. Es finden sich Informationen über die Bereiche Schule, Aus- und Weiterbildung, Dienstleistungen, Anbieter und Produkte zum Thema Bildung. 14

on und Interaktivität bei der Entwicklung von Lernprogrammen ermöglicht, spiegeln sich in den Lernprogrammen, der zeitlichen Entwicklung entsprechend, unterschiedliche didaktische Konzeptionen wider (Hasenbach-Wolff, 1992: 30), die im Folgenden zusammenfassend und in ihren Grundzügen dargestellt werden. 3.1 Lernparadigmen: Behaviorismus, Kognitivismus und Konstruktivismus Bei der Beschäftigung mit Lernprogrammen sind im Wesentlichen drei lerntheoretische Paradigmen zu unterscheiden: der Behaviorismus, der Kognitivismus und der Konstruktivismus (Issing 1995: 197). Diese Abfolge entspricht auch der zeitlichen Dimension ihrer Diskussion in den Disziplinen Pädagogik, Psychologie und Mediendidaktik. Ihre zentralen Grundannahmen hinsichtlich des Lernvorgangs und der Rolle der Lernenden bzw. Lehrenden lassen sich stichwortartig wie folgt skizzieren (vgl. Baumgarten/Payr1999: 110ff.): Behaviorismus: Dem Lernmodell liegt ein Reiz-Reaktions-Schema zugrunde. Dabei wird davon ausgegangen, dass die Lehrenden wissen, was Lernende zu lernen haben. Bei der Beschreibung des Lernvorgangs wird das körperliche Verhalten betont. Dieser Aspekt wird deutlicher, wenn man die Rolle betrachtet, die den Lernenden in diesem Modell zugewiesen wird: Die Lernenden haben eine passiv-reaktive Haltung. Das Lernen wird zu einem antrainierbaren, konditionierten Reflex und ist, so gesehen, auf der Ebene des Verhaltens anzusiedeln. Im Behaviorismus überwiegt ein autoritäres zumindest aber hierarchisches Modell des Lehrens: die Lehrperson gibt die Reize zum Lernen vor. Kognitivismus: Der Kognitivismus ist als Gegenposition zum Behaviorismus entstanden. Ein wesentlicher Kritikpunkt des Kognitivismus am behavioristischen Lernmodell ist die Einseitigkeit der Argumentation bei der Darstellung des Lernvorgangs. In der Perspektive des Kognitivismus wird dies der Komplexität menschlicher Lernprozesse nicht gerecht. Der Kognitivismus betont dagegen die Bedeutung der im Gehirn ablaufenden Prozesse der Informationsverarbeitung, die beim Lernen stattfinden. Lernen resultiert in diesem Lernmodell aus einem inneren Verarbeitungsprozess. Es geht beim Lernen nicht allein um die richtige Antwort auf eine Frage (vgl. den konditionierten Reflex des Behaviorismus), sondern auch um die Erkenntnis, dass verschiedene Wege zu einem Ergebnis führen können. Dem Lernenden kommt demnach eine aktive Rolle zu. Die Art des Lernens 15

wird zu einem Problemlösen. Die Lehrenden haben die Funktion von Tutorinnen bzw. Tutoren, die beobachten und helfen. Konstruktivismus: Eine der Grundannahmen des Konstruktivismus besagt, dass die Realität nicht objektiv gegeben ist, sondern jeweils subjektiv konstruiert wird. Demnach gibt es auch keinen festgelegten Lernweg, sondern jeweils ein Umgehen mit einer spezifischen Situation. Es kommt darauf an, Probleme zu sehen (zu konstruieren) und diese mit Wissen aus früheren Erfahrungen in Beziehung zu setzen. Die Lernenden übernehmen in dem vom Konstruktivismus abgeleiteten Lernmodell einen aktiven eigenverantwortlichen Part. Lehrer/innen werden zu Trainer/innen bzw. Moderator/innen eines weitgehend durch die Lernenden selbstgesteuerten Lernvorgangs, den sie betreuen und kooperierend begleiten. Neben diesen grundlegenden lerntheoretischen Paradigmen gibt es weitere Theorien, die sich in erster Linie hinsichtlich ihrer lerntheoretischen Fundierung und in Bezug auf die grundlegenden Ziele des Lernens unterscheiden. Sie werden beispielsweise von Issing (Issing1995: 195) diskutiert. 3.2 Lerntheorien und Lernprogramme: Mediendidaktische Konzeptionen Die genannten lerntheoretischen Positionen finden sich in den Lernprogrammen wenn auch zum Teil nur implizit oder zu unterschiedlichen Anteilen wieder. Welches Paradigma einem Lernprogramm zugrunde liegt, hängt vor allem von dem Inhalt/Lernstoff, der durch das Programm vermittelt werden soll, und den (programm-)technischen Voraussetzungen ab. Dabei kann es einerseits vorkommen, dass ein bestimmter Inhalt in Verbindung mit einem spezifischen Verwendungszweck einer Lernsoftware nur durch ein bestimmtes didaktisches Prinzip realisiert werden kann. Andererseits kann es durchaus sein, dass derselbe Inhalt auf unterschiedliche Weise präsentiert werden kann und hierfür mehrere unterschiedliche Lerntheorien und didaktische Modelle verwendet werden. Vor diesem Hintergrund erscheint es sinnvoll, unterschiedliche Formen von Lernprogrammen zu unterscheiden: Nach Baumgartner und Payr ist eine Differenzierung in folgende Grundformen möglich: Visualisierungen/Präsentationen, Drill &Tests, Tutorensysteme, Simulationen und Mikrowelten (1999: 142ff.). 16

In der folgenden Übersicht 1 werden die genannten lerntheoretischen Paradigmen, die aus den Lerntheorien abgeleiteten didaktischen Umsetzungsmöglichkeiten und die Lernsoftwaretypen einander gegenüber gestellt. Es handelt sich bei den vorgenommenen Einteilungen um idealtypische Differenzierungen, die in den Lernprogrammen nur selten in reiner Form anzutreffen sind. Lerntheorie, -paradigmen und Typen von Lernsoftware Lerntheorie Lernsoftwareparadigmen Programmmerkmale didaktische Umsetzungsmöglichkeiten bzw. Entwicklungswerkzeuge Lernsoftwaretypen Behaviorismus Instruktionsparadigma Vermittlung steht im Vordergrund Stimulus Response. Programmmerkmale: starrer Ablauf, quantitative Zeit- und Antwortstatistik Drill&Tests/Practice Vokabeltrainer Instruktionsdesign > abgeleitet daraus: Autorensysteme (Tobler 1993) Kognitivismus Problemlösungsparadigma Bearbeitung der Probleme durch die Lernenden Programmmerkmale: dynamisch gesteuerter Ablauf, vorgegebene Problemstellung Offene Lernwelten Mikrowelten Hypermedia Modellierungssysteme Simulationsspiele Umwelt Lernende Konstruktivismus Problemlösungsparadigma Erarbeitung/Konstruktion der Problemstellung erfolgt durch die Lernenden. Programmmerkmale: Dynamisch, komplex vernetzte Systeme, keine vorgegebene Problemstellung. Offene Lernwelten Mikrowelten Hypermedia Modellierungssysteme Simulationsspiele Hypertextsysteme (Issing/Klimsa 1995 ) 1 Zusammengestellt und z.t. übernommen aus u.a.: Baumgartner/Payr 1994: 174 und Issing/ Klimsa 1995 17

Die einzelnen Paradigma geben bestimmte Rahmenbedingungen für die Umsetzung didaktischer Prinzipien in die mediendidaktische Konzeption von Lernprogrammen vor und legen bestimmte programmtechnische Lösungen nahe grundsätzlich können Lernprogramme jedoch in jeder gängigen Programmiersprache geschrieben werden (Tobler 1993: 31). Im Zuge der Nachfrage nach Lernprogrammen und deren Entwicklung haben sich aber Entwicklungswerkzeuge etabliert, die ihre Erstellung erleichtern. Tobler diskutiert diesbezüglich zwei grundlegende Ansätze: Autorensysteme und Hypertextsysteme (Tobler 1993). 1 Autorensysteme sind aus dem Instruktionsdesign abgeleitet und ermöglichen die Entwicklung linearer sequentieller Anwendungen durch die Bereitstellung eines vorstrukturierten Programmablaufes. Demgegenüber lassen sich komplexe Interaktionsräume bzw. hypertextuell aufbereitete Lernangebote (Kerres 2001: 364) durch Werkzeuge aus dem Bereich der Hypertextsysteme realisieren. Hier ist der wesentliche Unterschied in der veränderten Möglichkeit der zeitlichen Strukturierung des Lernangebots zu sehen (Kerres 2001: 225 ff.). Die auf diese Weise realisierten Angebote sind, vereinfacht dargestellt, durch ein Nebeneinander von Informationseinheiten zu kennzeichnen, die untereinander verknüpft sind (assoziative Verknüpfung im Gegensatz zu einer Dialogsteuerung bzw. vorgegebenen Lernpfaden). Auf diese Weise wird eine individuelle Steuerung durch das Programm gegenüber einem Abarbeiten von Texten u.a. unterstützt. 2 Welche Inhalte durch welches didaktische Design am besten abzubilden sind, darüber gibt es unterschiedliche Meinungen. Nach Ansicht von Issing (Issing 1995: 215) stellt sich etwa die Frage, ob das systematische Instruktionsdesign überhaupt für die Entwicklung von offenen, multimedialen Lernumgebungen geeignet ist. In diesen Lernumgebungen werden oftmals nichtlineare Netzstrukturen genutzt (Hypermedia-Software), die modular entwickelt werden (Issing 1995: 211). Kerres beantwortet die sich in diesem Zusammenhang 1 Eine Darstellung der neueren Entwicklungen findet sich bei Kerres (2001). 2 Vgl. auch die Konzeption der MILQ-Lerneinheiten. 18

stellende Frage nach der richtigen Wahl eines lerntheoretischen Ansatzes mit der Feststellung, dass die verfügbaren Ansätze nicht als konkurrierende Paradigmen aufzufassen seien. Vielmehr beinhalte jeder der Ansätze Aspekte eines komplexen Lehr-Lern- Geschehens, die in der Tätigkeit des didaktischen Designs zu einem sinnhaften Ganzen zusammengefügt werden müssen (Kerres 2001: 53). Wie gestaltet sich der Umgang mit unterschiedlichen Lernsoftwaretypen für die Nutzer bzw. welche Art des Lernens wird durch das Programm angeregt? Eine Zusammenstellung der Aspekte Steuerung des Lernprozesses durch das Programm und Lernverhalten, das damit in Verbindung stehend bzw. unterstützt wird, findet sich in der folgenden Tabelle. Beides sind Aspekte, die auch die Interaktion zwischen Nutzer/innen und Programm näher kennzeichnen. Steuerung des Lernprozesses Lernverhalten reagierend (passiv) programmgesteuert adaptiv bzw. beratend lernergesteuert Übungssystem Drill&Practice rezeptiv (aktiv) Lineare tutorielle Systeme Intelligente tutorielle Systeme agierend (entdeckend) Mikrowelten Hypermediale Lernsysteme agierend (handelnd) Simulationssysteme Spielsysteme Quelle: Pohl 1999: 71 Die Interaktion zwischen Nutzer/innen und Programm ist je nach Softwaretyp bzw. zugrundeliegendem Lernparadigma anders. Sie kann von einer starr vorgegebenen Interaktion (ein Rezipieren, Erinnern und Nachahmen des Lernstoffes steht im Vordergrund), über eine dynamische Interaktion (das Auswählen und Anwenden seitens der Lernenden herrscht vor) bis zu einer selbst-referentiell zirkulären (autonomen) Interaktion (seitens der Nutzer wird ein Entwickeln, Handeln, Verstehen und Entscheiden angeregt) reichen 19

(vgl. Baumgartner/Payr 1994: 174, Tabelle: Lernparadigmen und Softwaretypologien; Baumgartner/Payr 1997:110ff.). 1 Zusammenfassend betrachtet, lässt sich bei der Entwicklung von computergestützten Lernprogrammen in der Bildungspraxis eine Standpunktverschiebung, weg vom Lehren und Unterrichten hin zu einer starken Orientierung am Lernen, feststellen 2. Stand in der Anfangszeit der Entwicklung die Transportfunktion durch das Medium im Vordergrund, so wird zunehmend die didaktische Funktion das Lernen mit dem Medium als zentraler Aspekt herausgestellt. Dieser Perspektivenwechsel die Abkehr von der multimedialen Technik und der Hinwendung zu dem, was sich zwischen dem Lehrsystem und den Lernenden abspielt führt auch zu einem Paradigmenwechsel für die Evaluation: Es wird kein Medium mehr evaluiert, sondern ein System, das Verarbeitungsprozesse beim Lernen in Gang setzen soll (Weber 1998: 54; vgl. auch Fricke 1995, Weidemann 1986). 4. Evaluationsforschung Für die Evaluationsforschung in der Bundesrepublik Deutschland ist zunächst festzuhalten, dass es zwar zahlreiche Studien, Gutachten, Publikationen und einige deutschsprachige Lehrbücher zum Thema Evaluation gibt 3, doch fachübergreifende Sammelbände, in denen evaluatorisches Wissen gebündelt und integriert wird, weitgehend fehlen (Stockmann 2000: 31). Um eine Erarbeitung von Standards für die Evaluation und eine Systematisierung des fachlichen Wissens bemüht sich die 1997 in der Bundesrepublik gegründete 1 Glowalla/Schoop (1992: 12-18) unterscheiden hinsichtlich des Grades der Interaktion zwischen System und Benutzer/innen drei Grundformen, die in der Praxis ineinander übergehen. Sie lassen sich ergänzend zu den von Baumgartner/Payr genannten Interaktionsformen nennen: CBT, ITS (Intelligent Tutoring System) und Hypertext. 2 Hermann Schmidt, Generalsekretär des BIBB, im Vorwort zu dem von Schenkel/Holz herausgegebenen Sammelband Evaluation multimedialer Lernprogramme und Lernkonzepte, (Schenkel/Holz 1995: 6). Vgl. auch Ehlers (2002: 5), der von einem Paradigmenwechsel von der Belehrungs- hin zur Befähigungspädagogik, von behaviouristisch geprägten didaktischen Ansätzen hin zu kognitivistischen und von instruktionalistischen zu konstruktivistischen Ansätzen spricht. 3 Z.B. Rossi/Freeman/-Hoffmann 1988; Wottawa/Thierau 1998. 20

Deutsche Gesellschaft für Evaluation (Stockmann 2000: 34). 1 Einen Überblick über die sich schnell entfaltende Evaluationsforschung in der Bundesrepublik bis in die 80er Jahre geben Hellstern und Wollmann (Hellstern/Wollmann 1984). Dabei kann der Bereich der Bildungsforschung zu den Bereichen gezählt werden, in denen sich die Evaluationsforschung etablierte (vgl. Bortz/Döring 1995: 93). Die Evaluationsforschung zeichnet sich auch hinsichtlich der zum Einsatz gelangenden methodischen Ansätze durch eine große Vielfalt aus, die auf eine recht weitgehende methodische wie erkenntnistheoretische Offenheit zurückzuführen ist. Dies gilt sowohl auf der Ebene der epistemologischen Grundannahmen, der Untersuchungsdesigns wie auch für die Methodik im engeren Sinne, also die Verfahren der Datenerhebung und der Datenauswertung. Unterschiedliche methodische Ansätze kennen jeweils ihre spezifischen Vorgehensweisen, Regeln und auch Qualitätskriterien (vgl. Widmer 2000: 80). Probleme bei der Systematisierung von Evaluationsmodellen ergeben sich auf unterschied- der lichen Ebenen (Will/Winteler/Krapp 1987: 26): Evaluationen unterscheiden sich deutlich nach favorisierten Konzeptionen, Funktionen, Zielen, Methoden, Organisationsformen Durchführung und nach Art der Einbindung der Befunde in die evaluierte Maßnahme. Bis heute haben sie verhindert, das sich ein Konsens über wirklich markante und trennscharf unterscheidbare Prototypen der Evaluation (Will, Winteler, Krapp 1987: 26) herausgebildet hat. 2 Demnach kann auch auf keine einheitliche Definition dessen, was unter Evaluation zu verstehen ist, verwiesen werden. 1 Für weitere Informationen: www.degeval.de (Homepage der deutschen Gesellschaft für Evaluation). In den USA hat eine solche vereinheitlichende Zusammenfassung von Evaluationsstandards bereits stattgefunden: Die Standards des Joint Commitee on Standards for Educational Evaluation liegen auch in der deutschen Übersetzung vor. Einen Überblick über die aktuelle Strategie zur Qualitätsentwicklung in der Evaluation geben Beywl/Taut 2000. 2 Will/Winteler/Krapp führen Literatur der 70er und 80er Jahre an, die Versuche einer Klassifikation verschiedener Evaluationsmodelle enthält. Der vorliegende Sammelband der Autoren gibt einen Überblick über die angesprochene Vielfalt der Orientierung und Ausrichtung von Evaluationsstudien. 21

4.1 Unterschiedliche Evaluationsverfahren: Ansätze, Modelle und Ebenen Die im Folgenden vorgenommene Systematisierung soll einen Überblick über verschiedene Evaluationsansätze, -verfahren und -ebenen geben. Es werden einerseits Begriffe gebraucht, die im Bereich der Evaluation generell zu finden sind andererseits findet eine Eingrenzung auf den Bereich der Evaluation im Feld der berufliche Bildung statt, die den Hintergrund des Berichtes bildet. 1 Einen ersten Ansatzpunkt für eine Ordnung der Vielfalt unterschiedlicher Interessen, Beurteilungsaspekte und Kontexte, die im Rahmen von Evaluationen gegeben sein können, bietet deren Systematisierung nach unterschiedlichen (sich zum Teil auch überschneidenden und ergänzenden) Funktionen. Tergan (Tergan 2000a: 23f.) nennt unter Bezugnahme auf Rowntree, der seine Differenzierung auf Evaluationen im Bildungsbereich bezieht, folgende: eine strategisch-politische Funktion, eine Kontrollfunktion und Entscheidungsfunktion und eine Erkenntnisfunktion von Evaluationen. Während die erste Funktion nach außen 2 gerichtet ist, impliziert die Kontroll- und Entscheidungsfunktion beispielsweise ein Vorgehen, das darauf abzielt, ein Bildungsangebot während der Entwicklung zu optimieren. Eine Erkenntnisfunktion ist z.b. gegeben, wenn die Evaluation zu Aussagen zu Effekten eines Bildungsmediums beiträgt. Weitere Funktionen ergeben sich nach Tergan im Hinblick auf unterschiedliche Verwertungsinteressen der Evaluationsergebnisse. Bezogen auf den Bildungsbereich kann eine Evaluation jedoch auch ausschließlich der Einschätzung der technischen bzw. der pädagogisch-didaktischen Qualität von Bildungsmedien dienen. Will/Winteler/Krapp unterscheiden zwischen einer 1 Einen ersten kurzen Überblick über die Evaluationsforschung am Beispiel des Bereichs berufliche Bildung geben Tergan 2000a und 2000b, außerdem Schenkel 2000 und Beywl 1999. 2 D.h. sie wendet sich beispielsweise an Bildungsträger oder die Öffentlichkeit, um den Nutzen eines neuen Bildungsangebots zu begründen. 22

Steuerungs- und Optimierungsfunktion, einer Bewertungs- und Beurteilungsfunktion und einer Kontroll- und Disziplinierungsfunktion(1987: 20ff., zit. nach Weber 1998: 29). Es lassen sich grundsätzlich folgende Ansätze bzw. Grundtypen von Evaluation abgrenzen: Von dem Ansatz der wissenschaftlichen Begleitforschung ist zunächst ein pragmatischer Evaluationsansatz (Tergan 2000a: 47ff.) zu unterscheiden. 1 Daneben gibt es Evaluationen, die sich in Abhängigkeit von dem Evaluationsgegenstand explizit an Theorien orientieren. 2 Baumgartner (1997: 132) beschreibt folgende (ideal-)typische Positionen, die eine Evaluation auszeichnen können: relativistische Position (auf Definitionen wird verzichtet, Unterschiede zwischen Theorie und Praxis werden hervorgehoben); quantitative bzw. eine Methodenposition (Evaluation besteht hier in der Beschränkung auf den Einsatz quantitativer (bzw. auch qualitativer) Methoden), pragmatische Position (Untersuchungen dienen dem Ziel, konkrete Verbesserungsvorschläge zu erarbeiten), Sozialforschungsposition (Evaluation als angewandte Sozialforschung) und schließlich eine Bewertungsposition. Zu welchem Zweck bzw. mit welchem Ziel wird die Evaluation eines Projekts durchgeführt? Damit werden unter anderem Fragen nach der Nutzung bzw. Rückkopplung der Ergebnisse in das Projekt angesprochen. 1 Vgl. auch Wulf (1975), der einer theoriegeleiteten Evaluation eine entwicklungs- bzw. praxisorientierte Evaluation gegenüberstellt. 2 In diesem Zusammenhang soll beispielhaft auf Evaluationsansätze verwiesen werden, die theoriegeleitet sind bzw. sich für die Evaluation bestimmter Inhalte auf theoretische Konzepte berufen: Zum einen der Ansatz einer theoriegeleiteten ganzheitlichen Evaluation (Schenkel 2000), die von Bewyl favorisierte responsive Evaluation (Beywl u.a. 1987 und 1988). Speziell auf den Bereich der Evaluation von Lern- und Lehrmedien bezogen, kann beispielhaft auf folgende theoretisch fundierte Ansätze verwiesen werden: auf den handlungstheoretischen Ansatz, der der subjektwissenschaftlichen Evaluation der logischen Rekonstruktion von Handlungen (Zimmer/ Psaralidis 2000) dient und auf die theorie-geleitete ganzheitliche Methode ELISE (Schott 2000). 23

Prototypen oder Modelle von Evaluation, zu denen sich häufig auftretende Typen von Evaluationen zusammenfassen lassen, sind das Helfer- oder auch Beratermodell und das Gutachtermodell (Tergan 2000a: 28). Daneben scheint eine Unterscheidung zwischen externer und interner Evaluation und die Differenzierung Selbst- und Fremdevaluation sinnvoll. An die Fragen nach den die Evaluation leitenden Interessen und dem gewählten Ansatz schließt sich die Frage an, wie die Evaluation anzulegen ist. Oftmals ist eine Ent-scheidung bereits durch die genannten Aspekte eingegrenzt, wenn nicht festgelegt. Es lassen sich prozessbegleitende Evaluationen, von solchen unterscheiden, die ein Produkt evaluieren: Man spricht auch von formativen oder summativen Evaluationen. Die formative Evaluation erstreckt sich über einen längeren Zeitraum etwa indem verschiedene Entwicklungsphasen eines zu evaluierenden Gegenstandes begleitet werden. Mit der Begleitung ist immer auch eine Intervention bzw. die Rückkopplung von Ergebnissen verbunden, die einer Optimierung dienen sollen. Man spricht daher auch von einer entwicklungsbegleitenden Evaluation oder Qualitätssicherung, die mit dem genannten Helfer- und Beratermodell korrespondiert. Demgegenüber ist die summative Evaluation als Querschnittsanalyse angelegt, der Evaluationsgegenstand wird als bereits vorhandenes Produkt analysiert. Tergan nennt hier aus dem Bereich der Evaluation eines Lernprogramms z.b. die Evaluation einer Vorversion, die unter anderem der Ermittlung von Schwachstellen dient. Hier ist die Nähe zum Gutachtermodell unübersehbar. Die summative Evaluation besitzt den Charakter einer Kontrolle der Qualität im genannten Beispiel von Tergan bleibend - beispielsweise der Evaluation der Endversion eines Lernprogramms mit dem Ziel, Wirkung und Nutzen eines Angebotes hinsichtlich einer Übereinstimmung mit den Erwartungen zu überprüfen (vgl. Tergan 2000a: 26). 24

4.2 Methoden der Evaluation Den unterschiedlichen Definitionen von Evaluation entsprechend, kommen bei der Durchführung von Evaluationen verschiedene methodische Verfahrensweisen zum Einsatz: Oftmals wird, gerade wenn bei der Definition die Nähe zwischen Evaluation und sozialwissenschaftlichem Erkenntnisinteresse hervorgehoben wird, auch deren Methodik übernommen. Welche methodischen Verfahren gewählt werden, hängt von dem jeweiligen Evaluationsgegenstand und den forschungsleitenden Fragestellungen ab. Grundsätzlich können folgende sozialwissenschaftlichen Methoden unterschieden werden: Dokumentenanalysen (z.b. inhaltsanalytische Verfahren), Befragungen, Beobachtungen/lautes Denken, Tests (Experimente). Neben den genannten methodischen Verfahren, finden sich für die Evaluation von E-Learning spezielle Methoden zur Beurteilung von bereits vorliegender Lern- oder Lehrsoftware. Zu nennen sind hier die unterschiedlichen Kriterienkataloge zur Qualitätsbeurteilung durch Experten. Im Folgenden werden zwei methodische Vorgehensweisen unterschieden: Methoden zur produktbezogenen Evaluation von Lernprogrammen und Methoden, die sich im Bereich der Erhebung von Informationen über komplexe Lernarrangements bzw. -situationen oder von ausgewählten Aspekten anbieten. 4.2.1 Evaluation nach Kriterienkatalogen Qualitätsbeurteilung von Lernprogrammen Eine Vielzahl von Kriterienkatalogen ist mit dem Ziel entwickelt worden, bei der Planung des Einsatzes von Lernprogrammen eine Hilfestellung (insbesondere auch für Laien ) für die Auswahl eines Produktes zu geben. Einen Überblick über gängige deutsch- und eng- 25

1 Die Darstellung orientiert sich an Tergan 2000b. 26 INBAS GmbH lischsprachige Kriterienkataloge und eine vergleichende Diskussion der Kriterien und Anwendungsmöglichkeiten gibt Meier (Meier 1995 u. 2000; Behrens 1999). Generell kann festgehalten werden, dass in den Katalogen Merkmale nach verschiedenen Kriterien zusammengestellt sind, die von der Person, die ein Programm prüft, hinsichtlich der Erfüllung bzw. Nicht-Erfüllung bewertet werden. Auf tabellarische Weise wird damit eine, einem Steckbrief vergleichbare, Einschätzung der Lernsoftware erarbeitet. Folgendes spricht für den Einsatz von Kriterienkatalogen bei der Evaluation: 1 Sie ermöglichen ein verkürztes Vorgehen und sind dadurch zeit- und kostensparend. Sie entbinden die Evaluatoren/innen von der Arbeit und Verantwortung für die Generierung eigener Evaluationsinstumente (Tergan 2000b: 147-148). Kriterienkataloge sensibilisieren Käufer/innen und Benutzer/innen von Lernsoftware hinsichtlich Anzahl und Komplexität der Beschreibungs- und Bewertungsaspekte. Kriterienkataloge vermitteln den Eindruck der leichten Handhabbarkeit. Kriterienkataloge vermitteln die Vorstellung eines vollständigen, objektiven und validen Bewertungsinstrumentariums (Tergan 2000c: 330). Kriterienkataloge können prinzipiell in allen Phasen des Prozesses der Qualitätssicherung eingesetzt werden. Um den Einsatz dieser Verfahren zu konkretisieren, werden hier die gängigsten Kriterienkataloge (nach Schenkel/Tergan/Lottmann (2000)) zur Qualitätsbeurteilung bzw. - sicherung kurz vorgestellt.

Evaluationen von Lernprogrammen auf der Basis von SODIS (SODIS = Software Dokumentations- und Informationssystem) erfolgen auf der Grundlage eines dem Bewertungsschema zugrundeliegenden konstruktivistischen Lernparadigmas. Als weiteres Kriterienraster ist das Experten-Beurteilungsverfahren bzw. die Evaluationsmethode ELISE als systematisches Verfahren zur ganzheitlichen theorieorientierten Bewertung von Lernsoftware (Schott 2000), zu nennen. Ähnlich wie bei SODIS werden hier an bestimmten Kriterien orientierte Aussagen zum Lernprogramm gesammelt. Eine systematische Bewertung von Einzelaspekten von Software-Merkmalen findet ähnlich wie bei SODIS nicht statt. Die eher offenen, qualitativ ausgerichteten Kriterienraster SODIS und ELISE versuchen instrumentelle Schwierigkeiten von eher starren Kriterienrastern insoweit zu umgehen, als (schulische) Expertinnen angehalten werden, im Rahmen eines offenen Rasters qualitative Bemerkungen zu einer Software vorzunehmen, die für den/die Nutzer/in nachvollziehbar sind, wenn er oder sie die Software selbst nutzt. (Korbmacher 2000: 218). Sie bieten sich aufgrund ihrer qualitativen Ausrichtung als Orientierungshilfe bei der Evaluation hinsichtlich der Vielzahl zu berücksichtigender Aspekte an. Dagegen erfolgt die Beurteilung bei den Kriterienrastern MEDA und AKAB anhand einzelner fest vorgegebener Kriterien (Tergan 2000c: 332). MEDA stellt ein in CD-ROM Version vorliegendes Beurteilungsinstrument für Software im Bereich Erwachsenenbildung bereit. Das Instrument ist hierarchisch strukturiert aufgebaut. Die Anwender/innen durchlaufen das Programm geführt oder können aus der vorgegebenen Struktur ein den spezifischen Fragen der Evaluation entsprechendes Raster (70 Bewertungsaspekte und 500 diesen Aspekten zugeordnete Fragen, die an die zu bewertende Software zu stellen sind) individuell zusammenstellen (Meier 2000). Auch bei dem Beurteilungsinstrument AKAB handelt es sich um einen elektronischen Kriterienkatalog. Der Katalog gliedert sich in 13 Kriteriengruppen, die sich wiederum in 74 Kriterien differenzieren, die der Bewertung der Lernsoftware dienen. 1 1 Nach Meier wurde der Kriterienkatalog zur Prüfung von Lernsoftware in der Automobilindustrie entwickelt. Die 13 Gruppen lauten: Kurzbeurteilung, Fachliche Beurteilung, Interaktion, Rückmeldung, Hilfen, Lernzielkontrollen, Motivation, Ablaufsteuerung, Dokumentation, Textgestaltung, Bildschirmgestaltung, Multimediaeinsatz, Inhalt (Meier 2000: 171). 27