Wie lässt sich Systemdenken messen?

Wie lässt sich Systemdenken messen? Darstellung eines empirisch validierten Kompetenzmodells zur Erfassung geographischer Systemkompetenz Rainer Mehren, Armin Rempfler, Eva M. Ulrich-Riedhammer, Janine Buchholz und Johannes Hartig Um Systemdenken als eine Schlüsselkategorie geographischen Denkens evidenzbasiert fördern zu können, bedarf es eines entsprechenden Mess- und Diagnoseinstruments. Ein solches wird hier vorgestellt. 1. Rahmung Systemdenken bzw. Systemkompetenz lässt sich beschreiben als die Fähigkeit, einen komplexen Wirklichkeitsbereich in seiner Organisation und seinem Verhalten als System zu erkennen, zu beschreiben und zu modellieren und auf der Basis dieser Modellierung Prognosen und Maßnahmen zur Systemnutzung und -regulation zu treffen (siehe z. B. Rempfler/Uphues 2010). Systemdenken stellt demnach eine metakognitive Strategie dar, welche die ihm zugesprochene Schlüsselfunktion als Hauptbasiskonzept des Schulfachs Geographie (DGfG 2014, 10) aber nur übernehmen kann, wenn eine theoretische und empirische Fundierung stattgefunden hat (vgl. Klieme/Leutner 2006). Gefragt ist letztlich ein Messinstrument, das sich als Basis für die Beurteilung und adäquate Förderung von Lernenden genauso eignet wie für die Evaluation methodisch-didaktischer Maßnahmen. Seine theoretische Verankerung findet ein solches Instrument in einem empirisch geprüften geographiedidaktischen bzw. kognitionspsychologischen Kompetenzmodell, das sowohl die Bin- nenstruktur einer Kompetenz (= Teilfähigkeiten bzw. Dimensionen) als auch die Niveaustufen differenziert darstellt. Den Ausgangspunkt der oben geforderten Fundierung bildete die Entwicklung eines normativ-bildungstheoretisch hergeleiteten Modells zur geographischen Systemkompetenz. Der Weg dazu und das Ergebnis wurden bereits an mehreren Stellen ausführlich dargelegt (Rempfler/ Uphues 2010; 2011.1, 2011.2, 2011.3; 2012). Die empirische Validierung des betreffenden Modells dauerte drei Jahre und lief in drei Phasen ab (Abb. 1). Eine umfassende Beschreibung dieses Validierungsprozesses liefern Mehren und Kollegen (2015.1, im Druck). Im vorliegenden Beitrag wird das empirisch überprüfte Kompetenzmodell zur geographischen Systemkompetenz das Resultat von Phase 3 (Abb. 1) vorgestellt. Daran anknüpfend wird anhand einer vollständig präsentierten Testaufgabe gezeigt, wie die Dimensionen und Stufen im Kompetenzmodell gemessen werden können. Darüber hinaus werden zwei weitere vollständige Testaufgaben online angeboten. 2. Methodik zur Bestimmung des Struktur- und Stufenmodells Parallel zur Aufgabenentwicklung in Phase 1 des Validierungsprozesses (Abb. 1) wurden die Lehrpläne und Schulbücher Bayerns einer Analyse unterzogen, um für den systemischen Zugriff geeignete Themen sowie Schnittmengen gemeinsamer Fachinhalte zwischen allen Schulformen der Zielstufe (9. Jahrgangsstufe; Haupt-, Realschule und Gymnasium) zu bestimmen. Als Ergebnis resultierte ein definitiver Aufgabenpool von 17 Testaufgaben mit insgesamt 147 Items (Tab. 1). In fachlicher Perspektive erfolgte eine ungefähre Drittelung zwischen reinen physio- bzw. humangeographischen Systemen und solchen, die schwerpunktmäßig ein Mensch- Umwelt-System repräsentieren. Eine vollständige Aufgabe setzt sich aus einem Aufgabenstamm und jeweils sieben bis zehn zu lösenden Items zusammen. Bei der Aufgabenkonstruktion wurden die Items je einer der drei Dimensionen Systemorganisation, Systemverhalten oder Systemadäquate Handlungsintention (s. u.) sowie einer von drei Kompetenzstufen zugeordnet. Die Zuordnung zu den Kompetenzstufen wird im Folgenden als Stufung bezeichnet. schwierigkeiten Abb. 1: Dreistufiges Vorgehen zur Validierung des Kompetenzmodells 2.1 Strukturmodell Die Ausgangslage für den in Abbildung 1 beschriebenen Validierungsprozess bildete ein dreidimensionales Kompetenzstrukturmodell mit den Dimensionen Systemorganisation, Systemverhalten und Systemadäquate Handlungsintention (Rempfler/Uphues 2011.2, 26). Um die Dimensionierung dieses theoretisch angenommenen Modells zu analysieren, wurden drei Item-Response-Modelle (zur Item-Response-Theorie IRT vgl. Embretson/ Reise 2000) mit unterschiedlicher Faktorstruktur geschätzt und hinsichtlich ihrer Passung anhand von Modellgüte-Maßen verglichen (hier dargestellt nur das Baye- 4

Ga&S, Heft 215 / 37. Jahrgang / 2015 Wie lässt sich Systemdenken messen? / Mehren et al. Themenbereich Titel Testaufgabe Anzahl Items Fachliche Perspektive Plattentektonik, Erdbeben, Vulkanismus Vesuv 10 Mensch-Umwelt-System Erdbeben in Japan 8 Mensch-Umwelt-System Oberrheingraben 8 Physiogeographisches System Tropen **Tropischer Regenwald 9 Mensch-Umwelt-System Passatkreislauf 9 Physiogeographisches System Globaler Süden, Wasserkreislauf und Bodenversalzung 8 Physiogeographisches System Entwicklungszusammenarbeit *Bevölkerungswachstum in Afrika 8 Humangeographisches System Städtische Siedlungsräume, Strukturwandel in München 7 Humangeographisches System Verstädterung Die US-amerikanische Stadt 9 Humangeographisches System Regen in der Stadt 9 Mensch-Umwelt-System Bevölkerung und Migration Migration 9 Humangeographisches System Klima und Energie Klimaerwärmung 8 Physiogeographisches System Stauseen in den Alpen 9 Mensch-Umwelt-System **Land-/Seewind 8 Physiogeographisches System Globalisierung Bananenhandel 10 Humangeographisches System Globalisierung des Reisens 9 Humangeographisches System Globaler Textilhandel 9 Humangeographisches System Total 17 Testaufgaben 147 Items Tab. 1: Übersicht über die 17 Testaufgaben Anmerkungen: * Diese Aufgabe wird in den Kästen 1 und 2 vollständig dargestellt. **Diese Aufgaben stehen in der Online-Ergänzungen zur Verfügung. sian Information Criterion, BIC; s. Abb. 2). Die drei Modelle repräsentieren theoretische Annahmen über die Zuordnung von Items zu Dimensionen und unterscheiden sich folglich in Anzahl und Bedeutung der Dimensionen. Für das eindimensionale Modell (1D) wurde ein einziger Faktor angenommen, auf dem alle Items gleichermaßen laden. Er repräsentiert somit einen Generalfaktor geographischer Systemkompetenz, und es werden keine Subdimensionen unterschieden. Theoretische Überlegungen und empirische Erkenntnisse stützen allerdings stärker ein mehrdimensionales Modell (zur ausführlichen Argumentation s. Rempfl Uphues 2011.1, 2011.2). Entsprechend refl - tiert Modell 3D die drei angenommenen Dimensionen des Kompetenzmodells, die der Itemkonstruktion zugrunde liegen (Systemorganisation, Systemverhalten, Systemadäquate Handlungsintention). In einem dritten Modell (2D) wurden die theoretischen Dimensionen Systemorganisation & -verhalten zusammengefasst, sodass ein zweidimensionales Modell resultiert. Es berücksichtigt den Hinweis diverser Autoren, wonach die Handlungsintention grundsätzlich von einem Wissen über Systemorganisation und -verhalten zu unterscheiden ist (Köck 1985, 2004; Lecher 1997; Ossimitz2000;Rostetal.2003;Rieß/Mischo2008; Frischknecht-Tobler et al. 2008). Es entspricht zudem eigenen Erfahrungen bei der Aufgabenentwicklung und einer Expertenvalidierung, die gezeigt haben, wie schwierig es oft ist, Items eindeutig den Dimensionen Systemorganisation beziehungsweise Systemverhalten zuzuordnen. Modell Anzahl der geschätzten Parameter BIC (Bayesian Information Criterion) 1D 217 47015.34 3D 222 47020.8 2D 219 47010.68 Abb. 2: Vergleich von drei Item-Response-Modellvarianten Anmerkungen: BIC (Bayesian Information Criterion) = Anpassungsgüte des geschätzten Modells an die vorliegenden empirischen Daten unter Berücksichtigung der Modellkomplexität, d. h. der Anzahl der Modellparameter (je niedriger der BIC-Wert, desto besser) O, V und H = Anzahl Items, welche theoretisch der Systemorganisation bzw. dem Systemverhalten bzw. der Systemadäquaten Handlungsintention zugeordnet wurden ρ = latente Korrelation der Dimensionen 2.2 Stufenmodell Aus der IRT-Skalierung, das heißt der Modellierung der Daten im Rahmen der Item Response Theorie, resultieren Schätzungen der empirischen Personenfähigkeiten sowie der Itemschwierigkeiten auf einer gemeinsamen Skala, wobei der Fokus in den nachfolgenden Ausführungen auf der Betrachtung der Itemschwierig- Systemorganisation Systemkompetenz Systemverhalten Systemorganisation und -verhalten H 1 H 1... H 5 Handlungsintention Handlungsintention keiten liegt. Die Skala der Itemschwierigkeiten und Personenfähigkeiten liegt in einem Wertebereich von etwa 3 bis + 3, wobei der Wert 0 die durchschnittliche Personenfähigkeit beschreibt. Negative Werte der Schwierigkeit zeigen an, dass das Item leichter war als die durchschnittliche Personenfähigkeit, während positive Werte schwierige Items anzeigen. 5

Kompetenzdimensionen Kompetenzstufen Dimension 1: Systemische Struktur, Grenze, Emergenz, Interaktion und Dynamik Dimension 2: Systemadäquate Handlungsintention Systemische Prognose und Regulation Komplexen Realitätsbereich in seiner Organisation als System identifizieren sowie dessen Funktionen und Verhaltensweisen analysieren (Wissenserwerb) Im Mentalraum systemadäquat handeln (Wissensanwendung mental) Stufe 1 Schüler identifiziert eine niedrige Anzahl an Elementen und Relationen überwiegend isoliert oder monokausal und als vage abgrenzbaren Beziehungszusammenhang. Seine Analyse monokausaler Entwicklungsverläufe basiert auf einem schwach entwickelten Funktions- und Prozessverständnis. Schüler entwickelt bei einer niedrigen Anzahl an Elementen und Relationen Prognosen und regulative Maßnahmen aufgrund monokausaler Wirkungsanalyse, vager Antizipation der Wirkung und schwach ausgeprägter Komplexitätsreduktion. Stufe 2 Stufe 3 Schüler identifiziert eine mittlere Anzahl an Elementen und Relationen überwiegend linear und als mäßig abgrenzbaren Beziehungszusammenhang. Seine Analyse linearer Entwicklungsverläufe basiert auf dem Verständnis von Wechselbeziehungen, Reihen- und Parallelkopplungen sowie einfachen Haushaltsbeziehungen. Schüler identifiziert eine hohe Anzahl an Elementen und Relationen überwiegend komplex und als eindeutig abgrenzbaren Beziehungszusammenhang sowie als Teil verschachtelter Systeme. Seine Analyse linearer und nicht linearer Entwicklungsverläufe basiert auf dem Verständnis von Rückkopplungen und Kreisläufen sowie anspruchsvollen Haushaltsbeziehungen, Irreversibilität und Emergenz. Schüler entwickelt bei einer mittleren Anzahl an Elementen und Relationen Prognosen und regulative Maßnahmen aufgrund linearer Wirkungsanalyse, Antizipation der Wirkung und mäßig ausgeprägter Komplexitätsreduktion. Schüler entwickelt bei einer hohen Anzahl an Elementen und Relationen Prognosen und regulative Maßnahmen aufgrund komplexer Wirkungsanalyse, Antizipation der Wirkung und stark ausgeprägter Komplexitätsreduktion sowie mit dem Bewusstsein eingeschränkter Vorhersagbarkeit. Tab. 2: Empirisch überprüftes Kompetenzstruktur- und -stufenmodell zur geographischen Systemkompetenz Für zweistufige Items ( richtig, falsch ; z. B. Multiple-Choice Items) resultiert die Schätzung genau einer Itemschwierigkeit. Sie gibt die Personenfähigkeit an, die notwendig ist, um dieses Item mit einer Wahrscheinlichkeit von 50 % zu lösen, also den Punktwert 1 ( richtig ) zu erreichen. Für mehrstufige Items (z. B. offene Textaufgaben) hingegen wird je eine Schwierigkeit pro zu erreichendem Punktwert geschätzt: Ein Item, das auf den Stufen falsch, teilweise richtig und komplett richtig bewertet wurde, resultiert folglich in der Schätzung von zwei Schwierigkeiten: eine, die sich auf das Erreichen der teilweise richtigen Lösung bezieht und eine, die die Schwierigkeit einer komplett richtigen Lösung anzeigt. Zur Überprüfung des Stufenmodells wurden die im Kompetenzmodell erwarteten Itemschwierigkeiten in Bezug zu den empirischen Schwierigkeiten gesetzt. Die aus diesem Modell resultierenden Itemschwierigkeiten wurden in einer Regressionsanalyse auf manifester Ebene durch die theoretisch angenommene Stufung (erwartete Schwierigkeit) der Items vorherzusagen versucht (vgl. Hartig et al. 2012). Da es sich um ein mehrdimensio- nales Modell handelt, wurde für jede der beiden Dimensionen eine separate Regression durchgeführt. Bei der theoretisch angenommenen Stufung handelt es sich um eine ordinal skalierte, dreistufige Variable. Die Regression wurde daher so spezifiziert, dass drei Regressionskoeffizienten b resultieren, die die durchschnittliche Schwierigkeit für Stufe 1, die Differenz der Stufen 1 und 2 sowie die Differenz der Stufen 1 und 3 angeben (vgl. Tab. 3). Als Kriterium zur Beurteilung der Vorhersagegüte wird der Determinationskoeffizient R² herangezogen. Der Koeffizient zeigt den durch die theoretisch Dimension: 1 Dimension: 2 4 3 Empirische Itemschwierigkeit 2 0 2 Empirische Itemschwierigkeit 2 1 0 1 2 1 2 Stufung 3 1 2 Stufung 3 Abb. 3: Zusammenhang zwischen angenommener Stufung und empirischer Itemschwierigkeit für alle Items der Dimension 1 (Systemorganisation und Systemverhalten; links) und Dimension 2 (Systemadäquate Handlungsintention; rechts) 6

Ga&S, Heft 215 / 37. Jahrgang / 2015 Wie lässt sich Systemdenken messen? / Mehren et al. angenommene Stufung erklärten Varianzanteil in den empirischen Itemschwierigkeiten an, und ein möglichst hoher Wert wird angestrebt. 3. Ergebnisse 3.1 Empirisch validiertes Strukturund Stufenmodell zur geographischen Systemkompetenz Das 2D-Modell weist bezogen auf das BIC-Modellgütekriterium eine bessere Passung auf als das eindimensionale und dreidimensionale Modell (siehe Abb. 2; zu weiteren statistischen Merkmalen s. Mehren et al. 2015.2, in Vorb.). Anhand der Analysen zur Modellgüte sowie weiteren inhaltlichen Überlegungen (vgl. 2.1) wird daher ein zweidimensionales Faktormodell der geographischen Systemkompetenz angenommen, in welchem die Teilkompetenz von einer Teilkompetenz zur Systemadäquaten Handlungsintention zu unterscheiden ist (Tab. 2). 3.2 Ergebnisse zur Vorhersage der empirischen Itemschwierigkeiten Abbildung 3 zeigt die Streudiagramme für den Zusammenhang zwischen angenommener Stufung und empirischer Itemschwierigkeit für die Items der jeweiligen Dimension an. Ein positiver Zusammenhang ist erkennbar: Je höher die angenommene Stufung des Items, desto höher ist die durch das Modell geschätzte Itemschwierigkeit. Tabelle 3 gibt die Ergebnisse der Regression zur Vorhersage der empirischen Itemschwierigkeiten auf Basis der angenommenen Stufung wieder. Demnach können knapp 30 % der Varianz in den Schwierigkeiten der Items, die die erste Dimension (Systemorganisation und -verhalten) messen, durch die angenommene Stufung erklärt werden. Für Dimension 2 (Systemadäquate Handlungsintention) beträgt der Wert sogar 59 %. Dieser differentielle Befund stärkt die zweidimensionale Struktur, die den Analysen zugrunde liegt. Die Regressionskoeffizienten geben die vorhergesagten Schwierigkeiten wieder: Für Dimension 1 beträgt die mittlere vorhergesagte Schwierigkeit für Items der Stufe 1 demnach 0,778. Für Items der Stufe 2 wird eine Schwierigkeit von ( 0,778 + 0,857 =) 0,079 vorhergesagt, für Items der Stufe 3 beträgt die vorhergesagte Schwierigkeit ( 0,778 + 1,791 =) 1,013. Die vorhergesagten Schwierigkeiten für Dimension 2 betragen 0,702 (Stufe 1), 0,002 (Stufe 2) und 1,582 (Stufe 3). Dimension R 2 Regressionskoeffizienten Tab. 3: Ergebnisse der Regression zur Vorhersage der empirischen Itemschwierigkeiten Empirische Itemschwierigkeit 2 1 0 1 2 3 5_2 2_2 Abb. 4: Zusammenhang zwischen angenommener Stufung und empirischer Itemschwierigkeit für die Items des Aufgabenstamms Bevölkerungswachstum in Afrika (vgl. Kasten 2). Die Beschriftung bezeichnet das Item sowie, ggf., den entsprechenden Punktwert mehrstufiger Items. 3.3 Beispielhafte Erläuterung am Aufgabenstamm Bevölkerungswachstum in Afrika Abbildung 4 zeigt den Zusammenhang zwischen angenommener Stufung und empirischer Itemschwierigkeit für die Items des Aufgabenstamms Bevölkerungswachstum in Afrika (vgl. Kasten 1 und 2). Die Punktewolke entspricht einer Teilmenge der Fälle aus den Diagrammen in Abbildung 3. Allerdings wurde hier nicht nach Dimensionen unterschieden, da Dimension 2 nur ein Item zugeordnet wurde (Item 8 mit den Stufen 1 und 2). Auch hier zeigt sich ein positiver Zusammenhang, das heißt, dass diejenigen Items und Stufen, die laut Kompetenzmodell schwieriger sein sollten, sich tatsächlich als schwieriger erwiesen. Dieser Zusammenhang ist nicht perfekt. Beispielsweise wurde für Item 1 die höchste Schwierigkeit (Stufe 3) angenommen, tatsächlich erwies es sich jedoch als einfacher im Vergleich zu anderen Items, 5_3 7_3 5_1 8_2 7 2 6 3 8_1 4_3 6_2 7_1 3 1 6_1 2_1 4_1 4_2 1 2 Stufung b t p 1 0,298 Schwierigkeit Stufe 1 0,778 5,591 < 0,001 Schwierigkeit (Stufe 1 Stufe 2) 0,857 4,803 < 0,001 Schwierigkeit (Stufe 1 Stufe 3) 1,791 8,484 < 0,001 2 0,594 Schwierigkeit Stufe 1 0,702 2,720 0,010 Schwierigkeit (Stufe 1 Stufe 2) 0,700 2,306 0,027 Schwierigkeit (Stufe 1 Stufe 3) 2,284 6,850 < 0,001 3 für die eine niedrigere Schwierigkeit angenommen wurde (bspw. Item 6 mit Stufe 2). Dennoch ist über alle Items hinweg ein positiver Trend erkennbar. Eine Einordnung von Abbildung 4 in Abbildung 3 verdeutlicht, dass die Items zum Aufgabenstamm Bevölkerungswachstum in Afrika verglichen mit den anderen Testaufgaben (Tab. 1) insgesamt eher einfach bis mittelschwierig sind, was Dimension 1 betrifft. Die beiden Teil-Items zur Dimension 2 (Item 8 mit den Stufen 1 und 2) bewegen sich hingegen im mittleren bis oberen Bereich der Schwierigkeit. 4. Messinstrument zur Erfassung der Dimensionen und Stufen am Beispiel eines ausgewählten Aufgabenstamms Kasten 1 zeigt den Aufgabenstamm zum Bevölkerungswachstum in Afrika, welcher als Beispiel für ein Sozialsystem steht. Um den gut belegten Einfluss des fachlichen (Vor-)Wissens bei der Systemkompetenzmessung zu minimieren 7

Bevölkerungswachstum in Afrika Einer von mehreren Faktoren für die schlechte wirtschaftliche Situation in zahlreichen Ländern Afrikas ist das hohe Bevölkerungswachstum. Abbildung K1 verdeutlicht wesentliche Ursachen des Bevölkerungswachstums, die allgemein für Entwicklungsländer gelten. Abbildung K2 zeigt, wie sich das hohe Bevölkerungswachstum auswirkt. Bevölkerung in Milliarden 12 10 8 6 4 2 ungewollte Geburten Wunsch nach mehr als 2 Kindern Altersstruktureffekt 1995 0 1900 1950 2000 2050 2100 10,2 8,3 7,3 4,5 Erklärungen Häufig verbietet die Religion Verhütungsmittel, oder den Menschen fehlt das Geld, um welche zu kaufen. Außerdem kann man Menschen mit geringer Bildung kaum über Verhütung aufklären. Die Folge sind viele ungewollte Geburten. Um im Alter versorgt zu sein, brauchen Eltern mehr als zwei Kinder, die arbeiten. Da es in Entwicklungsländern keine Altersversicherung gibt, sind die Eltern später auf die Fürsorge ihrer Kinder angewiesen. Dank Medikamenten und Nahrungsspenden aus den Industrieländern steigt in den Entwicklungsländern die Lebenserwartung und die Kindersterblichkeit sinkt. Folglich gibt es mehr ältere Menschen sowie junge Eltern, die Kinder haben. Wenn durch beides die Bevölkerung wächst, spricht man von einem Altersstruktureffekt. Abb. K1: Ursachen des Bevölkerungswachstums in Entwicklungsländern Quelle: nach John Bongaarts, Population policy options in the developing world, Science 263, 1994 Bevölkerungswachstum auf dem Land Landwirtschaftliche Nutzflächen Überbevölkerung landesweit Zahl der Geburten Nahrung und Wasser Nachfrage nach Arbeit Zahl der Arbeitsplätze Bildung von Armenvierteln (Slums) Arbeitslosigkeit in der Stadt Arbeitslosigkeit auf dem Land Abwanderung Bevölkerungswachstum in der Stadt Bildungschancen Hunger Analphabetismus* Leistungsfähigkeit Berufliche Qualifikation Verstädterung *Analphabetismus = Schwäche im Lesen und/oder Schreiben bis hin zu komplettem Unvermögen dazu. Abb. K2: Auswirkungen des Bevölkerungswachstums auf Armut und Hunger Kasten 1: Aufgabenstamm zum Bevölkerungswachstum in Afrika (vgl. Süß 1996, Sommer 2005, Rempfler 2010), wurden alle für die Lösung der Items relevanten Informationen im Aufgabenstamm vorgegeben (im Umfang von ca. einer A4-Seite). Unter Berücksichtigung der Cognitive-Load-Theorie (u.a. Sweller 2005) wurden überflüssige und irrelevante Informationen so gut wie möglich vermieden und auf eine sorgfältige Abstimmung 8 zwischen Text- und Grafik- bzw. Kartenelementen geachtet. Ein nicht zu unterschätzendes Dilemma dabei war, dass der Aufgabenstamm trotz beschränktem Platz einen gewissen Komplexitätsgrad aufweisen musste, um sich überhaupt für die Testung von Systemkompetenz zu eignen, gleichwohl aber die Lehrpläne und Schulbuchinhalte zu berücksichtigen hatte. Kasten 2 (s. S. 10 ff.) gibt die acht Items wieder, die an den Aufgabenstamm Bevölkerungswachstum in Afrika gekoppelt sind. Die Items werden in der Form präsentiert, wie sie den Probanden im Rahmen der Hauptstudie (Phase 3, siehe Abb. 1) vorgelegt wurden. Bei dieser Testaufgabe liegen pro Item jeweils ca. 200 bis 220 Antworten von Probanden vor (vgl. Pro-

Ga&S, Heft 215 / 37. Jahrgang / 2015 Wie lässt sich Systemdenken messen? / Mehren et al. Pfeilketten (ke): jede Abfolge von mind. 3 Pfeilen, die in die gleiche Richtung laufen (Fokus liegt auf den Pfeilen bzw. Relationen) = 1 ke Verzweigungen (vz) (konvergent und divergent): wenn zu einem Knoten mind. 2 Pfeile hinführen oder wegführen (Fokus liegt auf den Knoten) konvergent = 1 vz = divergent mehr als 2 Pfeile zu Knoten hin- oder wegführend =1 vz Konvergenz und Divergenz (k + d) am gleichen Knoten =2 vz Verzweigung steht über Pfeilkette, d. h. eine Relation, die als vz zählt, wird nicht auch als ke gerechnet. Kreisläufe (kr): alle geschlossenen Ketten von Pfeilen; der kleinste Kreislauf ist eine einfache Rückkopplung. = 1 kr = 1 kr Zahl der im Kreislauf mit einbezogenen Knoten und Relationen je 2=1 kr Kreislauf zählt nur, wenn alle Pfeile in gleiche Richtung laufen. Kreislauf steht über Verzweigung steht über Pfeilkette. Kasten 3: Kodieranleitung zur Bestimmung des Strukturindexes (sx) zentwerte in Klammern, die sich hierauf beziehen). Dies hängt damit zusammen, dass den insgesamt 1926 Schülerinnen und Schülern aus Gründen der Belastbarkeit nicht alle Aufgaben vorgelegt werden konnten. Vielmehr erhielt jeder Schüler nach dem Zufallsprinzip eines von 17 Testheften mit je zwei Testaufgaben. Indem die Testhefte mit unterschiedlichen Aufgaben untereinander verbunden waren, konnten dennoch mittels Verfahren der probabilistischen Testtheorie (IRT-Modellierung) Messwerte berechnet werden (= Multi-Matrix-Design, vgl. Frey et al. 2009). Anschließend an die eigentliche Aufgabenstellung werden je Item der Erwar- = 1 ke = 1 vz (konvergent) = 1 vz (divergent) = Pfeil nicht verwendbar für ke, da weitere Pfeile bereits als vz zählen. Summe total =2vz = zählt als ein Pfeil, falls inhaltlich plausibel 1 kr (die Pfeilrichtung bestimmt der Auswerter) = 1 kr = zählt (zusätzlich zu kr) als 1 vz (divergent) = zählt (zusätzlich zu kr) als 1 vz (konvegent), aber nicht auch als ke Summe total =1 kr +2 vz Quelle: Rempfler 2010, verändert nach Bollmann-Zuberbühler 2008, Ossimitz 2000 tungshorizont, die Modellzuordnung (Kompetenzdimensionierung und -stufung), die Kodierungsregeln sowie die empirische Itemschwierigkeit dargelegt. Die Zuordnung der Items zu den Stufen basiert zunächst auf der ursprünglich angenommenen Stufung. Diese wurde jedoch bei einzelnen Items auf Basis der empirischen Schwierigkeiten revidiert, wenn sich post hoc eine plausible Erklärung für die Abweichungen von der angenommenen Stufung fand (= finale Kompetenzstufung). Diese Angaben zusammen mit den en sollen es ermöglichen, das Kompetenzmodell in seiner Dimensionierung und Stufung (Tab. 2) differenziert zu verstehen. Auch wenn es sich bei den vorliegenden Aufgabenstellungen primär um ein Diagnose- und nicht ein Förderinstrument handelt, eignen sie sich nach Meinung der Verfasser auch gut, um konkretere Vorstellungen über die Kernideen des Systemdenkens zu entwickeln. Mit Blick auf die Fördermöglichkeiten zum Systemdenken sei vorläufig auf die Items 6 und 7 verwiesen. Concept-Map-Techniken als grafische Repräsentation vernetzter Zusammenhänge tragen nachhaltig zur Verbesserung der systemischen Denkfähigkeit bei (vgl. Beitrag Mehren in diesem Heft sowie Mehren et al. 2014; Rempfler 2010). Vor allem das Antwortbeispiel eines Probanden zu Item 7 und die Kodieranleitung zur Bestimmung des Strukturindexes (Kasten 3) mögen verdeutlichen, wie sich Concept Maps quantifizieren und auf das vorliegende Kompetenzmodell beziehen lassen. n Literatur Bollmann-Zuberbühler, B. (2008): Lernwirksamkeitsstudie zum systemischen Denken an der Sekundarstufe I. In: Frischknecht-Tobler, U./Nagel, U./Seybold, H. (Hrsg.): Systemdenken. Wie Kinder und Jugendliche komplexe Systeme verstehen lernen. Zürich, 99 118. DGfG Deutsche Gesellschaft für Geographie (Hrsg., 8 2014): Bildungsstandards im Fach Geographie für den Mittleren Schulabschluss mit Aufgabenbeispielen. Bonn. Embretson, S. E./Reise, S. (2000): Item response theory for psychologists. Mahwah, NJ: Erlbaum Publishers. Frey, A./Hartig, J./Rupp, A. (2009): Booklet design in large-scale assessments of student achievement: theory and practice. In: Educational Measurement: Issues and Practice 28 (3), 39 53. Frischknecht-Tobler, U./Kunz, P./Nagel, U. (2008): Systemdenken Begriffe, Konzepte und Definitionen. In: Frischknecht-Tobler, U./ Nagel, U./Seybold, H. (Hrsg.): Systemdenken. Wie Kinder und Jugendliche komplexe Systeme verstehen lernen, 11 31. Hartig, J./Frey, A./Nold, G./Klieme, E. (2012): An Application of Explanatory Item Response Modeling for Model-Based Proficiency Scaling. Educational and Psychological Measurement, 72 (4), 665 686. Klieme, E./Leutner, D. (2006): Kompetenzmodelle zur Erfassung individueller Lernergebnisse und zur Bilanzierung von Bildungsprozessen. Überarbeitete Fassung des Antrags an die DFG auf Einrichtung eines Schwerpunktprogramms. Frankfurt a. M. Köck, H. (1985): Systemdenken geographiedidaktische Qualifi und unterrichtliches Prinzip. In: Geographie und Schule 7/33, 15 19. Köck, H. (2004): Typen und Kategorien der Raummanifestation. In: Köck, H./Rempfler A. 9

Item 1 Wie sich ein hohes Bevölkerungswachstum auf dem Land weiter auswirken kann, zeigt die rot markierte Pfeilkette in Abbildung K2 (vgl. Kasten 1, Aufgabenstamm). Unterstreiche im folgenden Text jeweils das passende Wort in der Klammer. Ein hohes Bevölkerungswachstum auf dem Land führt zu einer [größeren/kleineren] 1 Nachfrage nach Arbeit. Dies [erhöht/vermindert] 2 die Zahl an freien Arbeitsplätzen, was wiederum die Zahl der Arbeitslosen auf dem Land [vergrößert/verkleinert] 3. Schließlich führt dies zu [mehr/weniger] 4 Armut und Hunger. Die Bildungschancen werden dadurch [erhöht/vermindert] 5, was wiederum die Zahl der Geburten [ansteigen/sinken] 6 lässt. Letztlich [erhöht/vermindert] 7 dies das weitere Bevölkerungswachstum auf dem Land. Erwartungshorizont Item 1 Richtig = 1größeren 2vermindert 3vergrößert 4mehr 5vermindert 6ansteigen 7erhöht Kompetenzdimensionierung Dimension 1: Angenommene Kompetenzstufung (vgl. Tab. 2) 3 Finale Kompetenzstufung 2 Kodierung Lückentext mit vorgegebener Wortauswahl: Keine oder nicht alle richtig Stufe 0 (36,8 %) Vollständig richtig Stufe 3 (63,2 %) Empirische Itemschwierigkeit (vgl. Abb. 4) Stufe 3 = 0,67 ( einfachstes Item der Stufe 3) Systemstrukturen bestehen aus Elementen und dazwischen liegenden Relationen. Diese können isoliert erkannt und vorwiegend monokausal miteinander verknüpft werden. Eine Steigerung besteht darin, dass eine größere Zahl an Elementen und Relationen in längeren Ketten (linear, als sog. Reihenkopplungen) gedacht werden. Ist eine solche Gedankenkette in sich geschlossen, besteht ein Kreislauf (Rückkopplung), wie beim vorliegenden Beispiel. Es handelt sich um ein Item unterdurchschnittlicher Schwierigkeit, insbesondere unter Berücksichtigung der angenommenen Zuordnung zu Stufe 3. Die hohe Zahl vollständig richtiger Lösungen dürfte damit zu erklären sein, dass der Wortlaut für die zu erkennende Rückkopplungsschleife bereits vorformuliert war. Deshalb ist das Item für die Probanden einfacher als erwartet. Die angenommene Stufung 3 ist entsprechend um ein Niveau zu korrigieren, sodass mit der vollständig richtigen Antwort lediglich Stufe 2 erreicht wird. Item 2 Wie Abbildung K2 (vgl. Kasten 1, Aufgabenstamm) zeigt, gibt es aufgrund geringer Bildungschancen viele Menschen, die kaum lesen und schreiben können (= Analphabetismus). Welche der Aussagen ist deiner Meinung nach am besten begründet? Bitte nur eine Aussage ankreuzen. A Analphabetismus hat keinen Einfluss auf die Arbeitslosigkeit, da sie die Leistungsfähigkeit und die berufliche Qualifikation nicht vermindert. Somit besteht zwischen den Bildungschancen und der Arbeitslosigkeit kein Zusammenhang. B Analphabetismus hat einen Einfluss auf die Arbeitslosigkeit, da Menschen mit guter Ausbildung gegenüber Analphabeten bevorzugt werden. Arbeitgeber sind in erster Linie daran interessiert, qualifizierte Personen anzustellen. C Analphabetismus hat einen Einfluss auf die Arbeitslosigkeit, da Menschen mit Lese- und Schreibschwäche oft auch sonst nicht gut ausgebildet sind. Sie haben deshalb Mühe, einen der begrenzt vorhandenen Arbeitsplätze zu finden. D Analphabetismus hat keinen Einfluss auf die Arbeitslosigkeit, da Lesen und Schreiben in einer Zusatzausbildung gelernt werden kann. Somit haben alle Menschen die gleiche Chance auf einen der begrenzt vorhandenen Arbeitsplätze. Erwartungshorizont Item 2 Teilweise richtig = B Vollständig richtig = C Kompetenzdimensionierung Dimension 1: Angenommene Kompetenzstufung (vgl. Tab. 2) 1 bis 2 Finale Kompetenzstufung 1 bis 2 Kodierung Einfachwahl mit gestuftem Antwortformat: A, D = keine plausible Begründung Stufe 0 (9,4%) B = monokausale Begründung Stufe 1 (56,5%) C = lineare Begründung Stufe 2 (34,1%) Kasten 2: Aufgabenstellung, Erwartungshorizont, Modellzuordnung, Kodierung und empirische Itemschwierigkeit der Items 1 bis 8 (Prozentwerte in Klammern = relative Antworthäufigkeit der Probanden) 10

Ga&S, Heft 215 / 37. Jahrgang / 2015 Wie lässt sich Systemdenken messen? / Mehren et al. Empirische Itemschwierigkeit (vgl. Abb. 4) Stufe 1 = 2,27 ( eines der einfacheren Teil-Items der Stufe 1) Stufe 2 = + 0,62 ( eines der schwierigeren Teil-Items der Stufe 2) Vorliegend geht es wie bei Item 1 um das Erkennen monokausaler bzw. linearer Systemstrukturen. Antwort B geht in verkürzter (monokausaler) Weise davon aus, dass Analphabeten per se auch schlecht ausgebildet sind. Antwort C klärt zunächst die Relation zwischen Analphabetismus und schlechter Ausbildung und stellt erst dann den Bezug zum Arbeitsmarkt her. Es handelt sich um ein Item mit breiter Streuung, von unter- bis eher überdurchschnittlicher Schwierigkeit. Eine Erklärung für den empirisch deutlich belegten Sprung von Stufe 1 zu Stufe 2 kann in der Schwierigkeit der Probanden im Umgang mit unterschiedlicher Begründungsqualität liegen (s. auch Item 8). An der angenommenen Stufung lässt sich festhalten. Item 3 Eine der folgenden Aussagen tritt in Kenia gemäß Abbildung K2 (vgl. Kasten 1, Aufgabenstamm) am wahrscheinlichsten ein, alle anderen sind wenig wahrscheinlich. Bitte nur eine Aussage ankreuzen. Angenommen, die Bevölkerung in Kenia wächst auf dem Land stark. Die Zahl der Arbeitslosen wird demnach mit großer Wahrscheinlichkeit A auf dem Land gleich bleiben. B nur auf dem Land ansteigen. C in ganz Kenia gleich bleiben. D in ganz Kenia ansteigen. E in den Städten gleich bleiben. F nur in den Städten ansteigen. Erwartungshorizont Item 3 Richtig = D Kompetenzdimensionierung Dimension 1: Angenommene Kompetenzstufung (vgl. Tab. 2) 2 Finale Kompetenzstufung 2 Kodierung Nur Einfachwahl möglich: Falsch Stufe 0 (38,6 %) Richtig Stufe 2 (61,4 %) Empirische Itemschwierigkeit (vgl. Abb. 4) Stufe 2 = -0,57 ( leichtes bis mittelschwieriges Item der Stufe 2) Systemverhalten bedeutet im Wesentlichen Veränderung eines Systems entlang der Zeitachse. Retrospektive Was wäre wenn -Fragen zielen auf das Erkennen solcher Veränderungen. Retrospektiv ist die vorliegende Aufgabenstellung deshalb, weil das System die Veränderung bereits vollzogen hat. Die richtige Antwort bedingt eine lineare Gedankenkette: Bevölkerungswachstum auf dem Land erhöhte Nachfrage nach Arbeit gesteigerte Arbeitslosigkeit auf dem Land Abwanderung in die Stadt, verbunden mit dortiger Erhöhung der Arbeitslosigkeit. Es handelt sich um ein Item leicht unterdurchschnittlicher Schwierigkeit. Vergleicht man die Zuordnung mit weiteren Teil-Items (z. B. 6_2), kann an der angenommenen Stufung festgehalten werden. Item 4 Angenommen, in einem Dorf auf dem Land in Kenia leben 7.000 Menschen, wovon 3.000 arbeitsfähig sind. Allerdings gibt es im Dorf nur Arbeit für 1.000 Menschen. Deshalb verlassen 1.000 Bewohner das Dorf und ziehen in ein Armenviertel nach Nairobi (Kenias Hauptstadt). Sie hoffen, dort Arbeit zu finden. Im Armenviertel leben bereits 10.000 arbeitsfähige Menschen und genauso viele Arbeitsplätze gibt es auch. Welche Folgen ergeben sich daraus? Umkreise für jede Aussage ein Ja oder ein Nein. A Im Dorf hat es nun 1.000 Arbeitsplätze zu viel. Ja/Nein B In Nairobi hat es nun 1.000 Arbeitsplätze zu viel. Ja/Nein C In Nairobi und im Dorf hat es nun je 1.000 Arbeitsplätze zu wenig. Ja/Nein D In Nairobi und im Dorf hat es nun je 2.000 Arbeitsplätze zu wenig. Ja/Nein Kasten 2 (Fortsetzung) 11

Erwartungshorizont Item 4 Richtig = A: Nein, B: Nein, C: Ja, D: Nein Kompetenzdimensionierung Dimension 1: Angenommene Kompetenzstufung (vgl. Tab. 2) 1 bis 3 Finale Kompetenzstufung 1 bis 2 Kodierung Erzwungene Mehrfachwahl: keine richtige Antwort Stufe 0 (2,7%) 1 richtige Antwort Stufe 1 (9,4%) 2 bis 3 richtige Antworten Stufe 2 (37,2%) 4 richtige Antworten Stufe 3 (50,7 %) Empirische Itemschwierigkeit (vgl. Abb. 4) Stufe 1 = 2,57 ( einfachstes Teil-Item der Stufe 1) Stufe 2 = 1,60 ( einfachstes Teil-Item der Stufe 2) Stufe 3 = 0,12 ( eines der einfacheren Teil-Items der Stufe 3) Haushaltsbeziehungen kennzeichnen die Interaktion innerhalb von oder zwischen Systemen. Die vorliegende Stufung berücksichtigt das Erkennen einfacher Haushaltsbeziehungen. Insgesamt handelt es sich um eines der einfacheren Items zum Aufgabenstamm Bevölkerungswachstum. Eine Stufung innerhalb der Teil-Items lässt sich empirisch belegen. Die angenommene Stufung ist aber insofern zu korrigieren, als mit vier richtigen Antworten nicht Stufe 3, sondern lediglich Stufe 2 erreicht wird. Denn abgesehen von der geringen Zahl beteiligter Elemente und Relationen muss bei der vorliegenden Haushaltsbeziehung nur eine sich verändernde Output- bzw. Inputgrösse (1000 Arbeiter) berücksichtigt werden. Entsprechend der Korrektur von Stufe 3 verschieben sich auch die weiteren (angenommenen) Stufen nach unten. Item 5 Einer der drei folgenden Begriffe weist mehrere eindeutige Zusammenhänge zu Abbildung K2 (vgl. Kasten 1, Aufgabenstamm) auf. Kreise den passenden Begriff ein und zeige möglichst viele Zusammenhänge auf. Einkommen Straßenbau Lehrperson Aufzeigen der Zusammenhänge zwischen dem gewählten Begriff und Abbildung K2: Erwartungshorizont Item 5 Richtig = Einkommen Kompetenzdimensionierung Angenommene Kompetenzstufung (vgl. Tab. 2) 1 bis 3 Finale Kompetenzstufung 1 bis 3 Kodierung Dimension 1: Die Qualität der Begründung wird bewertet: Falsche Wahl/nicht plausible Begründung Stufe 0 (61,0 %) Monokausale Begründung Stufe 1 (15,1 %) Lineare/multifinale* Begründung Stufe 2 (15,1 %) Komplexe/vernetzte Begründung Stufe 3 (8,8 %) *multifinal: Gedanke wird in verschiedene Richtungen weitergedacht (z. B. A wirkt auf B, C und D) Empirische Itemschwierigkeit (vgl. Abb. 4) Stufe 1 = + 0,33 ( schwierigstes Teil-Item der Stufe 1) Stufe 2 = + 0,74 ( schwierigstes Teil-Item der Stufe 2) Stufe 3 = + 1,55 ( schwierigstes Teil-Item der Stufe 3) Elemente und Relationen desselben Systems sind als Teil eines Ganzen zu sehen. Entsprechend zeichnen sie sich durch einen eindeutig abgrenzbaren Beziehungszusammenhang aus. Die Frage der Abgrenzung ist bei der vorliegenden Aufgabe zu klären und entsprechend zu begründen. Mögliche Begründungen lauten wie folgt: Stufe 1: Wer keine Arbeit hat, kann kein Einkommen erzielen. Oder: Wer kein Einkommen hat, kann sich keine Bildung leisten/lebt in Armut. Stufe 2: Wer keine Arbeit hat, kann kein Einkommen erzielen, lebt in Armut und kann sich keine Bildung leisten. Dies führt dazu, dass diese Person schlecht qualifiziert und nicht leistungsfähig ist. Stufe 3: Wer keine Arbeit hat, kann kein Einkommen erzielen. Wer kein Einkommen hat, lebt in Armut und hat auch kein Geld, um eine Ausbildung zu finanzieren, was eine schlechte oder gar keine berufliche Qualifikation zur Folge hat und die Leistungsfähigkeit einschränkt. Dies vermindert die Chance auf einen Arbeitsplatz noch mehr. Es handelt sich um das schwierigste Item des vorliegenden Aufgabenstamms, was vor allem mit dem offenen Antwortformat zusammenhängen dürfte. Die angenommene Stufung innerhalb der Teil-Items ist empirisch belegbar. Im entsprechenden Bewusstsein, dass es sich um ein schwieriges Item handelt, kann an der Stufenzuordnung festgehalten werden. Kasten 2 (Fortsetzung) 12

Ga&S, Heft 215 / 37. Jahrgang / 2015 Wie lässt sich Systemdenken messen? / Mehren et al. Item 6 Das folgende Begriffsnetz gibt einen Ausschnitt aus Abbildung K2 (vgl. Kasten 1, Aufgabenstamm) wieder. Es wurde um den Begriff Schulgeld (= das Geld, das man bezahlen muss, um an Schulen gehen zu dürfen) erweitert. Geh in zwei Schritten vor: 1. Verbinde den Begriff Schulgeld über Pfeile sinnvoll mit einem oder mehreren der bereits vorhandenen Begriffe. 2. Beschrifte alle Pfeile, auch jene, die bereits gezeichnet sind. Ein Beispiel ( vermindert ) macht es vor. Schulgeld Arbeitslosigkeit auf dem Land Bildungschancen vermindert Armut und Hunger Leistungsfähigkeit Analphabetismus Berufliche Qualifikation Erwartungshorizont Item 6 Schulgeld erschwert Bezahlung von Arbeitslosigkeit auf dem Land reduziert verstärkt führt zu führt zu Bildungschancen vermindert Armut und Hunger vermindert reduziert Leistungsfähigkeit bewirkt Analphabetismus verschlechtert Berufliche Qualifikation Kompetenzdimensionierung Dimension 1: Angenommene Kompetenzstufung (vgl. Tab. 2) 1 bis 3 Finale Kompetenzstufung 1 bis 3 Kodierung Bestimmung des Strukturindexes sx (genaue Kodieranleitung vgl. Kasten 3) sx = < 0,1 Stufe 0 (14,8 %) sx = 0,1 bis 0,3 Stufe 1 (19,2%) sx = > 0,3 bis 0,6 Stufe 2 (21,2 %) sx = > 0,6 Stufe 3 (44,8 %) Empirische Itemschwierigkeit (vgl. Abb. 4) Stufe 1 = 1,21 ( mittelschwieriges Teil-Item der Stufe 1) Stufe 2 = 0,45 ( mittelschwieriges Teil-Item der Stufe 2) Stufe 3 = + 0,13 ( mittelschwieriges Teil-Item der Stufe 3) Concept Maps eignen sich, um Komponenten der Systemorganisation und des Systemverhaltens in ihrem Gesamtzusammenhang darzustellen. Der Komplexitätsgrad einer Concept Map wird über die Anzahl an Pfeilketten, Verzweigungen und Kreisläufen bestimmt (vgl. Kasten 3). Es handelt sich um ein Item durchschnittlicher Schwierigkeit (Stufe 3 eher einfach). Eine Stufung lässt sich empirisch belegen. An der angenommenen Stufung kann festgehalten werden. Kasten 2 (Fortsetzung) 13

Item 7 Die Bevölkerung in Entwicklungsländern wächst unter anderem zu stark, weil es zu viele Geburten gibt. Dafür gibt es mehrere Gründe. Zeige im folgenden Begriffsnetz auf, wie es dazu kommt und welche Folgen das hat. Als Grundlage dient ein Ausschnitt von Abbildung K2, der leicht verändert und ergänzt wurde. Geh von den vorgegebenen Begriffen aus und überlege dir, welche wie zusammenhängen. Verbinde sie entsprechend mit Pfeilen und vergiss nicht, jeden Pfeil zu beschriften (auch die bereits vorhandenen). Beachte als Hilfe Abbildung K1 und den Begleittext (Kasten 1, Aufgabenstamm). Nahrungsmittel Medikamente Alterstruktur Bevölkerungswachstum auf dem Land Industrieländer Religiöse Vorschriften Verhütung viele Geburten erhöhen Nahrung und Wasser Aufklärung Bildungschancen Armut und Hunger Erwartungshorizont Item 7 liefern spenden Industrieländer Nahrungsmittel Medikamente können bewirken verhindert evtl. Alterstruktur verändern verändern bewirkt erhöhen viele Geburten erhöht Bevölkerungswachstum auf dem Land verknappt/ vermindert Nahrung und Wasser verhindert soll vermindert/ Religiöse vermieden Vorschriften Verhütung reduzieren bringt hervor werden durch... verschlimmert über über Aufklärung ermöglichen Bildungschancen verhindert Armut und Hunger Kompetenzdimensionierung Dimension 1: Angenommene Kompetenzstufung (vgl. Tab. 2) 1 bis 3 Finale Kompetenzstufung 1 bis 3 Kodierung Bestimmung des Strukturindexes sx (genaue Kodieranleitung vgl. Kasten 3) sx = < 0,1 Stufe 0 (27,9 %) sx = 0,1 bis 0,3 Stufe 1 (21,1%) sx = > 0,3 bis 0,6 Stufe 2 (28,4 %) sx = > 0,6 Stufe 3 (22,6 %) Empirische Itemschwierigkeit (vgl. Abb. 4) Stufe 1 = 0,69 ( mittelschwieriges Teil-Item der Stufe 1) Stufe 2 = 0,03 ( mittelschwieriges Teil-Item der Stufe 2) Stufe 3 = + 0,93 ( eines der schwierigeren Teil-Items der Stufe 3) Concept Maps eignen sich, um Komponenten der Systemorganisation und des Systemverhaltens in ihrem Gesamtzusammenhang darzustellen. Der Komplexitätsgrad einer Concept Map wird über die Anzahl an Pfeilketten, Verzweigungen und Kreisläufen bestimmt (vgl. Kasten 3). Es handelt sich um ein Item durchschnittlicher Schwierigkeit (Stufe 3 eher etwas anspruchsvoller). Insgesamt ist Item 7 trotz identischen Antwortformats eindeutig schwieriger als Item 6. Dies hängt vor allem mit der höheren Anzahl beteiligter Elemente und Relationen und dem damit verbundenen höheren Komplexitätsgrad zusammen. Die angenommene Stufung lässt sich empirisch belegen. An ihr kann festgehalten werden. Kasten 2 (Fortsetzung) 14

Ga&S, Heft 215 / 37. Jahrgang / 2015 Wie lässt sich Systemdenken messen? / Mehren et al. Antwortbeispiel eines Probanden (Item 7): Bestimmung des Strukturindexes: sx = Summe aller Pfeilketten (ke), Verzweigungen (vz) und Kreisläufe (kr)/anzahl wertbarer Knoten (wk) ke = 0 vz = 5 kr = 1 wk = 12 sx = 6/12 = 0,5 Stufe 2 Wertbarkeit bedeutet, dass eine eindeutige Pfeilrichtung angegeben ist, ein Pfeil beschriftet ist, ein Knoten bzw. eine Pfeilbeschriftung im entsprechenden Kontext sinnvoll ist. : 5 Relationen (mit X markiert) werden beim vorliegenden Beispiel nicht gewertet, weil die Pfeilrichung fehlt. Eine Experten-Map (vgl. Erwartungshorizont oben) ist als eine mögliche Lösungsvariante zu betrachten. Sie ist für die objektive Bewertung einer Probanden-Map unabdingbar, darf aber nicht starr verwendet werden. Für die Wertbarkeit entscheidend ist letztlich immer die Plausibilität einer Nennung im entsprechenden Kontext. Der damit verbundene Ermessensspielraum lässt sich über ein Interrating objektivieren. Eine Relation wird oft erst plausibel, wenn weitere Relationen mitberücksichtigt werden. Ein Beispiel: Die Beziehung Bildungschancen verhindern Aufklärung macht nur Sinn, wenn sie als Gedankenkette unter Berücksichtigung der vorausgehenden Relation ( Armut und Hunger verringern Bildungschancen ) wahrgenommen wird. Item 8 Eine Hilfsorganisation plant in einem Dorf in Nigeria, gratis Verhütungsmittel zu verteilen. Wie beurteilst du das Vorhaben der Hilfsorganisation? Wähle die zwei überzeugendsten Aussagen aus. Setze vor die Aussage, welche deiner Meinung nach am besten begründet ist, die Zahl 1, vor die andere die Zahl 2. Die kostenlose Abgabe von Verhütungsmitteln A macht Sinn, denn das Bevölkerungswachstum sinkt langfristig, wenn die Menschen richtig verhüten. B ist sinnlos, weil die Bevölkerungszahl bereits zu hoch ist. C ist sinnvoll, wenn die Menschen auch darüber unterrichtet werden, wie die Verhütungsmittel anzuwenden sind. D macht Sinn, wenn die Menschen zur Verhütung gezwungen werden. Dann spielt ihr Wissen darüber keine Rolle. Erwartungshorizont Item 8 Vollständig richtige Reihenfolge = C, A Teilweise richtig (Reihenfolge vertauscht) = A, C Kompetenzdimensionierung Angenommene Kompetenzstufung (vgl. Tab. 2) 1 bis 2 Finale Kompetenzstufung 1 bis 2 Kodierung Dimension 2: systemadäquate Handlungsintention Die Erstellung der korrekten Rangreihe wird bewertet: Eine der falschen Optionen gewählt (B, D) Stufe 0 (43,5 %) Richtige Elemente erkannt, falsche Reihenfolge Stufe 1 (13,9 %) Richtige Elemente erkannt, richtige Reihenfolge Stufe 2 (42,6 %) Empirische Itemschwierigkeit (vgl. Abb. 4) Stufe 1 = 0,14 ( eines der schwierigeren Teil-Items der Stufe 1) Stufe 2 = + 0,24 ( eines der schwierigeren Teil-Items der Stufe 2) Prospektive Was wäre wenn -Fragen suchen nach Begründungen für regulative Maßnahmen. Aussage C enthält die beste Begründung, weil sie als lineare Gedankenkette angelegt ist, während Aussage A lediglich monokausal argumentiert. Ungeachtet der normativen Aufladung der ganzen Aufgabenstellung liefert Aussage B keine plausible Begründung bzw. dürfte Aussage D ethisch am wenigsten vertretbar sein. Es handelt sich um ein eher schwieriges Item des vorliegenden Aufgabenstamms. Dies bestätigt sich auch im Vergleich mit anderen Items der Dimension 2 (vgl. Abb. 3) und gilt insbesondere für das Teil-Item der Stufe 1. Dies kann mit der Schwierigkeit der Probanden im Umgang mit unterschiedlicher Begründungsqualität zusammenhängen. Die Stufung innerhalb der Teil-Items ist empirisch belegbar. An der Stufenzuordnung kann festgehalten werden. Kasten 2 (Fortsetzung) 15

(Hrsg.): Erkenntnisleitende Ansätze Schlüssel zur Profilierung des Geographieunterrichts, 19 91, Köln: Aulis. Lecher, T. (1997): Die Umweltkrise im Alltagsdenken. Weinheim: Beltz. Mehren, R./Rempfler, A./Ulrich-Riedhammer, E. M. (2014): Denken in komplexen Zusammenhängen. In: Praxis Geographie 44/4, 4 8. Mehren, R./Rempfler, A./Ulrich-Riedhammer, E. M./Buchholz, J./Hartig, J. (2015.1): Validierung eines Kompetenzmodells zur geographischen Systemkompetenz. In: Gryl, I./ Schlottmann, A./Kanwischer, D. (Hrsg.): Mensch:Umwelt:System. Theoretische Grundlagen und praktische Beispiele für den Geographieunterricht (= Praxis neue Kulturgeographie). Münster: Lit (im Druck). Mehren, R./Rempfler, A./Ulrich-Riedhammer, E. M./Buchholz, J./Hartig, J. (2015.2). Systemisches Denken im Geographieunterricht ein empirisch validiertes Kompetenzstrukturmodell. In: Zeitschrift für Didaktik der Naturwissenschaften (in Vorb.). Ossimitz, G. (2000): Entwicklung systemischen Denkens. Klagenfurter Beiträge zur Didaktik der Mathematik 1, München-Wien. Rempfler, A. (2010): Systemdenken. Schlüsselkompetenz für zukunftsorientiertes Raumverhalten. In: Geographie und Schule 32/184, 11 18. Rempfler, A./Uphues, R. (2010): Sozialökologisches Systemverständnis: Grundlage für die Modellierung von geographischer Systemkompetenz. In: Geographie und ihre Didaktik 38/4, 205 217. Rempfler, A./Uphues, R. (2011.1): Für ein adäquates Verständnis von Geosystemen. In: Geographie und Schule 33/189, 4 10. Rempfler, A./Uphues, R. (2011.2): Systemkompetenz und ihre Förderung im Geographieunterricht. In: Geographie und Schule 33/189, 22 33. Rempfler, A./Uphues, R. (2011.3): Systemkompetenz im Geographieunterricht Die Entwicklung eines Kompetenzmodells. In: Meyer, C./ Henrÿ, R./Stöber, G. (Hrsg.): Geographische Bildung. Kompetenzen in didaktischer Forschung und Schulpraxis. Braunschweig, 36 48. Rempfler, A./Uphues, R. (2012): System Competence in Geography Education. Development of competence models, diagnosing pupils achievement. In: European Journal of Geography 3/1, 6 22. Rieß, W./Mischo, C. (2008): Entwicklung und erste Validierung eines Fragebogens zur Erfassung des systemischen Denkens in nachhaltigkeitsrelevanten Kontexten. In: Ormann, I./de Haan, G. (Ed.): Kompetenzen der Bildung für nachhaltige Entwicklung, 215 232. Rost, J./Lauströer, A./Raack, N. (2003): Kompe- tenzmodelle einer Bildung für Nachhaltigkeit. In: Praxis der Naturwissenschaften Chemie (8)52, 10 15. Sommer, C. (2005): Untersuchung der Systemkompetenz von Grundschülern im Bereich Biologie. Verfügbar unter http://macau.unikiel.de/receive/dissertation_diss_00001652 [29.01.2015] Süß, H.-M. (1996): Intelligenz, Wissen und Problemlösen. Lehr- und Forschungstexte Psychologie, Neue Folge 5, Göttingen u. a. Sweller, J. (2005): Implications of cognitive load theory for multimedia learning. In: Mayer, R.E. (Ed.): The Cambridge Handbook of Multimedia Learning, 19 30. Anschrift der Verfasser Prof. Dr. Rainer Mehren, Eva Marie Ulrich- Riedhammer, Justus-Liebig-Universität Gießen, Karl-Glöckner-Straße 21g, 35394 Gießen, E-Mail: rainer.mehren@geogr.uni-giessen.de, evamarie.ulrich@gmail.com Prof. Dr. Armin Rempfler, Pädagogische Hochschule Luzern, Frohburgstrasse 3, CH-6002 Luzern, E-Mail: armin.rempfler@phlu.ch Prof. Dr. Johannes Hartig, M. Sc. Psych. Janine Buchholz, Deutsches Institut für Internationale Pädagogische Forschung (DIPF), Schloßstraße 29, 60486 Frankfurt am Main, E-Mail: hartig@ dipf.de / buchholz@dipf.de 16