Informationen zur Raumentwicklung Heft 2/3.2005 103 Evaluation als Element des integrierten Handlungsprogramms Soziale Stadt NRW Hintergrund, Konzept, Erfahrungen Ralf Zimmer-Hegmann Evelyn Sucato Nordrhein-Westfalen gilt mit seinem Programm Stadtteile mit besonderem Erneuerungsbedarf jetzt Soziale Stadt NRW benannt als ein Vorläufer des Bund-Länder-Programms Soziale Stadt und kann seit 1993 auf eine mehr als doppelt so lange Programmumsetzung zurückblicken. Vor diesem Hintergrund gibt der vorliegende Beitrag einen Überblick über den methodisch-konzeptionellen Rahmen einer systematischen Evaluation dieses Programmansatzes, der uns für eine bundesweite Debatte interessant zu sein scheint. Nicht eingehen möchten wir auf einzelne Ergebnisse von bislang in NRW durchgeführten Evaluationsstudien, da wir annehmen, dass sie zu großen Teilen denen ähnlich sind, die von anderen Beiträgen in diesem Heft angesprochen werden. Im Übrigen wurden sie auch schon an anderer Stelle veröffentlicht und sind dort für Interessierte nachlesbar; auf die einzelnen Quellen wird noch im Weiteren verwiesen. Soziale Stadt NRW NIEDERLANDE BELGIEN Rhein Aachen Altindustrielle Gebiete NIEDERLANDE Niedersachsen Ahlen Dinslaken Recklinghausen Gladbeck Gelsenkirchen Bottrop Oberhausen Herne Hamm Dortmund Duisburg Krefeld Essen Hagen Wuppertal Düsseldorf Remscheid Köln Wupper Sieg Rheinland-Pfalz Niedersachsen Lippe Ruhr Weser Weser Detmold Hessen Rhein Lippe 1 Hintergrund Als ein schon früh und in besonderer Weise vom ökonomischen Strukturwandel geprägtes Bundesland man denke nur an die traditionell montanindustrielle Prägung des Ruhrgebietes haben sich in den nordrhein-westfälischen Städten die dadurch verursachten sozialen und wirtschaftlichen Problemlagen schon in den 1980er Jahren deutlich gezeigt. Mit der Schließung von Zechen und Stahlwerken waren Stadtteile bzw. ganze Stadtbereiche schlagartig in einer Spirale des Niedergangs gefangen. Um dem zu begegnen, haben Land und Kommunen schon Anfang der 1990er Jahre einen eigenen integrierten Programmansatz zur Stabilisierung von benachteiligten Stadtteilen entwickelt. Aktuell sind über dreißig Stadtteile in mehr als 25 Städten des Landes in dieses Programm aufgenommen. Dabei liegt der Schwerpunkt auf vom in- BELGIEN Bergheim Köln Düren Großwohnsiedlungen Ratingen Solingen Monheim Wupper Sieg Dortmund Rheinland-Pfalz Quelle: ILS NRW 2004; Stand 12/2004 Ruhr Hessen dustriellen Strukturwandel unmittelbar betroffenen altindustriellen bzw. innenstadtnahen Stadtteilen, die rund zwei Drittel der Programmgebiete ausmachen. Rund ein Drittel der Gebiete sind Großwohnsiedlungen der 1960er und 70er Jahre. 1 Dipl.-Soz. Wiss. Ralf Zimmer-Hegmann Dipl.-Ing. Evelyn Sucato Institut für Landes- und Stadtentwicklungsforschung und Bauwesen des Landes Nordrhein-Westfalen (ILS NRW) Deutsche Straße 5 44339 Dortmund E-Mail: ralf.zimmer-hegmann@ils.nrw.de evelyn.sucato@ils.nrw.de
104 Ralf Zimmer-Hegmann, Evelyn Sucato: Evaluation als Element des integrierten Handlungsprogramms Soziale Stadt NRW Programmgebiete Soziale Stadt NRW Stadt Stadtteil Aufgenommen zum Ausgeschieden 1 Aachen Ost Januar 2000 2 Ahlen Süd-Ost Juli 1995 3 Bergheim Süd-West Januar 2002 4 Bonn Dransdorf 1996 2004 5 Bottrop Boy-Welheim Januar 1994 2004 6 Bottrop Lehmkuhle-Ebel Januar 2003 7 Detmold Herberhausen Juni 1997 8 Dinslaken Lohberg Januar 2000 9 Dortmund Clarenberg Mai 1997 10 Dortmund Nordstadt Januar 1997 11 Dortmund Scharnhorst 1994 12 Duisburg Bruckhausen 1993 13 Duisburg Hochfeld März 2000 14 Duisburg Marxloh Januar 1994 15 Düren Süd/ Ost Mai 1997 16 Düsseldorf Oberbilk/Flingern Januar 2000 17 Essen Altendorf Januar 1999 18 Essen Katernberg Januar 1994 19 Gelsenkirchen Bismarck/Schalke-Nord 1994 20 Gelsenkirchen Süd-Ost Januar 2002 21 Gladbeck Brauck Januar 2004 22 Gladbeck Butendorf Januar 1996 23 Hagen Altenhagen Januar 1999 24 Hagen Vorhalle Januar 1994 25 Hamm Norden Januar 1994 26 Hamm Westen März 2000 27 Herne Bickern/ Unser Fritz Januar 2002 28 Herne Horsthausen Oktober 1995 2002 29 Köln* Chorweiler Oktober 1993 30 Köln** Kalk / Mülheim 1994 31 Krefeld Süd Juni 1997 32 Monheim Berliner Viertel Mai 1995 33 Oberhausen Knappenviertel Anfang 1996 2004 34 Oberhausen Lirich Anfang 2003 35 Ratingen West Anfang 1996 36 Recklinghausen Hochlarmark Frühjahr 1996 2004 37 Recklinghausen Süd Januar 2003 38 Remscheid Rosenhügel Anfang 2003 39 Siegen Fischbacherberg Januar 1994 2004 40 Solingen Fuhr Januar 1994 41 Wuppertal Ostersbaum Juni 1996 * 2001 erweitert um Chorweiler-Nord ** 2001 erweitert um Mülheim Quelle: ILS NRW; Stand 12/2004 Evaluation Erfolgskontrolle und Qualifizierung eigener Arbeit Erste Evaluationen vor Ort Auch wenn das Thema Evaluation nicht auf der Agenda stand, ist es mit zunehmender Programmumsetzungserfahrung insbesondere für die Akteure vor Ort bedeutungsvoll geworden. Sie waren zunehmend mit der Frage von Öffentlichkeit und kommunaler Politik konfrontiert, was das Programm denn konkret bringen würde. Außerdem hatten sie auch selbst ein Interesse daran, Ergebnisse ihrer Arbeit überprüf- oder gar messbar zu machen, sowohl um die eigene Arbeit zu optimieren wie auch zur Legitimation dieses anspruchsvollen Programmansatzes. Von daher liegt für Nordhrein- Westfalen eine Reihe von (Zwischen-) Ergebnissen zum Programm vor.
Informationen zur Raumentwicklung Heft 2/3.2005 105 So hat das ILS NRW im Jahr 2000 einen ersten Analysebericht zur Umsetzung des Landesprogramms veröffentlicht, in dem auch auf eine Reihe von Problemen bei der Evaluation hingewiesen wurde, beispielsweise auf die zu allgemeinen bzw. zu unklaren Zieldefinitionen, die eine genaue und systematische Überprüfung der Zielerreichung in den Stadtteilen bzw. Kommunen erschweren. In dieser Untersuchung werden auch Hinweise auf die Notwendigkeit einer systematischen Evaluation und für ein kontinuierliches Monitoring der Stadtteile gegeben. 2 Zudem liegen für einzelne Kommunen und Stadtteile detailliertere Untersuchungsberichte vor. Beispielhaft zu nennen sind hier verschiedene Evaluationsberichte für den Stadtteil Duisburg-Marxloh (seit 1994 im Landesprogramm), ein Stadtteil der auch im Rahmen des europäischen URBAN I-Programms gefördert worden ist. In diesem Kontext ist von der Stadt Duisburg ein kleinräumiges Monitoring-System zur laufenden Beobachtung und Evaluation des URBAN-Programmansatzes implementiert worden, das allerdings mit Auslaufen der URBAN-Förderung eingestellt werden musste. Zu diesem Ansatz gehörten auch repräsentative Bewohnerbefragungen. 3 Hinzu kommen für Marxloh externe Evaluationsberichte, die sich im Schwerpunkt mit der politischen Implementation des Programms 4 bzw. mit den Ergebnissen und Wirkungen der lokal-ökonomischen Maßnahmen 5 im Stadtteil beschäftigen. Für den Stadtteil Gelsenkirchen-Bismarck/ Schalke-Nord (seit 1994 im Landesprogramm) erfolgte im Rahmen des Bund-Länder-Programms von Herbst 2000 bis Frühjahr 2002 eine Programmbegleitung vor Ort durch die Arbeitsgruppe Bestandsverbesserung (AGB) an der Universität Dortmund und das ILS NRW. 6 Daneben hat das ILS NRW im Auftrag des NRW-Sozialministeriums speziell die sozial-integrativen Projekte im Stadtteil evaluiert. 7 Für den Stadtteil Oberhausen-Knappenviertel liegt ebenfalls nach einer fünfjährigen Programmlaufzeit eine repräsentative Bewohnerbefragung mit aufschlussreichen Ergebnissen vor. 8 Neben vielen weiteren Aspekten wurde danach gefragt, ob sich nach Meinung der Befragten die Lebensqualität im Stadtteil in den letzten fünf Jahren verändert hat. Fast die Hälfte der Befragten äußert sich hier positiv ein Ergebnis, das deutliche Rückschlüsse auf eine erfolgreiche Stadtteilerneuerung vermuten lässt. Ebenso beachtlich ist, dass drei Viertel aller Befragten das Stadtteilbüro als zentrale Anlauf- und Koordinierungsstelle des dortigen Erneuerungsprozesses kennen und etwa 70 % von ihnen meinen, dass sich das Image des Stadtteils verbessert hat. 9 Zu Beginn der Erneuerung in Gelsenkirchen-Südost wurde im Jahr 2003 ebenfalls eine repräsentative Bewohnerbefragung durchgeführt 10. Deren Ziel war es, neben speziellen Ortskenntnissen auch die Erwartungen, Wünsche und Anregungen für die zielgerichtete Entwicklung und Umsetzung von Maßnahmen und Projekten zu erfassen. Aus den Ergebnissen wurde sichtbar, dass trotz der Zufriedenheit mit einzelnen Aspekten im Stadtteil die generelle Zufriedenheit und insbesondere das subjektive Sicherheitsempfinden verbesserungswürdig sind geeignete Ansatzpunkte, um mit der Erneuerung auch die Imageverbesserung des Gebietes voranzutreiben. Der schon genannten Problematik der unzureichenden Zielformulierung widmen sich Evaluationskonzepte in den Programmstadtteilen in Hamm, Essen und Gelsenkirchen-Südost, indem dort zunächst Prozesse der diskursiven Zielformulierung durchgeführt wurden, die die Grundlage für ein späteres Controlling-System bilden. 11 Auch für die Stadtteile Köln-Kalk und Köln- Chorweiler liegen Projektdokumentationsund -controlling-ansätze vor, die eine Messung von einzelnen Projektergebnissen erlauben. 12 In einigen weiteren Stadtteilen existieren erste Ansätze von Controlling- Systemen, jedoch häufig nicht in Verbindung mit einer systematischen Zielentwicklung und Informationserhebung. Evaluationsinitiative NRW Aufbauend auf diesen konkreten Erfahrungen wurde eine aus vier Bausteinen bestehende Evaluationsinitiative entwickelt, die seit Anfang 2003 in allen Stadtteilen des Programms Soziale Stadt NRW umgesetzt wird. Das Evaluationskonzept wurde vom so genannten Expertenkreis Evaluation zwischen März 2001 und Dezember 2002 entwickelt. Dieser Kreis bestand aus einem interdisziplinär zusammengesetzten Team aus Vertretern des Landes, der am Programm beteiligten Städte und der Wissen- Bisherige Evaluationsansätze vor Ort bringen erste (Zwischen-) Ergebnisse
106 Ralf Zimmer-Hegmann, Evelyn Sucato: Evaluation als Element des integrierten Handlungsprogramms Soziale Stadt NRW Langjährige Programmerfahrungen der Sozialen Stadt NRW werden durch die Evaluation erstmals systematisch aufbereitet. schaft. So konnte gewährleistet werden, dass der vorgeschlagene Evaluationsansatz auf eine breite Akzeptanz stößt. Hinzu kommt, dass auch der Landtag von NRW mit einem einstimmigen Beschluss vom November 2002 ( Nur gemeinsam lässt sich die Soziale Stadt verwirklichen! Integrative Ansätze der Stadtentwicklung unterstützen und fortführen! 13 ) die Bedeutung einer systematischen Programmevaluation hervorhebt. In diesem Beschluss wird die Landesregierung aufgefordert, bis zum Jahr 2004 für die Evaluierung des Handlungsprogramms Maßstäbe und Qualitätskriterien zu entwickeln, die den Veränderungsprozess in der Stadtteilentwicklung nachvollziehbar dokumentieren, messbar und überprüfbar machen. 2 Systematische Evaluation des Programms Soziale Stadt NRW Konzept Fortlaufende, komplexe Programme verlangen nach einem Evaluationsansatz, der nicht nur rückblickend Aussagen über Nutzen, Effektivität und Effizienz des Programms und seiner Projekte trifft. Insofern steht die Evaluation der Sozialen Stadt NRW für ein praxisbegleitendes Verfahren, das durch die kontinuierliche Rückkopplung der Ergebnisse sowohl auf Landes- als auch auf Stadtteilebene dazu beiträgt, die laufende Arbeit zu verbessern. Die Evaluation ist bewusst prozessbegleitend angelegt, ist also Bestandteil der Programmumsetzung und unterstützt alle am Stadterneuerungsprozess beteiligten Akteure aktiv bei der Programmumsetzung und -steuerung. Ziel ist es, verlässliche Kenntnisse über Ergebnisse und Wirkungen der integrierten Stadtteilerneuerung zu erhalten. Die Evaluation erfüllt mehrere Funktionen: Information Land, Kommunen und die Öffentlichkeit erhalten regelmäßig verlässliche Aussagen zur Umsetzung des Programms. Vorhandener Informationsbedarf wird dadurch gedeckt und die Programmdurchführung wesentlich transparenter gestaltet. Optimierung Neue Entwicklungen in den Programmgebieten, wie z. B. bisher nicht bekannte Bedarfe von Zielgruppen, werden frühzeitig erkannt und liefern systematisch Hinweise auf Verbesserungsmöglichkeiten des Programms. So können beispielsweise bestehende Förderungen besser aufeinander abgestimmt oder neue Förderschwerpunkte definiert werden. Rückkopplung Die Ergebnisse und Handlungsempfehlungen der verschiedenen Bausteine werden kontinuierlich auf die Landesebene und in die Stadtteilarbeit rückgekoppelt, um Lerneffekte sowie eine verbesserte Steuerung und Ausrichtung des Programms Soziale Stadt NRW und der Integrierten Handlungsansätze vor Ort zu ermöglichen. Es wird deutlich, dass es nicht darum geht, die Umsetzung des Programms Soziale Stadt NRW zu kontrollieren. Im Vordergrund steht, einen von Land und am Programm beteiligten Kommunen gemeinsam gestalteten und getragenen Prozess umzusetzen, der zur Qualitätsverbesserung des Programms beiträgt. Die Evaluation wird daher vom Städtenetz Soziale Stadt NRW, einem Zusammenschluss der am Programm beteiligten Kommunen, in Abstimmung mit dem auf Landesebene federführenden Ministerium für Städtebau und Wohnen, Kultur und Sport des Landes NRW (MSWKS) beauftragt und in weiten Teilen an externe Forschungseinrichtungen vergeben. Das ILS NRW koordiniert die Umsetzung der Evaluationsbausteine und berät Land und Kommunen in diesem Prozess. Die Umsetzung jedes Bausteins wird von einer Steuerungsgruppe begleitet, die sich aus Vertreterinnen und Vertretern des MSWKS, des Städtenetzes Soziale Stadt NRW, des ILS NRW und des jeweiligen Auftragnehmers zusammensetzt. Das Gesamtkonzept der Evaluation setzt sich zusammen aus den vier ineinandergreifenden Bausteinen (1) Zielentwicklung und Beobachtung der Zielerreichung, (2) Kontextindikatoren, (3) Analyse qualitativer Prozesse, (4) Fallstudien.
Informationen zur Raumentwicklung Heft 2/3.2005 107 Aus nebenstehender Abbildung geht ihr Zusammenwirken hervor: Die Bausteine 2, 3 und 4 werden in allen Programmgebieten nach einem einheitlichen Untersuchungskonzept von externen Auftragnehmern durchgeführt. Baustein 1, der sich aus mehreren Arbeitsschritten zusammensetzt, wird ebenfalls in allen Programmgebieten, aber mit stadtteilspezifischen Schwerpunktsetzungen von den Kommunen selbst umgesetzt. Auf der Landesebene werden lediglich rahmensetzende Leitlinien und ein Handbuch zur Zielentwicklung vorgegeben (s. u.); sie bilden einen Orientierungsrahmen für die Umsetzung vor Ort. Soziale Stadt NRW : Zusammenspiel der Evaluationsbausteine Rahmensetzende Leitlinien und Handbuch zur Zielentwicklung Kontextindikatoren zur Stadtteilanalyse - Erhebung durch Kommunen, externe Umsetzung - Analyse qualitativer Prozesse - Erhebung durch Externe - Fallstudien (jährlich) - Erhebung durch Externe - Rückkopplung Zielentwicklung als gemeinsamer Prozess Beobachtung der Zielerreichung (Selbstevaluation) Baustein 1 Zielentwicklung und Beobachtung der Zielerreichung Ziele sind ein wichtiger Bestandteil der Programmumsetzung, denn sie zeigen an, wohin sich ein Stadtteilprojekt entwickeln soll. Bisher liegen nur wenigen Integrierten Handlungskonzepten der Sozialen Stadt umfangreiche Zielsysteme zugrunde. Die systematische Entwicklung von Zielen nimmt jedoch einen wichtigen Stellenwert ein, denn diese stecken den Rahmen für die strategischen Schwerpunkte eines Stadtteilprojektes ab. Und die regelmäßige Überprüfung der Ziele auf ihre Ausrichtung und den Grad der Zielerreichung anhand von Indikatoren ermöglicht Informationen darüber, ob die aufgestellten Ziele überarbeitet oder neu ausgerichtet werden sollten. Durch den Aufbau stadtteilbezogener Verfahren der Selbstevaluation sollen die Ergebnisse und Wirkungen der Erneuerungsansätze vor Ort erfasst und gefördert werden. Die Verfahren werden von den Kommunen in Eigenverantwortung nach dem Prinzip Selbstkontrolle entwickelt und angewendet. Dabei ist zu beachten und liegt im Interesse der umsetzenden Akteure vor Ort, dass die Verfahren in den Arbeitsalltag mit geringen Reibungsverlusten und ohne unverhältnismäßig hohen Aufwand integrierbar sind. Sind möglichst viele Stadtteilakteure, u.a. Projektträger, Bewohnerschaft, Vereine und Stadtteilinstitutionen, in die Verfahren eingebunden, sind sie transparent und auf breiter Basis getragen. Durch solche Verfahren erhalten die Kommunen mit relativ geringem Aufwand prozessbegleitend Aussagen zu Erfolgen, Wirkungen und Fortschritten der Handlungskonzepte und werden in die Zusammenführung und Auswertung der Ergebnisse landesweit Lage versetzt, diese für die Weiterentwicklung und Steuerung der Integrierten Handlungsansätze zu nutzen. Um den Aufbau von stadtteilbezogenen Verfahren der Selbstevaluation zu unterstützen und zu fördern, wurde vom ILS NRW das Handbuch Zielentwicklung und Selbstevaluation in der Sozialen Stadt NRW entwickelt. 14 Die am Landesprogramm beteiligten Städte und Stadtteile sind aufgefordert, auf dieser Grundlage eigene Verfahren der Selbstevaluation zu entwickeln und umzusetzen. Dieser Prozess benötigt Zeit, um das notwendige Vertrauen und die Strukturen zu entwickeln. Die Akteure sind jedoch angehalten, noch 2004 mit der Initiierung und Umsetzung der Prozesse zu beginnen und regelmäßig durch Sachstandsberichte über den Stand der Verfahren zu berichten. Hand regelmäßige Sachstandsberichte stadtteilspezifisch Handbuch Zielentwicklung und Selbstevaluation in der sozialen Stadt NRW Quelle: ILS NRW
108 Ralf Zimmer-Hegmann, Evelyn Sucato: Evaluation als Element des integrierten Handlungsprogramms Soziale Stadt NRW Katalog der Kontextindikatoren Nr. Indikator Nr. Indikator 1 Bevölkerung 4 Sicherheit Wohnberechtigte Bevölkerung Verkehrsunfälle (ohne Bagatellunfälle) Hauptwohnungsbevölkerung nach Altersgruppen 5 Arbeitsmarkt nach Geschlecht Arbeitslosigkeit Nicht-deutsche Hauptwohnungs- nach Geschlecht bevölkerung nach Altersgruppen nach Altersgruppen nach Staatszugehörigkeit nach Geschlecht Langzeitarbeitslose Nicht-deutsche Bevölkerung (länger als ein Jahr) nach ausgewählter Staatsangehörigkeit Erwerbstätigkeit Sozialversicherungspflichtig Beschäftigte am Ort Bevölkerungsdichte der Hauptwohnung Steuerrechtliche Personen- 6 Flächennutzung verbände mit Kindern unter 18 Jahren Gebietsfläche Flächennutzungsstruktur Erwachsene Bevölkerung nach der Wohndauer an der Adresse 7 Gebäude-/Wohnungsbestand Zuzüge über die Stadtgrenzen Wohngebäude insgesamt und nach nach Altersgruppen Anzahl der Wohnungen Fortzüge über die Stadtgrenzen Sozialwohnungen Bindungsdauer nach Altersgruppen Wohnflächenversorgung Umzugsbewegungen im Stadtgebiet 8 Kinder und Jugendliche Natürliche Bevölkerungsentwicklung 2 Transferleistungen 9 Gesundheit Betreuungsplätze (incl. Vorschule) Jugendhilfe Sozialhilfe-Beziehende Vorsorge-Untersuchungen nach Altersgruppen Geschlecht Übergewichtige/adipöse Kinder Grundsicherung: Beziehende 10 Wahlbeteiligung nach Altersgruppen Wahlbeteiligung Personen, die Leistungen nach dem Asylbewerberleistungsgesetz beziehen 3 Schule und Bildung Quelle: Übergänge auf weiterführende Schulen nach Art der Schulform Nicht-deutsche Übergänger/innen ILS NRW Baustein 2 Kontextindikatoren zur Stadtteilanalyse Die Situation der Programmgebiete der Sozialen Stadt NRW wird in den Integrierten Handlungskonzepten u.a. anhand von verschiedenen Indikatoren beschrieben. Aufgegriffen werden z.b. wirtschaftliche, soziale, infrastrukturelle und ökologische Rahmenbedingungen, um unter Berücksichtigung der Probleme und Potenziale des jeweiligen Gebiets geeignete Erneuerungsstrategien zu entwickeln. In diesem Evaluationsbaustein wird ein einheitliches Indikatorenset für alle Programmgebiete zu wiederkehrenden Stichtagen erhoben (vgl. Katalog der Kontextindikatoren). Hierdurch lassen sich wichtige Aussagen über bisherige und zukünftige Entwicklungen der Gebiete treffen. Durch Veränderungen in der Bevölkerungszusammensetzung lassen sich beispielsweise ethnische, demographische, soziale oder wirtschaftliche Segregationstendenzen ablesen. Die Veränderung der Flächennutzungsstruktur z.b. ein steigender Anteil an Grün- und Freiflächen kann Hinweise auf die Verbesserung des Wohnumfeldes geben. Indikatoren wie Arbeitslosigkeit nach Geschlecht, Altersgruppen und Staatsangehörigkeit, Langzeitarbeitslosigkeit und Sozialhilfe-Empfänger lassen zwar Rückschlüsse auf die Struktur und die sozio-ökonomische Situation der Bevölkerung zu, sagen aber nichts darüber aus, wodurch u.a. Arbeitslosigkeit ausgelöst wurde. Wirkungen der Projekte und Maßnahmen lassen sich insofern nicht unmittelbar kausal durch diese Kontextindikatoren messen. Hier bedarf es einer Interpretation der Kennzahlen oder ggf. weiterer Erhebungen. Da der Aufbau des Monitorings wesentlich auf der Kooperation aller Beteiligten basiert und vor allem von den beteiligten Kommunen ein aktives Engagement erfordert, wurden die statistischen Bereiche und Ämter von vornherein in die Entwicklung und die Auswahl der Indikatoren einbezogen. Der ausgewählte Indikatorensatz ist von daher ein realistischer Rahmen, der von den Kommunen auch tatsächlich mit kleinräumigen Daten gefüllt werden und langfristig in ein Regelhandeln der Verwaltung einfließen kann. 15
Informationen zur Raumentwicklung Heft 2/3.2005 109 Baustein 3 Analyse qualitativer Prozesse Nicht immer lassen sich die Qualität und Wirksamkeit der Stadtteilerneuerung abbilden. Besonders schwierig ist es beispielsweise, Erfolge und Wirkungen von Maßnahmen im sozialintegrativen Bereich vergleichbar zu machen oder messbar abzubilden. Teilnehmerzahlen, Vermittlungsquoten o.ä. sind nicht ausreichend um die Qualität der sozialintegrativen Arbeit vor Ort zu beurteilen. Daher werden in diesem Baustein folgende Elemente und Prozesse analysiert, die über qualitative Aspekte der Programmumsetzung Aufschluss geben sollen: Organisations- und Kooperationsstrukturen Integrierte Projektentwicklung und -umsetzung Bewohnerbeteiligung Imageentwicklung der Programmgebiete. Dazu: In der Sozialen Stadt NRW sind vielfältige und vernetzte Organisationsund Kooperationsstrukturen zwischen den verschiedenen Stadtteilakteuren aber auch zwischen den verschiedenen Ebenen innerhalb einer Kommune entstanden. Die integrierte Projektentwicklung und -umsetzung ist ein zentrales Ziel des Programms, denn durch die enge Verknüpfung verschiedener Handlungsfelder wird ein zusätzlicher Wert gegenüber einseitig ausgerichteten Ansätzen erzielt. Das Prinzip der Bewohnerbeteiligung liegt allen integrierten Handlungskonzepten zugrunde und ist in vielfältiger Art und Ausprägung entwickelt worden, so dass die Erneuerungsansätze auf einem breit getragenen Konsens und Verständnis aufbauen. Durch Strategien und Projekte der Imageentwicklung verändert sich die Innen- und Außenwahrnehmung der Programmgebiete, die Identifizierung mit dem eigenen Wohnort wird gefördert und die Stigmatisierung von Stadtteilen kann durchbrochen werden. Diese vier Bereiche werden in allen Programmgebieten innerhalb der nächsten drei Jahre auf Basis eines einheitlichen Untersuchungsprofils systematisch untersucht. Zur Anwendung kommen in erster Linie qualitative Methoden, kombiniert mit quantitativen Erhebungen. So werden neben Materialauswertungen und Experteninterviews mit verschiedenen Akteursgruppen auch thematisch orientierte Gruppendiskussionen zur Vertiefung inhaltlicher Fragestellungen und Rückkopplung von Zwischenergebnissen durchgeführt. Außerdem soll eine standardisierte Bewohnerbefragung in allen Stadtteilen des Programms Aufschluss darüber geben, wie die Umsetzung des Programms Soziale Stadt NRW und die Entwicklung in den Programmgebieten von den Bewohnern beurteilt wird. Ziel ist es herauszufinden, welche Strukturen und Strategien sich in der Umsetzung bewährt haben. Das Augenmerk wird insbesondere auf die Qualität, die Wirkungen und die langfristige Tragfähigkeit der Strukturen und Strategien angesichts sich verändernder Rahmenbedingungen oder auslaufender Landesförderung gelegt. Baustein 4 Fallstudien Fallstudien bieten die Möglichkeit, einzelne Handlungsfelder oder die Rolle bestimmter Akteursgruppen einer Tiefenanalyse zu unterziehen. Die Fallstudienuntersuchungen finden in ausgesuchten Stadtteilen statt. Ziel ist es, übertragbare Aussagen u.a. zu Erfolgsfaktoren, Umsetzungsmechanismen und Wirksamkeit bestehender Ansätze zu erhalten. Im Juni 2003 begann die Fallstudie Schule im Stadtteil/Kinder- und Jugendhilfe. In den Fallstudiengebieten Duisburg-Hochfeld, Essen-Katernberg, Gelsenkirchen- Bismarck/Schalke-Nord und Oberhausen- Knappenviertel wurde umfassend erforscht, welche Rolle Schulen und Einrichtungen der Kinder- und Jugendhilfe in der Stadtteilentwicklung übernehmen und wo Potenziale für ein weiteres Engagement gesehen werden. Die bisherigen Ergebnisse der Fallstudie zeigen, dass im Handlungsfeld Schule und Bildung eine starke Beteiligung von Schulen an Stadtentwicklungsprozessen gelungen ist. Dies ist maßgeblich das Ergebnis von intensiven Kooperationsbeziehungen, der Ansprache von Schulen durch das Stadtteilmanagement und persönlichem Engagement. Der experimentelle Charakter des Programm Soziale Stadt NRW hat die vielfältigen Entwicklungen erst ermöglicht, so dass das Engagement der Schulen in den Programmgebieten zahlreiche Wirkungen entfalten konnte. Dennoch ist es notwendig, das Handlungsfeld Schule und Bildung
110 Ralf Zimmer-Hegmann, Evelyn Sucato: Evaluation als Element des integrierten Handlungsprogramms Soziale Stadt NRW Ds Evaluationskonzept ermöglicht ein umfassendes Bild über die Soziale Stadt NRW und gibt Hinweise auf wichtige Eckpunkte. stärker zu betonen und seine strategische Bedeutung hervorzuheben. Bisher wenig oder nicht aktive Schulen sollten intensiver in Prozesse der Stadtteilentwicklung einbezogen und die Kooperation mit einzelnen Akteursgruppen, wie Sportvereinen oder Migrantengruppen, soll intensiviert werden. Ergänzende Förderansätze sollten weiterentwickelt werden, um die Aktivitäten von Schulen und Einrichtungen der Kinder- und Jugendarbeit zu unterstützen und zu stärken. Die Fallstudie wird voraussichtlich im November 2004 abgeschlossen. Ihr wird eine Fallstudie zum Thema Förderung der Lokalen Ökonomie folgen. In den drei thematischen Schwerpunkten Leerstand im Einzelhandel, Existenzgründungen und Vernetzung und Beratung sollen Projekte aus insgesamt sechs Stadtteilen untersucht werden. Untersuchungsgebiete sind Düsseldorf-Flingern/Oberbilk, Duisburg-Marxloh, Essen-Katernberg, Gelsenkirchen-Bismarck/Schalke-Nord, Oberhausen-Knappenviertel und Wuppertal-Ostersbaum. Die Projekte sollen im Rahmen der örtlichen integrierten Handlungskonzepte und der bestehenden stadtteilbezogenen lokalökonomischen Strategien analysiert und bewertet werden. Die Auftragsvergabe für diese Fallstudie erfolgt voraussichtlich im Januar 2005 an das Rheinisch-Westfälische Institut für Wirtschaftsforschung e.v. (RWI), Essen. Weitere thematische Fallstudien sind vorgesehen. Zusammenfassend ergeben die regelmäßigen Sachstandsberichte zur Zielerreichung aus den Kommunen, die regelmäßige Erhebung der Kontextindikatoren und die Befragungen in den Städten sowie die Ergebnisse der Einzeluntersuchungen und Fallstudien nach unser Meinung ein wirkungsvolles Bild über die Umsetzung des Programms. Diese Elemente stellen aus unserer Sicht einen vernünftigen Kompromiss dar zwischen dem wissenschaftlich Wünschenswerten und dem politisch und finanziell Machbaren. 3 Eckpunkte für ein differenziertes Evaluationskonzept Gewissermaßen als Schlussfolgerung weisen wir im Folgenden auf einige allgemeine Eckpunkte für einen differenzierten Evaluationsansatz hin, die uns grundsätzlich bei der Evaluation integrierter Stadtentwicklungsprogramme beachtenswert scheinen: Messbarkeit bedarf klarer Ziele Es wurde bereits darauf hingewiesen, dass es unabdingbare Voraussetzung für eine Bewertung der Erreichung von Zielen ist, dass es solche Ziele und deren Konkretisierung überhaupt gibt. Die Erfahrungen zeigen, dass das keine Selbstverständlichkeit ist. Häufig sind Ziele nur sehr allgemein und vage formuliert ( Verbesserung der Lebensbedingungen, Aufwertung des Stadtteils o.ä.) und es fehlt eine genauere Konkretisierung und Operationalisierung. Daraus wird deutlich, dass wirksame Evaluationskonzepte, bevor sie überhaupt irgendetwas messen können, sich dem Problem der Zielformulierung stellen müssen. Daher gilt: Zielformulierung ist Teil der Evaluation und ein Prozess Im Sinne einer prozessorientierten Evaluation ist es daher auch Aufgabe der für die Evaluation verantwortlichen Personen, gemeinsam mit den weiteren am Prozess beteiligten Akteuren Projekt- und Maßnahmenziele zu formulieren. Diese gemeinsame Zielformulierung sollte von der Projektebene bis zur Ebene der Gebietsentwicklung erfolgen und auch die Bewohner einbeziehen. 16 Besonders wichtig ist uns an dieser Stelle aber auch der Hinweis, dass die Zielformulierung neben dem diskursiven auch ein zeitlicher Prozess ist. Nicht alle Ziele und deren Konkretisierung können von Beginn an feststehen, sondern ergeben sich erst im Projekt- bzw. Prozessverlauf, müssen gemeinsam entwickelt werden und können sich auch verändern. Das Programm Soziale Stadt ist der Prototyp für ein lernendes Programm, das in der Anfangsphase stark experimentell ausgerichtet sein muss. Angestrebt werden sollte daher eine mit der Zeit der Programmumsetzung und -erfahrung wachsende Konkretisierung und Präzisierung der Ziele, die aber auch flexibel bleiben müssen.
Informationen zur Raumentwicklung Heft 2/3.2005 111 Messbarkeit bedarf klarer Indikatoren und Zahlen Allerdings ist es mit der Formulierung der Ziele alleine nicht getan. Sie müssen auch messbar, d.h. darstellbar und nachprüfbar gemacht werden. Dazu bedarf es aussagefähiger und mit vertretbarem Aufwand zu erhebender Indikatoren. Das können beispielsweise sein: einfache Erhebungen (Zahl der modernisierten Wohnungen o.ä.), die Befragung von Zielgruppen, die von einzelnen Maßnahmen erreicht werden, Dokumentationen der Projektarbeit, Daten der kommunalen Statistik oder aus dem Verwaltungsvollzug. Dabei wird in der Regel zwischen den Ebenen und der Reichweite der Aussagefähigkeit von Indikatoren unterschieden (Indikatoren zur Zielüberprüfung auf der Ebene von Individuen, Projekten, Stadtteil bzw. Indikatoren zur Messung von Output, Ergebnis oder Wirkungen). Optimal sind für die Projektebene hier Dokumentations- und Controllingsysteme. 17 Um auf der Gebietsebene, d.h. für den Stadtteil Entwicklungsprozesse beobachten zu können, bedarf es kleinräumiger Monitoringsysteme. Hier besteht allerdings das schon hinlänglich bekannte Problem der häufig mangelhaften Verfügbarkeit von kleinräumigen Daten aus der Kommunalstatistik und dem Verwaltungsvollzug. Die Qualität der Bereitstellung solcher Daten ist von Kommune zu Kommune sehr unterschiedlich. In diesem Zusammenhang möchten wir auf ein nach unserer Auffassung vorbildliches System eines kommunalen Sozialraummonitoring in der Stadt Düsseldorf verweisen. 18 Zahlen reichen nicht Zahlen allein können jedoch die Realität nur unvollkommen darstellen und bedürfen immer der Interpretation. Vor allem stellt sich meist auch die Frage nach der Kausalität von Maßnahme und Wirkung. Ein typisches Beispiel: Ist die Veränderung der Arbeitslosenstatistik für einen Stadtteil Folge der dortigen Beschäftigungsmaßnahmen oder auf externe Faktoren (Konjunkturentwicklung, Investitionsentscheidung eines Großunternehmens o.ä.) zurückzuführen? Die reinen Zahlen bedürfen daher der qualitativen Ergänzung beispielsweise durch das Fachwissen von Experten, das im Rahmen von Interviews gewonnen werden kann. Der subjektive Faktor Was meinen die Betroffenen? Auf keinen Fall sollte vergessen werden, die Betroffenen selbst zu fragen. Nehmen sie die Maßnahmen wahr, die der Verbesserung ihrer Lebensbedingungen dienen sollen, und vor allem, erkennen sie positive Veränderungen für sich und ihr Lebensumfeld? Aus unserer Sicht entscheidend ist, ob es gelingt, den Menschen Zuversicht zu vermitteln, um sie zu eigenem Engagement zu ermutigen oder Tendenzen der Abwanderung aus den betroffenen Stadtteilen zu stoppen. Die schon genannte repräsentative Bewohnerbefragung für den Stadtteil Oberhausen-Knappenviertel, die 2001 von der Stadt Oberhausen durchgeführt wurde, kann hier als positives Beispiel angeführt werden. Deren Ergebnisse unterstreichen, dass der Stadtteil den Preis Soziale Stadt 2002 offenbar nicht zu Unrecht erhalten hat. Auch bei der erwähnten Befragung in Gelsenkirchen-Südost wurde deutlich, dass großes Interesse der Bewohnerschaft an der Zukunft des Gebietes besteht. Die Meinungen und Wünsche der Bewohner können bei der Zielentwicklung stärker berücksichtigt werden und geben dem Stadtteilbüro eine Richtung, welche Ziele bei der Erneuerung verfolgt werden sollten. Allerdings muss auch eingeräumt werden, dass repräsentative Bewohnerbefragungen zumal wenn sie sinnvoller Weise in regelmäßigen Abständen durchgeführt werden mit erheblichem Aufwand und Kosten verbunden sind. Das sollte aber keinesfalls davon abhalten, diesen subjektiven Teil des Gesamtbildes zu erheben. Alternativ sinnvoll sind auch nicht-repräsentative Formen der Befragung: Zufallsgespräche auf der Straße o.ä. Auch sie erlauben interessante Tendenzaussagen, sind aber natürlich in der politischen Debatte weniger kommunikationsbeständig als repräsentative Befunde. Diese verschiedenen Aspekte verdeutlichen, dass es nötig ist, Evaluationskonzepte zu entwickeln, die unterschiedliche qualitative und quantitative Untersuchungsmethoden zusammenführen und kombinieren. Ein differenziertes Evaluationskonzept umfasst quantitative und qualitative Analysen.
112 Ralf Zimmer-Hegmann, Evelyn Sucato: Evaluation als Element des integrierten Handlungsprogramms Soziale Stadt NRW 4 Vertretbarer Aufwand Förderung der Akzeptanz Erst alle genannten qualitativen und quantitativen Untersuchungselemente zusammen ergeben ein Bild, das die Frage nach positiven Wirkungen der Programme beantworten kann. Prinzipiell ist es möglich, nahezu alles zu messen. Ob das allerdings immer auch sinnvoll und verhältnismäßig ist, ist eine andere Frage. Der Verweis auf manche Kennziffern bei der Verwaltungsmodernisierung im Rahmen des so genannten Neuen Steuerungsmodells mag hier als Hinweis genügen. Wir plädieren in diesem Zusammenhang dafür, die Vertretbarkeit des Aufwandes und die Beherrschbarkeit und Praktikabilität der Mess- und Evaluationssysteme im Auge zu behalten, was auch eine Kostenfrage ist. Gerade im Hinblick auf die weiter zunehmende öffentliche Finanzkrise ist die Verhältnismäßigkeit der Kosten auch entscheidend für die Akzeptanz solcher Systeme bei der Politik. Akzeptanz gilt es für Evaluationsansätze schließlich und vor allem auch bei den Aktiven vor Ort zu fördern. Ohne deren konstruktive Mitarbeit wären beispielsweise Projektdokumentationen oder Interviewrunden nicht umzusetzen. Die beteiligten Akteure müssen den unmittelbaren Nutzen von Evaluation erkennen. Nur mit ihnen und nicht gegen sie können Evaluationen das Ziel der Optimierung von Programmen und Prozessen erreichen. Anmerkungen (1) Nähere Informationen zum Landesprogramm unter www.soziale-stadt.nrw.de (2) Vgl. Austermann, Klaus; Zimmer-Hegmann, Ralf: Analyse der Umsetzung des integrierten Handlungsprogramms für Stadtteile mit besonderem Erneuerungsbedarf. Evaluationsbericht zum nordrhein-westfälischen Landesprogramm. Dortmund 2000. = ILS Schrift 166 (3) In diesem Zusammenhang sind vom stadteigenen N.U.R.E.C.-Institut insgesamt sieben Berichte erschienen. Infos auch unter www.uniduisburg.de/duisburg/mke.htm. Abschlussbericht: Sozio-ökonomischer Strukturwandel und Lebensbedingungen in Duisburg-Marxloh. Stadtteilentwicklung und Umsetzung des operationellen Programms URBAN (Monitoring kleinräumiger Entwicklungsprozesse, Projektergebnisse 1996 1999). Duisburg 1999 (4) Vgl. Boettner, Johannes: Vom tapferen Schneiderlein und anderen Helden. Fallstricke des integrierten Handelns Eine Evaluation. In: Soziale Stadt Zwischenbilanzen. Ein Programm auf dem Weg zur Sozialen Stadt? Hrsg.: Walther, Uwe-Jens. Opladen 2002, S. 101 114 (5) Die Evaluation der lokal-ökonomischen Maßnahmen erfolgte im Rahmen des EU-Forschungsprojektes ELSES in sechs europäischen Staaten. Der Fallstudienbericht über Duisburg-Marxloh ist unter www.ils.nrw.de/netz/elses ebenso wie die übrigen fünf Fallstudienberichte und weitere Abschlussberichte im Internet entgeltfrei verfügbar. (6) ILS NRW/Arbeitsgruppe Bestandsverbesserung am Institut für Raumplanung der Universität Dortmund (Hrsg.):Integrierte Stadtteilentwicklung auf dem Weg zur Verstetigung. Gelsenkirchen-Bismarck/Schalke-Nord. Programmbegleitung vor Ort (PvO) im Rahmen des Bund-Länder-Programms Soziale Stadt im Auftrag des Deutschen Instituts für Urbanistik (Difu). Abschlussbericht. Dortmund 2002. = ILS-Schrift 186 (7) Der Bericht Analyse sozial-integrativer stadtteilbezogener Projekte. Eine exemplarische Untersuchung am Beispiel Gelsenkirchen-Bismarck/ Schalke-Nord ist entgeltfrei unter www.ils.nrw.de/publik/pdf/sozstadt-projekte.pdf verfügbar. (8) Vgl. Stadt Oberhausen (Hrsg.): Anwohnerbefragung 2001. Stadtteilprojekt Knappenviertel. Oberhausen 2002. = Beitr. z. Stadtentwicklung Nr. 72 (endgeltfrei verfügbar unter www. sozialestadt.de/gebiete/dokumente/df6088.pdf) (9) 37 % der Befragten sehen eine starke bis sehr starke Verbesserung, ein Drittel schätzt die Imageverbesserung teils/teils ein. (10) Gesellschaft für Organisation und Entscheidung (Hrsg.): BewohnerInnenbefragung Gelsenkirchen-Südost. Zusammenfassung der Auswertungsergebnisse, Handlungsbedarfe und Handlungsempfehlungen. Bielefeld 2004 (11) Vgl. ILS NRW (Hrsg.): Ziele und Indikatoren in der integrierten Stadtteilerneuerung. Dokumentation des Workshops am 15. Juli 2002 in Dortmund. Dortmund 2003 (entgeltfrei verfügbar unter www.ils.nrw.de/publik/pdf/ziele-indikatoren.pdf) (12) Vgl. ILS NRW (Hrsg.): Zielentwicklung, Projektcontrolling und Evaluation in der integrierten Stadtteilerneuerung. Dokumentation des Workshops am 13. Februar 2003 in Köln-Kalk. Dortmund 2003 (entgeltfrei verfügbar unter www.ils.nrw.de/publik/pdfstadtteilevaluation.pdf) (13) Vgl. www.soziale_stadt.nrw.de/informationen/ ministerien.html (14) ILS NRW: Handbuch. Zielentwicklung und Selbstevaluation in der Sozialen Stadt NRW. Dortmund 2004. = ILS Schrift 194 (15) Nähere Informationen zu diesem kleinräumigen Monitoring finden sich auf der Internetseite www.city-monitoring.de, die u.a. der Kommunikation zwischen den beteiligten Kommunen dienen soll. (16) mehr dazu unter Anm. 14 (17) mehr dazu unter Anm. 14, 15 (18) Vgl. Klein, Thomas: Definition und Bildung von Sozialräumen am Beispiel des Jugendamtes der Stadt Düsseldorf. In: Reader zum Workshop Monitoring und Controlling in Stadtteilen mit besonderem Erneuerungsbedarf. Zusammenstellung verschiedener Beiträge anlässlich des Workshops Monitoring und Controlling in Stadtteilen mit besonderem Erneuerungsbedarf am 30. August 2001 im Technologie- und Gründerzentrum HamTec in Hamm/Westfalen. Hrsg.: ILS NRW. Dortmund 2001, S. 40 45 (entgeltfrei verfügbar unter www.ils.nrw.de/publik/pdf/ stadtteil monitoring.pdf)