Österreichische Statistiktage 2016 Forschungs- und Entwicklungszusammenarbeit im Europäischen Statistischen System ESSnets und Centres of Excellence

Transkript

1 Forschungs- und Entwicklungszusammenarbeit im Europäischen Statistischen System ESSnets und Centres of Excellence Josef Richter September

2 Inhalt o Einleitung o ESSnets und Centres of Excellence o Kriterien der Evaluierung o Ergebnisse der Evaluierung o Schlussbemerkungen Josef Richter September

3 Einleitung o Die Zusammenarbeit in Forschung und Entwicklung auf dem Gebiet der Europäischen Statistik hat eine große Tradition und findet unter verschiedenen Rahmenbedingungen statt. o Die Kooperation in Form von Collaborative ESS Networks (ESSnets) und Centres of Excellence (CoE) kann auf eine fast fünfzehnjährige Geschichte zurückblicken. o Die beiden Vorträge basieren auf den Erfahrungen aus zwei von Eurostat finanzierten Projekten, in deren Rahmen ein neues Bewertungsschema für ESSnets und CoE erarbeitet, 15 ESSnets und 3 CoE evaluiert wurden und noch eine neue Informationsplattform zu schaffen sein wird. Josef Richter September

4 ESSnets und Centres of Excellence o ESSnets und CoE haben sehr ähnliche Aufgabenstellungen. o Die Zusammenarbeit einiger Statistischer Ämter erfolgt mit dem Ziel, methodisches Wissen zu entwickeln und die Ergebnisse dann allen Ämtern zum Nutzen des gesamten Europäischen Statistischen System (ESS) zur Verfügung zu stellen. o Bei ESSnets liegt dabei der Schwerpunkt auf der Entwicklung von neuem know-how. o Die Aufgabe von CoE ist hingen der Transfer von etablierten Methoden. Josef Richter September

5 ESSnets und Centres of Excellence Drei Gruppen von ESSnets o Architekturprojekte o Entwicklung von Konzepten, Normen und Standards o methodisch orientierte Projekte Josef Richter September

6 ESSnets und Centres of Excellence Architekturprojekte Beispiele o EGR (EuroGroups Register) o Profiling of Large and Complex Multinational Enterprise groups (ESSnet on Profiling) o Data Warehouse (Micro Data Linking and Data Warehousing) o SIMSTAT 1 (Preparation for exchange of micro-data on intra-eu trade between Member States) o ESSnet on Standardisation Josef Richter September

7 ESSnets und Centres of Excellence Entwicklung von Konzepten, Normen und Standards Beispiele o ESSnet on Consistency of concepts and applied methods of business and trade-related statistics projects on Target population, frames, reference period, classifications and their applications o ESeG (ESSnet on the harmonisation and implementation of an European socio-economic classification) o ICT piloting (Definition and piloting of specific modules for the Community Surveys on ICT usage for ) Josef Richter September

8 ESSnets und Centres of Excellence Methodisch orientierte Projekte Beispiele o MEMOBUST (Handbook on Methodology of Modern Business Statistics) o DCSS (Data Collection Social Surveys) o GEOSTAT 1B (Representing Census data in a European population grid) o MESH: Manual for statistics (on energy consumption in households) o Net-SILC 2 o ESSnet on Linking of Microdata to Analyse ICT Impact (ESSLait) Josef Richter September

9 ESSnets und Centres of Excellence Centres of Excellence o Centre of Excellence on Data Warehousing (CoE-DWH) o Seasonal Adjustment Centre of Excellence (SACE) o Centre of Excellence on Statistical Disclosure Control (CoE on SDC) Josef Richter September

10 ESSnets und Centres of Excellence Teilnahme nach Ländern DARA MEMO DCSS ESeG Geo EGR Cons DWH Sim ICT Stand MESH Net-SILC2 Profiling ESSLAIT Summe United Kingdom x x x x x x x x x x x 11 Italy x x x x x x x x x 9 Netherlands x x x x x x x x 8 Germany x x x x x x x 7 Finland x x x x x x x 7 Portugal x x x x x x 6 France x x x x x x 6 Sweden x x x x x 5 Norway x x x x x 5 Austria x x x x x 5 Hungary x x x x 4 Poland x x x x 4 Czech Rep x x x 3 Denmark x x x 3 Lithunia x x x 3 Luxembourg x x x 3 Slovenia x x x 3 Estonia x x x 3 Bulgaria x x 2 Ireland x x 2 Latvia x x 2 Switzerland x x 2 Greece x 1 Malta x 1 Romania x 1 Slovakia x 1 Spain x 1 Josef Richter September

11 ESSnets und Centres of Excellence Projekte mit aktiver Beteiligung Österreichs (Auswahl) o ESSnet on Consistency of concepts and applied methods of business and trade-related statistics projects on Target population, frames, reference period, classifications and their applications o MESH: Manual for statistics (on energy consumption in households) o Net-SILC 2 o ESSnet on Linking of Microdata to Analyse ICT Impact (ESSLait) o Centre of Excellence on Statistical Disclosure Control (CoE on SDC) Josef Richter September

12 Kriterien der Evaluierung Politische Ziele o Mehr Flexibilität, um besser auf neue Nutzerwünsche eingehen zu können o Höhere Effizienz der statistischen Produktion o Gemeinsame Nutzung des Wissens o Innovation o Sicherstellung der statistischen Geheimhaltung o Wirtschaftlichkeit, Vermeidung übermäßiger Belastung der Respondenten o Kohärenz und Vergleichbarkeit o Zugänglichkeit und Klarheit Josef Richter September

13 Kriterien der Evaluierung Übereinstimmung mit den ESSnet Prinzipien o Beteiligung mehrere ESS Partner und gemeinsame Nutzung des Wissens o Nachhaltigkeit o Wirtschaftlichkeit, hohe Wirksamkeit Gruppenspezifische Kriterien Josef Richter September

14 Kriterien der Evaluierung Spezifische Kriterien für CoE o Bereitstellung methodischer Expertise o Sicherstellung der Aktualität des methodischen Wissens o Erarbeitung und Bereitstellung gemeinsamer IT Lösungen o Identifizierung von Standardlösungen, Anbieten von Trainingskurse o Förderung gemeinsamer Aktionen o Schaffung geeigneter institutioneller Rahmenbedingungen Josef Richter September

15 Kriterien der Evaluierung Kriterien der ex-post Bewertung o Wurden die Ziele des Projekts erreicht? o Qualität der Berichterstattung o Maßnahmen zur Verbreitung der Ergebnisse o Erhöhung der Wirtschaftlichkeit Josef Richter September

16 Kriterien der Evaluierung General criteria Policy objectives Compliance with ESSnet principles Technical characteristics of the project Ex-ante and ex-post Ex-ante and ex-post Ex-ante Specific criteria ESSnet Architectural projects ESSnet Conceptual projects ESSnet Methodological projects Centres of Excellence Ex-ante and ex-post Additional aspects of ex-post evaluation Ex-post Josef Richter September

17 Kriterien der Evaluierung - CoE Josef Richter September

18 Ergebnisse der Evaluierung o Jedes einzelne der evaluierten Projekte liefert einen positiven Beitrag zur Modernisierung des ESS. o Jedes Projekt führte zu zusätzlichem Wissen. o Jedes der Projekte erfüllte eine oder mehrere der politischen Zielsetzungen. o Viele der Projekte stehen in unmittelbarem Zusammenhang mit den Zielen des Statistischen Programms und der ESS Vision Josef Richter September

19 Ergebnisse der Evaluierung o Viele der ESSnets sind Elemente in einer Kette von zusammenhängenden Projekten und können nur in diesem Kontext bewertet werden. o Projekte wie EGR, Profiling und SIMSTAT sind entscheidende Schritte hin zu einer neuen Dimension in der Zusammenarbeit innerhalb des ESS. o Alle ESSnets werden zu einem höheren Grad der Harmonisierung und Standardisierung zumindest in einigen begrenzten Gebieten der Europäischen Statistik beitragen. o Die meisten Projekte werden zumindest mittel- und längerfristig zu Verbesserungen führen. Josef Richter September

20 Ergebnisse der Evaluierung o Die Übereinstimmung mit den Grundprinzipen der Forschungsund Entwicklungszusammenarbeit ist bei allen Projekten gegeben. o Alle ESSnets lieferten wesentliche Beiträge für die spezielle Gruppe der Architekturprojekte, der konzeptionell orientierten oder methodischen Projekte. o Die meisten ESSnets erbrachten gleichzeitig Beiträge zu mehreren Aspekten. Josef Richter September

21 Ergebnisse der Evaluierung o Aktivitäten, die Ergebnisse potentiellen Nutzern zugänglich zu machen, wurden bei allen Projekten in Angriff genommen. o Der Umfang solcher Bemühungen differiert allerdings sehr stark. o Die Dokumentationen orientieren sich stark an den Interessen der Stellen, die direkt an einem Projekt mitarbeiten, weniger an denen potentieller externer Nutzer. o Die Ergebnisse werden vor allem in vielen Fällen ausschließlich - am CROS Portal bereit gestellt. o Die Art der Darstellung ist von Projekt zu Projekt sehr verschieden. Das weitgehende Fehlen einer Standardisierung erschwert den Informationszugang erheblich. Josef Richter September

22 Ergebnisse der Evaluierung - ESSnets 1. Policy related criteria More flexibility in responding to new user needs ***) Efficiency gains in production ***) Knowledge sharing in the ESS Innovation Securing statistical confidentiality ***) Cost-efficiency, non-excessive burden on respondents ***) Coherence and comparability ***) Accessibility and clarity ***) 2. Compliance with ESSnet principles Involvement of several ESSnet partners and knowledge sharing Sustainability *) Cost-effectiveness, high impact 3. Technical characteristics of the project Quality of the project proposal 4. Cluster specific criteria Architectural cluster Conceptual cluster Methodological cluster 5. Additional aspect of the ex-post evaluation Did the projects deliver the expected results? *) *) Quality of reporting **) Dissemination activities **) Cost-effectiveness Score: Policy and cluster related criteria Major contribution Contribution Compliance with ESSnet principles and ex-post evaluation criteria Not met Partly met Fully met *) Delays in IT infractructure **) Caused by the specific situation of the SIMSTAT project ***) High indirect impact given Josef Richter September

23 Ergebnisse der Evaluierung Die drei operativen Centres of Excellence befinden sich in sehr unterschiedlichen Stadien der Entwicklung: o Das CoE on Seasonal Adjustment ist voll operativ und erreicht eine große Wirkung. o Das CoE on Data Warehousing befindet sich im Aufbau. o Das CoE on Statistical Disclosure Control ist noch in einer frühen Phase. Josef Richter September

24 Ergebnisse der Evaluierung Die Evaluierung erlaubte die Identifizierung von drei zentralen Kriterien für ein erfolgreiches Centre of Excellence: 1. Verfügbarkeit über ein hochentwickeltes und allgemein anerkanntes methodisches Produkt oder Konzept. 2. Konsens über ein strategisches Konzept zur Verbreitung des verfügbaren Wissens. 3. Ein geeigneter institutioneller Rahmen. Josef Richter September

25 Ergebnisse der Evaluierung - CoE CoE-DWH SACE CoE on SDC Criteria Score Score Score 1. Policy-related criteria More flexibility in responding to new user needs Efficiency gains in production Knowledge sharing in the ESS Innovation Securing statistical confidentiality Non-excessive burden on respondents Cost-effectiveness Coherence and comparability Accessibility and clarity 2. Compliance with ESSnet principles Involvement of several ESSnet partners and knowledge sharing Sustainability Cost-effectiveness, high impact 3. Technical characteristics of the project Quality of the project proposal 4. Cluster-specific criteria Specific criteria for CoEs Provision of methodological expertise Keeping methodological knowledge within the ESS up-to-date Provision of common IT solutions for statistical production systems Best practice and training courses Community building within the ESS Approriate institutional environment 5. Additional aspect of the ex-post evaluation Did the projects deliver the expected results? Quality of reporting Dissemination activities Cost-effectiveness Involvement of NSIs not participating in the CoE Provision of documentation for different user groups Performance Score: Policy and cluster related criteria Major contribution Contribution Compliance with ESSnet principles and ex-post evaluation criteria Not met Partly met Fully met Josef Richter September

26 Schlussbemerkungen o Die evaluierten ESSnets unterscheiden sich stark in ihrer Zielsetzung aber auch wesentlich in Bezug auf ihren Umfang. o Das System der ESSnets ist sehr erfolgreich in der Förderung des methodischen Fortschritts im ESS. o Das System ist weit weniger erfolgreich in den Bemühungen, das neue Wissen allen Partnern im ESS zugänglich zu machen. o Die die Ergebnisse der ESSnets und CoE sind vielen Mitarbeitern Statistischer Ämter kaum bekannt. o Es ist nicht gewährleistet, dass das geschaffene Wissen auf dem jeweils neuesten Stand gehalten werden kann. Josef Richter September

27 Schlussbemerkungen Wesentliche weitere Beschränkungen sind: o Die meisten ESSnets und CoE sind isolierte Projekte. o Es fehlt ein Gesamtkonzept, das berühmte stovepipe principle ist omnipräsent. o Die aktive Mitarbeit an ESSnets und CoE ist stark auf wenige Länder konzentriert. o Es ist zu bezweifeln, ob damit ein Beitrag zu der gewünschten Konvergenz in den methodischen Standards geleistet wird. o Diese Schlussfolgerungen beruhen auf der Evaluierung von 15 ESSnets und 3 CoE. Sie dürften aber repräsentativ für alle ESSnets sein. Josef Richter September

28 Schlussbemerkungen o Die starke Konzentration der aktiven Teilnahme an der Forschungs- und Entwicklungszusammenarbeit auf wenige Mitgliedsstaaten macht eine sehr aktive Verbreitung der Ergebnisse erforderlich. o Das CROS Portal in seiner jetzigen Form erleichtert den Zugang zu den Forschungsergebnissen keineswegs. o Die Schaffung einer Plattform für die Forschungs- und Entwicklungszusammenarbeit in der Form eines benutzerfreundlichen Knowledge Repository ist ein Gebot der Stunde. Josef Richter September

29 Link zu den ESSnet assessments und zum assessment framework: -essnet-assessments_en Josef Richter September

30 Danke für die Aufmerksamkeit Josef Richter September