Statistik für jedermann - Qualität versus Dilettantismus

Transkript

1 Schweizer Statistiktage, Aarau, 18. Nov Statistik für jedermann - Qualität versus Dilettantismus Möglichkeiten und Grenzen des Data Warehousing und dessen Öffnung für breitere Benutzerkreise Doris Rapold Leiterin Datenspezialisten doris.rapold@stat.stzh.ch Sandro Pfammatter Leiter Informatik und Daten Management sandro.pfammatter@stat.stzh.ch

2 Agenda Warum ein Data Warehouse? Qualitätsaspekte im Data Warehouse Prozess Quelldaten Core Data Warehouse Datamarts Analyse Zusammenfassung

3 Data Warehouse Ausgangslage Geodaten Finanzdaten Einwohnerdaten Verkehrsdaten Umfragedaten Gesundheitsdaten Personaldaten Umwelt-Umweltschutz Kriminalität Sozio-Demographie Produktgruppen Schüler-Lehrer-Ausbildung Wirtschaftszahlen Infrastruktur PRD FD PD GUD Eine moderne Verwaltung... Stadt- Stadtverwaltung verwaltung TED HBD DIB SSD SD... ist mit übergreifenden Fragestellungen konfrontiert... benötigt eine übergreifende Datenbasis

4 Unkoordinierte Datenflüsse ohne DWH Suboptimale Prozesse Lieferanten DA Kunden DA Verknüpfung der Daten Auswertung n mal n, d.h Beziehungen Ohne DWH: Jede DA holt sich ihre Informationen selbst Jede DA baut sich ihre eigenen Verknüpfungen

5 DWH - eine Plattform für koordinierte und verknüpfte Datenflüsse Lieferanten DA Kunden DA Voraussetzung: Möglichst alle DA sind Lieferanten des DWH. Jede DA holt sich die Informationen aus dem DWH. DWH n mal 2, d.h. 174 Beziehungen

6 Verlagerung der Komplexität vom Lieferanten/Kunden hin zum Data Warehouse DWH Das Data Warehouse kümmert sich um die Verknüpfungen

7 Data Warehouse (DWH) DWH = Instrument der Stadtverwaltung Planungs- und Entscheidungsprozesse beschleunigen Optimierung von Ressourceneinsatz Doppelspurigkeiten vermeiden Standardisierte Datenaufbereitung Zentrale Datendrehscheibe Aktualität Einheitliche Datenbasis Verknüpfbare Daten

8 Data Warehouse Prozess Quelldaten Core Data Warehouse Datamarts Analyse Daten erheben Daten laden Daten aufbereiten Daten auswerten ETL Lieferant Extrahieren DWH Laden Nutzer Transformieren

9 Qualitätsaspekt Datenschutz Quelldaten Core Data Warehouse Datamarts Analyse DWH-Reglement Lieferant Daten Data Warehouse Daten Nutzer DWH-Vereinbarung Lieferung Statistik Stadt Zürich DWH-Vereinbarung Nutzung

10 Vereinbarungen Das DWH-Reglement definiert die allgemeinen Begriffe und Bestimmungen zum DWH und ist automatisch Bestandteil der einzelnen DWH-Vereinbarungen. DWH-Reglement Lieferant Daten Data Warehouse Daten Nutzer DWH-Vereinbarung Lieferung Statistik Stadt Zürich DWH-Vereinbarung Nutzung Die DWH-Vereinbarung regelt die spezifischen Bestimmungen einer Datenlieferung an bzw. einer Daten-Nutzung aus dem DWH. Pionierrolle von Statistik Stadt Zürich Enge Zusammenarbeit mit dem Datenschutzbeauftragten

11 Reglement Zweckbindung Verantwortlichkeiten der Beteiligten (Statistik Stadt Zürich, OIZ, DA als Datenlieferanten und nutzer) Rechte und Pflichten Daten (Anonymisierung/Pseudonymisierung, Aktualisierung, Qualitätssicherung) Zugriffsberechtigungen Publikationsregeln

12 Liefervereinbarung Quelldaten Core DWH Rechte der Betroffenen Datendokumentation Datenverwendung Zweckbindung Publikation

13 Nutzungsvereinbarung Beschreibung des Datamarts Zweck Verantwortung Erhebung, Aktualisierung, Löschung Datendokumentation Fakten / Dimensionen Datenverwendung Berechtigungen Publikation/Verdichtungsgrad

14 Quelldaten Quelldaten Core Data Warehouse Datamarts Analyse Daten erheben Daten laden Daten aufbereiten Daten auswerten Qualität steigt, wenn möglichst alle Daten der Stadt in das Data Warehouse einfliessen Nicht alle potentiellen Lieferanten sind sofort bereit ihre Daten herzugeben Qualität fängt also bei der Akquisition der Lieferanten an Vertrauensbildende Massnahmen sind notwendig Gemeinsame Projekte Referenzen und Datenschutzreglement Voraussetzungen für hohe Qualität Verknüpfbare Daten (Mehrwert entsteht erst durch Verknüpfung) Enge Zusammenarbeit mit den Datenlieferanten (Qualitätssicherung der Daten vor Ladevorgang)

15 Core Data Warehouse Quelldaten Core Data Warehouse Datamarts Analyse Daten erheben Daten laden Daten aufbereiten Daten auswerten Voraussetzungen für hohe Qualität im Sinne der Lieferanten (Datenschutz) Anonymisierung Pseudonymisierung Historisierung als Grundlage für Zeitreihen

16 Datamarts Quelldaten Core Data Warehouse Datamarts Analyse Daten erheben Daten laden Daten aufbereiten Daten auswerten Voraussetzungen für hohe Qualität Benutzerfreundliche Struktur

17 Klare Struktur des Datamart

18 Datamarts Quelldaten Core Data Warehouse Datamarts Analyse Daten erheben Daten laden Daten aufbereiten Daten auswerten Voraussetzungen für hohe Qualität im Sinne der Nutzer Benutzerfreundliche Struktur Verknüpfungen erstellen (Information wird zu Wissen) Harmonisierte Dimensionen (Kontinuität)

19 Datenanalyse Quelldaten Core Data Warehouse Datamarts Analyse Daten erheben Daten laden Daten aufbereiten Daten auswerten Voraussetzungen für hohe Qualität im Sinne der Nutzer Beschreibung der Erhebungsmethoden Definition der Fakten Detaillierte Dokumentation der Dimensionen (Auswertungsvariablen)

20 Dimensionen und Fakten Dimensionen... erlauben die Analyse der Fakten nach unterschiedlichen Einflussgrössen (z.b. Zeit, räumliche Verteilung, Altersklassen). Sie entsprechen den Spalten- und Zeilenbeschriftungen einer Tabelle und sind oft hierarchisch strukturiert. Über gemeinsame Dimensionen können Fakten miteinander verknüpft werden. Alle Altersklassen 0-40 Jahre > 40 Jahre 0-20 Jahre Jahre Jahre > 60 Jahre Alle Geschlechter Männer Frauen Anzahl wirtschaftliche Einwohner Fakten... (bzw. Kennzahlen) sind quantifizierbare Merkmale mit Masseinheit (z.b. Anzahl, %, m², CHF), welche ein Objekt (z.b. Bevölkerung) beschreiben.

21 Intranet / Dokumentation

22 Datenanalyse Quelldaten Core Data Warehouse Datamarts Analyse Daten erheben Daten laden Daten aufbereiten Daten auswerten Voraussetzungen für hohe Qualität im Sinne der Nutzer Beschreibung der Erhebungsmethoden Definition der Fakten Detaillierte Dokumentation der Dimensionen (Auswertungsvariablen) Regelmässige Nutzung seitens Nutzer Fachliche Beratung bei Auswertungen durch Statistik Stadt Zürich Review von Auswertungen oder Publikationen Dritter (Nutzer des Data Warehouse)

23 Risiken des Data Warehouse wirtschaftlich oder zivilrechtlich? T6: Wohnbevölkerung nach Wohnsitzart, A Zivilrechtlicher und wirtschaftlicher Wohnsitz in Zürich 335' ' B Nur wirtschaftlicher Wohnsitz in Zürich (zivilrechtlich auswärts) 29'417 28' C Nur zivilrechtlicher Wohnsitz in Zürich (wirtschaftlich auswärts) 4'563 4' Zivilrechtlicher Wohnsitz in Zürich (A+C) 339' '402 Zunahme 698 Wirtschaftlicher Wohnsitz in Zürich (A+B) 364' '528 Abnahme -30 Quelle: Statistik Stadt Zürich / Personenmeldeamt der Stadt Zürich Publikation: Statistik Stadt Zürich / Zürcher Bevölkerung im Jahr 2003 / Analysen 6/2003

24 Hirzenbach Saatlen Oerlikon Risiken des Data Warehouse Zu- oder Abnahme? Prozentuale Veränderung der Beschäftigten BZ 1998 / 2001 nach Stadtquartier Wipkingen Altstetten Weinegg Seefeld Hirslanden Fluntern Unterstrass Gewerbeschule Langstrasse Sihlfeld Alt-Wiedikon Leimbach City Hochschulen Stadt 1998 Schätzung Statistik Stadt Zürich 1998 gemäss BFS

25 Zusammenfassung Qualitätsaspekte DWH Allgemein Vertragswerk und Reglementierung ist von zentraler Bedeutung (vertrauensbindende Massnahme) Qualität im Sinne der Lieferanten Partnerschaften Datenschutz Sicherstellung der korrekten Interpretation Qualität im Sinne der Nutzer Klare Strukturen Hoher Dokumentationsgrad Controlling der Resultate Nutzer stossen aufgrund Komplexität der Daten und mangelndes Detailwissen an Grenzen DWH bedingt geeignet für breite Benutzerkreise