Automatisierte Ingestprozesse in das Transparenzportal Hamburg

Transkript

1 Automatisierte Ingestprozesse in das Transparenzportal Hamburg (c) Corinna Jockel / Staatsarchiv Hamburg 22. Tagung des Arbeitskreises Archivierung von Unterlagen aus digitalen Systemen 7. März 2018 Marburg Paul Flamme, Staatsarchiv Hamburg

2 Neue Aufgabe des Staatsarchivs Transparenzportal nach neuem Hamburgischen Transparenzgesetz Transparenzgesetz 2012 Erweiterung IFG (Auskunftspflicht) um Veröffentlichungspflicht Onlinegang Transparenzportal Portal Oktober 2014 NEU Gesetzliche Veröffentlichungspflicht Internet: anonym und kostenlos auf bestimmte im Gesetz einzeln aufgezählte Gegenstände bezogen unverzügliche Veröffentlichung Verpflichtete: Behörden und abhängige Unternehmen privaten Rechts Ohne Weiterverwendungsbeschränkungen Aufbewahrung min. 10 Jahre Maschinelle Lesbarkeit, Standardformate, Herstellerunabhängigkeit Einschränkungen: Datenschutz, Betriebs- und Geschäftsgeheimnisse 2

3 Das Gesetz benennt die Gegenstände der Veröffentlichungspflicht Katalog der veröffentlichungspflichtigen Informationen nach 3 HmbTG Senatsbeschlüsse Mitteilungen des Senats Öffentlicher Beschlüsse Verträge der Daseinsvorsorge Haushalts-, Stellen-, Bewirtschaftungs-, Geschäftsverteilungs- Aktenpläne Verwaltungsvorschriften und Fachanweisungen Statistiken und Tätigkeitsberichte Gutachten und Studien Geodaten Umweltmessungen und Erhebungen Das Baumkataster Öffentliche Pläne, insebesondere Bauleit- und Landschaftspläne Baugenehmigungen Subventionen und Zuwendungsvergaben Wesentliche Unternehmensdaten städtischer Beteiligungen einschl. Vergütungen Sonstige Verträge von öffentlichem Interesse Sonstige Informationen von öffentlichem Interesse Dienstanweisungen 3

4 130 Fachverfahren mit veröffentlichungspflichtigen Informationen - Auszug 4

5 Arten Liefersysteme: Datenübernahme 1. Liefersysteme, im Internet erreichbar (Webservice mit API), die Historie selbst Speichern können (persistierende Liefersysteme) o Harvesting Metadaten (Metadaten ernten, Ressourcen bleiben im Liefersystem) 2. Liefersysteme, im Internet erreichbar (Webservice mit API), die nicht selbst gemäß des HmbTG speichern können (nicht-persistierende Liefersysteme) o Transport Metadaten und Ressourcen in Zentralen Speicher (ZS) des Transparenzportals o Harvesting der Daten des Liefersystems im ZS 3. Liefersysteme, die noch keinerlei Export vorsehen o Neuer Prozess notwendig Erweiterung des Fachverfahrens Auswahl der zu übernehmenden Informationen ggf. Schwärzung schutzwürdiger Daten o Transport Metadaten und Ressourcen in ZS o Harvesting der Daten des Liefersystems im ZS 5

6 Datenübernahme ins Transparenzportal Dokumente Informationen Daten / Dokumente Liefersysteme Parlamentsdatenbank Ratsinformationssystem 5 Bezirke Metadaten harvesten Liefersystem im Internet: Ressourcen lesen keine Datenübernahme Transparenzportal Staatsarchiv Portal - hamburg.de Metadatenregister CKAN Öffentlichkeit E-Akte (ELDORADO) Geodaten Texterkennung (OCR) Workflow: Schwärzen Bereinigen Genehmigen (Metadatenverbund) Baumkataster INEZ / Zuwendungen BACom / Baugenehmigungen Weitere Fachverfahren Liefersystem nicht im Internet oder Versionierung: Datenübernahme Ressourcen in ZS. Datenbank Zentraler Speicher 6

7 o o o Web-Harvester: HMDK (MetaVer) Metadatenportal der FHH Einbindung der vorhandenen Infrastruktur Suchmaschine Hamburger Metadatenkatalog (Nachweis Inspire-Geodatensätze, Open Data) Informationsgegenstände: Geodaten, Umweltmessungen + Erhebungen, Baumkataster, Statistiken Beispiele: ALKIS, Orthophotos, Geologische Karten; Geofachdaten; z.b. Schulen, Kita- Einrichtungen, Artenkataster, Denkmalkartierungen; Schüler- und Klassenzahlen o Harvesting über Standard-Schnittstelle CSW (ISO 19115) o o o o o o Metadaten und Vollindex im Transparenzportal Zugang zu den eigentlichen Daten (Ressourcen) erfolgt zum Teil direkt über einen Downloadlink bzw. über eine Daten-Dienste-Kopplung Initial: 2000 Datensätze mit 6000 Ressourcen, Zuwachs 5 / Woche Nicht persistierende Anwendungen und Datensammlungen im HMDK definiert Versionierung Prüfung spezieller Metadaten im HMDK-Katalogeintrag oder Ressourcen auf Veränderung Wird bei einem Harvesting Notwendigkeit einer Versionierung erkannt, wird neue Version generiert und im Portal in Beziehung gesetzt (z.b. Gültigkeit, Verweise auf Vorgänge + Nachfolger u.a.) Generierung eines neuen aktuellen Metadatensatzes, Übernahme Ressourcen Anbindung Ressourcen Altversionen ohne Kartendienste Ressourcen bis 50 MB: Generierung Hashwert (on-the-fly) Ressourcen über 50 MB: Vergleich Speichervolumen Historisierung Speicherung Zeitschnitte von Ressourcen, die sich kontinuierlich ändern Geodaten 7

8 Baumkataster Treffer und Ressourcen 8

9 Übernahme aus E-Akten über HmbTG-Workflow Informationsgegenstände: z.b. Verträge, Mitteilungen, Verwaltungsvorschriften, Gutachten und Studien, Tätigkeitsberichte; Geschäftsverteilungspläne, Aktenpläne Veröffentlichende Stellen: Alle Behörden und Ämter Übergabespeicher Übernahme Informationsobjekte aus E-Akte / HmbTG-Workflow Informationsobjekt - PDF/A-1b, TIFF - xml / Metadaten... Informationsobjekt - PDF/A-1b, TIFF - xml / Metadaten E-Akte (ELDORADO) 35 Einzelsysteme Dokument z.d.a./z.v., Zusatz HmbTG-Infogegenstand Transportagent WF Vorbereitung Löschung verdeckte Infos Konvertierung PDF Normalisierung OCR Transportagent Luratech Transportagent Übergabespeicher Informationsobjekt - xml / Metadaten - Markiertes Dok. (PDF/A-1b) - Geschwärztes Dok. (PDF/A-1b) - WF-Protokoll (PDF/A-1b)... Informationsobjekt - xml / Metadaten - Markiertes Dok. (PDF/A-1b) - Geschwärztes Dok. (PDF/A-1b) - WF-Protokoll (PDF/A-1b) WF Sachbearbeitung WF-Schritte delegieren Prüfung / Rechtsprüfung Metadaten bearbeiten Schwärzung markieren Freigeben REDAX Hypernet SharePoint InfoPath (Protokoll) Active Directory / Mailing Transportagent Transportagent WF Nachbereitung OCR entfernen Weißung Schwärzung umsetzen Konvertierung PDF/A OCR neu Luratech Transparenzportal Zentraler Speicher CKAN Harvesting Mapping Indexierung Volltextanalyse Portal - Hamburg.de 9

10 Web-Harvester: Statistik Nord o Informationsgegenstand: Amtliche Statistiken o Veröffentlichende Stellen: Statistik Nord. Statistisches Amt für Hamburg und Schleswig-Holsten o Fachverfahren mit Webservice und API: Rohdaten, Statistische Berichte, Tätigkeitsberichte aus amtlicher Statistik o Beispiel: Eheschließungen, Gestorbene, Geborene; Straßenverkehrsunfälle; Beherbergungen; Ausfuhren o Anzahl im HmbTG-Portal: Statistik Nord Transparenzportal HmbTG- Schnittstelle Zentraler Speicher (ZS) o API für Metadaten o Liefersystem: Typo3- CMS o Daten bei Statistik Nord > 10 Jahre o Auswahl: Kriterienkatalog Metadaten, z.b. States: Hamburg o Harvesting: täglich o Formate: PDF/A, CSV in ZIP-Ordner, XLS, XLSX Harvester erntet Metadaten Hinzuziehung Dokumente für Vollindext CKAN Harvesting OGD-Metadaten nach Regel Indexierung Volltextanalyse Portal hamburg.de 10

11 Web-Harvester: Statistik Nord 11

12 Übernahme Metadaten und Ressourcen Harvesting Zentraler Speicher: INEZ (Zuwendungen) 12

13 Übernahme Metadaten und Ressourcen Harvesting Zentraler Speicher: INEZ (Zuwendungen) o Informationsgegenstand: Subventionen und Zuwendungsvergaben o Veröffentlichende Stelle: Alle betroffenen Behörden, insbesondere Finanzbehörde, Sozialbehörde, Kulturbehörde o Fachverfahren ohne Webservice, ohne Exportschnittstelle vor Anbindung o Beispiel: Vorgänge Zuwendungsvergaben, Zuschüsse, Darlehn Fachverfahren INEZ (Integrierte Erfassung und Bearbeitung von Zuwendungen) HmbTG- Schnittstelle o Auswahlfilter: >1000 / Jahr o Ca Bewilligungsbescheide (DB-Records) / Jahr o Export /Quartal in kumulierter Tabelle o Pro Bewilligungsbescheid eine Zeile o 17 Datenfelder / Record o Metadaten: XML o 2 Dokumentenformate: XLSX, CSV Transportagent: XDOMEA-Nachricht 0201 (Geschäftsgang) XML; XLSX, CSV Transparenzportal Zentraler Speicher (ZS) Harvesting CKAN Harvesting Metadaten nach Regel Indexierung Volltextanalyse Portal hamburg.de 13

14 Übernahme Metadaten und Ressourcen Harvesting Zentraler Speicher: INEZ (Zuwendungen) 14

15 Übernahme Metadaten und Ressourcen Harvesting Zentraler Speicher: BACom (Baugenehmigung) o Informationsgegenstand: Baugenehmigung/Genehmigungsbescheide, Bauvorbescheide, Ergänzungen o Veröffentlichende Stelle: Bezirksämter o Fachverfahren ohne Webservice, ohne Exportschnittstelle vor Anbindung o Anzahl im HmbTG-Portal: Fachverfahren BACom (Behördliche Aufgaben mit Computerunterstützung) HmbTG- Schnittstelle o Auswahlfilter: Ohne Wohngebäude < 5 Einh. o Programmgesteuertes Schwärzen o Generierung Dokument für HmbTG mit geschwärzten Personendaten o Ca Bescheide / Jahr o Export: täglich o Pro Bescheid eine Nachricht o Metadaten: XML o Dokument: PDF/A Transportagent: XDOMEA-Nachricht 0201 (Geschäftsgang) XML, PDF/A Transparenzportal Zentraler Speicher (ZS) Harvesting CKAN Harvesting Metadaten nach Regel Indexierung Volltextanalyse Portal hamburg.de 15

16 Übernahme Metadaten und Ressourcen Harvesting Zentraler Speicher BACom (Baugenehmigung) 16

17 Übernahme Metadaten - Harvesting ZS und Liefersystem: Parlamentsdatenbank - hier: Mitteilungen Senat o Informationsgegenstand: Mitteilungen des Senats an die Bürgerschaft o Veröffentlichende Stellen: Senatskanzlei der Freien und Hansestadt o Fachverfahren mit Webservice ohne API: Informationssystem der Hamburgischen Bürgerschaft o Beispiel: Gesetzesvorlagen, Rechenschaftsberichte, Haushaltspläne, Staatsverträge usw. (1.600 Senatsdrucksachen) o Bürgerschaftskanzlei lehnt Integration ParlaDB ins HmbTG-Portal aus rechtlichen Gründen ab Fachverfahren ParlaDB HmbTG- Schnittstelle o Keine API für Metadaten o Nachnutzung vorhand. Exportschnittstelle o Filter: Urheber = Senat DokArt = Drs o Export täglich o Formate: XML-Metadaten ZIP-Datei mit PDF Transportagent: XTA-Protokoll XML, ZIP/PDF Harvester zieht über generierte URL PDF-Dokument für Vollindex hinzu Transparenzportal Zentraler Speicher (ZS) Formierung neuer Metadatensatz ZIP/PDF wird nicht übernommen Generierung URL aus Wahlperiode und Nummer (21/12188) => Harvesting CKAN Harvesting OGD-Metadaten nach Regel Indexierung Volltextanalyse Portal hamburg.de 17

18 Übernahme Metadaten - Harvesting ZS und Liefersystem: Parlamentsdatenbank - hier: Mitteilungen Senat 18

19 Übernahme Metadaten und Ressourcen - Harvesting ZS + Liefersystem: Parlamentsdatenbank - hier: Senatsbeschlüsse o Informationsgegenstand: Senatsbeschlüsse o Veröffentlichende Stelle: Senatskanzlei o Fachverfahren mit Webservice ohne API: Informationssystem der Hamburgischen Bürgerschaft o Beispiele: Niederschriften Senatssitzungen, Niederschriften Senatskommissionen: Antworten auf Große und Kleine Anfragen o Bürgerschaftskanzlei lehnt Integration ParlaDB ins HmbTG-Portal aus rechtlichen Gründen ab 19

20 Übernahme Metadaten und Ressourcen - Harvesting ZS + Liefersystem: Parlamentsdatenbank - hier: Senatsbeschlüsse o Informationsgegenstand: Senatsbeschlüsse o Veröffentlichende Stelle: Senatskanzlei o Fachverfahren mit Webservice ohne API: Informationssystem der Hamburgischen Bürgerschaft o Beispiele: Niederschriften Senatssitzungen, Niederschriften Senatskommissionen: Antworten auf Große und Kleine Anfragen o Bürgerschaftskanzlei lehnt Integration ParlaDB ins HmbTG-Portal aus rechtlichen Gründen ab E-Akte HmbTG-WF - Niederschrift Senatssitzung - Verfügung zur Akte mit Flag HmbTG Transportagent: XML-Metadaten, Dokument E-Akte PDF-1b Fachverfahren ParlaDB Harvester Harvester - parst Niederschrift - 21/10850 => URL - besucht PDF in ParlaDB für Vollindex Transparenzportal Zentraler Speicher (ZS) Übernahme Ressource Niederschrift Harvesting CKAN E-Akte (ELDORADO) WF-Vorbereitung WF-Sachbearbeitung (Prüfen, Schwärzen, Freigeben) WF-Nachbereitung Harvesting Analyse Niederschrift Generierung URL aus nn/nnnn OGD-Metadaten nach Regel Indexierung Volltextanalyse Portal hamburg.de 20

21 Ressource im ZS Transparenzportal Ressourcen im Liefersystem ParlaDB 21

22 Kennzahlen Transparenzportal Hamburg Aktuelle Kennzahlen ( ) Datensätze Anbindung 130 Fachverfahren 13 Liefersysteme-Harvester Objekte Open-Data ø Seitenaufrufe: : / Monat API: / Monat Web-Interface: / Monat 22

23 Fachliche Leitstelle Transparenzportal im Staatsarchiv Hamburg Kontakt: Fachliche Leitstelle Transparenzportal im Staatsarchiv (Kulturbehörde) Danke für Ihre Aufmerksamkeit 23