Datenbankarchivierung im Finance-Bereich Erfahrungen bei der ING-DiBa

Transkript

1 Datenbankarchivierung im Finance-Bereich Erfahrungen bei der ING-DiBa Diana Richler IT Central Services, ING-DiBa Heike Johannes Project Management, CSP

2 Allgemeines Diana Richler Wirtschaftsinformatikerin Seit Ende 2006 im Outputmanagement der ING-DiBa Datenbankprogrammierung, Projektarbeiten & Datenbankarchivierung Outputmanagement in der IT Central Services administrative Betreuung der individuellen Dokumentenerstellung Massenbrieferstellung z.b. Kontoauszüge zentrale Dokumentenschleuse mit dem Document Process Pool Archivierung im zentralen Archiv, Veröffentlichung in der Postbox Aufbau der Datenbankarchivierung als Standardprozess Datenbankarchivierung im Finance-Bereich - Erfahrungen bei der ING-DiBa

3 Allgemeines Heike Johannes Wirtschaftsinformatikerin Seit 2009 im Project Management der CSP GmbH & Co. KG Seit 2007 im Software Development der CSP GmbH & Co. KG Projektleitung, Prozessanalyse, Konzeption und Consulting zu den Themen Datenbankarchivierung & Application Retirement CSP GmbH & Co. KG Softwarehersteller seit 1991 Zertifizierung nach ISO Marktführer für Datenbank-Archivierung in Deutschland mit Datenbankarchivierung im Finance-Bereich - Erfahrungen bei der ING-DiBa

4 Allgemeine Gründe für Datenbankarchivierung Compliance Revisionssicherheit Langzeitlesbarkeit Application Retirement / Decommissioning Betrieb Performance Backup & Recovery Wartungsaufwand SLA Kosten Lizenzen Hardware Konsolidierung Datenbankarchivierung im Finance-Bereich - Erfahrungen bei der ING-DiBa

5 Worauf kommt es beim Archivieren an? Einfache Integration Bewährte Standardlösung Geringer Wartungsaufwand Automatisierte Archivierung Unkompliziertes Archivieren Inkrementelle Datenablage Datenbankarchivierung im Finance-Bereich - Erfahrungen bei der ING-DiBa

6 Worauf kommt es beim Archivieren an? Archivzugriff ohne Datenbank Schnittstellen wie JDBC / ODBC etc. Indexierung Import in Datenbanken IDEA- Ausleitung Offenes Archivformat Meta-Daten in XML-Format Unkompliziertes Recherchieren Schemaänderungen Datenbankarchivierung im Finance-Bereich - Erfahrungen bei der ING-DiBa

7 Application Retirement Umsetzung mit CHRONOS Abschalten von Altsystemen Recherchemöglichkeit im Archiv Reporting Suchformular Langzeitsicherheit durch offenes Archivformat Absolute Herstellerunabhängigkeit durch offenes Archivformat Zentrale Informationsplattform: CHRONOS ArchiveExplorer Kombination der Datenbankinhalte mit weiteren Dokumenten, z. B. Verfahrensdokumentation Datenbankarchivierung im Finance-Bereich - Erfahrungen bei der ING-DiBa

8 Daten mit Potential oder Schwarzes Loch Was kann eingespart werden? teurer Plattenplatz Datensicherungsbänder Recovery Zeit (DB-Clone) Lizenzen für Altdatenbank Was sind die Möglichkeiten? Bewegungsdaten Kunden-Stammdaten Buchungsdaten Loggingdaten Kundenhistorie HBCI-Schnittstelle Fusionsaltdaten Datenbankarchivierung im Finance-Bereich - Erfahrungen bei der ING-DiBa

9 Tabellen mit Kunden-Stammdaten Beispiel Kunden-Stammdaten (aktuelle Praxisgröße 700 GB) Dauerarchivierung Initialladung ca. 300 GB Folgearchivierung < 20 GB pro Monat - Abzug zu Releases - anonymisiert - Plattenplatz Praxis Vorproduktion Test Line Test 1 Entwicklung Line Entwicklung 1 - Laufzeit Neuaufbau (14 Stunden) - Plattenplatz - Suchzeiten Schulung Test 7 Entwicklung Datenbankarchivierung im Finance-Bereich - Erfahrungen bei der ING-DiBa

10 Fusionsaltdatenbanken Beispiel Fusionsaltdaten Einmalarchivierung Datenzugriff unklar teurer Plattenplatz 60 GB Oracle 9i 250 GB 5 GB inaktiv? 50 GB Lizenzen Datenbankarchivierung im Finance-Bereich - Erfahrungen bei der ING-DiBa

11 Was brauchen wir? revisionssicher archivieren mit der EMC Centera langfristige Unabhängigkeit bei der Wahl des Archivformats Export und Import von und mit verschiedene Produktivdatenbanken Flexibilität bei den Tabellenstrukturen sichere und automatisierte Löschung der Quell-Archivdaten löschen der Archive nach Ablauf der Centera Retention Time mannigfaltige Recherchezugriffsmöglichkeiten auf die Archive klare Abgrenzung der Archivprojekt über Rechte Integration in die DiBa-Landschaft zum Aufruf durch UC Datenbankarchivierung im Finance-Bereich - Erfahrungen bei der ING-DiBa

12 Standardlösung mit CHRONOS DB Σ Σ Benefit Möglichkeiten Revisionssicherheit Zugriffsschutz Retentionhandling HD Lösungen Jukeboxsysteme Tapelibraries weitere Archivsysteme leicht anbindbar Datenbankarchivierung im Finance-Bereich - Erfahrungen bei der ING-DiBa

13 Backend-Architektur von CHRONOS App 1 Archiv App 2 App n Re-Import Datenbank Datenbankarchivierung im Finance-Bereich - Erfahrungen bei der ING-DiBa

14 Frontend-Architektur von CHRONOS DB CHRONOS Server / Backend Storage Fachbereiche/ Sachbearbeiter CHRONOS Archive Explorer Recherchen Download von bereitgestellten Dokumenten CHRONOS Web Designer CHRONOS Admin Suite Archivkonfiguration Ad-Hoc-Abfragen Monitoring Benutzerverwaltung Design der Archivrecherchen Bereitstellen der Dokumente Mapping Archiv- / Geschäftsobjekte Archiv- Administrator Fachlich-technische Ansprechpartner Datenbankarchivierung im Finance-Bereich - Erfahrungen bei der ING-DiBa

15 Umgebungsaufbau Chronos-Server und 4 Linux Red Hat VM mit 4 CPUs, 8 GB RAM 20 GB HDD, plus 50 GB HDD Praxis JDK 1.5.0_22 Centera SDK JBoss6 Tomcat Chronos-Repository Oracle 11g Datenbank 500 MB Tab- und Index EMC Centera Datenbankarchivierung im Finance-Bereich - Erfahrungen bei der ING-DiBa

16 Rahmenbedingungen Sind Datenbanktabellen zu archivieren? Multischema? Datenmenge? Altdaten löschen oder nur markieren? Einmal- oder kontinuierliche Archivierung (Unterschied bei der Lizenz)? Liegen High-Risk-Daten vor? Welche Retention Time? Welcher Recherche-Zugriff wird auf das Archiv benötigt? direkt: Fachbereich indirekt: Integration in Fachbereichseigene Applikation (JDBC-Treiber) Projektlaufzeit Besonderheiten Menge und Vorgaben bei den Suchmasken/Reports unterschiedliche Rechtevergabe im Archiv Indizes zur Suchbeschleunigung erforderlich Datenbankarchivierung im Finance-Bereich - Erfahrungen bei der ING-DiBa

17 Projekt Buchungsdaten allgemeine Eckpunkte Daten werden exportiert und gelöscht. Erfolgreiche Löschung aller Daten ist Erfolgsindikator für das Projekt! Import der Daten aus dem Archiv muss jeder zeit möglich sein. Suchzugriff des Fachbereichs: Masken analog zum Praxissystem; Ergebnisse im Excel-Format zur weiteren Verarbeitung (Summenbildung) Buchungsdaten Export-Datenbank Archiv Chronos Nach Ablauf der Retention Time Löschung der Archive automatisierter Archivierungsanstoß alle 3 Monate nach Neuaufbau der ARCHIVE-Tabellen Archivierung nach gesetzlichen Vorgaben Datenbankarchivierung im Finance-Bereich - Erfahrungen bei der ING-DiBa

18 Projekt Buchungsdaten regulatorische Anforderungen Regulatorische Anforderung - ständige Möglichkeit der Daten-Rückführung - Revisionssicherheit - Aufbewahrungsfrist 10 Jahre Buchungsdaten Export-Datenbank exportieren / importieren löschen konfigurieren prüfen reporten archivieren rückmelden *.txt *.zip *.XML Archiv Datenbankarchivierung im Finance-Bereich - Erfahrungen bei der ING-DiBa

19 Projekt Buchungsdaten technische Anforderungen Technische Anforderung - Archivierungsläufe UC4 gesteuert - archivierte Datenfelder analog zu Praxisfeldern UC4 Buchungsdaten Export-Datenbank exportieren / importieren löschen starten archivieren rückmelden *.txt *.zip *.XML Archiv Datenbankarchivierung im Finance-Bereich - Erfahrungen bei der ING-DiBa

20 Projekt Buchungsdaten fachliche Anforderungen Fachliche Anforderung - Archivierung aller Buchungen älter 25 Monate - Archivierungsrhythmus alle 3 Monate - Anzeige/Reporting analog zu Buchungsexplorer - Datenselektion im Archiv < 30 Sekunden Initialladung - 18 Monate - 42 Mio. DS - 9 Stunden - 3,5 GB 1. Folgeladung - 26 Monate - 80 Mio. DS - 16 Stunden - 6,5 GB weitere Folgeladungen - monatlich - ca. 3-4 GB - 5 lokale Indizes (15 MB) - 2 Such-Reports Buchungsdaten Export-Datenbank exportieren / importieren löschen konfigurieren prüfen reporten archivieren rückmelden *.txt *.zip *.XML Archiv Archivpakete - 3,9 GB Archiv Datenbankarchivierung im Finance-Bereich - Erfahrungen bei der ING-DiBa

21 Lust auf mehr Daten Einmalarchivierungen mit fester Datenmenge ca. 700 GB Dauerarchivierungen Initialarchivierung mehrere hundert GB Folgearchivierung wenige GB pro Monat Flexible Archivierung durch separaten Archivtabellen zu einem Schema getrennt von den Live-Tabellen auch aus Revisionssicht sicher, wenn nicht taggleich archiviert wird Datenbank vs. Archiv je nach Datenverknüpfung: 30-50% DB-Kosten zu Centera Laufzeiteinsparungen bei Applikationen z.b. zum Jahresende notwendig Datenbankarchivierung im Finance-Bereich - Erfahrungen bei der ING-DiBa

22 Vielen Dank für Ihre Aufmerksamkeit Datenbankarchivierung im Finance-Bereich - Erfahrungen bei der ING-DiBa