Daten auf die hohe Kante legen! Datenbankarchvierung bei der ING-DiBa

Transkript

1 Daten auf die hohe Kante legen! Datenbankarchvierung bei der ING-DiBa Diana Richler IT Central Services

2 Allgemeines Diana Richler Wirtschaftsinformatikerin Seit Ende 2006 im Outputmanagement der ING-DiBa Datenbankprogrammierung, Projektarbeiten & Einführung der Datenbankarchivierung Outputmanagement in der IT Central Services administrative Betreuung der individuellen Dokumentenerstellung Massenbrieferstellung z.b. Kontoauszüge zentrale Dokumentenschleuse mit dem Document Process Pool Archivierung im zentralen Archiv, Veröffentlichung in der Postbox Aufbau der Datenbankarchivierung als Standardprozess Daten auf die hohe Kante legen! Datenbankarchivierung bei der ING-DiBa

3 Agenda Sparanlagen und Datengräber Aufbau unseres Archivsystems Gut gesichertes Datenkapitel Lust auf mehr Daten Daten auf die hohe Kante legen! Datenbankarchivierung bei der ING-DiBa

4 Agenda Sparanlagen und Datengräber Aufbau unseres Archivsystems Gut gesichertes Datenkapitel Lust auf mehr Daten Daten auf die hohe Kante legen! Datenbankarchivierung bei der ING-DiBa

5 Sparanlagen und Datengräber Was kann eingespart werden? teurer Plattenplatz Datensicherungsbänder Recovery Zeit (DB-Clone) Lizenzen für Altdatenbank Was sind die Möglichkeiten? Bewegungsdaten Kunden-Stammdaten Buchungsdaten Loggingdaten Kundenhistorie HBCI-Schnittstelle Fusionsaltdaten Daten auf die hohe Kante legen! Datenbankarchivierung bei der ING-DiBa

6 Sparanlage Tabellen mit Kunden-Stammdaten Beispiel Kunden-Stammdaten (aktuelle Praxisgröße 700 GB) Dauerarchivierung Initialladung ca. 300 GB Folgearchivierung < 20 GB pro Monat - Abzug zu Releases - anonymisiert - Plattenplatz Praxis Vorproduktion Test Line Test 1 Entwicklung Line Entwicklung 1 - Laufzeit Neuaufbau (14 Stunden) - Plattenplatz - Suchzeiten Schulung Test 7 Entwicklung Daten auf die hohe Kante legen! Datenbankarchivierung bei der ING-DiBa

7 Datengrab Fusionsaltdatenbanken Beispiel Fusionsaltdaten Einmalarchivierung Datenzugriff unklar teurer Plattenplatz 60 GB Oracle 9i 250 GB inaktiv? 50 GB 5 GB Lizenzen Daten auf die hohe Kante legen! Datenbankarchivierung bei der ING-DiBa

8 Projektanstoß Was brauchen wir? revisionssicher archivieren mit der EMC Centera langfristige Unabhängigkeit bei der Wahl des Archivformats Export und Import von und mit verschiedene Produktivdatenbanken Flexibilität bei den Tabellenstrukturen sichere und automatisierte Löschung der Quell-Archivdaten löschen der Archive nach Ablauf der Centera Retention Time mannigfaltige Recherchezugriffsmöglichkeiten auf die Archive klare Abgrenzung der Archivprojekt über Rechte Integration in die DiBa-Landschaft zum Aufruf durch Daten auf die hohe Kante legen! Datenbankarchivierung bei der ING-DiBa

9 Agenda Sparanlagen und Datengräber Der Projektanstoß Aufbau unseres Archivsystems Gut gesichertes Datenkapitel Lust auf mehr Daten Daten auf die hohe Kante legen! Datenbankarchivierung bei der ING-DiBa

10 Historie Proof of Concept 2008 Entscheidung für Chronos von der Firma CSP Pilotprojekt gesucht, Softwarebeschaffung, Infrastrukturaufbau Start Mitte 2011 Startschuss für das erste Projekt Buchungsdaten 3. Quartal 2011 Startschuss Archivierung HBCI-Protokoll-Daten (Homebanking Computer Interface) 3. Quartal 2012 Aufbau des Standardprozesses bis Ende Daten auf die hohe Kante legen! Datenbankarchivierung bei der ING-DiBa

11 Archivierungssoftware CHRONOS Chronos archiviert transparent und revisionssicher Datenbanktabellen Hersteller besteht aus 6 Servern (Configuration, Export, Index, Import, Search und Storage) Konfiguration über die AdminSuite WebSuite/ArchiveExplorer für Recherche eigener Anwendungszugriff per JDBC-Treiber möglich aus Langzeitarchivierung für relationale Datenbanken, Heike Johannes, CSP GmbH & Co. KG Daten auf die hohe Kante legen! Datenbankarchivierung bei der ING-DiBa

12 Umgebungsaufbau Chronos-Server und 4 Linux Red Hat VM mit 4 CPUs, 8 GB RAM 20 GB HDD, plus 50 GB HDD Praxis JDK 1.5.0_22 Centera SDK JBoss6 Tomcat Chronos-Repository Oracle 11g Datenbank 500 MB Tab- und Index EMC Centera Daten auf die hohe Kante legen! Datenbankarchivierung bei der ING-DiBa

13 Konzept Fragenkatalog Was sind die wichtigsten Rahmenbedingungen? Sind Datenbanktabellen zu archivieren? Multischema? Datenmenge? Altdaten löschen oder nur markieren? Einmal- oder kontinuierliche Archivierung (Unterschied bei der Lizenz)? Liegen High-Risk-Daten vor? Welche Retention Time? Welcher Recherche-Zugriff wird auf das Archiv benötigt? direkt: Fachbereich indirekt: Integration in Fachbereichseigene Applikation (JDBC-Treiber) Projektlaufzeit Besonderheiten Menge und Vorgaben bei den Suchmasken/Reports unterschiedliche Rechtevergabe im Archiv Indizes zur Suchbeschleunigung erforderlich Daten auf die hohe Kante legen! Datenbankarchivierung bei der ING-DiBa

14 Konzept Entscheidungsbasis Archivierungsprojekt möglich Lizenzkosten (z.b. Single, Multi) Centera-Speicherbedarf und Kosten Aufwand für Archivkonfiguration Aufwand/Abhängigkeiten mit anderen Applikationen Vorteile ableiten Datenbestandsreduktion Revisionssichere Datenhaltung Einsparungen für Test- und Entwicklungsumgebungen Daten auf die hohe Kante legen! Datenbankarchivierung bei der ING-DiBa

15 Konzept Verfahrensanweisung konkreter Projekt-Auftrag auf Basis der Verfahrensanweisung definiert Rollen und Aufgabenbereiche aller Projekt-Beteiligten beinhaltet die Prozesse und Schnittstellen für Entwicklung, Test und Praxis Abteilungsübergreifendes Vereinbarung Auftraggeber Jobsteuerer Archivar CSP GmbH ITI Team Storage & B. Stellt Bedarf für ein Archivierungsprojekt oder ein Application Retirement fest Erstellt CHRONOS-Jira Bestimmt Josteuerer Liefert Detailinformationen (Archivtabellen, PK, FK, Indizes, Intervalle) Prüft Anforderung Stellt neue Chronos-Lizenz bereit Stellt Centera-Speicher & PEA-File bereit Stellt Retention Time sicher Daten auf die hohe Kante legen! Datenbankarchivierung bei der ING-DiBa

16 Agenda Sparanlagen und Datengräber Der Projektanstoß Aufbau unseres Archivsystems Gut gesichertes Datenkapitel Lust auf mehr Daten Daten auf die hohe Kante legen! Datenbankarchivierung bei der ING-DiBa

17 Projekt Buchungsdaten allgemeine Eckpunkte Daten werden exportiert und gelöscht. Erfolgreiche Löschung aller Daten ist Erfolgsindikator für das Projekt! Import der Daten aus dem Archiv muss jeder zeit möglich sein. ChronosWebSuite Suchzugriff des Fachbereichs: Masken analog zum Praxissystem; Ergebnisse im Excel-Format zur weiteren Verarbeitung (Summenbildung) Buchungsdaten Export-Datenbank Archiv Chronos Nach Ablauf der Retention Time Löschung der Archive automatisierter Archivierungsanstoß alle 3 Monate nach Neuaufbau der ARCHIVE-Tabellen ChronosAdminSuite Archivierung nach gesetzlichen Vorgaben Daten auf die hohe Kante legen! Datenbankarchivierung bei der ING-DiBa

18 Projekt Buchungsdaten regulatorische Anforderungen Regulatorische Anforderung - ständige Möglichkeit der Daten-Rückführung - Revisionssicherheit - Aufbewahrungsfrist 10 Jahre Buchungsdaten Export-Datenbank exportieren / importieren löschen konfigurieren prüfen reporten archivieren rückmelden Centera Pool *.txt *.zip *.XML Archiv Daten auf die hohe Kante legen! Datenbankarchivierung bei der ING-DiBa

19 Projekt Buchungsdaten technische Anforderungen Technische Anforderung - Archivierungsläufe gesteuert - archivierte Datenfelder analog zu Praxisfeldern Buchungsdaten Export-Datenbank exportieren / importieren löschen starten archivieren rückmelden Centera Pool *.txt *.zip *.XML Archiv Daten auf die hohe Kante legen! Datenbankarchivierung bei der ING-DiBa

20 Projekt Buchungsdaten fachliche Anforderungen Fachliche Anforderung - Archivierung aller Buchungen älter 25 Monate - Archivierungsrhythmus alle 3 Monate - Anzeige/Reporting analog zu Buchungsexplorer - Datenselektion im Archiv < 30 Sekunden Initialladung - 18 Monate - 42 Mio. DS - 9 Stunden - 3,5 GB 1. Folgeladung - 26 Monate - 80 Mio. DS - 16 Stunden - 6,5 GB weitere Folgeladungen - monatlich - ca. 3-4 GB - 5 lokale Indizes (15 MB) - 2 Such-Reports Buchungsdaten Export-Datenbank exportieren / importieren löschen konfigurieren prüfen reporten archivieren rückmelden Centera Pool *.txt *.zip *.XML Archiv Archivpakete - 3,9 GB Archiv Daten auf die hohe Kante legen! Datenbankarchivierung bei der ING-DiBa

21 Projekt HBCI Protokolldaten Archivierung direkt aus zwei nicht verknüpften Praxistabellen mit anschließender Löschung Ersparnis: Plattenplatz der Praxisdatenbank (380 GB) => 90% können archiviert werden Bedarf: Centera Speicherplatz ca. 120 GB Buchungsdaten Export-Datenbank Archiv Chronos revisionssichere Archivierung automatisierter Archivierungsanstoß jeden Monat ChronosAdminSuite Zugriff nur über Prozessverantwortlichen Recherche über SQL ausreichend Kein Fachbereich aktiv Daten auf die hohe Kante legen! Datenbankarchivierung bei der ING-DiBa

22 Agenda Sparanlagen und Datengräber Der Projektanstoß Aufbau unseres Archivsystems Gut gesichertes Datenkapitel Lust auf mehr Daten Daten auf die hohe Kante legen! Datenbankarchivierung bei der ING-DiBa

23 Lust auf mehr Daten Einmalarchivierungen mit fester Datenmenge ca. 700 GB Dauerarchivierungen Initialarchivierung mehrere hundert GB Folgearchivierung wenige GB pro Monat Flexible Archivierung durch separaten Archivtabellen zu einem Schema getrennt von den Live-Tabellen auch aus Revisionssicht sicher, wenn nicht taggleich archiviert wird Datenbank vs. Archiv je nach Datenverknüpfung: 30-50% DB-Kosten zu Centera Laufzeiteinsparungen bei Applikationen z.b. zum Jahresende notwendig Daten auf die hohe Kante legen! Datenbankarchivierung bei der ING-DiBa

24 Vielen Dank für Ihre Aufmerksamkeit Daten auf die hohe Kante legen! Datenbankarchivierung bei der ING-DiBa