Langzeitarchivierung einer Multiterabyte HA - Datenbank. Stefan Brandl, CSP GmbH & Co. KG

Transkript

1 Langzeitarchivierung einer Multiterabyte HA - Datenbank Stefan Brandl, CSP GmbH & Co. KG

2 Softwarehersteller Gründung 1991 ORACLE Partner seit 2000 Zertifizierung nach ISO National und international tätig

3 Was ist das? Identifizieren inaktiver Informationen aufgrund von Regeln Umwandeln in ein offenes, langzeitsicheres Format Auslagern der Daten in ein Archiv Bereitstellen der archivierten Informationen (z. B. per SQL-Abfrage) Löschen der Daten nach Ablauf der Aufbewahrungsfrist

4 1 2 Aktive Daten Produktive Nutzung ca.15 Prozent Datenbank Inaktive Daten Compliance-Anforderung Bis zu 85 Prozent Archiv 3 Zu löschende Daten Keine Aufbewahrung

5 Application Retirement Komplette Archivierung einer Datenbank Stilllegen der Produktionsdatenbank Zugriff auf Daten ist weiterhin möglich Datenbank verursacht keine Support- und Lizenzkosten mehr Belegter Storage vermindert sich drastisch

6 Online Archivierung Produktionsdatenbank bleibt weiterhin in Betrieb Inkrementelle Auslagerung nicht mehr aktiver Inhalte Zusammenhänge im Datenbankschema müssen im Datenbankarchiv abgebildet werden Üblicherweise ein Archivjob pro Tag

7 Zentral betriebene Applikation mit weltweiter Datenanlieferung und Datenhaltung in einer Oracle Datenbank Sehr hohe Verfügbarkeits- und Performanceanforderungen Aufbewahrungsdauer: 15 Jahre Datenbankgröße zu Projektbeginn: 7 TB Datenzuwachs pro Tag: 5 GB Stetiger Komplexitätszuwachs: mehr Tabellen, mehr Schnittstellensysteme

8

9 Gründe für Auslagerung von Altdaten Last bei Input und Output steigt ständig viel Aufwand fließt in Performanceoptimierung Benötigter Storage verursacht hohe Kosten DB Restore nach Ausfall würde 4 Tage Downtime verursachen KO Kriterium Erste durchgeführte Maßnahme: Aufbau einer Schattendatenbank Verbesserung der Verfügbarkeit, drastische Verschlechterung im Bereich Storagekosten

10

11 Komprimierung mit zip-format Daten in Textformat Meta- / Beschreibungsdaten im XML- Format

12 Basis Archivieren von DB-Ausschnitten in Produktionsdatenbank Datenbankarchiv ( aller Zeitscheiben)

13 DB 1. Übertragung der Daten 9. Bei Übereinstimmung der Prüfsummen => Löschen der Daten in DB 2. Erstellen von Textund XML-Datei 3. Berechnung der Prüfsumme 8. Vergleich der CHRONOS- Prüfsumme mit der des Archivsystems 4. Übertragung von Text- und XML-Datei 7. Übertragung von Prüfsumme SAM FS (Sun Storage Archive Manager) 5. Ablegen von Textund XML-Datei im Archiv 6. Berechnung der Prüfsumme

14 SQL/JDBC Indexdateien / NAS Share Archivdateien / SAM FS Share Produktionsdatenbank

15 neue Spalten 2 neue Tabellen 2 neue Spalten 5 verbreiterte Spalten String col1 = "$N$"; String col2 = "$N$"; if(tupel.getcolumnvalue("col_name")!= null){ // Alten Wert der Spalte rausholen String value = tupel.getcolumnvalue("col_name"); //Entscheidung in welche Spalte geschrieben werden soll if(value.equals("test_value")){ col1 = new String(value); }else{ col2 = new String(value); } } tupel.addcolumn("col1", col1); tupel.addcolumn("col2", col2); return tupel;

16 SQL Integration der Archivdaten Ausgelagerte Vorgänge werden in der Applikation entsprechend markiert Bei Anzeige dieser Vorgänge werden SQL Anfragen gegen das Archiv gestellt Pro Tag ca Anfragen an das Archiv Dauer pro Anfrage: 1 5 Sek. System wird von den Nutzern akzeptiert

17 Löschen der archivierten Daten Aktuell wurde bis Ende 2006 gelöscht Grund: verzögerte Freigabe der Schnittstellenapplikationen zum Löschen der Daten Auslastung der Datenbank, sowie des Archivservers während der Löschvorgänge nicht kritisch

18 Auslagerung von inaktiven Daten wird aufgrund der weiterhin schnellen Zugriffszeiten akzeptiert. Volle Vorteile kommen erst nach komplettem Löschen des inaktiven Datenbestands zum Tragen. Löschen von Inhalten muss bereits sehr früh genehmigt werden, um einen schnellen ROI zu erreichen. Der optimale Zeitpunkt für die Einführung einer Datenbankarchivierungslösung ist bereits am Beginn des Application Life Cycles

19 Sie haben noch Fragen? Wir helfen Ihnen gerne weiter! Stand 238 CSP GmbH & Co. KG Herrenäckerstraße Großköllnbach +49 (0) Internet: