Datenauslagerung aus Datenbanken Fallstricke aus der Praxis. Mario Täuber, CSP GmbH & Co. KG

Transkript

1 Datenauslagerung aus Datenbanken Fallstricke aus der Praxis Mario Täuber, CSP GmbH & Co. KG

2 Softwarehersteller Gründung 1991 Zertifizierung nach ISO Spezialist in den Bereichen DB-Archivierung Informationsmanagement Qualitätssicherung Prozessdatenverarbeitung

3 Warum? 1 2 Aktive Daten Produktive Nutzung ca.15 Prozent Datenbank Inaktive Daten Compliance-Anforderung Bis zu 85 Prozent Archiv 3 Zu löschende Daten Keine Aufbewahrung

4 Gesetzliche Normen und Regelungen: GDPdU, GoBS, ProdHaftG, FDA21cfr11, KonTraG, AO, SOX, Interne Anforderungen und Vorgaben, um Kundenanfragen bearbeiten zu können und Qualitätsansprüchen gerecht zu werden. keiner traut sich was zu löschen! Es werden mehr Produkte produziert, von denen auch noch jeweils mehr Daten gespeichert werden

5 Betrieb Performance Backup & Recovery Wartungsaufwand SLA Kosten Lizenzen Hardware Konsolidierung Compliance Revisionssicherheit Langzeitlesbarkeit Application Retirement / Decommissioning

6 Einsparpotential

7 Oracle Export / Data Pump Einfaches, kostenloses Tool Know How ist immer vorhanden Einfacher Wiederherstellvorgang (?) schnell und kostengünstig umsetzbar

8 DB.dmp.dmp.dmp.dmp

9 Variationen Zwischentabelle: insert into / create table as select Export Parameter: query=where id < Seit Oracle 10: Benutzung von Data Pump (expdp / impdp)

10 Nachteile Herstellerabhängiges Format mit jeder neuen Datenbankversion muss die Wiederherstellbarkeit getestet werden! Dump-files in unterschiedlichem Schema Sehr langer und ressourcenintensiver Wiederherstellungsvorgang Desupport vom Hersteller (deprecated seit Version 10) Features wie Transparent Data Encryption werden nicht mehr unterstützt Datenmigration wird notwendig werden Data Pump

11 Applikation.dmp Komprimierter Datenbankexport

12 Vorgehen Extrahieren der auszulagernden Daten via sqlplus und spoolfiles Wiederherstellen der Daten via sqlloader

13 Vorteile Selektives Erstellen der Extrakte Bekanntes und offenes Dateiformat (csv) Lesbarkeit der Daten muss nicht zyklisch geprüft werden

14 Nachteile Berücksichtigen von relationalen Abhängigkeiten / kompletten Geschäftsobjekten nahezu unmöglich Aufwändige Wiederherstellung, falls die Dateien in unterschiedlichen Schemaversionen vorliegen Aufwändige Suche, falls nicht bekannt ist, in welcher Extraktionsdatei sich die gesuchten Daten befinden. Metadaten müssen manuell zusätzlich abgespeichert werden

15 Häufig spoolfile basierend Beispiel: fertige insert-statements werden abgelegt. Durch die Spalten- und Tabellennamen im Statement wird eine gesonderte Abspeicherung der Metadaten nicht mehr notwendig. Im konkreten Kundenfall wurde der Overhead des Präfixes der Insert-Statements vermieden, indem dieser Teil nur einmal je Datendatei abgespeichert wurde. der Datenzugriff wird dadurch wieder komplexer. REM INSERTING into EMP Insert into EMP (EMPNO,ENAME,JOB,MGR,HIREDATE,SAL,COMM,DEPTNO) values ( 7369,'SMITH','CLERK',7902,to_timestamp(' :00:00','DD.MM.RR HH24:MI:SSXFF'),800,null,20); 7499,'ALLEN','SALESMAN',7698,to_timestamp(' :00:00','DD.MM.RR HH24:MI:SSXFF'),1600,300,30); 7521,'WARD','SALESMAN',7698,to_timestamp(' :00:00','DD.MM.RR HH24:MI:SSXFF'),1250,500,30); 7566,'JONES','MANAGER',7839,to_timestamp(' :00:00','DD.MM.RR HH24:MI:SSXFF'),2975,null,20);

16 Nachteile Weiterhin schwieriger Datenzugriff bei Strukturveränderungen und falls nicht bekannt ist, in welchem Extraktionsfile die Daten abgespeichert sind

17 Table x Archivetable x

18 Vorteile Einfacher Datenzugriff, häufig auch transparenter Zugriff möglich. Nachteile Problem wird nur verlagert und zeitlich ein wenig verzögert. Schemaveränderungen / Migrationen müssen auf zwei Datenbanken bzw. Schemata durchgeführt werden

19 Vorteile Offenes und Datenbankherstellerunabhängiges Datenformat Verringerung von Abhängigkeiten (politisch und finanziell) Granulariät frei wählbar, Geschäftsobjekte werden auch physikalisch zusammen abgespeichert. effizienter Zugriff auch bei Einsatz von Bandsystemen Komprimierung in Zusammenhang mit kleiner Granulariät sehr effizienter Zugriff bei selektiven Anfragen Anbindung an Standardlösungen für Monitoring und Jobsteuerungen Erkennen und automatische Parametrierung von Strukturveränderungen transparenter Zugriff

20 Vorteile Automatische Überprüfung der Korrektheit und Vollständigkeit, sowie zertifizierte Schnittstellen zu Archivanbietern (Bspw. EMC Centera) kein unbemerkter Datenverlust Automatische Standardisierte Dokumentation der Auslagerung Erfüllung von Compliance Anforderungen Ständig neue Features durch Erweiterung der Lösung Bspw. Digitale Signatur und Verschlüsselung Definiertes Löschen im Archiv

21 Meta-Daten in XML-Format

22 CHRONOS Archivdateien

23 Nachteile Vergleichbar hohe Einführungskosten

24 Kumulierte Gesamtkosten Individuallösung (Range) Standardlösung Unerwarteter Datenzugriff Neue Anforderung Zeit

25 Anfänglich einfache Lösungen werden nach und nach aufgebohrt und komplexer, da die hier angeführten Nachteile erkannt und beseitigt werden sollen. Der Datenzugriff wird bei den meisten gezeigten Auslagerungsarten sehr komplex werden. Eine Standardlösung dagegen bietet Datenzugriffsmöglichkeiten auf einfachste Art und Weise an. Eine Standardlösung ist erprobt. Die Kosten für eine einfache inhouse Lösung übersteigen erfahrungsgemäß über die Gesamtlaufzeit die Kosten für eine bewährte Standardlösung

26 Vielen Dank für Ihre Aufmerksamkeit! Wir sind gerne für Sie da: CSP GmbH & Co. KG Herrenäckerstraße Großköllnbach +49 (0) Stand 228 Internet: Oder besuchen Sie uns auf Facebook!