DB-Housekeeping. DB-Housekeeping in den Datenbanken der Karstadt-Filialen. Christian Treptau. Stand: housekeeping 1

Transkript

1 DB-Housekeeping DB-Housekeeping in den Datenbanken der Karstadt-Filialen Christian Treptau Stand: housekeeping 1

2 Agenda Einleitung Kunde Infrastruktur Filialdatenbank Problemstellung Anforderungen Vorgehen Realisierung Automatische Tests Fazit housekeeping 2

3 Einleitung housekeeping 3

4 Kunde* EDS Itellium IT-Dienstleister der Karstadt Quelle AG (Arcandor AG) 740 Mitarbeiter (nur Itellium) Jahresumsatz 139 Millionen Euro (2006) Seit Mai 2007 gemeinsames Tochterunternehmen von EDS-Deutschland und der Arcandor AG Betreut alle Karstadt/Hertie Filialsysteme (ca. 210) * Die Informationen entstammen der offiziellen Webseite ( housekeeping 4

5 Infrastruktur 1 In der Regel besitzt jede Karstadt einen eigenen Filialserver mit folgender Ausstattung: 1 Prozessor 5 GB Hauptspeicher 100 GB Festplatte Auf jedem System läuft: eine Oracle DB ( SE oder EE) ein Oracle Application Server ( ) housekeeping 5

6 Infrastruktur 2 Anwendungslandschaft: Warenwirtschaftssysteme SAP KIM NWW Sonstige zentrale System BuV CP EAI Filialserver Kasse CDB Bestand u. Preis housekeeping 6

7 Filialdatenbank 1 Corporate Database (CDB) Standard Datenbank für den Handel von der PCMS Group Handel Sehr stark normalisiert Künstliche Tabellenschlüssel (Sequences) Komplexe Datenstrukturen Unternehmensstrukturdaten Abteilungshierarchie Preiswürfel housekeeping 7

8 Filialdatenbank 2 Abteilungshierarchie: PRODUCT_GROUP Elemente der Hierarchie Abteilung, Warengruppen, PROD_GP_STR_LINK Verlinkungen für alle vorhandenen Hierarchien Unterscheiden sich durch unterschiedliche Einstiegspunkte in der Tabelle housekeeping 8

9 Problemstellung Die vorhandenen Systeme haben nur in die Datenbank geschrieben. Alte Daten wurden nicht bereinigt, es war auch nicht definiert welche Daten gelöscht werden dürfen. Tägliche Probleme der DBAs: Ständiges erweitern der Tablespaces Stillstand der Datenbank, weil keine Archive-Logs mehr geschrieben werden konnten. Behebung durch Ad hoc Maßnahmen housekeeping 9

10 Anforderungen Minimale Produkteinführungszeit Mit dem Fachbereich abgestimmte Regeln für die Datenlöschung Die Laufzeit der Programme darf insgesamt 1 Std. nicht übersteigen. Die Programme dürfen nur anlaufen, wenn ausreichend Festplattenplatz für die Archive-Logs vorhanden ist. Die Programme müssen täglich durch eine zentrale Host-Steuerung ausgeführt werden können (Beta 48). Es dürfen keine Trigger oder DB-Jobs verwendet werden. Es dürfen keine PL/SQL-Prozeduren oder PL/SQL-Packages permanent in der DB gespeichert werden housekeeping 10

11 Vorgehen Ermittlung der größten Tabellen bzw. Tabellen mit dem schnellsten Wachstums. Untersuchung der fachlichen Abhängigkeiten Die erste Version des DB-Housekeepings wurde für die Tabellen mit den wenigsten fachlichen Abhängigkeiten erstellt. Linderung der größten Not Nachweis der Brauchbarkeit der Architektur Anschließend wurden die Skripte um Regeln für alle weiteren Tabellen mit Bewegungsdaten erweitert. (Strukturiert nach Filialanwendung) Erweiterung der Skripte um Stammdaten Artikel Lieferanten housekeeping 11

12 Realisierung 1 Verwendete Techniken: Bash-Skripte, PL/SQL-Prozeduren, PL/SQL-Packages, utplsql, UTL_SMTP-Package, Eclipse, Ant, Toad Meldungen im Fehlerfall: Definierter Return-Code an Beta48 an einen Listserver Log-Datei auf dem Filialserver Die Laufzeit der Skripte wurde begrenzt durch Obergrenzen bei Anzahl der zu löschende Zeilen pro Tabelle housekeeping 12

13 Realisierung 2 Ablaufsteuerung: create Procedures/Packages common.pr_check_freespace > 10 GB Ja pr_delete_bup Nein common.pr_send_mail im Fehlerfall common.pr_send_mail pr_delete_xxx im Fehlerfall common.pr_send_mail delete Procedures/Packages housekeeping 13

14 Automatische Tests 1 Die Regeln für die Löschung von Daten aus den verschiedenen Tabellen sind zum Teil recht komplex. Es war problematisch die notwendigen Testdaten, für alle Kombinationen, mit dem richtigen Alter aus den Produktivsystem zu extrahieren. Verwendung eines Systems für die automatische und wiederholbare Bereitstellung von Testdaten. Verwendung von utplsql für die automatische Ausführung der Tests housekeeping 14

15 Automatische Tests 2 Wiederholbare Bereitstellung von Testdaten: Ext. Tabelle View Ziel-Schema PLSQL- Package Excel TXT-Datei Datumsangaben können relativ angeben werden. Daten altern nicht Die Testdaten können aus jedem PL/SQL-Programm zurückgesetzt bzw. neu angelegt werden housekeeping 15

16 Automatische Tests 3 utplsql-framework: Test-Framework für PL/SQL-Programme, angelehnt an Junit für Java-Programme ( Entwickelt durch Steven Feuerstein Vorgehen für die Verwendung von utplsql Installation der notwendigen Tabellen und Packages für utplsql Definition von Test-Packages Jedes Package muss eine Prozedur ut_setup/ut_teardown enthalten Alle weiteren Prozeduren die mit ut_ Anfangen werden durch das Test- Framework aufgerufen. Alle Test-Packages können zu einer Suite zusammengefasst werden. Mit folgendem Befehl wird die Testsuite ausgeführt: utplsql.runsuite('housekeeping'); housekeeping 16

17 Automatische Tests 4 Konkrete Verwendung beim Housekeeping: Definition von Testdaten Daten die von dem Housekeeping gelöscht werden müssen Daten die von dem Housekeeping nicht gelöscht werden dürfen Hinterlegung der Testdaten in der Testdatenbank ut_setup Zurücksetzen der Testdaten Neuanlage der Testdaten Ausführen der entsprechenden Housekeeping-Prozedur Einzelne Test-Prozedur - ut_delete_promotions in einem Test-Package utassert.eq('promotions TF 1: Promotion darf nicht gelöscht werden.', fu_exist_promotion(' ')); Anhand Ergebnisse der Prozeduren in dem Package utassert wird nach Ausführung der Testsuite ein Report über die erfolgreichen und fehlgeschlagenen Tests ausgegeben housekeeping 17

18 Fazit Nettes kleines Projekt Die Schwierigkeiten lagen nicht in der technischen Umsetzung, sondern in der Ermittlung der fachlichen Regeln für das Löschen der Daten. Die automatischen Tests waren ungemein wichtig. Kontrolle das nur die richtigen Daten gelöscht werden. Nachweis, dass das Housekeeping nicht für verschwundene Daten verantwortlich ist housekeeping 18

19 Herzlichen Dank für Ihre Aufmerksamkeit. viadee Unternehmensberatung GmbH Anton-Bruchausen-Straße Münster Telefon Telefax Christian.Treptau@viadee.de housekeeping 19