Datenintegration Dokumentieren Ihre Entwickler etwa noch selbst?

Transkript

1 White Paper Datenintegration Datenintegration Dokumentieren Ihre Entwickler etwa noch selbst? Entwicklungs- und Wartungskosten senken Aufwandschätzungen präzisieren Qualität verbessern White Paper Datenintegration

2 Inhaltsverzeichnis 1. Anforderungen Auswirkungsanalyse Dokumentation 5 2. Methodik Grundlage Definition von Benutzerrollen Definition eines Verfolgbarkeitsmodells Anleitungen Werkzeugunterstützung Vorteile unserer Methodik Praxisbeispiele Ausgangssituation des Kunden Umsetzung im Projekt Vorteile für den Kunden Unser Angebot Vorgehen Vorteile und Nutzen Quellen 14 Kontakt 16 2 Datenintegration White Paper

3 Abbildungsverzeichnis Abbildung 1: Beziehungen eines ETL-Jobs 6 Abbildung 2: DataStage-Elemente und ihre Beziehungen 9 Abbildung 3: BEETLtracer-Struktur 11 Abbildung 4: Tabellenbeziehungen 12 Abbildung 5: Beispiel einer strukturierten Beschreibung 12 Datenintegration White Paper 3

4 So bedeutend ein Data Warehouse für ein Unternehmen ist, so komplex ist es auch. Immer mehr Liefersysteme wollen integriert und immer mehr Schnittstellen beliefert werden. Die Ansprüche an die Qualität der Daten und die Schnelligkeit ihrer Verfügbarkeit steigen. Diese gestiegenen Anforderungen zeigen sich auch bei Änderungen und Wartung. Selbst für Experten wird es zunehmend schwieriger und aufwändiger die Auswirkungen von Änderungen abzuschätzen. Die Wartbarkeit wird schlechter und Aufwandsabschätzungen ungenauer. Ein häufiges Problem ist hier, dass Abhängigkeiten und Beziehungen zwischen den ETL-Programmen des Datawarehouse nicht vollständig erkannt werden. Dadurch entstehen ungewollte Nebeneffekte bei einer Änderung. BearingPoint hat eine Methode entwickelt, um das Erkennen und Setzen von Beziehungen in ETL-Programmen systematisch zu unterstützen. Am Beispiel des ETL-Werkzeugs DataStage von IBM werden die Vorteile dieser Vorgehensweise unter Verwendung des BearingPoint-Werkzeugs BEETLtracer zur Dokumentation von DataStage-Programmen und ihrer Beziehungen aufgezeigt. Unsere Methode erleichtert die Analyse und das Durchführen von Änderungen. BEETLtracer zeigt, wie mit Hilfe eines Werkzeugs Änderungen unterstützt werden können, während gleichzeitig Entwicklungs- und Wartungsaufwände gesenkt und die Qualität der Dokumentation sowie der erstellten ETL-Programme erhöht werden kann. 4 Datenintegration White Paper

5 1. Anforderungen 1.1 Auswirkungsanalyse ETL-Programme müssen, wie Software im Allgemeinen, während und nach der Entwicklung aus verschiedenen Gründen geändert werden. Gründe können z. B. das Beheben von Fehlern, das Anbinden eines neuen Liefersystems oder einer neuen Reporting- Schnittstelle sein. Um Kosten von Änderungen abschätzen zu können und um diese konsistent und korrekt durchführen zu können, ist es wichtig zu wissen, welche der ETL-Programme angepasst werden müssen. Eine solche Auswirkungsanalyse wird typischerweise intuitiv und manuell durch Experten der Software durchgeführt. Dabei werden die ETL-Programme und -Komponenten bestimmt, die direkt oder indirekt von einer Änderung betroffen sind. Diese Herangehensweise ist allerdings nur bis zu einem gewissen Komplexitätsgrad des Data Warehouse hinreichend verlässlich und hinsichtlich des nötigen Aufwands sinnvoll. Intuitive Auswirkungsanalysen sind in hohem Maße von der Erfahrung und dem Wissen der Experten und deren Verfügbarkeit abhängig. Vollständigkeit oder Wiederholbarkeit können nicht garantiert werden. So identifizierten in einer Studie (1) Software-Experten fast keine falschen Änderungskandidaten, erkannten aber auch nur zwischen 32 Prozent und 55 Prozent der zu ändernden Elemente. 1.2 Dokumentation Als Basis einer Auswirkungsanalyse sollte die Dokumentation vollständig und konsistent sein. Dies ist häufig aus Zeit- und Kostengründen nicht der Fall. Gerade in der Wartungsphase, wenn zeitkritische Fehler behoben werden müssen, kann es durchaus passieren, dass Änderungen nicht konsistent dokumentiert werden. Eine lückenhafte Dokumentation hat nur noch geringe Aussagekraft und erschwert eine genaue Auswirkungsanalyse zusätzlich. Bei ETL-Programmen kommt im Vergleich zu herkömmlichen Programmiersprachen erschwerend hinzu, dass sie meist über graphische Benutzeroberflächen entwickelt werden und nur mittelbar Kommentierungsmöglichkeiten bieten. Dies erlaubt zwar einen schnellen groben Überblick, die Details sind allerdings in Menüs und Fenstern verborgen. Einige ETL-Softwarelösungen bieten die Möglichkeit, eine Dokumentation zu erzeugen. Diese Dokumentationserzeugung ist häufig nicht weiter anpassbar und beschränkt sich auf das Programm, für das sie erzeugt wurde. Datenintegration White Paper 5

6 Unter dem Stichpunkt Metadaten-Management und Data Lineage bieten die neuesten Versionen verschiedener ETL-Werkzeuge zunehmend Funktionen, um Auswirkungsanalysen besser oder überhaupt zu unterstützen. Diese Unterstützung erfordert typischerweise neben der Migration auf die neueste Version des Werkzeugs auch eine konsistente und vollständige Hinterlegung von Metadaten. Dies ist in gewachsenen Installationen nicht immer gegeben und muss erst erreicht werden. Zudem beschränkt sich diese Unterstützung häufig auf die Analyse von Metadaten und berücksichtig keine Programmbeziehungen. Abbildung 1: Beziehungen eines ETL-Jobs 6 Datenintegration White Paper

7 2. Methodik 2.1 Grundlage BearingPoint hat eine Methodik entwickelt, die dabei hilft, Verfolgbarkeit zu verbessern. Sie bietet in Verbindung mit Werkzeugunterstützung eine anpassbare Dokumentation, die auch programmübergreifende Beziehungen darstellt. Unsere Lösung basiert auf einer erprobten Methodik (2) zur Unterstützung von Verfolgbarkeit und unserer langjährigen Erfahrung in der Entwicklung von ETL-Programmen. Durch die Entwicklung des BearingPoint-Tools BEETLtracer konnte diese Vorgehensweise effektiv und effizient unterstützt werden. 2.2 Definition von Benutzerrollen Als erstes sollte bestimmt werden, welche Rolle, also z. B. Entwickler, Qualitätssicherer, Projektplaner welche Aktivitäten durchführt und welche Informationen dafür gebraucht werden. Als Beispiel sei der Projektplaner genannt, der auf Basis einer Kosten- und Aufwandsanalyse entscheidet, ob eine Änderung durchgeführt wird oder nicht. Hierfür wird er eine Auswirkungsanalyse durchführen und die betroffenen Elemente entsprechend ihres Änderungsaufwands und der Änderungskosten bewerten. Wichtige Fragen sind für ihn insbesondere: Wurden alle Änderungskandidaten gefunden? Wie minimiere ich den Aufwand für die Auswirkungsanalyse und wie bestimme ich den Aufwand und die Kosten der Änderungskandidaten? 2.3 Definition eines Verfolgbarkeitsmodells Basierend auf den für die Benutzerrollen benötigten Informationen wird im nächsten Schritt ein Verfolgbarkeitsmodell (3) erstellt. Es wird festgelegt, welche der Benutzerrollen welche Beziehungen auf welchen Detailebenen benötigt. So kann es für einen Projektmanager ausreichend sein, die von einer Änderung betroffenen Programme zu kennen. Ein ETL-Entwickler muss dagegen wissen, welche Abhängigkeiten zwischen ETL-Programmen existieren und welche Programmteile zu ändern sind. Für genauere Auswirkungsanalysen ist es sinnvoll, verschiedene Beziehungsarten zu unterscheiden. Typische Beziehungsarten sind Repräsentation, Verfeinerung und Abhängigkeit. Ein ETL-Programm ist abhängig von dem Ergebnis eines anderen ETL- Programms und stellt die Verfeinerung einer Anforderung dar. Eine Anforderung kann sowohl textuell als auch als Use Case repräsentiert sein. Das Wissen über benötigte Beziehungen vermeidet es aufwendig unnötige Beziehungen zu dokumentieren und andererseits sicher zu stellen, dass alle benötigten Beziehungen dokumentiert werden. Datenintegration White Paper 7

8 2.4 Anleitungen Die Dokumentation von Beziehungen kann implizit oder explizit sein. Bei einer implizit dokumentierten Beziehung wird diese aus dem Kontext heraus erkenntlich. Beispiele (4) wären hier u. a. Namensgleichheit oder Dokumentenstruktur. Implizite Beziehungen erfordern keinen gesonderten Wartungsaufwand, sind aber nicht immer nutzbar. Bei expliziter Dokumentation dagegen wird eine Beziehung gesondert dokumentiert, z. B. durch Verweis auf einen Change Request, der die Ursache der letzten Programmänderung war. Der Wartungsaufwand ist höher als bei impliziten Beziehungen. Durch Anleitungen wird festgelegt, wie alle benötigten Beziehungen angemessen dokumentiert werden. Es wird beschrieben, wie Beziehungen rollenspezifisch analysiert werden. Das Setzen und Analysieren von Beziehungen wird nachvollziehbar und wiederholbar, die Qualität kann geprüft, der Aufwand abgeschätzt werden. Die Abhängigkeit von einzelnen Experten wird verringert. 2.5 Werkzeugunterstützung Auch wenn für Verfolgbarkeit nicht zwingend eine Werkzeugunterstützung benötigt wird, so hilft sie Kosten und Zeit zu sparen, die Akzeptanz von Verfolgbarkeit zu erhöhen und die Fehlerrate beim Setzen und Analysieren von Beziehungen zu senken. BearingPoint hat für die gestellten Anforderungen das Tool BEETLtracer entwickelt. Es analysiert automatisch Abhängigkeiten von IBM DataStage-7.5-Programmen. Es speichert alle analysierten Informationen in einem Repository und stellt sie in Form einer Online- Dokumentation dar. Eine SQL-Schnittstelle zum Repository erlaubt flexible Abfragen. Durch die generische Analyse der Kommentierung der ETL-Programme werden bereits vorhandene Informationen, z. B. zu Änderungshistorie, Autor und Verarbeitungsbeschreibungen, ohne Anpassung der Programme extrahiert. Durch die Analyse zusätzlicher, individuell definierbarer Tags können strukturiert Informationen über die grafische Benutzeroberfläche direkt in den DataStage-Programmen abgelegt und ausgewertet werden. Die Notation dieser Tags ist an aktuell gängige Code-Kommentierungssyntax angelehnt. Beispielsweise kann durch Verwendung des <link> ein Verweis auf ein Anforderungsdokument gesetzt werden. 8 Datenintegration White Paper

9 Abbildung 2: DataStage-Elemente und ihre Beziehungen Sequence Parameter Job Prallel Stages Container DB Dataset File Filesets Post-SQL SQL Pre-SQL Table Attribute Eine Abschätzung von Änderungskosten (5) kann durch zusätzliche Betrachtung der Beziehungsarten und Änderungswahrscheinlichkeit weiter verfeinert werden. Metriken sind als Mittel zur Qualitätssicherung in der Programmierung verbreitet und lassen sich auch für ETL-Programme verwenden, um frühzeitig mögliche Qualitätsprobleme zu erkennen. So kann als Maß für die Komplexität einer ETL-Strecke z. B. die Anzahl der Verarbeitungsschritte oder die Anzahl benötigter ETL-Programme verwendet werden. ETL-Werkzeuge bieten in der Regel eine Möglichkeit zur Beschreibung einzelner Programmteile. Diese Möglichkeit sollte genutzt werden, um strukturiert zusätzliche Informationen anzugeben. Die Dokumentation in einem ETL-Programm lässt sich einfacher ändern als ein separat gepflegtes Dokument. Zudem verlieren diese Dokumente häufig schnell ihre Gültigkeit, da Änderungen am ETL-Programm im Zuge der Wartung und Erweiterung nicht in der Dokumentation nachgepflegt werden. Zusätzliche Informationen, wie z. B. Vorbedingungen oder nicht offensichtliche Abhängigkeiten, helfen nicht nur in der Wartung, sondern können bereits in der Implementierungsphase für qualitätssichernde Maßnahmen verwendet werden. Durch eine Werkzeugunterstützung können z. B. automatisierte Auswertungen über die Änderungshäufigkeit von ETL-Programmen Hinweise auf zu komplexe oder fehleranfällige Programme geben. Datenintegration White Paper 9

10 2.6 Vorteile unserer Methodik Zeitersparnis durch gezieltes, angeleitetes und automatisiertes Setzen und Analysieren von Beziehungen Wiederholbare und vollständige Auswirkungsanalyse Erleichterte und frühzeitigere Möglichkeit der Qualitätssicherung z. B. durch Code Review Präzisere Planung von Änderungsaufwänden Entlastung von Experten Vollständig verlinkte Online-Dokumentation aller ETL-Programme 3. Praxisbeispiel 3.1 Ausgangssituation des Kunden Im Rahmen eines Migrationsprojektes bei einem großen Erstversicherer wurde die Anlieferung der Vermittlerdaten des Außendienstes in das Data Warehouse (DWH) auf ein neues Zuliefersystem umgestellt. Neben der Anbindung der neuen Schnittstelle musste die bisher im DWH abgebildete Vermittlerstruktur ebenso abgelöst werden. Die Änderungen wirkten sich nicht nur auf den direkt betroffenen Vermittlerdatenbereich im DWH aus, sondern betrafen praktisch alle im DWH abgebildeten Versicherungssparten sowie alle Ebenen der Datenhaltung von Staging, über Warehouse-Kern bis zu den Data Marts. Unter anderem stellten sich dabei folgende Fragen: Welche Programme, Tabellen, Schnittstellen sind direkt von der Änderung betroffen? Welche Programme, Tabellen und Schnittstellen sind indirekt von der Änderung betroffen, weil sie z. B. Felder der wegfallenden Schnittstelle verwenden? Welches angelieferte Feld wird in welchem Programm verwendet? Wurde die Schnittstelle vollständig abgelöst oder gibt es Programme, die möglicherweise sehr selten noch immer auf sie zugreifen? 10 Datenintegration White Paper

11 Als ETL-Werkzeug kam DataStage der Firma IBM in der Version 7.5 zum Einsatz, eines der weltweit am meisten genutzten Datenintegrationswerkzeuge. Dieses bietet die Möglichkeit, eine Dokumentation der ETL-Programme zu erstellen und in gewissem Umfang auch Auswirkungsanalysen durchzuführen. Für den geforderten Umfang und insbesondere für die Analyse bis auf Feld-Ebene waren die vorhandenen Mittel aber nicht ausreichend. 3.2 Umsetzung im Projekt BEETLtracer analysiert die DataStage ETL-Programme über eine XML-Schnittstelle und erzeugt daraus ein Repository mit allen benötigten Informationen. Entsprechend der Anforderungen wurden dabei die relevanten ETL-Verarbeitungsschritte berücksichtigt. Der Fokus liegt vor allem auf Ein- und Ausgabeoperationen. Insbesondere die Datenbankzugriffe werden detailliert analysiert, um aus den SQLs die Tabellen und Spalteninformationen zu extrahieren. Nachdem im ersten Schritt alle zu verfolgenden Elemente identifiziert und im Repository abgelegt sind, werden im nächsten Schritt sowohl die expliziten als auch die impliziten Beziehungen zwischen den Elementen analysiert und im Repository abgelegt. Abbildung 3: BEETLtracer-Struktur A A DataStage XML-Export Dokumentation Repository Datenbank SQL-Schnittstelle Im nächsten Schritt wird eine vollständig verlinkte Online-Dokumentation erstellt. Wesentliches Merkmal hierbei ist, dass für alle betrachteten Elemente Programme, Dateien und Tabellen tabellarisch aufgeführt wird, welche Programme diese lesen oder schreiben. Aufrufparameter werden analysiert, so dass auch Beziehungen, die sich dadurch ergeben, ausgewertet werden können. Datenintegration White Paper 11

12 Abbildung 4: Tabellenbeziehungen Als weitere Möglichkeit der Auswertung wurde auf Grundlage des Repositories eine SQL-Schnittstelle realisiert, um spontane Abfragen zu ermöglichen, so z. B. Welche Programme enthalten ein Feld, welches auf _ID endet und den Typ Integer haben? oder Welche Programme werden nicht von anderen aufgerufen?. 3.3 Vorteile für den Kunden Mit BEETLtracer können Abhängigkeiten schneller, einfacher und zuverlässiger gefunden werden. Experten werden von manuellen Arbeiten entlastet. Durch die von BEETLTRACER bereitgestellte Schnittstelle ist es möglich, eigene Metriken zur Messung der Qualität der ETL-Programme zu definieren. Beispiele sind u. a. die Überschreitung der Anzahl der Stages in einem ETL-Programm oder die Einhaltung von Namenskonventionen. Die erzeugte Dokumentation erlaubt, Code Reviews zur Qualitätssicherung durchzuführen. Abbildung 5: Beispiel einer strukturierten K. Schmidt Enhances CashFlow-data with additional source information. t:\projectx\anfdoc.docx Added Error Handling Initial Version 12 Datenintegration White Paper

13 4. Unser Angebot 4.1 Vorgehen Gemeinsam mit Ihnen analysiert BearingPoint bestehende ETL-Prozessketten auf die darin bestehenden Beziehungen. In Workshops identifizieren wir Ihren Informationsbedarf im ETL-Umfeld und erstellen gemeinsam Richtlinien zur Analyse der benötigten Beziehungen. Wir erarbeiten ein Konzept zur Automatisierung der Dokumentation und deren Erweiterung an Ihre Bedürfnisse. Gemeinsam legen wir die gewünschte Dokumentationstiefe sowie den Zielumfang fest. Auf Basis der Analyse und unserer Erfahrung unterbreiten wir Ihnen konkrete Vorschläge, wie Sie beispielsweise durch gezielte Anpassung bestehender und zukünftiger Programme, Ihren Gesamtnutzen aus der Automatisierung maximieren können. 4.2 Vorteile und Nutzen Kosten können bei Entwicklungs- und Wartungsarbeiten gesenkt werden durch Reduzierung des Dokumentationsaufwands durch Vermeidung von Medienbrüchen durch schnellere Identifikation von Fehlern durch vereinfachtes Bestimmen abhängiger ETL-Programme Präzisierung von Aufwandsschätzungen Qualitätssicherung der ETL-Programme Überblick über die Komplexität der ETL-Programme Datenintegration White Paper 13

14 5. Quellen 1. LINDVALL, Mikael / SANDAHL, Kristian (1998): How well do experienced software developers predict software change? The Journal of Systems and Software, Vol. 43, S von KNETHEN, Antje / GRUND, Mathias : A Tool environment for (Semi-)Automatic Impact Analysis based on Traces. Amsterdam: IEEE Computer Society, International Conference on Software Maintenance (ICSM), S RAMESH, Bala / JARKE, Matthias (2001): Towards Reference Models for Requirements Traceability. IEEE Transactions on Software Engineering, Vol. 27, LEFFINGWELL, Dean / WIDRIG, Don (2000): Managing Software Requirements. A Unified Approach. s. l.: Addison-Wesley. 5. von KNETHEN, Antje (2002): Changed-oriented Requirements Traceability. Support for Evolution of Embedded Systems. PhD Thesis in Experimental Software Engineering. 14 Datenintegration White Paper

15

16 Wir helfen unseren Kunden, messbare und nachhaltige Ergebnisse zu erzielen BearingPoint berät Unternehmen und Organisationen aus den Bereichen Commercial Services, Financial Services und Public Services bei der Lösung ihrer dringendsten und wichtigsten Aufgaben. In enger partnerschaftlicher Zusammenarbeit mit dem Kunden definieren BearingPoint-Berater anspruchsvolle Ziele und entwickeln Lösungen, Prozesse und Systeme entlang der gesamten Wertschöpfungskette. Dies bildet die Grundlage für einen außerordentlichen Beitrag zum Geschäftserfolg und eine außergewöhnliche Kundenzufriedenheit. Seit der Übernahme durch seine Partner im Rahmen eines Management Buy-Out ist BearingPoint eine unabhängige Unternehmensberatung, die Unternehmertum sowie Management- und Technologiekompetenz auf einzigartige Weise vereint. Das Unternehmen beschäftigt rund Mitarbeiter in 15 Ländern. Das Unternehmen hat europäische Wurzeln, agiert aber global. Für weitere Informationen: BearingPoint. Management & Technology Consultants Kontakt Thomas Grüner Partner BearingPoint GmbH Speicherstraße Frankfurt am Main Deutschland BearingPoint GmbH, Frankfurt/Main. Alle Rechte vorbehalten. Gedruckt in der EU. Der Inhalt dieses Dokuments unterliegt dem Urheberrecht. Veränderungen, Kürzungen, Erweiterungen und Ergänzungen, jede Veröffentlichung, Übersetzung oder gewerbliche Nutzung zu Schulungszwecken durch Dritte bedarf der vorherigen schriftlichen Einwilligung durch BearingPoint GmbH, Frankfurt/Main. Jede Vervielfältigung ist zum persönlichen Gebrauch gestattet und nur unter der Bedingung, dass dieser Urheberrechtsvermerk beim Vervielfältigen auf dem Dokument selbst erhalten bleibt. WP 0701 DE 16 Datenintegration White Paper