Testdatenmanagement Konzepte

Transkript

1 Testdatenmanagement Konzepte BIZDATAX IST EIN PRODUKT VON

2 Kurzdarstellung Testdatenmanagement (TDM), als Teil der Qualitätssicherung (QS), steht mehr denn je im Fokus von IT-Organisationen, da sie die Vorteile einer TDMstrukturierten Vorgehensweise, wie kürzere Testzyklen, geringere damit zusammenhängende Betriebs- und Speicherkosten, bessere Testqualität und Testabdeckung erkennen. Darüber hinaus spielt TDM eine bedeutende Rolle bei der Einhaltung der Datenschutzrichtlinien. Wonach Organisationen suchen, ist eine End-to-End TDM Lösung, die Verwaltung von Datenschutzrichtlinien, Sensitive Data Discovery, leistungsstarke Datenanonymisierung, synthetische Datengenerierung und Daten- Subsetting, performante Laufzeitumgebung, umfangreiche Reporting- und Integrationsmöglichkeiten, die für hochkomplexe Szenarien konzipiert sind, umfasst. BizDataX TDM Lösung erfüllt diese Anforderungen durch die Umsetzung einer Reihe von innovativen Konzepten in Tools, die konzipiert sind, um unterschiedliche TDM-Benutzerrollen zu unterstützen. Business-Stakeholder verwenden BizDataX Portal zur Verwaltung von Datenschutzrichtlinien, für Sensitive Data Discovery und um alle Arten von Berichten zu erhalten. Implementierer verwenden BizDataX Designer, um innerhalb des visuellen Workflow-Editors Datentransformationsregeln basierend auf Richtlinien umzusetzen, und das Operationsteam nutzt BizDataX Runtime, um nach Bedarf Testdaten zu erstellen. BizDataX fügt sich nahtlos in den Testprozess ein und verbessert so dessen Qualität und Effizienz, während es gleichzeitig erhebliche Kosteneinsparungen ermöglicht. 2

3 Einführung Testdatenmanagement (TDM) ist ein integraler Bestandteil des Testprozesses und unterstützt diesen in allen seinen Phasen, indem es eine schnelle Bereitstellung der Testdaten zu den niedrigsten möglichen Kosten ermöglicht, wobei Sie mit öffentlichen Datenschutzbestimmungen und denen der Industrie konform bleiben. TDM trägt auch zu anderen Disziplinen, wie Data Governance, Knowledge Management, Testumgebungsmanagement und Business Intelligence bei und hilft damit, die Prozesseffizienz zu steigern, die allgemeine Qualität der Daten zu verbessern und Risiken zu minimieren. Hier die wichtigsten Konzepte einer durchdachten Testdatenmanagement Lösung: Beinahe reale Daten Policy Management Sensitive Data Discovery Produktive Testdatenbereitstellung Leistungsstarker Testdatenregeln Designer Testdatenerzeugung durch Anonymisierung, Subsetting und synthetischen Datenerzeugung Unterstützung für eine Vielzahl von Quellen- und Zieldatenbanken Unterstützung für die Datenanalyse und Äquivalenzklassen Testdaten Projekt Management Unterstützung für Drittanbieter- Testmanagement und Testautomatisierungstools Enterprise Funktionen (Skalierbarkeit, rollenbasierte Sicherheit..) Dokumentation- und Archivierungsfunktionen Ziel dieses Dokuments ist es, Ihnen ein besseres Verständnis für jede dieser Schlüsselkonzepte zu verschaffen und Informationen darüber, wie die BizDataX Testdatenmanagement Lösung diese Konzepte umsetzt. BIZDATAX PORTAL 3

4 Beinahe reale Daten Das Konzept der beinahe realen ( near real ) oder ausreichend realistischen Daten beruht auf der Tatsache, dass die Testdaten, in Bezug auf die Datenqualität und Datensemantik, so viel wie möglich den Daten in den Produktionsdatenbanken ähneln sollten (oder den Daten, die erwartungsgemäß in den Szenarien der realen Welt verwendet werden). Dies ist ein Schlüsselkonzept in einem Testprozess, nämlich die Sicherstellung der Korrelation zwischen der kontrollierten Testumgebung und den realen Szenarien. BizDataX setzt viele Datengenerierungs- und Datenanonymisierungs- Methoden und Algorithmen ein, welche die Bereitstellung von realistischen Daten ermöglichen. Einige von ihnen sind Listen der Wiederbeschaffungswerte, nationale Identifikationsnummern, Generatoren von Finanzwerten, Generatoren von Telefonnummern, s und viele andere. EIN BIZDATAX WORKFLOW BEISPIEL 4

5 Policy Management Unter Verwendung von Produktivdaten Testdaten zu erzeugen, ist eine häufige und oft bevorzugte Methode der Testdatenbereitstellung. Nebst der vielen positiven Aspekten dieser Vorgehensweise gibt es Datenschutzrichtlinien, die berücksichtigt werden müssen. Ein wichtiger Teil des BizDataX Portals ist ein Modul zur Verwaltung von Richtlinien, in dem Benutzer eine beliebige Anzahl von Richtlinien aufstellen und Datentransformations-/Maskierungsregeln zuweisen können. Gespeicherte Richtlinien können als Input für das Sensitive Data Discovery-Modul und für Compliance-Berichte verwendet werden. BIZDATAX PORTAL POLICY MANAGEMENT 5

6 Sensitive Data Discovery In einer hochkomplexen IT-Landschaft mit einer Reihe von verschiedenen Datenbanken sind erhebliche Anstrengungen erforderlich, um alle Daten, die in Bezug auf Datenschutz oder geschäftliche Bedeutung sensitiv sind, zu finden. Sensitive Daten können überall auf den Datenbanken verborgen sein, in gut benannten und nicht so gut bekannten Datenbankspalten, in Anmerkungen, in Info-Feldern sowie in strukturierten oder unstrukturierten Inhalten. Ein leistungsfähiges Sensitive Data Discovery-Modul wäre daher eine große Hilfe. Aufgefundene sensitive Daten würden in der Implementierungsphase, wie von den Datenschutzrichtlinien festgelegt, behandelt werden. Das Sensitive Data Discovery-Modul von BizDataX unterstützt die Suche nach sensitiven Daten mit mehreren Methoden: Durchsuchen des Metadaten- Wörterbuchs, Durchsuchen der Produktionsdaten mit Datenmustern oder mit Regular Expressions und Suche nach sensitiven Daten über den Fremdschlüssel. BIZDATAX PORTAL SENSITIVE DATA DISCOVERY 6

7 Produktive Testdatenbereitstellung Abhängig von den Business Szenarien könnten Testdaten täglich, ja sogar stündlich benötigt werden. In einem komplexen Umfeld von Business Anwendungen wird der Bedarf an justin-time -relevanten Testdaten sehr hoch sein. Dies kann erhebliche Kosten für Hardware und ausgebildete Arbeitskräfte, die verantwortlich sind für die Bereitstellung von Testdaten in Testteams, mit sich bringen. BizDataX wird von Grund auf dafür entwickelt, möglichst schnellen Testdaten Workflow Design und Ausführung der Testdaten Jobs zu ermöglichen. Sie können komplexe Testdaten Szenarien mit Hilfe vom BizDataX Designer erstellen, sie in BizDataX Runtime einsetzen und Milliarden von Testdatensätze generieren, und all das innerhalb von Stunden. Einmal erstellte Testdaten Jobs können beliebig viele Male ausgeführt werden. Besondere Sorgfalt wird angewendet zur Beschleunigung der Ausführung der Jobs. BizDataX Runtime Engine analysiert Testdatengenerierung Regeln, um den optimalen Ausführungsplan zu ermitteln und die bestmögliche Leistung mit paralleler Ausführung und Paging von großen Datenmengen zu erreichen. Runtime Host Flat file XML Designer Management Console Host Test Databases Host BIZDATAX DESIGNER UND RUNTIME 7

8 Leistungsstarker Testdatenregeln Designer Jede TDM Lösung benötigt eine intuitive und effiziente Möglichkeit, um Regeln für die Testdatengenerierung zu entwerfen. Hier scheitern heutzutage die meisten Lösungen. Um alle realen Szenarien abzudecken, kann Ihr Regeln Designer nicht nur auf eine Reihe von vordefinierten Regeln für eine bestimmte Branche oder nur Skriptsprachen festgelegt werden, oder noch schlimmer (Ausbildungskosten) proprietäre Sprache als Erweiterungspunkt verwenden. Sowohl die Benutzerschnittstelle (UI) als auch die Benutzererfahrung (UX) spielen ebenfalls eine sehr wichtige Rolle bei der Auswahl der richtigen Lösung. BizDataX Designer fügt sich in die Microsoft Visual Studio Umgebung und den Workflow Editor als ein Add-In ein. Assistenten und visuelle Hinweise unterstützen den Prozess der Regeldefinition. Drag-n-Drop hilft die allgemeinen Parameter festzulegen, das Eigenschaftenfenster ist dazu da, die Details festzulegen. Die Regeln sind visuell konzipiert mit domänenspezifischer Terminologie. Man braucht nicht über Tabellen, Views, SQL, Schleifen, Cursor, Transaktionen und ähnliches nachdenken. BizDataX dehnt sich natürlich auf die.net- Plattform aus, indem es vollständige Unterstützung bietet für Programmiersprachen wie C #, JavaScript usw. Durch den wirksamen Einsatz der Microsoft Entwicklungsplattform, beschleunigt BizDataX die Workflow Entwicklung der Testdatengenerierung, verkürzt die Ausbildungskurve und verringert die Gesamtkosten des Testdatenmanagements. BIZDATAX DESIGNER 8

9 Testdatenerzeugung durch Anonymisierung, Subsetting und synthetischen Datenerzeugung BizDataX ermöglicht die Bereitstellung von Testdaten durch die Kombination von Funktionsvielfalt der Anonymisierung (Data Masking), Subsetting und den Fähigkeiten der synthetischen Datenerzeugung. Wenn Produktivdaten anonymisiert werden, wenn sie von Grund auf erzeugt werden oder bei einer Kombination von beidem, verwendet das System integrierte: Real data Listen der Wiederbeschaffungswerte: Personennamen mit Land/Region und Geschlechtsattributen, Orte, Postleitzahlen, Straßen, Banken... Nationale Identifikationsnummer- Generatoren (AHV, SSN... ) Generatoren von Finanzwerten: Kreditkartennummern, Kontonummern, IBAN Generatoren von Telefonnummern, s... Data Shuffling Modul Vorlagen mit Platzhaltern die verwendet werden, um Freitextfelder auszufüllen Formeln zur Datumsverschiebung Masked data Bedingte Konstrukte zur Behandlung von Sonderfällen und vieles mehr... Viele alltägliche Testverfahren sind in der Lage zu funktionieren und von der Verwendung einer sehr kleinen Teilmenge von ursprünglich riesigen Datenmengen zu profitieren. Kleinere Datenbanken senken die Investitionen in Hardware- und Software-Lizenzen, die benötigt werden, um eine parallele Test Infrastruktur aufzubauen. 9

10 Unterstützung für eine Vielzahl von Quellen-und Zieldatenbanken In vielen TDM Szenarien ist der Zugriff auf Produktivdaten nötig, um Testdaten zu erzeugen. Produktivdaten werden in der Regel in vielen verschiedenen Datenbanksystemen gespeichert, und dadurch könnte der Zugriff auf Daten mit irgendeiner Art von hausgemachtem, skriptbasierten Ansatz sehr schwierig sein. Unterstützung für verschiedene Datenbanken ist ein Muss für eine gute TDM-Lösung. BizDataX kann die Verbindung zu einer Vielzahl von Datenquellen herstellen, einschließlich relationalen und Legacy-Datenbanken. Es kann auch eine Verbindung zu Flat Files, Excel-Dateien, MS SQL Analyse-Services- Projekten und XML schaffen. Eine direkte Verbindung zu verschiedenen Datenbanksystemen wird durch die Möglichkeit ergänzt, Daten auf eine staging Datenbank zu übertragen, um den Kerntestdatengenerierungsprozess vom ETL-Prozess zu trennen. Die daraus entstehende Testdatenbank kann in einer Vielzahl von Datenbankformaten erstellt werden. Außerdem wahrt BizDataX die Referenzdatenintegrität über Datenbank- und Systemgrenzen hinweg. EIN BIZDATAX WORKFLOW BEISPIEL MIT ZUGRIFF AUF ORACLE, DB2 UND SQL SERVER DATENBANKEN 10

11 Unterstützung für die Datenanalyse und Äquivalenzklassen Eine TDM-Lösung muss fähig sein, Produktivdaten zu analysieren, um Testdatengenerierungsregeln gemäß den Geschäftsregeln genau zu definieren. Eine gründliche Datenanalyse ist die Grundlage für den erfolgreichen und effizienten Testablauf. Es ermöglicht die Ermittlung relevanter Daten, die benötigt werden, um Testfälle zu vervollständigen, das spart Zeit und erhöht die Qualität des Vorgangs. Es hilft auch Testdatenmengen zu optimieren und damit ein einfacheres Datenbankmanagement und niedrigere Hardwarekosten zu schaffen. BizDataX kann die Verbindung zu einer Vielzahl von Datenquellen herstellen, die Datenbank Schemata importieren und Metadaten Analyse ermöglichen. BizDataX ermöglicht auch die Definition von Kriterien für die Ermittlung der Äquivalenzklassen. Datensatzgruppen können analysiert werden, um spezielle Fälle zu identifizieren und eine hundertprozentige Testfallabdeckung zu erreichen. Die Kriterien werden dann vom BizDataX Subsetting Modul verwendet, um die minimale Teilmenge der entsprechenden Originaldaten zu extrahieren oder von Generatoren zur Erzeugung synthetischer Daten, die auf bestimmte Testszenarien abzielen. DATENANALYSE UND ÄQUIVALENZKLASSEN 11

12 Testdaten Projekt Management Da sich die Anwendung und die zugrundeliegende Datenbank ändert, müssen auch die Testdatengenerierungsregeln, von Zeit zu Zeit aktualisiert werden. Eine gute TDM-Lösung sollte eine Testdatenregeln Versionierung ermöglichen, um Anwendungs- Upgrades, Transparenz und Wiederverwendbarkeit zu unterstützen, vor allem, wenn es um die Prüfung älterer Versionen der gleichen Anwendung geht (was natürlich häufig vorkommt). BizDataX integriert sich in den Software- Entwicklungszyklus. Mit BizDataX können Sie Änderungen in Testdaten Projekte einchecken, genauso so wie sie jegliche Änderung am Quellcode der Anwendung einchecken könnten; Testdatenregeln wären so immer auf dem neuesten Stand und Veränderungen könnten in Ihrem Quellcode-Verwaltungssystem nachverfolgt werden. Die Versionierung von Testdatenregeln arbeitet mit Standard Technologien wie dem Microsoft Team Foundation Server, Git, Subversion und vielen andere Source Code Management Lösungen. TESTDATEN PROJEKTBAUM UND TESTDATEN JOB AUSFÜHRUNG HISTORY 12

13 Unterstützung für Drittanbieter- Testmanagement und Testautomatisierungstools Organisationen berichten, dass sie von 100 Minuten der manuellen Testausführungszeit zwischen 50 und 75 für die Suche und Vorbereitung geeigneter Testdaten aufwenden müssen. Trotzdem sind sie dann immer noch nicht in der Lage, eine stabile Testautomatisierung zu erreichen in Ermangelung zuverlässiger Testdatenkontrolle. Testmanagement-und Testautomatisierungslösungen können stark von der Integration mit TDM- Lösungen profitieren, weil sie, wenn sie effizient zusammen verwendet werden, die Testausführungszeiten erheblich erhöhen könnten. Zusätzlich zur Erzeugung von Testdaten, kann BizDataX zu Testdatenausgabe für Testfälle konfiguriert werden und Daten für Testmanagement und Testautomatisierungs-Tools liefern, so wie Microsoft Test Manager, HP Unified- Functional Testing, Tricentis Tosca, imbus Test Bench usw. Test data Data labeled for test cases Other TM/TA tools BIZDATAX INTEGRATION SZENARIEN 13

14 Enterprise-Funktionen (Skalierbarkeit, rollenbasierte Sicherheit..) Die Verarbeitung von TB großen Datenmengen in einer Enterprise Umgebung erfordert Unterstützung für Features, wie z.b. das rollenbasierte Sicherheitsmodell, die Fähigkeit, Testdatengenerierung Jobs auf mehrere Hosts zu skalieren, Jobausführung Statusprotokoll, um nur einige zu nennen. Diese Funktionen haben ihren Preis und es gibt sie nicht standardmäßig in jeder TDM-Lösung auf dem Markt. Wie bereits im Abschnitt Produktive Testdatenbereitstellung erwähnt, ist die BizDataX Runtime eine Enterprise level Anwendung, die rollenbasierte Sicherheit und andere Enterprise Funktionen unterstützt und sie passt perfekt in eine komplexe IT-Landschaft. BizDataX Runtime kann auf einem einzelnen oder auf mehreren Systemen installiert werden, virtualisiert werden, und zentral verwaltet werden mit Industrie-Standard-Tools wie Microsoft Management Console. BIZDATAX RUNTIME 14

15 Dokumentations-, Protokollierungs- und Archivierungsfunktionen Um datenschutzrechtlichen Bestimmungen und Unternehmensrichtlinien zu entsprechen, muss eine TDM Lösung die Dokumentation aller Schritte innerhalb eines Testdaten Projekts ermöglichen. Diese Dokumentation sollte externe und interne Audits ermöglichen, damit die Regeln und Workflows zur Erzeugung von Testdaten auf einfache Weise bestätigt werden. Darüber hinaus sollte eine TDM Lösung alle Ausführungen von Testdatengenerierungsjobs protokollieren, um die Transparenz und Rückverfolgbarkeit innerhalb des Testprozesses zu unterstützen. Sobald das Testdaten Projekt zu Ende ist, sollte es für die Unterstützung der Erzeugung historischer Testdaten archiviert und per Bedarf wiederhergestellt werden. BizDataX unterstützt die Dokumentierung eines jeden einzelnen Schritts innerhalb des BizDataX Testdaten Projekts. Beispiele für Berichte enthalten: Anforderungen Dokument enthält Informationen über alle projektbezogenen Datenschutzrichtlinien (Policies). Sensitive Data Discovery Dokument listet alle, innerhalb der Datenbank gefundene sensitive Daten auf, wie auch die Implementierungs-Hinweise Job Execution Bericht stellt detaillierte Information zu BizDataX Job Ausführungsstatus dar. Workflow Implementation Dokument enthält Workflow Abbildungen mit Umsetzungs-Anweisungen und Anmerkungen. BIZDATAX JOB BERICHT BizDataX ermöglicht Versionierung, Archivierung und Wiederherstellung einer beliebigen Anzahl von BizDataX Testdaten Projekte, um historische Testdaten neu zu erstellen. 15

16 BizDataX Dienstleistungen Es sind die Menschen und die Tools, die den Unterschied machen! Unser Professional Services Team wird Ihnen helfen, den Testdatenmanagement Prozess und die BizDataX Lösung optimal zu nutzen. Sie werden Ihnen behilflich sein bei der Aufbereitung Ihrer Testdaten Umgebung und Ihre Testdaten gemäß Ihrer Bedürfnissen bewerten, BizDataX an Ihre Testdaten Nutzungsszenarien anpassen und neue Testdatengenerierung Algorithmen für Ihre spezifischen Anforderungen (z. B. branchenspezifische Datenanonymisierungsregeln) zur Anwendung bringen. Sie werden auch Ihre Test Profis ausbilden für den selbständigen Entwurf, Einsatz und die Durchführung von Testdatengenerierung- Aufträgen. Das Professional-Services-Portfolio schließt ein: Test Data Assesment Proof of Concept Custom Workflow and Algorithms Implementation BizDataX Solution Installation BizDataX Workshops 16

17 EIN PRODUKT VON EKOBIT BizDataX ist eine End-to-End Testdatenmanagement Lösung, welche die schnelle und kostengünstige Bereitstellung von Testdaten in hoch komplexen IT Systemen ermöglicht: rechtzeitige Lieferung von realistischen Testdaten Übereinstimmung mit Datenschutzbestimmungen Unterstützung der Umsetzung aller Testdaten Szenarien mit visuellen Design-Tools nahtlose Integration mit gängigen Testmanagement- und Testautomatisierungstools Erhöhung der Testvorgangseffizienz bei gleichzeitiger Kostensenkung Rufen Sie Uns An: info@bizdatax.com Ekobit d.o.o. Koturaška Zagreb, Kroatien, EU BizDataX Vertriebspartner DACH Region Herr Dragan Kinkela aminodata GmbH Gartenstrasse Baden, Schweiz