Data (Reverse) Engineering

Transkript

1 Data (Reverse) Engineering Analyse von Datenlandschaften Karlsruhe, 30. September 2015 Dr. Marcus Ciolkowski Agenda 1. Überblick Fallbeispiel AIR 2. Herausforderungen bei der Analyse von Datenlandschaften (Data Reverse Engineering) 3. Lösungsansatz: Meta Information Research (MIR) 4. Zusammenfassung 3

2 AIR: Eine Enterprise Search Anwendung, die Recherche im Aftersales auf einem vernetzten Datenbestand ermöglicht. Kunde: Automobilhersteller Projekt: Aftersales Information Research (AIR) System zur Informationsrecherche im Aftersales auf vernetzen Service-Daten Aufgaben QAware: Produktvision und Proof of Concept Fachliche Analyse der Informationsbebauung Übergreifende Systemarchitektur Agile Entwicklung von AIR Kenngrößen: 23 Mitarbeiter, Projektlaufzeit seit Die Vision: Finde alle Informationen zum Fahrzeug mit weniger als drei Klicks. Ausgangssituation für Anwender vorher: Informationen über mehr als 7 Anwendungen verstreut Keine (gute) Integration: Mehrfache Eingabe von (inkonsistenten) Schlüsseln nötig Korrekte Informationen nur mühsam und fehleranfällig auffindbar Die Idee: Kombiniere Daten in ein konsistentes Informationsnetz Mache das Informationsnetz durchsuch- und navigierbar Ersetze existierende Anwendungen durch eine integrierte 5

3 AIR verknüpft mehr als 40 Geschäftsobjekte. Technische Dokumentation Teile Nachrüstungen Beschreibungen en Instandsetzung Sonderarbeitswerteerte Sonderbefunde Maßnahmee Arbeitswertee Servicehistorie Fahrzeugdetails Abonnements Serviceverträge Marketingkampagnen Sonderausstattung Service ReparaturpaketeR Gewährleistungs- Reparaturpakete BefundeB Nachrüstungen Reparaturanleitung Premium Reparaturanleitung Explosionszeichungen Technische T Aktionen 6 AIR kombiniert Informationen aus mehr als 20 Datenquellen. Einsatz weltweit ca Nutzer zur Laufzeit integriert AIR zusätzlich 10 Systeme Backend Systeme System Z Loader (ETL) System A System B 20 Sprachen 55 Mio. Objekte/Sprache 800 GB Index in 20 Cores Index (Solr) Index speist sich aus > 10 Backendsystemen Backendsysteme aggregieren Daten aus > 30 Datenquellen System C System F System M 7

4 Agenda 1. Überblick Fallbeispiel AIR (Aftersales Information Research) 2. Herausforderungen bei der Analyse von Datenlandschaften (Data Reverse Engineering) 3. Lösungsansatz: Meta Information Research (MIR) 4. Zusammenfassung 8 Problemstellung Data (Reverse) Engineering: Informationen und Verknüpfungen in einer Systemlandschaft suchen. Viele (Big Data) Projekte benötigen Informationen aus einer System- und Datenlandschaft Für einen speziellen Bedarf (Recherche, Analyse, MDM, ) Aufgabe: Informationen aus mehreren Datentöpfen kombinieren und verknüpfen Datenlandschaft: Viele Datentöpfe Daten teilweise redundant aber leicht abweichend Dokumentationsqualität variabel Dabei stellen sich auch folgende Fragen Welche Datenquellen nutze ich für welche Informationen? Datenqualität: Wie gut sind die Daten für meinen Zweck geeignet? Wie verknüpfe ich Informationen aus (unterschiedlichen) Datenquellen? 9

5 Datenlandschaft: Viele Datentöpfe und potentielle Datenquellen. Reverse Engineering: Welche Datentöpfe sind geeignet? System A System B System C System D Wo findet man Fahrzeuge? 60 potentielle Eingangssysteme, Entitäten, Attribute Fahrzeug Sonstige Daten 10 Zusätzlich suchen wir Verknüpfungen zwischen Informationen. Reverse Engineering: Was sind geeignete Fremdschlüssel? System A System B System C System D Wie sind die Daten miteinander verknüpft? potentielle Relationen Maßnahmen Dokumente Fahrzeug Sonstige Daten 11

6 Für solches Reverse Engineering benötigt man Metadaten. Erkenntnis: Metadaten sind auch Daten. Daten: Inhalte der Datentöpfe Metadaten: Beschreibung der Datenstrukturen Namen und Beschreibungen von Entitäten / Attributen Relationen (PK/FK/ ) Idee: Metadaten indizieren und durchsuchen auf Datenlandschaften Quellen für Metadaten sind zum Beispiel: Schematabellen Dokumentationen (PDFs) Datenmodelle (HTML, XML, Excel, ) 12 Analyse von Datenlandschaften: Iteratives Vorgehen vom Verstehen der Eingangssysteme zum fachlichen Modell. Eingangssysteme System(nahes) Modell Datenmodell Eingangssysteme Fachliches Modell Metadaten Metadaten Daten Metadaten Daten und analysieren Metadaten analysieren Eingrenzen Ergänzen Auswählen Für Anwendungs- Zweck abstrahieren Daten ó Datenqualität. bewerten Iterieren Eingangssysteme verstehen, Datenmodell abstrahieren Relevante Ausschnitte identifizieren Fachliches Modell für Applikation ableiten

7 Alle Schritte bei der Analyse einer Datenlandschaft erfordern ähnliche Aufgaben. Potentielle Datentöpfe identifizieren und auswählen Geschäftsobjekte und Relationen erkennen Suche über Namen/Beschreibungen von Entitäten und Attributen Synonyme, Dialekte beachten Ggf. Matching von Inhalten und Schlüsseln Benötige Attribute vorhanden? Datenqualität ausreichend? Randbedingungen, Anforderungen: Aktualität, Verfügbarkeit, Konzernvorgaben, Dabei stellen sich typische Herausforderungen: Suchen über Systeme hinweg Synonyme, Ähnlichkeiten erkennen und berücksichtigen Informationen ergänzen Eingrenzen: Für Zweck relevante Kandidaten auswählen Aktuellen Stand visualisieren Fehlende Informationen / Systeme manuell ergänzen Systeme, Entitäten und Relationen fehlen Datenmodelle abstrahieren 15 Unser Lösungsansatz: Meta Information Research (MIR) 16

8 MIR ist ein einfaches und leichtgewichtiges Werkzeug zur Analyse von Datenlandschaften auf Basis von Solr. Ansatz: Metadaten heterogener Datentöpfe zu einem homogenen Datenbestand überführen Den kann ich analog einer Suchmaschine (Enterprise Search) integriert durchsuchen (Semi-) Automatischer Import aus DB-Beschreibungstabellen oder anderen Dokumenten (z.b. XML, HTML, PDF, Excel) A <<System>> Meta Information Research HTML 25MB Metadata Index (25MB) Sources (Java, XML) Magic Draw A <<Subsystem>> MIR User Interface I <<Subsystem>> Apache Solr A <<Subsystem>> MIR Loader A <<Subsystem>> MIR Generators Read Backend Databases and Systems Backend Datenquellen PDF XLS XML Dokumentation 17 MIR unterstützt Suche und Modellierung. MIR unterstützt wichtige Schritte des Data Engineering Suche und Drill-Down in Metadaten Auswahl und Ergänzung von Entitäten, Attributen und Relationen Generieren: Datenmodell / Diagramme 18

9 Facettierter Drill-Down Wildcard Suchen Suchergebnis Die MIR-Oberfläche erlaubt Suchen über Systemgrenzen hinweg Ziel: Synonyme, Ähnlichkeiten erkennen Baumstruktur für Eingangssysteme, Tabellen, Attribute Potentielle Synonyme und Verknüpfung für Fahrgestellnummer 19 MIR unterstützt Auswahl und Ergänzung von Entitäten, Attributen und Relationen. Informationen ergänzen: Objekte und Relationen spezifizieren über Excel Eingrenzen von Entitäten per Excel-Export und Import Potentielle Relationen erkennen 20

10 Visualisierung: Generierung von UML-Modellen. Automatisierter Export in UML-Modell 21 Beispiel: Ein neues Geschäftsobjekt anbinden. Zustand nach initialem Laden der Metadaten: In dieser Datenbank sind Relationen gut gepflegt Beschreibungstexte allerdings nicht 22

11 Fehlende Beschreibungen haben wir aus Dokumentation nachgeladen: Dafür haben wir eine Möglichkeit geschaffen, Beschreibungen aus Dokumentation anzureichern 23 Das generierte Systemmodell des Eingangssystems nach initialem Laden der Metadaten: Nächster Schritt: Eingrenzen auf fachlich relevanten Ausschnitt durch Suchen im Datenmodell und in Spezifikation 24

12 Datenmodell des Eingangssystems nach Eingrenzung: Das Datenmodell ist jetzt viel überschaubarer. Das fachliche Kernobjekt ist gut erkennbar Aber: Eine einzelne Entität ist nicht verbunden Ursache: Fehlende Relation in den Metadaten 25 Suche: Welche Relation fehlt? Hinweis auf Relation finden wir im Beschreibungstext 26

13 Die fehlende Relation können wir nun einfach ergänzen: Spezifikation der fehlenden Relationen in Excel Nach Update: Fehlende Relation ist in MIR vorhanden 27 Danach haben wir ein vollständiges Datenmodell für den relevanten Ausschnitt des Eingangssystems: Generiertes UML-Modell enthält die neuen Relationen 28

14 Mit MIR konnten wir die Analyse einer großen Datenlandschaft bewältigen. Für diese Herausforderungen bei der Analyse der Datenlandschaft haben wir MIR gebaut: Suchen über Systeme hinweg Synonyme, Ähnlichkeiten erkennen und berücksichtigen Informationen ergänzen Eingrenzen: Für Zweck relevante Kandidaten auswählen Aktuellen Stand visualisieren Zusätzlich verwalten wir die Datenbank-Entitäten der Anwendung AIR 29 Mit MIR dokumentieren wir auch das fachliche Modell von AIR. Daraus generieren wir Solr-Schema und Zugriffsschicht. Excel-Spezifikation der Solr-Objekte in AIR MIR-Import Eine Spezifikationsquelle für Generieren: Dokumentation, Datenbank-Schema DB- Schema und Zugriffschicht reduziert Aufwand und erhöht Konsistenz Index (Solr) schema.xml solrconfig.xml 30

15 Solr Entitäten für jedes Release Solr Schema Spezifikation In MIR erscheint AIR als ein System mit Zusatzinformationen 31 Die Spezifikation des fachlichen Datenmodells nutzt den normalen Mechanismus zur Ergänzung fehlender Informationen. Name, Beschreibung von Entität und Attributen Hinweise für Interpretation und Abbildung auf Eingangssysteme Spezifikation des Solr-Datenmodells 32

16 Zugriffschicht generieren wir über den Toolstack MIR + Solr + Maven. 33 Agenda 1. Überblick Fallbeispiel AIR (Aftersales Information Research) 2. Herausforderungen bei der Analyse von Datenlandschaften (Data Reverse Engineering) 3. Lösungsansatz: Meta Information Research (MIR) 4. Zusammenfassung 34

17 Zusammenfassung (1/2) Eine wesentliche Herausforderung bei vielen Big Data Projekten ist Analyse von Datenlandschaften: Wo finde ich relevante Informationen? Wie sind diese verknüpft? Auf Basis von Solr haben wir MIR (Meta Information Research) entwickelt, das relevante Fragestellungen bei der Analyse von Datenlandschaften unterstützt Import von Metadaten in unterschiedlichen Formaten Suche, Auswahl und Ergänzung von Entitäten, Attributen und Relationen Export/Visualisierung der aktuellen Erkenntnisse 36 Zusammenfassung (1/2) Im Projekt AIR hat uns MIR die Analyse der Datenlandschaft wesentlich erleichtert 60 Datenquellen mit Entitäten, Attributen und potentiellen Relationen konnten wir in wenigen Wochen mit kleinem Team (3 Personen) eingrenzen Einfache und schnelle Visualisierungen durch Modell-Export beschleunigen Lernkurve beim Data Engineering Die Modellierung des fachlichen / Modells der Applikation hilft uns bei Dokumentation: einfaches Update des UML-Modell-Exports statt Deltas manuell pflegen Konsistenz und geringere Fehleranfälligkeit bei der Entwicklung durch gemeinsame Spezifikationsquelle für Dokumentation, DB-Schema und Zugriffschicht 37

18 Ausblick: Integration Data Profiling für Analyse der Datenqualität. Aufgabenstellung: Datenqualität für alle Ebenen im Detail prüfen Datenlandschaft: Beziehungen (Gültigkeiten) zwischen Datentöpfen Metadaten: Qualität der Modellierung / Dokumentation Daten: Vollständigkeit, Konsistenz, Datenqualität ist stark durch fachliche Fragen getrieben, typisch sind Sind Datensätze und Schlüsselbeziehungen konsistent und vollständig? Sind Daten/Schlüssel im gleichen Dialekt (unterschiedliche Systeme)? Welche Sprachen sind vorhanden, und sind die Übersetzungen vollständig? Sind Texte redaktionell gepflegt und für Endnutzer freigegeben? Dazu gibt es eine Reihe von Data Profilern, die sich integrieren lassen 38