Gezielte Aufbereitung von Stammdaten für die Datenmigration

Transkript

1 Gezielte Aufbereitung von Stammdaten für die Datenmigration Qualitativ hochwertige Daten aufbereiten am Beispiel eines ERP- Datenübernahmeprojektes bei der MULAG Fahrzeugwerk (Oppenau) Ingo Lenzen Produktmanagement humanit Software GmbH Brühler Straße Bonn Ingo.lenzen@humanit.de

2 humanit Ihre Daten bekommen ein neues Gesicht Markt & Lösung Unternehmen Kunden Datenanalyse-Software InfoZoom. Millionen von Daten mit einem Klick anschaulich darstellen und in Sekunden prüfen, filtern, korrigieren und ad hoc auswerten. Hersteller und Dienstleistungspartner in einem Gegründet: Standort: 1997 Bonn Spin-Off Unternehmen des Fraunhofer Instituts (ehemals GMD) Konzernunternehmen der proalpha Business Solutions (>700 MA) Kunden: Fokus: > Unternehmen > Anwender Datenanalyse branchenübergreifend Schwerpunkte: Datenqualität Vertriebssteuerung Kundensegmentierung E-Commerce Finanzwirtschaft Kriminalistik Energiewirtschaft

3 Datenübernahme richtig vorbereiten 1. Ansätze für Datenqualitäts-Programme 2. Ansatzpunkt Datenmigration: Projektüberblick 3. Aufbau des Regelsystems 4. Projektumsetzung 5. Zusammenfassung 6. Praktische Einblicke 2015 humanit Software GmbH

4 Ansätze für Datenqualitäts-Programme humanit Software GmbH

5 Datenqualität nicht nur ein technisches Problem Wie wichtig eine regelmäßige Adresspflege ist, zeigen folgende Zahlen: 2014 änderten sich in Deutschland rund 300 Ortsnamen, Straßen wurden neu angelegt, aufgeteilt oder umbenannt. Zudem veralten Adressen jährlich durch etwa acht Millionen Umzüge, Todesfälle sowie Hochzeiten und Scheidungen und die damit verbundenen Namensänderungen. Zusätzlich gefährden Fehler in der Anrede, falsch geschriebene Vor- und Nachnamen sowie doppelte Sendungen die gute Beziehung zum Kunden. Und die lohnt sich: Denn es kostet ein Unternehmen fünf- bis siebenmal mehr, einen Kunden neu zu gewinnen, als einen Bestandskunden zu halten. Deutsche Post, Kundendaten-Qualität 2015, humanit Software GmbH

6 Ansätze für Datenqualitäts-Programme Ansatzpunkte Durchgängiges (automatisches) Daten-Controlling Bestandsdatenanalyse Analyse im produktiven Bereich Frühwarnsystem für Datenprobleme Datenvorbereitung für Datenübernahme-Projekte (Migration/Fusion) Analyse des Ist-Zustands und der Schwachstellen Definition der Zielstruktur und Übernahme-Preview humanit Software GmbH

7 Ansatzpunkt Datenmigration humanit Software GmbH

8 Ansatzpunkt Datenmigration Ausgangslage Kunde nimmt zu 80% die Datenvorbereitung selbst in die Hand Standardmittel wie MS Excel werden für die Aufbereitung eingesetzt (Exporte) Wiederholte Exporte kaum möglich, da Daten nicht korrigiert wurden Aufwändiges Verfahren für hohe Anzahl an Datensätzen Kaum Zusammenhänge erkennbar (Schreibweisen, Dubletten etc.) Keine Einschätzung des Aufwandes vor Beginn der Aufbereitung Reproduzierbarkeit der Überprüfung aufwändig Man ist bisher mit 80-90% der Datenqualität vor Übernahme zufrieden humanit Software GmbH

9 Projektüberblick humanit Software GmbH

10 Projektüberblick Ziel des Gesamtprojektes Datenmigration von einem bestehenden ERP zu einem neuen ERP-System (proalpha) bei der Firma Mulag Fahrzeugwerk (Oppenau) Echtstart: Januar 2016 Ziel des Teil-Projektes gezielte Datenaufbereitung Aufbau einer automatisierten Analyse mittels Regelsystem mit geringem Aufwand Analyse und Verbesserung der Datenqualität vor der Datenübernahme in ein neues ERP- System (Ziel-System) Verbesserte Einschätzung der Aufwände für die Datenübernahme Zu betrachtende Domänen (Pilot-Projektstart) Kunden (DU_Kunde) Lieferanten (DU_Lieferant) Teile (DU_Teile) humanit Software GmbH

11 Mitarbeiter: 248 Gegründet: 1953 Standorte: Bad Peterstal Oppenau

12 proalpha der Partner für den Mittelstand Markt & Lösung Unternehmen Kunden ERP-Komplettlösung für mittelständische Unternehmen Hersteller und Dienstleistungspartner in einem Gegründet: Standorte: Umsatz: weltweit, davon 12 in Deutschland 81 Mio. Kunden: Fokus: > in 50 Ländern > Anwender Mittelständische Fertigungsbetriebe und Großhandel Mitarbeiter: > 700 SW-Entwickler: > 100

13 Projektüberblick Alt- System Neu- System Bekannte Datenstruktur Unbekannte Qualität Unbekannte Vollständigkeit Probleme identifizieren Daten aufbereiten Daten ergänzen Bekannte Datenstruktur humanit Software GmbH

14 Projektüberblick Ausgangslage Daten sind im Alt-System vorhanden Definitionen für Ziel-System sind vorhanden (Excel) Spaltenname Datentyp Format Pflichtfelddefinition humanit Software GmbH

15 Aufbau des Regelsystems humanit Software GmbH

16 Aufbau eines Regelsystems Regel = Abfrage + Statistik + Bewertung Identifikation Relevanter Datenfelder und Datentöpfe Data collection Abgrenzung (Selektionskriterien) Stichprobe (data sample) Auswertung Listen/Kennzahlen Differenzen zu Erwartungswerten Controlling zu Historienwerten Festlegen von Schwellwerten (threshholds) Ampelstatus Rot - Gelb - Grün Gewichtung Wesentliches Merkmal ist die Eindeutigkeit, die keinen Raum für unterschiedliche Auslegungen lässt. Kennzahlen: Wie viel Prozent meiner Datensätze betrifft das? Absolute Anzahl von betroffenen Datensätzen humanit Software GmbH

17 Aufbau eines Regelsystems Grundlage Vorhandene Zieldefinitionen Tool für die Verwaltung und Anwendung des Regelsystems Erstellung von Tabellenstruktur und Regeln (einmalig je Tabelle) Tabellenstruktur aus den Zieldefinitionen Regeln für Pflichtfelder und Formate aus den Zieldefinitionen Regeln für Inhaltsprüfung Schreibweisen, Doppelte in s Hausnummern in Strassennamen Dublettenanalyse Etc. Zeit humanit Software GmbH

18 Aufbau eines Regelsystems Datenfluss Regelentwurf Analyse Datenbestand Regel- Repository Korrektur Bewertung Sofort- Korrektur- Maßnahmen Workflow Statistik humanit Software GmbH

19 Aufbau des Regelsystems Erstellung von Regeln Regeln für Pflichtfelder und Formate aus den Zieldefinitionen Import der Regeln in das Repository du_regeln.csv Regel- Repository Anzahl generierter Regeln DUKunde: 141 DULieferant: 98 DUTeile: 110 Beispiel Pflichtfeld Name humanit Software GmbH

20 Projektumsetzung humanit Software GmbH

21 Projektumsetzung Erster Import des Tabellen-Packages (Tabellendefinitionen für Kundendatentabelle) Tabellenstruktur Kundendatentabelle humanit Software GmbH

22 Projektumsetzung Zweiter Import des Tabellen-Packages (Tabellendefinitionen für Bearbeitungstabelle) Kundendatentabelle Bearbeitungstabelle Tabellenstruktur humanit Software GmbH

23 Projektumsetzung Erstellung der Import-Datenbasis (Kundendatentabelle) Bearbeitungstabelle Alt- System Datenbasis (FOX) Kundendatentabelle humanit Software GmbH

24 Projektumsetzung Anpassung der Import-Datenbasis (Kundendatentabelle) Bearbeitungstabelle Alt- System Datenbasis (FOX) Kundendatentabelle Regeldefinition humanit Software GmbH

25 Projektumsetzung Import der Datenbasis mittels Feldermapping in die Kundendatentabelle Bearbeitungstabelle Alt- System Datenbasis (FOX) Kundendatentabelle Regeldefinition humanit Software GmbH

26 Projektumsetzung Erstellung einer View aus Kunden- und Bearbeitungstabelle Bearbeitungstabelle Alt- System Datenbasis (FOX) Kundendatentabelle Zusammenstellung der Datenfelder aus beiden Tabellen View Ggfs. Anpassungen im Verlauf des Projektes erforderlich humanit Software GmbH

27 Projektumsetzung Import der Regeldefinitionen für die View Bearbeitungstabelle Alt- System Datenbasis (FOX) Kundendatentabelle View Regeldefinitionen inkl. Export-Definition für Datenübernahme Datenbasis Datenübernahme (CSV) humanit Software GmbH

28 Projektumsetzung Erstellung der Import-Datenbasis (Bearbeitungstabelle) Bearbeitungstabelle Alt- System Datenbasis (FOX) Kundendatentabelle Datenbasis (FOX) Datenbasis (XLS) View Datenbasis (CSV) Datenbasis Datenübernahme (CSV) humanit Software GmbH

29 Zusammenfassung humanit Software GmbH

30 Zusammenfassung Das Modell in der Praxis ERP CRM Daten System 1 Datenbasis (FOX) Kundendatentabelle Bearbeitungstabelle Datenbasis (FOX) Datenbasis (XLS) Fortlaufende Anreicherung durch manuelle Eingaben Ergebnisbewertung View Datenbasis (CSV) Auswertung der Regelergebnisse Durchführung von Korrekturen oder Vorlagenanpassung Datenbasis Datenübernahme (CSV) Migration System 2 ERP CRM humanit Software GmbH

31 Zusammenfassung Erfahrungswerte Schnelles Aufsetzen der Migrationsumgebung Zeitnahe Aussage über vorhandene Datenqualität und Aufwandschätzung Automatische Dokumentation der Datenübernahme Feldzuordnung (Kundendaten zu Zielsystem) Füllungsgrade der Kundendaten Angewendete Regeln bei Datenänderungen Historisierung von Datenqualitätsindexen Übertragbar auf Folgeprojekte Erlangung von Best-Practices Erstellung von Vorlagen für gleichartige Systeme humanit Software GmbH

32 Zusammenfassung Aussagen Herkömmliche Tools stoßen an ihre Grenzen (Datenmenge) Der Zeitaufwand für die Datenaufbereitung (Überblick über das Datenmatching) hat sich wesentlich reduziert Der Zeitaufwand für die Dokumentation hat sich wesentlich reduziert Einige Probleme wären aufgrund der Datenmenge erst gar nicht vor der Migration gefunden worden Wünsche an die Migrations-Software Vereinfachung der Datenzerstückelung (Aufteilung in mehrere Tabellen) Hilfreiche Tools für eine noch schnellere Übersicht der Probleme humanit Software GmbH

33 Praktische Einblicke humanit Software GmbH

34 Vielen Dank für Ihre Aufmerksamkeit. Ingo Lenzen Produktmanagement humanit Software GmbH Brühler Str Bonn Ingo.lenzen@humanit.de humanit Software GmbH