Kein Big Data ohne MDM

Transkript

1 Kein Big Data ohne MDM Das 7V-Vorgehensmodell der ISB AG für erfolgreiche Big Data Projekte 58. Sitzung des KA F+E IuK/UIS INOVUM, Ralf Schneider, Kein Big Data ohne Master Data Management (MDM)

2 Kein Big Data ohne MDM 1. Aktuelle Herausforderungen 2. Definition Big Data / Master Data Management (MDM) 3. Markttrends 4. MDM-BigData-Vorgehensmodell der ISB AG 5. Fazit Kein Big Data ohne Master Data Management (MDM) S. 2

3 Aktuelle Herausforderungen Datenvolumen und es wächst weiter > BARC-Studie BIG DATA Survey Europe : Mehr als die Hälfte der Befragten prognostizieren ein jährliches Datenwachstum von über 25 Prozent. > IDC-Report The Digital Universe in 2020 : Wachstum auf Exabytes (40 Zettabyte) bis Verdoppelung alle 3 Jahre. > IDC-Studie Big Data in Deutschland 2012 : Unternehmen stehen noch ganz am Anfang. Die größten Herausforderungen sind der Schutz der Informationen (46 Prozent), die effiziente Speicherung der Daten (43 Prozent) und die Kostenfrage zur Beherrschung der Daten (39 Prozent). > Der Großteil der ISB-Kunden hat heute schon die Herausforderung, ihre Datenflut nicht mehr bewältigen zu können. Die täglich steigende Datenflut und die zunehmenden Inkonsistenzen bei Stammdaten lassen immer weniger zu, aus den Daten zuverlässige Entscheidungen ableiten zu können. Kein Big Data ohne Master Data Management (MDM) S. 3

4 Aktuelle Herausforderungen WELCHE INFORMATIONEN NEHMEN EIGENTLICH ZU? Stammdaten bedingt» Zunahme der Messstellen» Erweiterung der Methoden, Verfahren und Messungen» Zusätzliche Stammdaten von Unternehmen und Verbänden im Rahmen von E-Government und der damit verbundenen Integration von Behördenund Unternehmensprozessen Does this count as Big Data? Bewegungsdaten auf jeden Fall! > Messinformationen» automatisiert aus Überwachungs- und Messsystemen (Messdaten, Sensordaten, Ortungsdaten, Videodaten, RFID-Bewegungsdaten, )» manuell aus händischen Messungen (Daten aus Fachanwendungen, Excellisten, ) > Informationen aus Social Media zu Umweltbeobachtungen, Beurteilungen, > Audio- und Videodaten > Unstrukturierte Informationen aus Fachzeitschriften, Vorträgen, Kein Big Data ohne Master Data Management (MDM) S. 4

5 Aktuelle Herausforderungen Was ergibt sich aus dem Datenwachstum? > Datenwildwuchs und -redundanz aufgrund applikationsgetriebener voneinander unabhängiger Datensilos > Hoher Aufwand der Integration der verschiedenen Datenquellen > Offene Fragen bzgl. Datenverantwortung und Datenschutz > Schwierigkeit, Informationen weiterhin transparent und einheitlich verwalten und analysieren zu können > Exponentiell steigende Datenmenge verschlechtert Performance bestehender Auswertungen > Bewährte und etablierte Technologien stoßen an Grenzen > Neue Technologien haben sich noch nicht bewährt und stellen somit eine Unsicherheit dar Kein Big Data ohne Master Data Management (MDM) S. 5

6 Aktuelle Herausforderungen Greifen die bewährten Methoden, um das Datenwachstum zu bewältigen? Oder alles neu? > Daten Relevanz zumessen Geschäftsprozesse? > Datenquellen nutzen Datenbanken und ETL-Werkzeuge? > Daten vertrauen Data Governance und Data Quality? > Daten zuordnen Stammdatenmanagement, Matching? > Nutzen generieren Business Intelligence, Data Mining? Kein Big Data ohne Master Data Management (MDM) S. 6

7 Definition Big Data WIKIPEDIA Als Big Data werden besonders große Datenmengen bezeichnet, die mit Hilfe von Standard-Datenbanken und Datenmanagement-Tools nicht oder nur unzureichend verarbeitet werden können. Problematisch sind dabei vor allem die Erfassung, die Speicherung, die Suche, Verteilung, Analyse und Visualisierung von großen Datenmengen. Das Volumen dieser Datenmengen geht in die Terabytes, Petabytes und Exabytes. BARC Die BARC-Experten definieren Big Data als Methoden und Technologien für die hochskalierbare Erfassung, Speicherung und Analyse polystrukturierter Daten. ISB AG dabei berücksichtigen wir etablierte Methoden, Prozesse und IT-Systeme eines Unternehmens, um nachhaltig große Datenmengen verschiedenster Datenstruktur nutzbar zu machen. Wir starten Big Data Projekte nicht auf der grünen Wiese. Kein Big Data ohne Master Data Management (MDM) S. 7

8 Definition Big Data 5 V -CHARAKTERISIERUNG VON BIG DATA (DOUG LANEY, GARTNER) Volume: Variety: Velocity: Veracity: Value: enorm große Datenmengen Strukturvielfalt der Daten hohe Geschwindigkeit, mit der sich die Daten ändern (Volatilität) unterschiedliche Vertrauenswürdigkeit der Daten hoher Nutzen der Daten Kein Big Data ohne Master Data Management (MDM) S. 8

9 Definition Stamm- und Bewegungsdaten Objekt Fluss ID NAME LÄNGE Objekt Messstation ID BEZEICHNUNG MESSUNG > Stammdaten repräsentieren Geschäftsobjekte, z.b. Orte, Flüsse, Berge, Unternehmen, Messstationen, > Ihre Ausprägungen ändern sich nicht oder nur selten über einen längeren Zeitraum. > Stammdaten liegen allen Geschäftsvorfällen zugrunde und sind somit erfolgskritisch für alle Prozesse. > Bewegungsdaten haben beschreibenden Charakter, zeichnen sich durch eine gewisse Dynamik aus (zeitlich variant) und haben meistens einen Zeitbezug (Gültigkeitsdatum). > Damit ändern sich ihre Ausprägungen häufig. Kein Big Data ohne Master Data Management (MDM) S. 9

10 Definition Master Data Management (MDM) viele verschiedene Begriffe, die zwar einen unterschiedlichen Fokus, aber immer auch eine ähnliche Bedeutung haben: > Master Data Management > Stammdatenmanagement > Produktdatenmanagement > Datenmanagement > Product Lifecycle Management > Produktdatenbank Lösungen > Data Hubs > Es geht immer um eine übergreifende und einheitliche Verwaltung der Stammdaten. Kein Big Data ohne Master Data Management (MDM) S. 10

11 Markttrends Big Data und MDM Big Data unter den Top-IT-Themen 2015 > Bei BITKOM, Gartner, Forrester, IDC, MDM ist immer unter den Top-IT-Themen der letzten Jahre > aktuell 18% jährliche Wachstumsrate, 2014 Volumen von 2,5 Mrd. (weltweit) > 2014: 66% der Fortune 1000 Unternehmen nutzen sogar mindestens zwei produktive MDM Lösungen Kein Big Data ohne Master Data Management (MDM) S. 11

12 Markttrends MDM und Big Data Big Data und MDM sind eng verzahnt > Zum einen erzeugt Master Data Management selbst Massen von Daten, z.b.» Historisierungs- und Versionierungsdaten» Verknüpfungsinformationen» und ist damit selbst ein kleines Big Data Projekt. > Zum anderen sind die Datenqualität und ein dafür erforderliches konsequentes und übergreifendes Datenmanagement die entscheidenden Erfolgsfaktoren, um Big Data bewältigen zu können. Die Auswertung unstrukturierter Daten war für viele CIOs offenbar eine Enttäuschung. Da sie nicht die gewünschten Ergebnisse erzielten, messen sie dem Thema jetzt weniger Bedeutung bei und verdoppeln im Gegenzug ihre Anstrengungen beim Master Data und Data Quality Management. (Wirtschaftswoche, ) Kein Big Data ohne Master Data Management (MDM) S. 12

13 Markttrends MDM und Big Data Vorgehen > Um einen Nutzen aus den Daten ziehen zu können, werden die undurchsichtigen Datenmengen auf die wesentlichen Informationsträger (Orte, Flüsse, Unternehmen, Messstellen, ) verdichtet. Welche Stammdaten für Big Data? > Es wird eruiert, in welchen Datenquellen identische Stammdaten zu finden sind und festgelegt, wo sich der Master befindet. Welche Beziehungen zwischen Stammdaten? > Um die Stammdaten mit Leben zu füllen, werden die zugehörigen (beschreibenden) Informationen recherchiert und zugeordnet. Welche beschreibenden Daten? Kein Big Data ohne Master Data Management (MDM) S. 13

14 MDM-BigData-Vorgehensmodell 7V -Modell Verständnis Verbindlichkeit Vereinfachung Verprobung Verfahren Verfolgung Analyse Zieldefinition Konzeption Prototyp Implementierung Go Live und Support Vertrag Projekt- und Qualitätsmanagement (Überwachung und Steuerung) Kein Big Data ohne Master Data Management (MDM) S. 14

15 MDM-BigData-Vorgehensmodell Verständnis Verständnis Analyse Vision und relevante Geschäftsprozesse definieren > Was ist meine Big Data Vision? > Was sind die strategischen Geschäftsfelder? > In welchen der Felder kann ich Zusatznutzen erzielen, wenn ich aus der Datenflut mehr Informationen heraus ziehen kann? Welches Geschäftsfeld ist auszuwählen? Standortbestimmung gemäß Dimensionenmodell Organisation Systeme Prozesse Daten > Geschäftsprozesse > Data Governance Prozesse > Datenqualität > Stammdatenmanagement > Business Intelligence > Methoden Kein Big Data ohne Master Data Management (MDM) S. 15

16 MDM-BigData-Vorgehensmodell Verbindlichkeit Verbindlichkeit Zieldefinition Zieldefinition > Was soll erreicht werden? Beispiele:» Neue Erkenntnisse aus der Datenflut» Zuverlässigere Entscheidungen durch mehr zuverlässige Daten» Automatisierung der Geschäftsprozesse durch höhere Datenqualität» Sicherstellung Governance und Compliance durch höhere Datenqualität» Reduktion Kosten durch Vermeidung Inkonsistenzen und Nachpflege» Automatisierte Bereitstellung von Daten für Open Government Portale» Definition Zielerreichungskriterien und GAP Analysis > Einbindung aller Stakeholder > Definition und Gewichtung der Teilziele (Neue Erkenntnisse, Reduktion Inkonsistenzen, Kostenreduktion, ) > Formulierung eines Gesamtziels > Definition Methoden zur Zielüberwachung (GAP Analysis) inkl. Risikobewertung Kein Big Data ohne Master Data Management (MDM) S. 16

17 MDM-BigData-Vorgehensmodell Vereinfachung Vereinfachung Konzeption Modellierung der Datenbasis für Big Data > Extraktion der Informationsträger aus der Datenflut (MDM-Ansatz) > Konzeption der Algorithmen zur Erkennung identischer Informationsträger (Matching) und zur Auflösung von Inkonsistenzen (Cleansing) > Spezifikation der Algorithmen zur Zuordnung beschreibender Informationen (Mapping) > Festlegung der Daten- und Prozessstrukturen, Validierung und Data Governance Regeln Architektur und Toolauswahl > Architekturmodellierung für die MDM- und Big Data Prozesse > Auswahl MDM-Produkt und Festlegung der Big Data Werkzeuge (z.b. Hadoop, NoSQL-DB, ) Konzeption der Auswertung von Big Data > Konzeption der Ladeprozesse strukturierter und unstrukturierter Daten in die Datenbanken > Modellierung einer Plattform für Reporting/Analytics > Spezifikation der Auswertungen Kein Big Data ohne Master Data Management (MDM) S. 17

18 MDM-BigData-Vorgehensmodell Verprobung Verprobung Prototyp Umsetzung einer Problemdomäne > T-Stich zur Verifizierung der Konzeption (Ist das Konzipierte auch umsetzbar?) > T-Stich so wählen, dass Quick Wins (die schon nach T-Stich erzielbar sind) genutzt werden können > Ggf. Nutzung von Synergieeffekten mit anderen Projekten Bewertung > Feststellung von Problemen > Korrekturen (bei der Umsetzung oder bei der Konzeption) > Next Step Definition Kein Big Data ohne Master Data Management (MDM) S. 18

19 MDM-BigData-Vorgehensmodell Verfahren Verfahren Implementierung Umsetzung der durch Prototypen validierten Konzepte > Recherche Informationsobjekte > Matching- und Cleansingalgorithmen > Mappings (Zuordnung beschreibender Objekte) > Informationssuche (Einbindung Suchmaschine) > Lesezugriffe > Einheitliche Visualisierung > Performanceoptimierungen > Analysen > Kein Big Data ohne Master Data Management (MDM) S. 19

20 MDM-BigData-Vorgehensmodell Verfolgung & Vertrag Verfolgung Go Live und Support Sicherstellung Inbetriebnahme > Einbindung und Enablement betroffener Organisationseinheiten > Schulung > Betriebskonzept > Produktivsetzung > Vertrag Projekt- und Qualitätsmanagement (Überwachung und Steuerung) Sicherstellung der vertraglichen Rahmenbedingungen > Projektmanagement zur Steuerung der Projektziele > Qualitätsmanagement > Durchsetzung vereinbarter Vorgehensmodelle für Umsetzung > Agile vs. Klassische Verfahren > Kein Big Data ohne Master Data Management (MDM) S. 20

21 MDM-BigData-Vorgehensmodell Unsere MDM/BigData-Partner Einsatz von Open Source Produkten und Standardsoftware der Unternehmen Kein Big Data ohne Master Data Management (MDM) S. 21

22 MDM-BigData-Vorgehensmodell Praxisbeispiel Automotive AfterMarket Fallbeispiel Pricing Automotive AfterMarket > Für ein automatisiertes Pricing von Ersatzteilen werden bislang in erster Linie die eigenen Preisziele (Target, Best und Floor Price), die eigenen Kostenstrukturen sowie Wettbewerbspreise von Datenanbietern genutzt. > Alle diese Faktoren werden immer schnelllebiger. Es reicht nicht mehr aus, auf veraltete Daten zuzugreifen. > Statt dessen müssen tagesaktuelle Veränderungen am Markt berücksichtigt werden. Herausforderungen > Extraktion, Speicherung, Verwaltung und Auswertung riesiger Datenmengen aus» branchen- oder öffentlich zugänglichen Online-Portalen (aktuelle Preise, neues Bundling von Ersatzteilen zu Rabattpaketen, Hinzufügung neuer Services, )» sozialen Netzwerken (Aussagen bestehender Kunden, Kontakte von Bestandskunden zu Mitbewerbern, ) > Auswertung der Daten und Erstellung von neuen Preisen in Echtzeit (Preisänderungen am Markt, Kundenverhalten, Korrelationen Kunde-Produkt-Mitbewerber, ) Kein Big Data ohne Master Data Management (MDM) S. 22

23 MDM-BigData-Vorgehensmodell Praxisbeispiel Automotive AfterMarket Vorgehen nach dem 7V-Modell: > Geschäftsprozessmodellierung (Pricing-Prozess inkl. Zielpreisbestimmung und Rabattierung, Normierung von Ersatzteildaten, Verknüpfung mit Automobildaten, ) > Extraktion Informationsträger (Produkte, Kunden, ) aus den definierten Datenquellen (SAP, Datenbanken weiterer Anwendungssysteme, Files von Datenanbietern, Verkaufsportale, Facebook, Twitter, ) > Matching (Erkennung identischer Informationsträger) und Cleansing (Bereinigung von Inkonsistenzen) > Datenmodellierung (Kunden, Produkt, Produktbundles, Wettbewerbspreisliste, Online-Portale, Rabattstrukturen, ) > Zugriffsmechanismen auf die verschiedenen Datenquellen (Online-Portale, soziale Netzwerke, ) > Analyse und Auswertung der unterschiedlichen Daten > Systemarchitektur (Erweiterung bestehender Infrastruktur mit Werkzeugen wie z.b. HANA, Hadoop, ) > Kein Big Data ohne Master Data Management (MDM) S. 23

24 Fazit: Kein Big Data ohne MDM > Master Data Management- (MDM-) Methoden, um» Datenqualität sicherzustellen» Strukturen in Big Data zu erkennen und nutzbar zu machen > Damit ist MDM» Basis für zuverlässige und zeitnahe Analysen und Entscheidungen im Big Data Management» Treiber für Business Intelligence und Predictive Analytics > MDM macht aus Big Data Smart Data Eine MDM-Strategie ist die Basis für erfolgreiche Big Data Projekte. Big Data Projekte führen zu verlässlicheren Unternehmensentscheidungen. Fazit: Kein Big Data Projekt ohne Master Data Management! Kein Big Data ohne Master Data Management (MDM) S. 24

25 Vielen Dank für Ihre Aufmerksamkeit! Ralf Schneider, ISB AG Kein Big Data ohne Master Data Management (MDM) S. 25