Kann man Big Data managen?

Transkript

1 Kann man Big Data managen? Information Governance in Retail-Unternhmen Uwe Nadler Senior Managing Consultant Big Data Architect Sales Leader Information Governance D-A-CH

2 Themen Die Bedeutung von Information Governance Was ist Big Data? Kann man Big Data für Retail Use Cases beherrschen? Architekturansätze 2014 International Business Machines Corporation 2

3 Die Information Governance Community erarbeitet Definitionen, Vorgehensweise und konkrete Arbeitsergebnisse Information Governance ist die Orchestrierung von Personen, Prozessen und Technologien, die eine Organisation befähigt, Information wie ein Wirtschaftsgut zu nutzen. Information Governance Framework Ziele Treiber Kerndisziplinen Hilfsdisziplinen Information Governance im Zeitalter von Big Data Reifegrad Modell Optimiert Kontinuierliche Weiterentwicklung von Best Practices und Maturity Modell Vorschläge für die Risikoprävention vor dem Hintergrund der Finanzkrise Kontrolliert Definiert Wiederholbar Initial Information Governance Maturity Model IBM gründet mit ca. 40 weiteren Unternehmen das Information Governance Council Information Governance Framework 2014 International Business Machines Corporation 3

4 Information Governance beruht auf einer Reihe von verknüpften Disziplinen Ziele Geschäftsnutzen Treiber (Enabler) erfordern Organisatorische Strukturen & Problembewusstsein Stewardship Unterstützen Informations- Risiko-Management Kerndisziplinen (Core) Richtlinien & Regeln ermöglichen Datenqualitäts- Management Management des Informations-Lebenszyklus Hilfsdisziplinen (Supporting) Informationssicherheit & Datenschutz Datenverarbeitungs- Architektur Klassifikation & Metadaten Audit-Informationen, Protokollierung & Berichte 2014 International Business Machines Corporation 4

5 Viele Organisationen haben in den vergangenen Jahren mit der Implementierung von Information Governance - Konzepten begonnen Trend 1: Ernennung von Information Governance Verantwortlichen In Social Networking Tools wie LinkedIn oder XING findet man tausende Personen mit Information Governance oder Data Governance in ihrem Titel. Es gibt einen anhaltenden Trend für eine 100% Zuständigkeit für Information Governance Themen für diese Personen. Trend 2: Die unternehmerische Verantwortung für Information Governance wächst Information Governance wird zunehmend als Stelle wahrgenommen, die Regeln rund um Daten erarbeitet. Risk Management in Banken, Verkaufsförderung im Handel, und Marketing und Buchhaltung: alle sind beteiligt oder betroffen von Information Governance. Trend 3: Kontinuierlich verbesserte Messbarkeit der Information Governance Metriken unterstützen die Fokussierung auf Information Governance Themen: You only do what you can measure 2014 International Business Machines Corporation 5

6 Und jetzt? Brauchen wir eine Information Governance 2.0? Information Governance-Konzepte wurden implementiert, um die im Unternehmen verfügbaren Daten in den Griff zu bekommen: Qualität und Verlässlichkeit sicherstellen Unberechtigten Datenzugriff verhindern Berechtigten Datenzugriff gewährleisten Big Data: Neue Informationen fließen in Entscheidungsprozesse ein Unscharfe Daten beeinflussen Entscheidungsprozesse Daten, deren Entstehungsprozess sich unserer Kontrolle entziehen V Volume Große und sehr große Datenmengen Big Data V Variety Daten in unterschiedlichster Form und Vielfalt V Velocity Daten, die mit großer Geschwindigkeit entstehen V Veracity Verläßlichkeit muß sichergestellt werden, insbesondere bei unscharfen und aufgrund ihrer Herkunft und Entstehehung unpräzisen Informationen 2014 International Business Machines Corporation 6

7 Die Vier V von Big Data treten in unterschiedlichsten Ausprägungen auf Transaktiondaten Anwendungsdaten Maschinendaten Social Media Daten Durch Menschen erzeugte Daten Datenmengen Geschwindigkeit Vielfalt Vielfalt Strukturiert Hoher Durchsatz Semi-strukturiert Automatisch erzeugt In höchstem Maße unstrukturiert Verlässlichkeit Höchst unstrukturiert Datenmenge Kassendaten RFID Facebook Umfrageergebnisse Online- Transaktionen Besucherzahlen und Zeiten Pinterest Beschwerden 2014 International Business Machines Corporation 7

8 Big Data Governance: Information Governance auf Big Data anwenden Geschäftsnutzen Org. Strukturen Transaktionsdaten Maschinendaten Social Media Von Menschen erzeugt Stakeholder identifiziert? Use Cases / Business Opportunities definiert? Wer entscheidet über Art und Verwendung von Big Data? Stewardship Info-Risk- Mgmt Richtlinien Datenqualität Lebenszyklus Erarbeitung von Vorschlägen für Nutzung und Regeln Welche Risiken ergeben sich (auch: juristisch) Wie müssen die Richtlinien zum Umgang mit BIG Data aussehen? Wie kann Datenqualität definiert und gemessen werden? Wie gehen wir mit alten Big Data um? Wann sind Big Data überhaupt alt? Datenschutz DV- Architektur Klassifikation Metadaten Reporting / Auditing Welche Daten dürfen überhaupt erhoben und wie verarbeitet werden? Wie passen Big Data Lösungen in die bestehende Landschaft? Fachliche und technische Definition und Struktur der zu verwendenden Daten Messbarkeit von Risiken, Wert und Wirksamkeit von Big Data 2014 International Business Machines Corporation 8

9 Big Data Governance Schwerpunkte im Einzelhandel: Kundendaten Lebenszyklus historische Big Data? Social Media Daten Artikeldaten? Zentrale Architektur vs. Nutzung von Cloudanbietern für einzelne Big Data use cases? 2014 International Business Machines Corporation 9

10 Big Data Governance Schwerpunkte im Einzelhandel: Kundendaten Ethik & Datenschutz Wie stelle ich sicher, das die Verwendung der Daten Nutzen für das Unternehmen und die Kunden generieren und gleichzeitig die Risiken in Bezug auf wahrgenommenen und faktischen Missbrauch minimiert werden. Wer sind die Kunden und was bewegt sie? Wie kann ich Kundendaten aus verschiedenen internen und externen Datenquellen matchen, zusammenführen und analytisch und operativ auswertbar machen International Business Machines Corporation 10

11 Big Data Governance Schwerpunkte im Einzelhandel: Social Media Daten Ist das eine Information oder kann das weg? Wie kann ich aktuelle und spätere Relevanz bewerten? Unschärfe Wie gehe ich mit (scheinbar) nicht zuzuordnenden Namen und Orten um? 2014 International Business Machines Corporation 11

12 Big Data Governance Schwerpunkte im Einzelhandel: Artikeldaten Worüber sprechen wir? Wie kann ich Artikel oder einzelne Attribute matchen, bzw. zuordnen um zum Beispiel die Auswirkungen der Marketingkampagne eines Wettbewerbers einzuschätzen oder einen zu empfehlenden Artikel für ein Next Best Action Szenario zu determinieren? Datenpflege? Komplexere analytische und operative Use Cases verlangen nicht nur nach mehr Attributen für die eigenen Artikel sondern auch eine Zuordnung zu einer universellen Artikelstruktur mit Artikeln des Wettbewerbs 2014 International Business Machines Corporation 12

13 Big Data Governance Schwerpunkte im Einzelhandel: Lebenszyklus historischer Big Data? Vorratsdatenspeicherung des Handels? Welche Big Data sollten in welcher Form vorgehalten werden? Wie kann ich die automatische Bewertung, Archivierung oder Löschung nicht mehr relevanter Daten gewährleisten? Big Data = Big Cost? Neue Technologien (Stichworte: Hadoop, Fortschritte in Kompression und DWH-Infrastruktur) erlauben es, mehr Daten mit weniger Infrastrukturkosten zu managen. Wie gestalte ich die Architektur aus verschiedenen Technologiekomponenten? 2014 International Business Machines Corporation 13

14 Big Data Governance Schwerpunkte im Einzelhandel: Zentrale Architektur vs. Nutzung von Cloudanbietern für einzelne Big Data use cases? Weiß ich heute schon was ich morgen wissen möchte? Welche Big Data sollten zentral gemanaged werden? Inwieweit ist es sinnvoll einzelne Aspekte dezentral zu festen SLAs halten/analytisch Verarbeiten zu lassen? 2014 International Business Machines Corporation 14

15 IBM verfolgt die Idee einer Big Data Plattform Analytic Applications Übersicht über die Daten erhalten InfoSphere Data Explorer Rohdaten analysieren und IT Kosten reduzieren InfoSphere BigInsights Daten integrieren, überwachen und schützen InfoSphere: - Information Server - Guardium - Optim - Master Data Mgmt BI / Exploration / Functional Industry Predictive Reporting Visualization App App Analytics Visualization & Discovery Hadoop System IBM Big Data Platform Application Development Accelerators Stream Computing Content Analytics Systems Management Data Warehouse Information Integration & Governance Vereinfachtes Data Warehouse IBM Warehouse Solutions / Pure Data Appliances Datenströme analysieren InfoSphere Streams 2014 International Business Machines Corporation 15

16 IBM Information Management Lösungen bilden die technologische Basis, um Big Data in Governance-Prozesse einzubinden Data Visualization & Exploration Stream Computing InfoSphere Data Explorer Hadoop System InfoSphere Big Insights InfoSphere Streams Data Warehouse Pure Data Systems Metadaten Bus. Glossary Policies & Rules Data Lineage Konnektivität via Information Server Data Security mit Q-Radar & Data access auditing mit Guardium für Big Insights Optim Lifecycle Management Information Integration InfoSphere Information Server Information Integration and Governance Master Information InfoSphere Master Data Management Security & Privacy InfoSphere Guardium & Optim Data Privacy Q-Radar Lifecycle Management InfoSphere Optim Lifecycle Management 2014 International Business Machines Corporation 16

17 THINK 2014 International Business Machines Corporation 17

18 Noch Fragen? Sprechen Sie mich gerne an Uwe Nadler Senior Managing Consultant Sales Leader Information Integration & Master Data Management, Region D-A-CH IBM Software Group International Business Machines Corporation 18