Data Preparation im Fachbereich Aus Rohdaten den Treibstoff für Ihr Unternehmen gewinnen. Webinar, Timm Grosser, Head of BI Consulting

Transkript

1 Data Preparation im Fachbereich Aus Rohdaten den Treibstoff für Ihr Unternehmen gewinnen Webinar, Timm Grosser, Head of BI Consulting

2 Über die CXP Group 2

3 BARC: Expertise für datengetriebene Unternehmen 3

4 Agenda 1. Keine Analytik ohne Daten 2. Lösungsansatz Data Preparation 3. Fazit und Handlungsempfehlung 4

5 Trends 2017 für BI und Datenmanagement Quelle: BARC BI Trend Monitor 2017 (n=2794) 5

6 Deutlich breitere Nutzung von Daten durch IT und Fachbereich Zunehmende Integration von heterogenen Datenquellen Befähigung der Fachbereich, Daten selbstständig zu integrieren/auszuwerten Nutzung neuer Technologien, um die Komplexität der Datenarchitektur zu reduzieren Versuch der Reduzierung des ressourcenbindenden Aufwands 49% 53% 53% 69% Nutzung einer Datenstrategie/Governance Einsatz neuer Technologien/Methoden zur Abbildung eines Unternehmensgedächtnis Zunehmender Einsatz von Hilfsmittel zur einfachen Integration neuer Datenquellen Zunehmender Einsatz von Big-Data-Technologien 22% 27% 31% 43% Rückgriff auf neue Datenarchitekturansätze Auslagerung/paralleler Betrieb von einzelnen Funktionsbereichen des Data Warehouse Rückgriff auf ein cloud-basiertes Date Warehouse Sonstige 6% 5% 14% 12% Quelle: BARC Survey Datenmanagement im Wandel, Was verändert sich in Ihrem Unternehmen konkret bzw. wird sich konkret verändern bei den Themen Datenintegration und Data Warehousing? (n=323) 6

7 BARC Survey Data Preparation im Fachbereich 51% Fachbereich 35% IT 14% BI Organisation DACH-weite Umfrage 360 Teilnehmer Auflage Genutzte Werkzeuge Relevanz Anwenderfeedback zum aktuellen Status und Vorteilen von Data Preparation Nutzen und Herausforderungen Ist-Aufnahme Breite Abdeckung verschiedener Branchen und Unternehmensgrößen 26% Industrie 14% Finanzbranche 12% IT 7% Dienstleistungen 5% Transport 14% Handel 9% Beratung 13% Andere 21% 35% 44% Weniger als 250 Mitarbeiter Mitarbeiter 2,500 oder mehr Mitarbeiter 7

8 Keine Analytik ohne Daten! 7/10 Unternehmen nutzen heute Data Preparation Tendenz steigend. Wieder einmal bestätigt: keine Analytik ohne Daten! Die Integration von Daten bildet den Schlüssel. Mit zunehmender Relevanz von Daten zur Erreichung der Geschäftsziele, für Optimierung und Innovation wächst die Erkenntnis bzw. der Bedarf für ein smartes Datenmanagement. Wie wichtig ist das Thema Data Preparation für Data Discovery und fortgeschrittene Analysen in Ihrem Unternehmen heute und in Zukunft? (n=347) 8

9 Bekannte Aufgabenstellung mit zunehmender Bedeutung Die Herausforderungen finden sich mehrheitlich in klassischen Aufgaben der Datenintegration. Konkreter Bedarf: Es fehlt der Zugriff auf Daten in der für die Analyse benötigten Form! Datenmanagement wurde viele Jahre steifmütterlich behandelt. Der Wert durch Daten treibt aktuell Datenmanagement-Initiativen aus ernsten, fachlichen Interesse. Technische Themen der IT bekommen vermehrt die notwendige Aufmerksamkeit aus den Fachbereichen. Welches sind die größten Herausforderungen im Bereich Datenintegration für die analytische Landschaft Ihres Unternehmens? (n=353) 9

10 Zugriff auf Daten ist nicht selbstverständlich Zu welchem Grad fehlt in Ihrem Unternehmen der einfache Zugriff auf relevante Daten für Analysen oder Advanced Analytics? Nach Durschnitt und Art der Nutzung (n=283) 10

11 Die Anforderungen steigen Digitalisierung bewegt Unternehmen und bringt eine hohe Dynamik in der Nutzung von Daten mit sich. Nicht die vollständige Transformation zum datengetriebenen Unternehmen führt zum Erfolg sondern eine vernünftige Strategie zur sinnvollen Nutzung von Daten. Fakt ist: die Anforderungen an Daten und Analytik steigen. Welche der folgenden Themen sind die wichtigsten Treiber für Data Preparation in Ihrem Unternehmen? (n=351) 11

12 Viel Potential zur Verbesserung liegt im Datenmanagement, nicht nur in der Bereitstellung von Daten Insgesamt hohe Unzufriedenheit Unternehmen suchen insbesondere nach Orientierung um Daten im Zeitalter der Digitalisierung zu beherrschen, Mitteln Daten zeitnah bereitstellen zu können. Smartes Datenmanagement zur Unterstützung einer Datenstrategie bildet mittel- und vor allem langfristig die Basis für erfolgreiches Arbeiten mit Daten und ist Voraussetzung für die digitale Transformation. Wie zufrieden sind Sie mit den folgenden Punkten hinsichtlich der Datenaufbereitung für Analytics in Ihrem Unternehmen? (n=353) 12

13 Lösungsansatz Data Preparation? Definition fachlich verständliche Roh-Daten Prozess, nicht nur Technologie Data Preparation bezeichnet den iterativen Prozess zur Aufbereitung und Bereitstellung von (Roh-)Daten für die effektive Nutzung in der explorativen Analyse. für die Exploration, nicht für Reporting für Fachbereich und IT 13

14 Data Processing Ursprungsdaten Selektierte Daten Technisch korrekte Daten Inhaltlich konsistente Daten Intern extern strukturiert unstrukturiert Datenbanken Applikationen Im Kontext aussagekräftige Daten Auswahl Formale Prüfung & Korrektur Fachliche Prüfung & Ergänzung Design der Analyseattribute Connect, Link, Filter, Group Typos, Datentypen, Benennung, Imputation Negative Werte Inkonsistenzen Ableitung Dimensionen, Hierarchien, Kennzahlen für Data Marts Auswahl & Erzeugung von Analyseattributen Feature Engineering für Adv. Analytics Die Studie zeigt: Die Anforderungen liegen allgemein in der Bereitstellung von Daten für die Analyse. Data Preparation ist nach Meinung der Umfrageteilnehmer nicht zwingendermaßen ein Prozess zur Unterstützung der explorativen Analyse. 14

15 Definition Data Preparation Data Processing Datenstrategie und Governance Data Processing Application Integration Data Integration Data Preparation Self-Service Datenintegration: Ziel: Befüllung eines DWH, Marts oder initial eines Data Lake (eher IT, strukturierte Daten, batch-real/neartime, hohe Governance); Ansatz Beispiel ETL/ ELT Data Preparation: Ziel: Aufbereitung von polystrukturierten Rohdaten für die explorative Analytik; (meist ad hoc, aber automatisierbar, eher für FB (im Einklang mit Datenarchitekt und Data Scientist, kann aber auch IT im Sinne Wiederverwendbarkeit) Application Integration: Ziel: Verknüpfung von Anwendungen (IT, hohe Governance), Ansatz: EAI (Messaging, WebServices), Streaming 15

16 Ein hoher Nutzen scheint unumstritten Erwartungen in den meisten Punkten übertroffen per se hoher Nutzen Der erhoffte Nutzen ist in solchen Punkten nicht getroffen worden, wo es um die Anwendung von Erkenntnissen geht. Nachvollziehbar, denn dies kann unterschiedliche Bereiche und Personen betreffen. Lücke Erkenntnisse gewinnen Nutzen aus Erkenntnissen für Geschäft ziehen Welche Vorteile erzielt Ihr Unternehmen durch Data Preparation? (n=221) und Welche Vorteile erhofft man sich in Ihrem Unternehmen von Data Preparation? (n=92) Die Anwendung von Erkenntnissen wird häufig unter dem Begriff Operationalisierung diskutiert. 16

17 Wer Nutzen möchte, muss etwas dafür tun! Zwei wertvolle Erkenntnisse aus der Studie: 1. Erfolgsfaktor Organisation Auszug aus der Studie: Es geht um Fähigkeit aus Rohdaten Erkenntnisse zu erkunden. Dies erfordert das Zusammenwirken fachlicher und technischer Rollen. Den höchsten Nutzen erzielen demnach Organisationen die den Prozess aus FB und IT bestücken. Unsere Überzeugung: Der digitale Erfolg gelingt nur mittels Kooperation! Welche Vorteile erzielt Ihr Unternehmen durch Data Preparation? Nach Form der Nutzung (n=221) 17

18 Wer Nutzen möchte, muss etwas dafür tun! Zwei wertvolle Erkenntnisse aus der Studie: 2. Die falsche Technologie verhindert Potentiale Potential wird erahnt Der Einsatz von Excel ist weit verbreitet und scheint auch heute die erste Wahl für die Datenaufbereitung zu sein. Dass Excel keine komplexen Datenaufbereitungen unterstützt, sollte jedem klar sein. Die Kernfrage an dieser Stelle ist, ob Excel die Potentialentfaltung anhand von Data Preparation durch seinen eingeschränkten Funktionsumfang hemmt oder ob einfach die Use Cases fehlen, die spezialisierte Werkzeuge für Data Preparation erfordern? Welche Werkzeuge werden in Ihrem Unternehmen für Data Preparation eingesetzt bzw. sollen in Ihrem Unternehmen eingesetzt werden? (n=265) 18

19 Keine Überraschungen in den Herausforderungen. Werden Potentiale ausgebremst durch Nichtstun? Der Markt scheint hinterher zu hinken es fehlt an Know-how und Bewusstsein für exploratives Arbeiten. Erfahrungen zeigen aber ein hohes Interesse und Investitionen, aber auch eine gewissen Bedarf nach Orientierung. Abwarten und bewährtes übernehmen - ein ähnliches Bild zeigt sich immer wieder auch in anderen Umfragen zu Ansätzen. Welche Probleme existieren in Ihrem Unternehmen bei der Nutzung von Data Preparation? (n=328) 19

20 Fazit & Handlungsempfehlungen 1. Datenzugriff und aufbereitung (Datenmanagement) ist ernst und wichtig und bringt hohen Nutzen ob nun für das kl. BI oder die Exploration. 2. Potentiale scheinen verbaut zu werden durch den Einsatz falscher Werkzeuge oder mangelnder Voraussetzungen zur Umsetzung von Exploration. Know-how und Skills einkaufen und dann selbst aufbauen Nutzung moderner Technologien Standards, Regeln und Verantwortung Strategie für Analytics Kollaboration zw. IT, Fachbereichen und Data Scientisten Raum schaffen für Analytics und Ermutigung 3. Daten werden zunehmend wichtiger wer sie nutzen möchte, muss aktiv dafür etwas tun! Mischung aus Top-Down/ Bottom-up Vorgehen 20

21 Die globalen Umfrageergebnisse interaktiv erleben 21

22 Data Preparation im Fachbereich aus Rohdaten den Treibstoff für Ihr Unternehmen gewinnen Version Global Version DACH Sponsoren: 22

23 Ihr Kontakt bei BARC 23