Markttrends im Data Warehousing Bereich. Aktuelle Tendenzen und Technologien. CAS AG SPoT Mai 2012 Lars Iffert Analyst BARC

Transkript

1 Markttrends im Data Warehousing Bereich Aktuelle Tendenzen und Technologien CAS AG SPoT Mai 2012 Lars Iffert Analyst BARC

2 Was sind die Hauptprobleme in BI-Projekten? Top 5 Probleme beim Einsatz von BI-Software, Quelle: The BI Survey 9 (n = 2173, Multiple Choice, in %) Schlechte Datenqualität 18% Abfragegeschwindigkeit zu langsam 16% Unternehmenspolitik 16% Keine Einigung über Anforderungen Administrative Probleme (Personenbezogen) 15% 14% 0% 10% 20% 3

3 Unstrukturierte Daten werden auch für mittelständische Unternehmen wichtiger Trends der Business Intelligence im Mittelstand Einbeziehung unstrukturierter Daten Zugriff über mobile Endgeräte (Mobile BI) Predictive Analytics Analyse von Inhalten aus dem Internet Verwendung von Geodaten BI as a Service (Cloud computing) % 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% im Einsatz nicht im Einsatz aber binnen 12 Monaten geplant nicht im Einsatz aber langfristig geplant nicht im Einsatz und nicht geplant N=wechselnde Datenbasis zwischen 64 und 80 Quelle: BARC Studie Business Intelligence im Mittelstand 2011/2012 4

4 Herausforderung 3: Organisation

5 Organisation von Data Warehousing Umgebungen Technische Facette Fachliche Facette Organisatorische Facette Einrichtung oder Verbreiterung von BI Organisationseinheiten (z.b. BICC) Neue Aufgabenverteilung zw. IT und Fachbereichen BI Governance Data Governance Kollaboration-Werkzeuge (FB-IT): Business Glossar Fachbereichs-Tools (DI, DQ) Referenzdatenglossare Business-Intelligence-Strategie 6

6 Herausforderung 2: Performance und Datenwachstum

7 Datenvolumina von Data Warehouses Welches Datenvolumen haben Ihre Data Warehouses? > 50 TB 9% TB 5-10 TB 13% 14% 1-5 TB 17% 500 GB - 1 TB 13% GB 14% GB 10% 0-50 GB 9% % 2% 4% 6% 8% 10% 12% 14% 16% 18% 20% n=127 (2011) Quelle: BARC Data Warehouse Survey

8 Mehr als ein Drittel der Befragten erwarten für 2011 ein starkes Wachstum der Datenmengen (>25%) Wie stark wachsen die für Berichtswesen und Analyse bereitgestellten Daten im Unternehmen im Jahr? Stark wachsend (>25%) 26% 36% Leicht wachsend (1-25%) 60% 70% Kein Wachstum (0%) Abnahme (<0%) 4% 4% 0% 0% % 20% 40% 60% 80% n = 136 (2010) und n=135 (2011) Quelle: BARC Data Warehouse Survey

9 Ausprägungen analytischer Datenbanken 10

10 Herausforderung 1: Datenqualität

11 Wie kritisch ist Datenqualität? Wie kritisch ist die Qualität der Unternehmensdaten? (n = 71, in %, GER) nicht kritisch 10% 38% 52% sehr kritisch etwas kritisch Quelle: BARC Studie Datenqualitätsmanagement

12 Wenig Vertrauen in Unternehmensdaten Wie schätzen Sie das Vertrauen in Ihre Unternehmensdaten ein? (n = 146, in %) Hohes Vertrauen 28% Durchschnittliches, geringes oder kein Vertrauen 72% 0% 20% 40% 60% 80% Quelle: BARC Studie Datenqualitätsmanagement

13 Folgen schlechter Datenqualität? 14

14 Folgen schlechter Datenqualität Welche Erfahrungen haben Sie mit schlechter Datenqualität? (n = 149, Multiple Choice, in %) Sinkende Mitarbeiterzufriedenheit 62% Steigende Kosten 61% Sinkende Kundenzufriedenheit 53% Rückläufige Umsätze 28% Sonstiges 15% Keine Folgen 3% % 50% 100% Quelle: BARC Studie Datenqualitätsmanagement

15 Welche Daten sind überhaupt relevant? 16

16 Relevanz von Daten Welche Art von Daten sind besonders relevant für Sie? (n = 146, Multiple Choice, in %) Kundendaten 75% Produktdaten Finanzdaten 53% 51% Transaktionsdaten (z.b Finanzdaten) 34% Lieferantendaten Mitarbeiterdaten 17% 23% Sonstige 4% % 50% 100% Quelle: BARC Studie Datenqualitätsmanagement

17 Organisation 18

18 Verantwortlichkeit für Datenqualität Wer verantwortet Datenqualität? (n = 71, in %, GER) IT niemand Fachbereich 13% 27% 7% 54% Fachbereich und IT Quelle: BARC Studie Datenqualitätsmanagement

19 Was bringt es? 20

20 Datenqualitätsinitiativen erhöhen das Vertrauen in Datenqualität signifikant Vertrauen in Daten analysiert nach Status der Datenqualitätsinitiative: (n = 133, in %) Bereits im Einsatz 56% In der Umsetzung 13% Planung innerhalb des Jahres 23% langfristig geplant 21% Hohes Vertrauen nicht geplant 13% Quelle: BARC Studie Datenqualitätsmanagement

21 Vorgehensweise 22

22 Datenqualitätszyklus 23

23 Werkzeuge 24

24 BI-Architektur Business Intelligence Services Monitoring Planung Reporting Legale Konsolidierung Ad-hoc Analysen Advanced Analysis Visualization Management Services Kollaboration Metadatenmanagement Data Provisioning Services Relationale Datenspeicherung Dimensionale Datenspeicherung Semantic Layer Caching Föderation/ Virtuelle Datenspeicherung System & Process Monitoring Datenmodellierung Security Integration & Quality Services Automatisierung Datenqualität Datenintegration Datenanreicherung Stammdaten 26

25 Funktionsspektrum Datenintegrationswerkzeuge Datenintegrationswerkzeuge Replikation (CDC, real-time) Migration & Konsolidierung ETL Databases Messaging Systems Operational Systems Data Warehouse Data Mart Datensynchronisierung Virtuelle Integration Data Services / SOA Master Slave Slave/ Master Virtual SQL Metadatenmanagement Datenqualität & MDM Schnittstelle SQL RDBMS Non-SQL DBMS 27

26 Funktionsspektrum Datenqualitätswerkzeuge Datenqualitätswerkzeuge Data Profiling Data Cleansing Match & Merge, Deduplizierung Golden Record Datenvalidierung Geschäfts/Qualitätsregeln Engine Enrichment BRE Andere: Data Integration, Masterdata Management, Data Discovery, Quality Services, GeoCoding, DQ KPI, Identity Resolution Risk Product Geo Customer Referenzdaten DQ Messung 28

27 MDM Musterarchitekturen Beispiele Persistenter MDM Hub (Repository, ein OLTP-System) Persistenter MDM Hub (Repository, spezielle Applikation) MDM OLTP-System OLTP-System MDM Leading OLTP-System OLTP-System Operational Systems Data Warehouse Data Mart Virtual MDM Hub (Registry) Analytical MDM (Repository, manuelle Datenpflege, Zielsystem: DWH) MDM MDM Operational systems Virtual Operational Systems Data Warehouse Data Mart 29

28 Herausforderung Big Data

29 Big Data Big Data 31

30 Big Data 32

31 Big Data 33

32 Anwendungsfälle für Big Data Big Data Analyse Supply Chain Monitoring und Optimierung Maschinen-Überwachung und Serviceplanung Textanalyse auf Stichwörter, Stimmungen, Themen Social Media Monitoring und Kampagnenmanagement Web-Personalisierung Next Best Offer / Activity, z.b. für Web- Shops & Call Center Betrugsentdeckung in Event-Streams, Netzwerken, CDRs etc. Systemmonitoring Datentypen RFID-Funkchip- und GPS-Daten- Erfassungen Maschinendaten aus der Produktion (BDE) Unstrukturierte Daten wie Call-Centeroder Service-Notizen, Bilder auf Webseiten oder Video-Clips Social Media Daten aus Facebook, Twitter, Blogs oder Foren. Log-Daten aus der eigenen Webpräsenz oder Web Shops Log-Daten der IT-Systeme Sensor-Daten in Gebäuden oder der Umwelt Streaming Daten, Events 34

33 Big Data Die BARC Definition Big Data bezeichnet Methoden und Technologien für die hochskalierbare Erfassung, Speicherung und Analyse polystrukturierter Daten. Nicht nur Werkzeuge Hohe Datenmengen Hohe Anwenderzahlen Komplexe Abfragen Schnelle Aktualisierung Alle Ebenen einer analytischen Infrastruktur Strukturierte Daten Semi-strukturierte Daten 35 Unstrukturierte Daten

34 Treibende Faktoren für Big Data Plattformen 1. Höhere Komplexität Größere Datenmengen Höhere Anwenderzahlen Schnellere Aktualisierung der Daten Höhere Abfragekomplexität 2. Polystrukturierte Daten Strukturierte Daten Semistrukturierte Daten, z.b. XML, HTML, Sensor-Daten Unstrukturierte Daten, z.b. Dokumente, Blogs, Bilder Analytische Infrastrukturen werden momentan erweitert, z.b. um -Analytische Datenbanken -Verarbeitung von Streaming-Daten, Event-Processing -Hadoop -NoSQL Datenbanken, 40

35 Analytische Infrastruktur im Big Data Zeitalter Traditionelle BI-Anwendungen Big Data Analyse Kollaboration Dashboards Standard- Reporting Ad hoc Reporting Analyse Planung Data Mining Suche Discovery Text Analyse Netzwerk- Analyse Pfad- Analyse Mustererkennung Metadaten Management Data Mart 1 Data Mart 2 Data Mart n Stammdaten- Management Sandbox Datenqualität Core Data Warehouse NoSQL File System Datenmodellierung System & Prozess- Monitoring Sicherheit Staging Area Datenintegration - Batch, Real Time, Streams/Events Map-Reduce Administration SAP ERP CRM Externe Systeme Sensor-Daten Web Logs Social Media Dokumente Strukturierte Transaktionsdaten Maschinen-generierte Daten Dokumente/Texte (unstrukturierte Daten) 41

36 Fazit: Herausforderungen in Data Warehouse Umgebungen 1. Schlechte Datenqualität Datenqualität wird als ernsthaftes Problem erkannt Datenqualitätsmanagement wird am besten ganzheitlich angegangen Vorgehensweise: Von Analyse bis Monitoring Organisation: Fachbereiche und IT gemeinsam, unternehmensübergreifend Werkzeuge: Datenmanagement-Plattformen DQ-Management erhöht das Vertrauen in Daten 2. Zu langsame Abfragegeschwindigkeit (Neue) Software-, Hardwaretechnologien 3. Organisatorische Probleme Optimierung der Organisation (z.b. Verantwortlichkeiten, Kollaborations-Tools ) 4. Big Data Als Antwort zum Umgang mit Komplexität in heutigen BI Umgebungen Analyse polystrukturierter Daten ergänzt die klassische BI 42

37 Kontakt Lars Iffert Dipl.-Wirtsch.-Inf. (FH) Analyst BARC GmbH Steinbachtal 2b D Würzburg Tel. +49 (0)931/ Fax +49 (0)931/

38 Ressourcen bei BARC für Ihr Projekt Durchführung von internationalen Umfragen, basierend auf eigenem IT-Anwender-Panel The BI Survey 10 Datenqualitätsmanagement Planung und Budgetierung in Europa etc. Marktforschungsstudien Produktvergleichsstudien Business Intelligence Datenmanagement Enterprise Content Management IT Service Management Enterprise Resource Planning Customer Relationship Management Human Resource Management Veranstaltungen Tagungen - LIVE-Demos von Software-Lösungen Seminare und individuelle Workshops Webinare zu unterschiedlichen Themenschwerpunkten Online Demos auf Consulting Individuelle Unterstützung für Strategie, Architektur und Software-Auswahl Unabhängige Beratung in den Bereichen BI, Data Warehousing und Datenintegration, ECM, IT Service Management, ERP, CRM, HR 44

39 Business Application Research Center BARC ist der führende Marktanalyst für Business Intelligence, Daten- und Dokumentenmanagement in Europa Historie 1994: Beginn der Untersuchung von Business-Intelligence-Software am Lehrstuhl Wirtschaftsinformatik der Universität Würzburg (Prof. Thome) 1999: Spin-Off als eigenständiges Analystenhaus (BARC GmbH) 2005: Internationalisierung 2011: Fusion mit CXP zu einer Unternehmensgruppe (80 Mitarbeiter, davon 40 Analysten) BARC Heute 35 Mitarbeiter, davon 16 Analysten & Berater über 1200 Kunden jährlich Themen: Business Intelligence, Datenmanagement, Enterprise Content Management, IT Service Management, ERP, CRM, HR Standorte: Würzburg, Zürich, Wien, London, Paris 45

40 Projekterfolg mit BARC-Beratung LANJÄHRIGE PROJEKT- ERFAHRUNG STRUKTURIERTES VORGEHEN EINZIGARTIGE MARKTERKENNTNIS PROJEKTERFOLG MIT BARC-BERATUNG NACHHALTIGE IT-STRATEGIE EFFIZIENTE UND EFFEKTIVE SOFTWARE- AUSWAHL UMFANGREICHE QUALITÄTS- SICHERUNG PRAXISBEWÄHRTER KRITERIENKATALOG NEUTRALES ANALYSTEN KNOW-HOW 46

41 BARC-Studien mit Produktvergleichen The BI Verdict 42 Business-Intelligence-Werkzeuge evaluiert Planungswerkzeuge 28 Softwarewerkzeuge für die Planung Data Warehousing 23 Softwarewerkzeuge für das Datenmanagement Finanzkonsolidierung 19 Systeme für die legale Konsolidierung und Managementkonsolidierung Leseproben am BARC-Stand! 47

42 Die BARC-Studie Data Warehousing und Datenintegration 23 Softwarewerkzeuge für Datenintegration und Data-Warehouse-Plattformen im Vergleich Studie enthält Produktbeschreibungen, technische Datenblätter und Analysen Vermittlung von betriebswirtschaftlichen und technischen Grundlagen, detaillierte Hilfe für das Software-Auswahlprojekt Inklusive Online-Zugriff auf Aktualisierungen für 12 Monate Leseprobe und Bestellmöglichkeit unter: 48

43 Die BARC-Studie Business Intelligence Test von über 40 BI-Frontends und multidimensionalen Datenbanken Umfassender Kriterienkatalog zur Produktbewertung Basierend auf intensiven Systemtests im Softwarelabor von BARC Strukturierte Beschreibung und Bewertung der Systeme Neutrale Bewertung der Softwarelösungen Inklusive Online-Zugriff auf Aktualisierungen für 12 Monate Weitere Informationen untern 49

44 Die BARC-Studie Softwarewerkzeuge für die Planung 28 Softwarewerkzeuge für die Planung im Test Integrierte Produkte für Planung, Reporting und Analyse Strukturierte Detailbeschreibungen, bewertete Kriterienkataloge zu den getesteten Anbietern Informationen zur Herangehensweise an das Software-Auswahlprojekt (Marktsegmentierung, Software-Auswahlprozess, Kriterienkatalog) Leseprobe und Bestellmöglichkeit unter: 50