Markttrends im Data Warehousing Bereich Aktuelle Tendenzen und Technologien CAS AG SPoT 2012 07. Mai 2012 Lars Iffert Analyst BARC
Was sind die Hauptprobleme in BI-Projekten? Top 5 Probleme beim Einsatz von BI-Software, Quelle: The BI Survey 9 (n = 2173, Multiple Choice, in %) Schlechte Datenqualität 18% Abfragegeschwindigkeit zu langsam 16% Unternehmenspolitik 16% Keine Einigung über Anforderungen Administrative Probleme (Personenbezogen) 15% 14% 0% 10% 20% 3
Unstrukturierte Daten werden auch für mittelständische Unternehmen wichtiger Trends der Business Intelligence im Mittelstand Einbeziehung unstrukturierter Daten 19 11 25 44 Zugriff über mobile Endgeräte (Mobile BI) 18 38 25 20 Predictive Analytics 17 31 25 28 Analyse von Inhalten aus dem Internet 16 13 31 41 Verwendung von Geodaten 15 24 15 47 BI as a Service (Cloud computing) 0 15 24 61 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% im Einsatz nicht im Einsatz aber binnen 12 Monaten geplant nicht im Einsatz aber langfristig geplant nicht im Einsatz und nicht geplant N=wechselnde Datenbasis zwischen 64 und 80 Quelle: BARC Studie Business Intelligence im Mittelstand 2011/2012 4
Herausforderung 3: Organisation
Organisation von Data Warehousing Umgebungen Technische Facette Fachliche Facette Organisatorische Facette Einrichtung oder Verbreiterung von BI Organisationseinheiten (z.b. BICC) Neue Aufgabenverteilung zw. IT und Fachbereichen BI Governance Data Governance Kollaboration-Werkzeuge (FB-IT): Business Glossar Fachbereichs-Tools (DI, DQ) Referenzdatenglossare Business-Intelligence-Strategie 6
Herausforderung 2: Performance und Datenwachstum
Datenvolumina von Data Warehouses Welches Datenvolumen haben Ihre Data Warehouses? > 50 TB 9% 10-50 TB 5-10 TB 13% 14% 1-5 TB 17% 500 GB - 1 TB 13% 250-500 GB 14% 50-250 GB 10% 0-50 GB 9% % 2% 4% 6% 8% 10% 12% 14% 16% 18% 20% n=127 (2011) Quelle: BARC Data Warehouse Survey 2011 8
Mehr als ein Drittel der Befragten erwarten für 2011 ein starkes Wachstum der Datenmengen (>25%) Wie stark wachsen die für Berichtswesen und Analyse bereitgestellten Daten im Unternehmen im Jahr? Stark wachsend (>25%) 26% 36% Leicht wachsend (1-25%) 60% 70% Kein Wachstum (0%) Abnahme (<0%) 4% 4% 0% 0% % 20% 40% 60% 80% 2010 2011 n = 136 (2010) und n=135 (2011) Quelle: BARC Data Warehouse Survey 2011 9
Ausprägungen analytischer Datenbanken 10
Herausforderung 1: Datenqualität
Wie kritisch ist Datenqualität? Wie kritisch ist die Qualität der Unternehmensdaten? (n = 71, in %, GER) nicht kritisch 10% 38% 52% sehr kritisch etwas kritisch Quelle: BARC Studie Datenqualitätsmanagement 2011 12
Wenig Vertrauen in Unternehmensdaten Wie schätzen Sie das Vertrauen in Ihre Unternehmensdaten ein? (n = 146, in %) Hohes Vertrauen 28% Durchschnittliches, geringes oder kein Vertrauen 72% 0% 20% 40% 60% 80% Quelle: BARC Studie Datenqualitätsmanagement 2011 13
Folgen schlechter Datenqualität? 14
Folgen schlechter Datenqualität Welche Erfahrungen haben Sie mit schlechter Datenqualität? (n = 149, Multiple Choice, in %) Sinkende Mitarbeiterzufriedenheit 62% Steigende Kosten 61% Sinkende Kundenzufriedenheit 53% Rückläufige Umsätze 28% Sonstiges 15% Keine Folgen 3% % 50% 100% Quelle: BARC Studie Datenqualitätsmanagement 2011 15
Welche Daten sind überhaupt relevant? 16
Relevanz von Daten Welche Art von Daten sind besonders relevant für Sie? (n = 146, Multiple Choice, in %) Kundendaten 75% Produktdaten Finanzdaten 53% 51% Transaktionsdaten (z.b Finanzdaten) 34% Lieferantendaten Mitarbeiterdaten 17% 23% Sonstige 4% % 50% 100% Quelle: BARC Studie Datenqualitätsmanagement 2011 17
Organisation 18
Verantwortlichkeit für Datenqualität Wer verantwortet Datenqualität? (n = 71, in %, GER) IT niemand Fachbereich 13% 27% 7% 54% Fachbereich und IT Quelle: BARC Studie Datenqualitätsmanagement 2011 19
Was bringt es? 20
Datenqualitätsinitiativen erhöhen das Vertrauen in Datenqualität signifikant Vertrauen in Daten analysiert nach Status der Datenqualitätsinitiative: (n = 133, in %) Bereits im Einsatz 56% In der Umsetzung 13% Planung innerhalb des Jahres 23% langfristig geplant 21% Hohes Vertrauen nicht geplant 13% 0 20 40 60 Quelle: BARC Studie Datenqualitätsmanagement 2011 21
Vorgehensweise 22
Datenqualitätszyklus 23
Werkzeuge 24
BI-Architektur Business Intelligence Services Monitoring Planung Reporting Legale Konsolidierung Ad-hoc Analysen Advanced Analysis Visualization Management Services Kollaboration Metadatenmanagement Data Provisioning Services Relationale Datenspeicherung Dimensionale Datenspeicherung Semantic Layer Caching Föderation/ Virtuelle Datenspeicherung System & Process Monitoring Datenmodellierung Security Integration & Quality Services Automatisierung Datenqualität Datenintegration Datenanreicherung Stammdaten 26
Funktionsspektrum Datenintegrationswerkzeuge Datenintegrationswerkzeuge Replikation (CDC, real-time) Migration & Konsolidierung ETL Databases Messaging Systems Operational Systems Data Warehouse Data Mart Datensynchronisierung Virtuelle Integration Data Services / SOA Master Slave Slave/ Master Virtual SQL Metadatenmanagement Datenqualität & MDM Schnittstelle SQL RDBMS Non-SQL DBMS 27
Funktionsspektrum Datenqualitätswerkzeuge Datenqualitätswerkzeuge Data Profiling Data Cleansing Match & Merge, Deduplizierung Golden Record Datenvalidierung Geschäfts/Qualitätsregeln Engine Enrichment BRE Andere: Data Integration, Masterdata Management, Data Discovery, Quality Services, GeoCoding, DQ KPI, Identity Resolution Risk Product Geo Customer Referenzdaten DQ Messung 28
MDM Musterarchitekturen Beispiele Persistenter MDM Hub (Repository, ein OLTP-System) Persistenter MDM Hub (Repository, spezielle Applikation) MDM OLTP-System OLTP-System MDM Leading OLTP-System OLTP-System Operational Systems Data Warehouse Data Mart Virtual MDM Hub (Registry) Analytical MDM (Repository, manuelle Datenpflege, Zielsystem: DWH) MDM MDM Operational systems Virtual Operational Systems Data Warehouse Data Mart 29
Herausforderung Big Data
Big Data Big Data 31
Big Data 32
Big Data 33
Anwendungsfälle für Big Data Big Data Analyse Supply Chain Monitoring und Optimierung Maschinen-Überwachung und Serviceplanung Textanalyse auf Stichwörter, Stimmungen, Themen Social Media Monitoring und Kampagnenmanagement Web-Personalisierung Next Best Offer / Activity, z.b. für Web- Shops & Call Center Betrugsentdeckung in Event-Streams, Netzwerken, CDRs etc. Systemmonitoring Datentypen RFID-Funkchip- und GPS-Daten- Erfassungen Maschinendaten aus der Produktion (BDE) Unstrukturierte Daten wie Call-Centeroder Service-Notizen, Bilder auf Webseiten oder Video-Clips Social Media Daten aus Facebook, Twitter, Blogs oder Foren. Log-Daten aus der eigenen Webpräsenz oder Web Shops Log-Daten der IT-Systeme Sensor-Daten in Gebäuden oder der Umwelt Streaming Daten, Events 34
Big Data Die BARC Definition Big Data bezeichnet Methoden und Technologien für die hochskalierbare Erfassung, Speicherung und Analyse polystrukturierter Daten. Nicht nur Werkzeuge Hohe Datenmengen Hohe Anwenderzahlen Komplexe Abfragen Schnelle Aktualisierung Alle Ebenen einer analytischen Infrastruktur Strukturierte Daten Semi-strukturierte Daten 35 Unstrukturierte Daten
Treibende Faktoren für Big Data Plattformen 1. Höhere Komplexität Größere Datenmengen Höhere Anwenderzahlen Schnellere Aktualisierung der Daten Höhere Abfragekomplexität 2. Polystrukturierte Daten Strukturierte Daten Semistrukturierte Daten, z.b. XML, HTML, Sensor-Daten Unstrukturierte Daten, z.b. Dokumente, Blogs, Bilder Analytische Infrastrukturen werden momentan erweitert, z.b. um -Analytische Datenbanken -Verarbeitung von Streaming-Daten, Event-Processing -Hadoop -NoSQL Datenbanken, 40
Analytische Infrastruktur im Big Data Zeitalter Traditionelle BI-Anwendungen Big Data Analyse Kollaboration Dashboards Standard- Reporting Ad hoc Reporting Analyse Planung Data Mining Suche Discovery Text Analyse Netzwerk- Analyse Pfad- Analyse Mustererkennung Metadaten Management Data Mart 1 Data Mart 2 Data Mart n Stammdaten- Management Sandbox Datenqualität Core Data Warehouse NoSQL File System Datenmodellierung System & Prozess- Monitoring Sicherheit Staging Area Datenintegration - Batch, Real Time, Streams/Events Map-Reduce Administration SAP ERP CRM Externe Systeme Sensor-Daten Web Logs Social Media Dokumente Strukturierte Transaktionsdaten Maschinen-generierte Daten Dokumente/Texte (unstrukturierte Daten) 41
Fazit: Herausforderungen in Data Warehouse Umgebungen 1. Schlechte Datenqualität Datenqualität wird als ernsthaftes Problem erkannt Datenqualitätsmanagement wird am besten ganzheitlich angegangen Vorgehensweise: Von Analyse bis Monitoring Organisation: Fachbereiche und IT gemeinsam, unternehmensübergreifend Werkzeuge: Datenmanagement-Plattformen DQ-Management erhöht das Vertrauen in Daten 2. Zu langsame Abfragegeschwindigkeit (Neue) Software-, Hardwaretechnologien 3. Organisatorische Probleme Optimierung der Organisation (z.b. Verantwortlichkeiten, Kollaborations-Tools ) 4. Big Data Als Antwort zum Umgang mit Komplexität in heutigen BI Umgebungen Analyse polystrukturierter Daten ergänzt die klassische BI 42
Kontakt Lars Iffert Dipl.-Wirtsch.-Inf. (FH) Analyst BARC GmbH Steinbachtal 2b D-97082 Würzburg Tel. +49 (0)931/880651-0 Fax +49 (0)931/880651-28 liffert@barc.de www.barc.de 43
Ressourcen bei BARC für Ihr Projekt Durchführung von internationalen Umfragen, basierend auf eigenem IT-Anwender-Panel The BI Survey 10 Datenqualitätsmanagement Planung und Budgetierung in Europa etc. Marktforschungsstudien Produktvergleichsstudien Business Intelligence Datenmanagement Enterprise Content Management IT Service Management Enterprise Resource Planning Customer Relationship Management Human Resource Management Veranstaltungen Tagungen - LIVE-Demos von Software-Lösungen Seminare und individuelle Workshops Webinare zu unterschiedlichen Themenschwerpunkten Online Demos auf www.software-präsentationen.de Consulting Individuelle Unterstützung für Strategie, Architektur und Software-Auswahl Unabhängige Beratung in den Bereichen BI, Data Warehousing und Datenintegration, ECM, IT Service Management, ERP, CRM, HR 44
Business Application Research Center BARC ist der führende Marktanalyst für Business Intelligence, Daten- und Dokumentenmanagement in Europa Historie 1994: Beginn der Untersuchung von Business-Intelligence-Software am Lehrstuhl Wirtschaftsinformatik der Universität Würzburg (Prof. Thome) 1999: Spin-Off als eigenständiges Analystenhaus (BARC GmbH) 2005: Internationalisierung 2011: Fusion mit CXP zu einer Unternehmensgruppe (80 Mitarbeiter, davon 40 Analysten) BARC Heute 35 Mitarbeiter, davon 16 Analysten & Berater über 1200 Kunden jährlich Themen: Business Intelligence, Datenmanagement, Enterprise Content Management, IT Service Management, ERP, CRM, HR Standorte: Würzburg, Zürich, Wien, London, Paris 45
Projekterfolg mit BARC-Beratung LANJÄHRIGE PROJEKT- ERFAHRUNG STRUKTURIERTES VORGEHEN EINZIGARTIGE MARKTERKENNTNIS PROJEKTERFOLG MIT BARC-BERATUNG NACHHALTIGE IT-STRATEGIE EFFIZIENTE UND EFFEKTIVE SOFTWARE- AUSWAHL UMFANGREICHE QUALITÄTS- SICHERUNG PRAXISBEWÄHRTER KRITERIENKATALOG NEUTRALES ANALYSTEN KNOW-HOW www.barc.de 46
BARC-Studien mit Produktvergleichen The BI Verdict 42 Business-Intelligence-Werkzeuge evaluiert Planungswerkzeuge 28 Softwarewerkzeuge für die Planung Data Warehousing 23 Softwarewerkzeuge für das Datenmanagement Finanzkonsolidierung 19 Systeme für die legale Konsolidierung und Managementkonsolidierung Leseproben am BARC-Stand! 47
Die BARC-Studie Data Warehousing und Datenintegration 23 Softwarewerkzeuge für Datenintegration und Data-Warehouse-Plattformen im Vergleich Studie enthält Produktbeschreibungen, technische Datenblätter und Analysen Vermittlung von betriebswirtschaftlichen und technischen Grundlagen, detaillierte Hilfe für das Software-Auswahlprojekt Inklusive Online-Zugriff auf Aktualisierungen für 12 Monate Leseprobe und Bestellmöglichkeit unter: http://dw.barc.de/ 48
Die BARC-Studie Business Intelligence Test von über 40 BI-Frontends und multidimensionalen Datenbanken Umfassender Kriterienkatalog zur Produktbewertung Basierend auf intensiven Systemtests im Softwarelabor von BARC Strukturierte Beschreibung und Bewertung der Systeme Neutrale Bewertung der Softwarelösungen Inklusive Online-Zugriff auf Aktualisierungen für 12 Monate Weitere Informationen untern www.bi-verdict.com 49
Die BARC-Studie Softwarewerkzeuge für die Planung 28 Softwarewerkzeuge für die Planung im Test Integrierte Produkte für Planung, Reporting und Analyse Strukturierte Detailbeschreibungen, bewertete Kriterienkataloge zu den getesteten Anbietern Informationen zur Herangehensweise an das Software-Auswahlprojekt (Marktsegmentierung, Software-Auswahlprozess, Kriterienkatalog) Leseprobe und Bestellmöglichkeit unter: www.barc.de/planung 50