Big Data Plattformen für polystrukturierte Daten neue Chancen und Herausforderungen

Transkript

1 Big Data Plattformen für polystrukturierte Daten neue Chancen und Herausforderungen Oracle DWH-Konferenz 21. März 2012 Dr. Carsten Bange Gründer & Geschäftsführer BARC

2 Big Data bietet Methoden und Technologien für die Erfassung, Speicherung und Analyse polystrukturierter Daten, genau dort, wo klassische analytische Informationssysteme heute an ihre Grenzen stoßen.

3 Welche Relevanz hat das Thema Big Data für Sie? Noch keine Bewertung (Stadium der Informationssammlung Investitionen geplant in den nächsten 6 Monaten Investitionen geplant in den nächsten 12 Monaten Big Data bereits umgesetzt Keine Relevanz Prozent N=49, Poll im B-Eye-Network Webcast Big Data und Extreme Analytics,

4 Big Data Plattformen für strukturierte Daten

5 Klassische BI-Infrastruktur Traditionelle BI-Anwendungen Dashboards Standard- Reporting Ad hoc Reporting Analyse Data Mining Planung Data Mart 1 Data Mart 2 Data Mart n Sandbox Core Data Warehouse Staging Area Datenintegration - Batch, Real Time SAP ERP CRM Externe Systeme Strukturierte Transaktionsdaten

6 Big Data 1. Höhere Komplexität der klassischen BI-Infrastrukturen Größere Datenmengen

7 Mehr als ein Drittel der Befragten erwarten für 2011 ein starkes Wachstum der Datenmengen (>25%) Wie stark wachsen die für Berichtswesen und Analyse bereitgestellten Daten im Unternehmen im Jahr? Stark wachsend (>25%) Leicht wachsend (1-25%) 26% 36% 60% 70% Kein Wachstum (0%) Abnahme (<0%) 4% 4% 0% 0% % 20% 40% 60% 80% n = 136 (2010) und n=135 (2011) Quelle: BARC Data Warehouse Survey 2011

8 Big Data 1. Höhere Komplexität der klassischen BI-Infrastrukturen Größere Datenmengen Höhere Anwenderzahlen

9 Big Data 1. Höhere Komplexität der klassischen BI-Infrastrukturen Größere Datenmengen Höhere Anwenderzahlen Höhere Abfragekomplexität Traditionelle BI-Anwendungen Dashboards Standard- Reporting Ad hoc Reporting Analyse Data Mining Planung Wir wollen nicht mehr nur Reporting machen.

10 Big Data 1. Höhere Komplexität der klassischen BI-Infrastrukturen Größere Datenmengen Höhere Anwenderzahlen Höhere Abfragekomplexität Schnellere Aktualisierung der Daten

11 Traditionelle BI AUSWERTUNG BI Anwenderwerkzeuge Analytische Anwendungen ZUGRIFF SQL MDX Analytische Datenbanken ANALYTIK SPEICHERUNG INTEGRATION QUELLEN In-database Mining Analytische DB ETL & ELT OLAP Strukturierte Daten Optimiert auf analytische Aufgaben Massiv parallele Architektur Columnar oder hybrid row/columnar In-Memory, SSD, Disk Häufig Appliances

12 Big Data Plattformen für polystrukturierte Daten

13 Big Data 1. Höhere Komplexität der klassischen BI-Infrastrukturen Größere Datenmengen Höhere Anwenderzahlen Höhere Abfragekomplexität Schnellere Aktualisierung der Daten 2. Polystrukturierte Daten als neue Herausforderung Strukturierte Daten Semistrukturierte Daten, z.b. XML, HTML, Sensor-Daten Unstrukturierte Daten, z.b. Dokumente, Blogs, Bilder

14 Analyseprojekte mit polystrukturierte Daten bei BARC-Kunden in den letzten 18 Monaten Big Data Analyse Supply Chain Monitoring und Optimierung Maschinen-Überwachung und Serviceplanung Textanalyse auf Stichwörter, Stimmungen, Themen Social Media Monitoring und Kampagnenmanagement Verhaltensanalyse - Web-Personalisierung Next Best Offer / Activity, z.b. für Web- Shops & Call Center Betrugsentdeckung Verbrauchsdatenanalyse (Energie, Netzwerk-Ressourcen, ) Wettereinfluss auf Kosten und Umsatz IT-Systemmonitoring Datenarten RFID-Funkchip- und GPS-Daten- Erfassungen Maschinendaten aus der Produktion (BDE) Unstrukturierte Daten wie Call-Centeroder Service-Notizen, Bilder auf Webseiten oder Video-Clips Social Media Daten aus Facebook, Twitter, Blogs oder Foren. Log-Daten aus der eigenen Webpräsenz oder Web Shops Log-Daten der IT-Systeme Sensor-Daten in Gebäuden oder der Umwelt Streaming Daten, Events

15 Treibende Faktoren für Big Data Plattformen Welche Faktoren treiben in Ihrem Unternehmen das Interesse an der Nutzung alternativer Datenplattformen wie Hadoop? Möglichkeit nicht-relationale und unstrukturierte Daten zu verwalten und zu verarbeiten Möglichkeit riesige Datenmengen zu verwalten und zu verarbeiten Geringere Kosten für Hardware und Speicher als bei kommerziellen Produkten Geringere Kosten für Software und Deployment als bei kommerziellen Produkten Interesse an neuen Erkenntnissen, wie etwa Social Media Analyse Solche Plattformen sind für mein Unternehmen nicht relevant 16% 23% 23% 31% 30% 47% 0% 10% 20% 30% 40% 50% Quelle: InformationWeek 2012 Business Intelligence, Analytics, and Information Management Survey of 431 business technology pros involved with information management tech, October

16 Hadoop Ökosystem

17 Big Data Analyse AUSWERTUNG BI Anwenderwerkzeuge Analytische Anwendungen ZUGRIFF ANALYTIK SPEICHERUNG INTEGRATION QUELLEN Polystrukturierte Daten Hadoop Open Source Java Framework Top Level Apache Projekt HDFS: File-System Massiv parallele Architektur Automatische Verteilung und redundante Ablage

18 Big Data Analyse AUSWERTUNG ZUGRIFF ANALYTIK BI Anwenderwerkzeuge Analytische Anwendungen Map/Reduce Programmier-Framework Zerlegung von Aufgaben in kleine Teile, die auf Clustern parallel ausgeführt werden SPEICHERUNG INTEGRATION QUELLEN Polystrukturierte Daten

19 Big Data Analyse AUSWERTUNG ZUGRIFF ANALYTIK SPEICHERUNG BI Anwenderwerkzeuge Analytische Anwendungen Pig Skript-Sprache Erzeugt Map/Reduce-Prozesse zur Ausführung auf dem Hadoop-Cluster Für alle Prozesse einsetzbar, von ETL bis zu Analytik INTEGRATION QUELLEN Polystrukturierte Daten

20 Big Data Analyse AUSWERTUNG ZUGRIFF ANALYTIK SPEICHERUNG BI Anwenderwerkzeuge Analytische Anwendungen Hive Abfragesprache HiveQL (ähnlich zu SQL) für Daten in HDFS User defined functions in Java Zugriff vieler BI-Werkzeuge auf Hadoop über Hive INTEGRATION QUELLEN Polystrukturierte Daten

21 Big Data Analyse AUSWERTUNG BI Anwenderwerkzeuge Analytische Anwendungen ZUGRIFF ANALYTIK SPEICHERUNG INTEGRATION Sqoop Import-Werkzeug für Tabellen/Datenbanken Import in Hadoop HDFS und Hive QUELLEN Polystrukturierte Daten

22 Weitere Big Data Plattform Komponenten (Auswahl)

23 AUSWERTUNG ZUGRIFF ANALYTIK SPEICHERUNG INTEGRATION QUELLEN Big Data Analyse BI Anwenderwerkzeuge Analytische Anwendungen Polystrukturierte Daten Analytische Anwendungen Spezielle Big Data Anwendungen wie Social Media Analytics Social Network Analytics Information Discovery Pfad-Analysen Recommendation Engines Assoziations-Analysen Segmentierung & Klassifikation BI-Werkzeuge Nutzen vermehrt Hive zum Zugriff auf Hadoop

24 Big Data Analyse AUSWERTUNG ZUGRIFF ANALYTIK SPEICHERUNG BI Anwenderwerkzeuge Analytische Anwendungen R Open Source Data Mining Bibliothek Sehr populär Neben Hadoop-eigener DM- Bibliothek Mahout INTEGRATION QUELLEN Polystrukturierte Daten

25 Big Data Analyse AUSWERTUNG BI Anwenderwerkzeuge Analytische Anwendungen ZUGRIFF ANALYTIK SPEICHERUNG INTEGRATION QUELLEN ETL & ELT Polystrukturierte Daten Datenintegrationswerkzeuge (ETL/ELT) Immer mehr DI-Werkzeuge mit Konnektoren zu Hadoop und NoSQL Datenbanken

26 Big Data Analyse AUSWERTUNG ZUGRIFF BI Anwenderwerkzeuge Analytische Anwendungen API ANALYTIK SPEICHERUNG INTEGRATION QUELLEN NoSQL ETL & ELT Polystrukturierte Daten NoSQL Datenbanken Not only SQL Sammelbegriff für verschiedene nicht-relationale Datenbanktypen

27 NoSQL Datenbanken Verschiedene Arten nicht-relationaler Datenbanken Skalierbarkeit, Performance und Redundanz wichtiger als Konsistenz Schema-freie Datenbanken: Daten können in Datentypen von Programmiersprachen oder Objekten gespeichert werden NoSQL Datenbanken Key Value / Tuple Graph Document Weitere z.b. Berkely DB z.b. Graph DB z.b. MongoDB z.b. Google BigTable 27

28 Big Data Analyse Traditionelle BI AUSWERTUNG BI Anwenderwerkzeuge Analytische Anwendungen ZUGRIFF API SQL MDX ANALYTIK In-database Mining OLAP SPEICHERUNG INTEGRATION NoSQL ETL & ELT Analytische DB QUELLEN Polystrukturierte Daten Strukturierte Daten

29 Synthese

30 Klassische BI-Infrastruktur Traditionelle BI-Anwendungen Dashboards Standard- Reporting Ad hoc Reporting Analyse Data Mining Planung Data Mart 1 Data Mart 2 Data Mart n Sandbox Core Data Warehouse Staging Area Datenintegration - Batch, Real Time SAP ERP CRM Externe Systeme Strukturierte Transaktionsdaten

31 Analytische Infrastruktur für Big Data Traditionelle BI-Anwendungen Big Data Analyse Dashboards Standard- Reporting Ad hoc Reporting Analyse Data Mining Planung Suche Discovery Text Analyse Netzwerk- Analyse Pfad- Analyse Mustererkennung Data Mart 1 Data Mart 2 Data Mart n Sandbox Core Data Warehouse NoSQL File System Staging Area Datenintegration - Batch, Real Time, Streams/Events, Map-Reduce SAP ERP CRM Externe Systeme Sensor-Daten Web Logs Social Media Dokumente Strukturierte Transaktionsdaten Maschinen-generierte Daten Dokumente/Texte (unstrukturierte Daten)

32 Strukturgrad der Daten Einordnung Big Data Plattformen Analytische DB RDBMS NoSQL Breite des Einsatzspektrums

33 Fazit: Chancen und Herausforderungen von Big Data Plattformen Big Data beschreibt die Herausforderung, mit der heute auftretenden Komplexität in Datenanalyse-Umgebungen umzugehen. Chancen Erschließung neuer Datenquellen zur Analyse und neue Analysen Erkenntnisse und Reaktionsmöglichkeit nah am operativen Prozess Besseres Kosten-/Nutzenverhältnis für umfassende BI-Infrastrukturen Herausforderungen Häufig programmiernaher Ansatz Wenig Standards Identifikation von Use Cases mit vorab definierbaren ROI Unternehmen sollten BI-Strategie und Architektur überprüfen, ob und wie Big-Data-Technologien einen Beitrag zur Erweiterung des BI-Spektrums leisten können und Prototypen aufsetzen. 33

34 Vielen Dank Dr. Carsten Bange Gründer und Geschäftsführer BARC GmbH Steinbachtal 2b D Würzburg Tel. +49 (0)931/ Fax +49 (0)931/

35 Ressourcen bei BARC für Ihr Projekt Durchführung von internationalen Umfragen, basierend auf eigenem IT-Anwender-Panel The BI Survey 10 Datenqualitätsmanagement Planung und Budgetierung in Europa etc. Marktforschungsstudien Produktvergleichsstudien Business Intelligence Datenmanagement Enterprise Content Management IT Service Management Enterprise Ressource Planning Customer Relationship Management Human Ressource Management Veranstaltungen Tagungen - LIVE-Demos von Softwarelösungen Seminare und individuelle Workshops Webinare zu unterschiedlichen Themenschwerpunkten Online Demos auf Consulting Individuelle Unterstützung für Strategie, Architektur und Software-Auswahl Unabhängige Beratung in den Bereichen BI, Data Warehousing und Datenintegration, ECM, IT Service Management, ERP, CRM, HR