"Big Data" - Kompliziert! Teuer! Hype! Wirklich? Ralf Götz, TechSales BigData, IBM Deutschland GmbH

Transkript

1 "Big Data" - Kompliziert! Teuer! Hype! Wirklich? Ralf Götz, TechSales BigData, IBM Deutschland GmbH

2 Eine Sekunde... 05/16/12 Copyright IBM Corporation

3 Und was passiert alles in 1 Minute? IBM Confidential 3

4 Was ist BIG DATA? Big Data ist mehr als eine Herausforderung. Es ist Ihre Chance, neue Einblicke zu erhalten. Sie machen Ihr Unternehmen agiler und können Fragen beantworten, für die es bisher keine Antworten gab. IBM Confidential 4

5 Wir alle sind im BIG DATA Zeitalter angekommen IBM Confidential 5

6 Eines vorweg... SQL IBM Confidential 6

7 Was bedeutet BIG DATA für unsere Kunden? (Befragung) MapReduce Hadoop Große Datenmengen Spezialwissen erforderlich HDFS Social Media Analyse Glaubwürdigkeit Nutzen von Daten Datenwachstum Regulatorien Kosten / Nutzen Geschwindigkeit Komplexität Wert von Daten Neue Technologien Governance Google NoSQL IBM Confidential 7

8 Warum beschäftigen sich immer mehr Unternehmen mit Big Data? 1 Das Auftauchen von Big Data 2 Die Verschiebung von Macht zum Kunden 3 Der wachsende Druck, mehr mit weniger zu erreichen IBM Confidential 8

9 Was aber ist BIG DATA? Welche Ausprägungen gibt es? IBM Confidential 9

10 BIG DATA erfordert ein Umdenken Traditionelle Analysen Big Data Analysen Strukturiert & Wiederholbar Iterativ & Explorativ Business User Definieren die Fragen Das IT Team Stellt Daten auf einer flexiblen Plattform bereit Business User Erforschen und Stellen neue Fragen Das IT Team Stellt Systeme Zur Verfügung, um bekannte Fragen zu beantworten IBM Confidential 10

11 BIG DATA wird jeden Bereich Ihres Geschäfts beeinflussen Sie möchten alles über Ihre Kunden wissen? Analysieren Sie alle Datenquellen, um Ihre Kunden kennenzulernen vom Vertriebskanal bis zu Social Media. Machen Sie Ihr Geschäft Echtzeit-fähig Analysieren Sie alle verfügbaren operationalen Daten und reagieren Sie in Echtzeit. Das optimiert Ihre Prozesse und reduziert Ihre Kosten. Schaffen Sie neue Produkte mit einer bisher unmöglichen Geschwindigkeit und Bandbreite Nutzen Sie alle Informationsquellen zur Verbesserung Ihrer Produkte und finden Sie neue Marktchancen. Know Everything about Your Customers Run Zero-latency Operations Full Fidelity Analytics Exploit Instrumented Assets Schutz vor Betrug und erhöhten Risiken Entwickeln Sie bessere Schutzmechanismen vor Betrug durch die Analyse aller verfügbaren Daten. Decken Sie Betrug durch Streaming Analytics auf, bevor er Schaden anrichtet. Innovate New Products at Speed and Scale Instant Awareness Entdecken Sie die Möglichkeiten Überwachen Sie in Echtzeit Maschinen und Systeme. Reagieren Sie auf Zustandsänderungen, bevor ein Schaden entsteht. IBM Confidential 11

12 Neue Einsichten aus BIG DATA gewinnen aber wie? IBM Confidential

13 Es geht: [ Der Optimale Standort für Windturbinen ] Die Herausforderung Wie finden wir denn besten Windturbinenstandort mit dem höchsten Ertrag und den geringsten Wartungskosten? Jetzt zwei, in naher Zukunft über 6 PB an Daten! Die Lösung Einer der größten Supercomputer der Welt IBM InfoSphere BigInsights (Hadoop) Nutzen für Vestas: Analysezeit von Wochen auf Minuten reduziert Umfassende Beratungsmöglichkeit geschaffen Schnelle Rentabilität durch Wettbewerbsvorteile IBM Confidential

14 Es geht: Stadt Stockholm [ Intelligentes Verkehrsmanagement ] Herausforderung Echtzeitanalyse von Verkehrs- und Wetterdaten analysieren (GPS, Sensoren, Unfall- und Staumeldungen, ) Probleme prognostizieren & vorbeugen Lösung Echtzeit Analyse von GPS Daten/Sek. Ausweichempfehlungen, alternative Routen InfoSphere Streams Nutzen für die Menschen 20% weniger Verkehr 50% kürzere Fahrzeiten 20% weniger Emissionen IBM Confidential

15 BIG DATA erfordert eine neue Architektur Streams Daten in Bewegung Information Ingestion and Operational Information Stream Processing Data Integration Master Data Daten in Ruhe Vielfalt von Daten Intelligente Analyse Real-time Analytics Video/Audio Network/Sensor Entity Analytics Predictive Landing Area, Analytics Zone and Archive Exploration, Integrated Warehouse, and Mart Zones EntscheidungsManagement Discovery Deep Reflection Operational Predictive Raw Data Structured Data Text Analytics Data Mining Entity Analytics Machine Learning BI und Predictive Analytics Navigation und Entdeckung Information Governance, Security und Business Continuity Glaubwürdigkeit IBM Confidential 15

16 4 Schritte zu einer BIG DATA Lösung IBM Confidential 16

17 1 Finden und verstehen Sie Ihre Daten Suchen und Navigieren Sie in beliebigen Datentöpfen Verstehen Sie die Bedeutung & Kontext Bewerten Sie den Wert Ihrer Daten Starten Sie mit IBM InfoSphere Data Explorer 17

18 Beispiel eines Dashboards: Google für Ihr Unternehmen 1 SOURCE SYSTEMS CRM Name: J Robertson Address: 35 West 15th Address: Pittsburgh, PA ERP Name: Janet Robertson Address: 35 West 15th St. Address: Pittsburgh, PA Legacy Name: Jan Robertson Address: 36 West 15th St. Address: Pittsburgh, PA Master Data Management 360 View of Party Identity First: Janet Last: Robertson Address: 35 West 15th St City: Pittsburgh State/Zip: PA / Gender: F Age: 48 DOB: 1/4/64 BigInsights Streams Warehouse 18

19 Schlüssel zum Erfolg: Finden und Verstehen von Big Data 1 UI / User App Builder Integration & Governance Streams BigInsights Data Explorer Warehouse Connector Framework CM, RM, DM RDBMS Feeds Web 2.0 IBM Confidential Web CRM, ERP File Systems 19

20 2 Analysieren Sie Ihre Rohdaten Speichern Sie Daten aller Art und Menge in Hadoop Analysieren Sie diese Daten einfach und schnell Optimieren Sie die Speicherung Ihrer Daten nach Wert Speichern, Verwalten und Analysieren Sie Daten jeglicher Art Reduzieren Sie Ihre IT Kosten um Größenordnungen Starten Sie mit IBM InfoSphere BigInsights 20

21 IBM BigInsights zur Analyse von Kundenverhalten 2 21

22 Typische Use-Cases für BigInsights (Hadoop) 2 1 Pre-Processing Hub 2 Query-able Archive 3 Exploratory Analysis PureData System for Analytics Data Explorer Streams Real-time processing BigInsights Landing zone for all data BigInsights Information Integration Can combine with unstructured information Data Explorer Find and view the data BigInsights Streams Offload analytics for microsecond latency 22

23 IBM s Enterprise Ready Hadoop Distribution: BigInsights Football World Cup 2010, one team distinguished themselves well, losing to the eventual champions 1-0 in the Final. Early in the second half, Netherlands striker, Arjen Robben, had a breakaway, but the keeper for Spain, Iker Casillas made the save. Winger Andres Iniesta scored for Spain for the win. Enterprise class Unstructured text (document, , etc) PureData for Hadoop - Appliance simplicity Enterprise Edition Sold by # of terabytes managed Quick Start Edition New for V2.1. Free. Non-production only Basic Edition Free download - Jaql - Integrated install Classification and Insight Apache Hadoop - Accelerators - Performance Optimization - Visualization Capabilities - Pre-built applications PDH brings BigInsights as an appliance form factor to the market - Text analytics - Spreadsheet-style tool - RDBMS, warehouse connectivity - Administrative tools, security - - Eclipse development tools - - Enterprise Integration - - Integrated web console... Breadth of capabilities 23

24 Wie kann ich auf BigInsights zugreifen? SQL? So einfach? Ja! BIG SQL Standard SQL Syntax ODBC / JDBC Treiber Optimizer (MapReduce oder Local) Sehr einfach zu integrieren 24

25 Worin unterscheiden sich Open Source Hadoop und BigInsights? Optional IBM and partner offerings Analytics and discovery Text processing engine and library Accelerator for social data analysis BigSheets Accelerator for machine data analysis Infrastructure Integrated installer Text compression Adaptive MapReduce Enhanced security Web Crawler Boardreader Distrib file copy... Flume Sqoop Data Explorer DB import Machine learning Data processing Pig Oozie HBase Hive Lucene GPFS FPO ZooKeeper HCatalog Administrative and development tools Ad hoc query Jaql Connectivity and Integration JDBC DB export Big SQL Indexing Flexible scheduler Apps Web console Monitor cluster health, jobs, etc. Add / remove nodes Start / stop services Inspect job status Inspect workflow status Deploy applications Launch apps / jobs Work with distrib file system Work with spreadsheet interface Support REST-based API... MapReduce HDFS Streams DB2 Netezza R Guardium DataStage Cognos BI Eclipse tools Text analytics MapReduce programming Jaql, Hive, Pig development BigSheets plug-in development Oozie workflow generation Open Source IBM 25

26 NEU: PureData System for Hadoop 2 Von Manuell und Komplex zu organisierter Einfachheit Visualization HDFS HCatalog MapReduce! Das Erstellen, den Rollout und das Management eines Haoop Cluster zu vereinfachen Pig Hive Entwickelt um Development Tools! Time-To-Value zu verkürzen und Kosten zu sparen! Enterprise Security und Plattform Management zu vereinfachen PureData System for Hadoop (PDH) 26

27 IBM BigInsights für die öffentliche Sicherheit 2 27

28 3 Vereinfachen Sie Ihr Data Warehouse Eine optimierte Appliance für die schnelle Analyse Ihrer Daten Server, Datenbank und Storage in einer Box Schnell (10-100x schneller), einfach, ausbaufähig Unschlagbar guter Return on investment (ROI) Starten Sie mit IBM PureData for Analytics 28

29 Was steckt dahinter? Wie machen wir das? Zone Map Acceleration Field Programmable Gate Array (FPGA) Vollständig automatisiert: lies nur das, was Du brauchst Unschlagbare Einfachheit und Agilität Keine Indices, kein Tuning Vollständig integrierte HW & SW Administra*on,wird,auf,Minimum, reduziert, Echter, Appliance,Ansatz, Beschleunigung durch HW Streaming (FPGA) Asynchrones Massiv Paralleles Processing (AMPP ): Kombiniert echte MPP-Verarbeitung mit SMP-Zuverlässigkeit und -Einfachheit 29

30 IBM PureData for Analytics für Predictive Analytics 30

31 4 Analysieren und Verarbeiten Sie Daten in Bewegung Verarbeiten und Analysieren Sie jegliche Daten in Echtzeit Reduzieren Sie die Verabeitungszeit um Größenordnungen Sparen Sie Geld durch Vermeidung von Störfällen Starten Sie mit IBM InfoSphere Streams 31

32 Streams: Echtzeit-Datenverarbeitung und Analyse Adapters Source Operator Repository Sink Adapters Declarative Language composite)numberedcat){) ))graph) ())as)sink)=)filesink(numbered)){param)file:)"result.txt";}) ))))stream<rstring)contents>)lines)=)tcpsource()){) ))))))param)role:)server;) ))))))))))))port:)getsubmissiontimevalue("port");) ))))}) ))))stream<rstring)contents>)numbered)=)functor(lines)){) ))))))logic)))))))))state:)mutable)int32)i)=)0;) ))))))))))))ontuple)lines:)i++;) )))))output)numbered:)contents)=)(rstring))i)+)")")+)contents;) ))))}))}) ) InfoSphere Streams Studio IDE 32

33 InfoSphere Streams in der Auswertung von Maschinendaten 4 33

34 Connected Car - Auto-zu-Auto Kommunikation bei Peugeot 4 Kombiniert Auto-DWH (Daten in Ruhe) mit Echtzeit Auto-Daten und Umgebungsdaten zu einer einzigen, integrierten Sicht: Telematik kommerziell nutzen Vorhersagen für den Bedarf an Ersatzteilen treffen Fahrer-Assistenzsysteme, die über sich ändernde Umgebungszustände informieren 34

35 Connected Car - Funktionelle Architektur 4 Visualization & Discovery Stream Computing Data Warehouse Hadoop System Internet Scale Messaging Protocol Appliance 35

36 Connected Car - So funktioniert s 4 36

37 Die IBM Big Data Plattform Solutions Analytics and Decision Management IBM Big Data Platform Big Data Infrastructure 37

38 Die IBM Big Data Plattform: Data Warehouse vereinfachen Solutions Analytics and Decision Management IBM Big Data Platform Data Data Warehouse Warehouse Delivers deep insight with advanced indatabase analytics & operational analytics! PureData System expert integrated systems to make deep and operational analytics faster & simpler! InfoSphere Warehouse -- data warehouse software to access operational info in real time Big Data Infrastructure 38

39 Die IBM Big Data Plattform: Analyse von Daten in Bewegung Solutions Analytics and Decision Management IBM Big Data Platform Analyze streaming data and large data bursts for real-time insights! Stream Computing Data Warehouse InfoSphere Streams software enabling continuous analysis of massive volumes of streaming data with sub-millisecond response times Big Data Infrastructure 39

40 Die IBM Big Data Plattform: Analyse von Massendaten in Hadoop Solutions Cost-effectively analyze Petabytes of unstructured and structured data! InfoSphere BigInsights -enterprise-grade Hadoop system enhanced with advanced text analytics, data visualization, tools, & performance features for analyzing massive volumes of structured and unstructured data. Analytics and Decision Management IBM Big Data Platform Hadoop System Stream Computing Data Warehouse Big Data Infrastructure 40

41 Die IBM Big Data Plattform: Governance & Integration Govern data quality and manage the information lifecycle! InfoSphere Information Server Solutions Analytics and Decision Management IBM Big Data Platform Cleanses data, monitors quality and integrates big data with existing systems! InfoSphere Optim manages business information throughout its lifecycle! Stream Computing Data Warehouse InfoSphere Master Data Management manages and maintains trusted views of master and reference data! Hadoop System Information InformationIntegration Integration&&Governance Governance InfoSphere Guardium real-time database security and monitoring Big Data Infrastructure 41

42 Die IBM Big Data Plattform: Acceleratoren als Starthilfe Solutions Analytics and Decision Management IBM Big Data Platform Speed time to value with analytic and application accelerators! Analytic Accelerators text analytics, geospatial, time-series, data mining! Application Accelerators financial services, machine data, social data, Telco event data! Industry Models - comprehensive data models based on deep expertise and industry best practice Accelerators Accelerators Hadoop System Stream Computing Data Warehouse Information Integration & Governance Big Data Infrastructure 42

43 Die IBM Big Data Plattform: Entdecken und Verstehen von Big Data Solutions Analytics and Decision Management Discover, understand, search, and navigate federated sources of big data! InfoSphere Data Explorer Discovery and navigation software that provides real-time access and fusion of big data with rich and varied data from enterprise applications for greater insight IBM Big Data Platform Visualization & Discovery Application Development Systems Management Accelerators Hadoop System Stream Computing Data Warehouse Information Integration & Governance Big Data Infrastructure 43

44 Die IBM Big Data Plattform Solutions Analytics and Decision Management Alle Datenformate Spezifische Produkte für unterschiedliche Anforderungen Analyse von Daten in Ruhe und Bewegung Management und Governance Enterprise Data Integration Fit für die Zukunft IBM Big Data Platform Visualization & Discovery Application Development Systems Management Accelerators Hadoop System Stream Computing Data Warehouse Information Integration & Governance Big Data Infrastructure 44

45 IBM s BIG DATA Lösung: wie gemacht für Ihre Daten! Analyse von BIG DATA in Bewegung Analyse von riesigen Datenmenge on the fly ohne sie speichern zu müssen z.b. Sensorenüberwachung, Verkehrsüberwachung IBM Streams Analyse von BIG DATA in Ruhe Speicherung und Analyse aller Art von Daten (unstrukturiert / strukturiert) z.b. Log-Dateien, Dokumente, Click-Streams IBM BigInsights und PureData System for Hadoop BIG DATA Deeper Analytics High-Performance Analyse von Massendaten in einer einzigen analytischen Appliance z.b. Data Warehouse & Business Intelligence, Data Marts, Data Mining, Prediction, IBM PureData System for Analytics DB2 mit BLU Acceleration 45

46 Q&A Ralf Götz Tech-Sales BIG DATA IBM Deutschland GmbH May 2012