Hadoop Projekte Besonderheiten & Vorgehensweise. Oracle/metafinanz Roadshow Februar 2014

Transkript

1 Hadoop Projekte Besonderheiten & Vorgehensweise Oracle/metafinanz Roadshow Februar 2014

2 Head of Data Warehousing DWH Principal Consultant DWH Senior Consultant Wir fokussieren mit unseren Services die Herausforderungen des Marktes und verbinden Mensch und IT. Business Intelligence Themenbereiche Über metafinanz Enterprise DWH Data Modeling & Integration & ETL Architecture: DWH & Data Marts Hadoop & Columnar DBs Data Quality & Data Masking Insurance Reporting Standard & Adhoc Reporting Dashboarding BI Office Integration Mobile BI & InMemory SAS Trainings for Business Analysts BI & Risk Customer Intelligence Customer based Analytics & Processes Churn Prediction and Management Insurance Analytics Segmentation and Clustering Predictive Models, Data Mining & Statistics Scorecarding Social Media Analytics Fraud & AML Risk Solvency II (Standard & internal Model) Regulatory Reporting Compliance Risk Management metafinanz gehört seit 23 Jahren zu den erfahrensten Software- und Beratungshäusern mit Fokus auf die Versicherungsbranche. Mit einem Jahresumsatz von 250 Mio. EUR und über Mitarbeitern entwickeln wir für unsere Kunden intelligente zukunftsorientierte Lösungen für komplexe Herausforderungen Carsten Herbe Referenten Slavomir Nagy Michael Prost mail: phone: Seite 2

3 Inhalt 1 Kernthesen Big Data 2 Herausforderungen im Projekt und Lösungen 3 Projektsetup und Vorgehensmodell 4 Fazit Seite 3

4 1 Kernthesen Big Data

5 Big Data wird durch die 4 Dimensionen Volume, Variety, Velocity und Veracity charakterisiert. Der überwiegende Teil der in Unternehmen vorliegenden Daten ist unstrukturiert Big Data ist von wirtschaftlichen Nutzen Frühzeitige Prüfung rechtlicher Aspekte und Datenschutz Kombination von neuen und konventionellen Technologien Seite 5

6 2 Herausforderungen im Projekt und Lösungen

7 Aus gewisser Flughöhe sehen Hadoop Projekte wie DWH/BI-Projekte aus. Seite 7

8 Wenn man tiefer kommt ergeben sich Unterschiede: klassisches BI ist uns vertraut und wir wissen wo es lang geht. Seite 8

9 Mit Hadoop gehen wir neue Wege durch unbekanntes Terrain, Best Practices müssen sich erst noch etablieren. Seite 9

10 Je nach Projekttyp ähneln Hadoop Projekte mehr oder weniger klassischen BI-Projekten. Hadoop Projekttypen RDBMS Offload Offload ETL-Prozesse Offload Analysen Online Archivierung von Daten DWH Extension Verdichtung von neuen Big Data Informationen Weiterleitung der Ergebnisse an das DWH Big Data Exploration Sammlung von Daten aus unterschiedlichsten Quellen Verknüpfung verschiedenster Datentypen Data Mining ( Data Scientist) Seite 10

11 Unterschiedliche Ansätze und Vorgehensweisen von DWH/BI und Big Data. Quelle: IBM Corporation Seite 11

12 Vielfalt an Datenquellen und Datenstrukturen. Seite 12

13 Das Hadoop-Ökosystem besteht aus einer Vielzahl von Tools und Frameworks und wird ständig durch neue Projekte erweitert. HCatalog Ambari Drill Cloudera Manager Parquet SequenceFiles Seite 13

14 Es sind neue Technologien und Methodiken zu lernen. Neben SQL spielt zumindest aktuell noch Java DIE zentrale Rolle Seite 14

15 Die aktuellen Stellenangebote geben ein gutes Bild über die hohen Anforderungen an die Position eines Data Scientists ab Sie sind nicht alleine auf der Suche nach Talenten Wer sucht? Mit welchen Skills? Und was bieten Sie? Hadoop, MapReduce, Hive, HBase Couch Perl, Bash, C#, Ruby, Python, Octave Java, C++ XML, JSON Matlab, R Oracle, MS SQL, MySQL, Teradata, NoSQL Cognos, SAS, Microstrategy, Business Objects, QlikView, Tableau TextMining, DataMining? mit überdurchschittlichem Hochschulabschluss, mit ausgeprägtem analytischem Bezug Seite 15

16 Neue Hardware und neue Software müssen in die bestehende Infrastruktur sowie in die Betriebsprozesse integriert werden. Seite 16

17 Datensicherheit und gegebenenfalls Mandantenfähigkeit müssen sichergestellt werden und zwar nicht nur auf HDFS-Ebene, sondern auch in allen verwendeten Tools. Seite 17

18 Herausforderungen bei Hadoop gegenüber dem klassischen BI. Kategorie Hadoop Classic Bi Datenquellen diverse RDBMs, Applikationen Use Case wird im Projekt entwickelt ist Motivation des Projektes Technologien People & Skill Infrastruktur & Betrieb Security / Multitenancy neue Methoden, dynamischer Open Source Stack neue Anforderungen, schwer am Markt verfügbar Integration in die Infrastruktur (Hardware, Software, Prozesse) User Authentifizierung, Mandantenfähigkeit bewährt, langsam verändernd vorhanden, am Markt verfügbar meist vorhanden Standard Seite 18

19 3 Projektsetup und Vorgehensmodell

20 Unser iteratives Vorgehensmodell umfasst vier Kernphasen für die Einführung von Big- Data-Projekten. Phasenmodell Phase 0 Ausrichtung Entwicklung Strategie, Identifikation Business-Value und Beispiel Use Case Erstellung Roadmap (Prozesse, Daten, Technologien, Kompetenzen) Phase 1 Initiierung Aufbau Infrastruktur Prototyp, Durchstich Phase 2 Umsetzung Einfacher kostengünstiger Use Case für Quickwin Stufenweiser Ausbau (Daten) und Integration (Prozesse, Organisation) Phase 3 Optimierung Unternehmensweite Integration von Big Data Advanced Analytics Seite 20

21 Phase 0 Ausrichtung - Big Data Strategie Phase 0 Ausrichtung Erarbeitung der Ziele und Potentiale von Big Data im Unternehmen ausgehend von den geschäftlichen Anforderungen/Nutzen Umfeld- und Machbarbarkeitsanalyse (Standortbestimmung) Daten, Systeme, Infrastruktur, Organisation, Sicherheit, Skills und Knowhow Zielbild und Lösungsdesign Roadmap (Prozesse, Daten, Technologien, Kompetenzen) Erarbeitung erster Use Cases Betriebs-/Wartungskonzept, Kosten-/Nutzenbetrachtung, Nutzungskonzept Vorüberlegungen zu künftigen Betriebs-/Sourcing-/Lizenzmodellen Sicherheitsstrategien und Konzepte Notwendige Kompetenzen Ergebnis: Belastbarer Business Case, Verständnis für die Nutzung von Big Data, klarer Projektauftrag und Commitment der Stakeholder Seite 21

22 Phase 1 Projektinitiierung Phase 1 Initiierung Aufbau Infrastruktur Hardware (Netzwerk, Server), Software, Zugang zu externen Datenquellen Infrastruktur zur Datenspeicherung, Identifizierung von Tools und Frameworks, die es sinnvoll und bedarfsweise zu integrieren gilt IT-Organisation Auswirkungen IT Betrieb Rollen- und Servicemodell /-management Bildung interdisziplinärer Teams (Data Scientist, Business-/Datenanalysten, Entwickler, Nutzer, Entscheider) Klare Verantwortlichkeiten festlegen (Business/IT) Datenschutz und Securityaspekte konkretisieren Erste Gehversuche (Tests, Skills, Technologien), Setup einfacher und kostengünstiger Use Cases, vertraut werden mit Technologie, Tools, Daten z.b. durch Upload klassischer RDBM-Systeme und Analyse in Hadoop Logfiles für Security Auswertungen Archivierung und Validierung von Daten unterschiedlicher, aber bekannter Quellen Ergebnis: Project-Readyness, Technische Funktionsfähigkeit sicherstellen, Teambuilding Seite 22

23 Phase 2 Umsetzung (Reifegradmodell) Phase 2 Umsetzung Iteration 1 Quick Wins Beginn der Implementierung des ersten Use Cases zur Erzielung von Quickwins Arbeiten mit bekannten Datenquellen und Informationen Neue Erkenntnisse finden und validieren/interpretieren Iteration 2 n Ausweitung der Use Cases (Datenmenge, -quellen, -volumen, externe Daten) Erarbeitung IT-Service-/Betriebsmodell und Anpassung IT-Prozesse Integration der Big Data Lösung in bestehende BI-Lösungen Advanced Analytics (Musterkennung, Statistik, Datamining, Forecast arbeiten mit den Daten) Stabilisierung der Wertschöpfungsprozesse (Datenbewirtschaftung, Sicherheit, Performance, ) Fitmachen der Organisation für den Einsatz von Big Data Ergebnis: Analytische Fähigkeiten und Datenqualität sicherstellen, Big Data schrittweise in die Organisation (Daten, Prozesse, Infrastruktur, Nutzer, Management) einführen Seite 23

24 Phase 3 Optimierung Phase 3 Optimierung Rollout und Einbindung weiterer Unternehmensbereiche Ausbau Knowhow Unternehmensweite Verfügbarkeit Ergebnisse nutzbar machen Big Data Potentiale voll ausschöpfen und wirtschaftlichen Nutzen realisieren Ergebnis: Stabiler Betrieb und breit realisierter Nutzen Seite 24

25 4 Fazit

26 Auch wenn Hadoop Projekte vom Vorgehen recht ähnlich zu DWH/BI-Projekten sind, gibt es in den konkreten Schritten doch erhebliche Unterschiede. Seite 26

27 Wir bieten offene Trainings an sowie maßgeschneiderte Trainings für individuelle Kunden. metafinanz training Einführung Hadoop (1 Tag) Hadoop Intensiv-Entwickler Training (3 Tage) Einführung Oracle in-memory Datenbank TimesTen Data Warehousing & Dimensionale Modellierung Oracle Warehousebuilder 11.2 New Features OWB Skripting mit OMB*Plus Oracle SQL Tuning Einführung in Oracle: Architektur, SQL und PL/SQL Mehr Information unter All trainings are also available in English on request. Seite 27

28 Hadoop Projekte Besonderheiten und Vorgehensweise Fragen? Jetzt oder später? Carsten Herbe Head of Data Warehousing Downloads unter dwh.metafinanz.de mail phone Seite 29

29 Vielen Dank für Ihre Aufmerksamkeit! metafinanz Informationssysteme GmbH Leopoldstraße 146 D München Phone: Fax: DWH & Hadoop Expertise Besuchen Sie uns auch auf: