Hadoop & IT-Strategie Ein Spagat zwischen Innovation und Kosten Geht das überhaupt? DOAG 2014

Transkript

1 Hadoop & IT-Strategie Ein Spagat zwischen Innovation und Kosten Geht das überhaupt? DOAG 2014

2 Wir fokussieren mit unseren Services die Herausforderungen des Marktes und verbinden Mensch und IT. Business Intelligence Themenbereiche Enterprise DWH Data Modeling & Integration & ETL Architecture: DWH & Data Marts Hadoop & Columnar DBs Data Quality & Data Masking Analytics Predictive Models, Data Mining & Statistics Social Media Analytics Customer Intelligence Scorecarding Fraud & AML Über metafinanz metafinanz gehört seit fast 25 Jahren zu den erfahrensten Software- und Beratungshäusern mit Fokus auf die Versicherungsbranche. Mit einem Jahresumsatz von 270 Mio. EUR und über 450 Mitarbeitern entwickeln wir für unsere Kunden intelligente zukunftsorientierte Lösungen für komplexe Herausforderungen BI & Risk Ihr Kontakt: Oliver Herzberg Reporting Standard & Adhoc Reporting Dashboarding BI Office Integration Mobile BI & In-memory SAS Trainings for Business Analysts Risk Solvency II (Standard & internal Model) Regulatory Reporting Compliance Risk Management Manager IT-Consulting Projekt-/Programmleitung für Integrations-, Migrations- und Einführungsprojekte Schwerpunkt Finance/Risk, Datawarehousing, Business-Intelligence Mail: Phone: DOAG Hadoop & IT-Strategie Seite 2

3 Inhalt. 1 Herausforderungen für CIO s im Kontext Datenmanagement 2 3 Anwendungsszenarien Hadoop Zusammenfassung und Fazit DOAG Hadoop & IT-Strategie Seite 3

4 1. Herausforderungen für CIO s im Kontext Datenmanagement

5 Die effiziente und wirtschaftliche Versorgung der Unternehmen mit IT ist nicht nur ein Kostenfaktor sondern wird als elementarer Wettbewerbsfaktor erkannt und vom Business wahrgenommen Wir sind hier IT Manufaktur IT Industrialisierung Digitalisierung Fokus Technologie Prozesse Business Modelle Fähigkeiten Programmieren, System-Management IT Management, Service Management Digitale Führung Mindset Kundenzentriert Serviceorientiert Partnerschaftlich Auswirkung Sporadische Automatisierung und Innovationen Dienstleistungen und Lösungen, Effizienz und Effektivität Digital Business Innovation, neue Werte Quelle: Gartner Executive Program, Taming the Digital Dragon: The 2014 CIO Agenda DOAG Hadoop & IT-Strategie Seite 5

6 Herausforderungen für Unternehmen. Marktveränderungen Digitalisierung Chancen Kosten Regulatorischer Druck DOAG Hadoop & IT-Strategie Seite 6

7 Der Markt befindet sich im Umbruch die Kundenbedürfnisse verändern sich rasch, die Marktanforderungen werden immer komplexer. DOAG Hadoop & IT-Strategie Seite 7

8 Durch die Digitalisierung ganzer Lebensbereiche wird eine bislang unbekannte Datentiefe ermöglicht. Die Vielfalt, Herkunft, Verfügbarkeit, Qualität und letztlich die gewonnene Aussagekraft variieren signifikant. DOAG Hadoop & IT-Strategie Seite 8

9 Deutschland hat bei der Digitalisierung der Wirtschaft Nachholbedarf führende Politiker rufen dazu auf, die Digitalisierung mit größerer Entschlossenheit voranzutreiben Unternehmen wird eine Zukunftsaufgabe gestellt: Sie müssen dem strategischen Management der internen und externen Daten und Informationen als auch deren Umsetzung in der Praxis einen höheren Stellenwert zumessen. Quelle: manager magazin 07/2014 DOAG Hadoop & IT-Strategie Seite 9

10 Eine spartenübergreifende Studie von Gartner zur Verteilung der IT-Kosten zeigt, mehr als 40% der IT-Produktionskosten sind in Data-Centern gebunden Service Desk 13% Client Computing 20% I&O: Wohin fließt das Geld? Rechenzentrum 41% I&O 56% IT-Budget 53% IT-Personal Networking 26% Quelle: Gartner Significanty Reducing I&O Costs, 7 May 2014 DOAG Hadoop & IT-Strategie Seite 10

11 Die kontinuierlich steigenden regulatorischen Anforderungen haben wesentliche Auswirkungen auf den Informationsbedarf. Die damit verbundenen wachsenden Datenmengen wirken direkt auf den Speicherbedarf und die damit in Zusammenhang stehenden IT-Kosten. Abwicklungsmechanismus Anlegerschutz Bankenunion Basel III Beihilferecht Benchmarks CRD IV/CRR Compliance BCBS239 Comprehensive Assessement EBA EMIR ESMA EU-Bankenaufsicht Eigenkapital interne Modelle Einlagensicherung Electronic Banking Finanztransaktionssteuer Verbraucherschutz Geldwäschebekämpfung Solvency II Großkredite IFRS9 Karten Krisenmanagement LCR Lease Leverage Ratio MaRisk MASan Macro Hedge Accounting MiFID OSCar/OSeC Rating Risikomanagement SEPA Stresstest Transparenz von Bankentgelten EU-Vermittler Richtlinie DOAG Hadoop & IT-Strategie Seite 11

12 In komplexen Projekten fallen bis zu 60% der Aufwände direkt oder indirekt auf Datenbeschaffung, -validierung und -transformation. Leistungsfähige, flexible und elastische DWH- und BI-Infrastrukturen wirken vor allem in künftigen Changekosten DOAG Hadoop & IT-Strategie Seite 12

13 Datenmanagement wird damit elementarer Bestandteil der IT-Strategie von Unternehmen. CIOs stehen damit vor der Herausforderung, der Regulatorik genüge zu leisten was Kosten ohne Ertrag bedeutet. die Chancen aus der Digitalisierung zur Bindung und Erschließung neuer Märkte gewinnbringend zu nutzen. andererseits aber auch aktiv die Potentiale zu erkennen und zu nutzen, die aus solchen Transformationsprozessen entstehen: Innovation Gewaltige Datenschätze, die es zu heben gilt! DOAG Hadoop & IT-Strategie Seite 13

14 2. Anwendungsszenarien Hadoop

15 Mit dem Opensource Framework Hadoop stehen neue und bisher nicht umsetzbare Analytics Möglichkeiten zur Verfügung. Es gibt aber auch konkrete Usecases, die auf die Reduzierung von Infrastruktur-/Storagekosten abzielen. HCatalog Ambari Drill Cloudera Manager Parquet SequenceFiles DOAG Hadoop & IT-Strategie Seite 15

16 Hadoop - Einsatzgebiete und Beispiele. RDBMS Offload Optimierung z.b. von Speicherplatz Ersatz bestehender ETL-Prozesse Günstigere Datenspeicherung im Cluster, statt kostenintensive RDBMS-Systeme DWH Extension Funktionale Erweiterung bestehender DWH-Lösungen Operational Data Stores (ODS) als vorgeschalteter Datensammler Near-/Realtime Streaming von Daten Big Data Exploration Daten aus unterschiedlichen Quellen Verknüpfung mit unterschiedlichen Datentypen Data Mining und Maschine Learning DOAG Hadoop & IT-Strategie Seite 16

17 Die fünf größten Herausforderungen im Kontext Big Data/Analytics. Wie kann Mehrwert aus den Daten generiert werden 26% 18% 13% 57% Definition der Strategie 12% 15% 14% 41% Knowhow und verfügbare Ressourcen 7% 12% 14% 33% Integration unterschiedlichster Datenquellen 8% 12% 13% 33% Infrastruktur und Architektur 7% 11% 11% 29% Top challenge 2nd 3rd Quelle: Gartner 2014 Q: What are your organizations's top 3 hurdles or challenges with big data? n=687 DOAG Hadoop & IT-Strategie Seite 17

18 Unser iteratives Vorgehensmodell zur Einführung von Hadoop umfasst vier Kernphasen. Phasenmodell Orientierung Ziele und Potentiale festlegen Umfeld und Machbarkeitsanalyse Ergebnis: Roadmap und Business-Case Phase 0 Aufbau Infrastruktur Prototyp Initiierung Interdisziplinärer Teams (OpsDev) Agile Vorgehensweise Ergebnis: Projektreadyness hergestellt Optimierung Umsetzung Rollout und Einbindung weiterer Unternehmensbereiche (Prozesse, Organisation) Advanced Analytics = Potentiale voll ausschöpfen Einfache Usecases Iterativer Anbindung weiterer Datenquellen/-typen Integration in bestehende BI- Lösungen DOAG Hadoop & IT-Strategie Seite 18

19 An folgenden Anwendungsszenarien soll veranschaulicht werden, wie durch die Einführung von Hadoop-Lösung nachhaltige, aber auch gleichzeitig innovative Assets geschaffen werden können. Strategische Personalentwicklung Volltextsuche nach Mitarbeiterskills Übersicht Skillverteilung Analyse Skillverteilung in Verbindung mit Auftragssystem Zentrales FiBu - Archiv Reduzierung Kosten bei der Archivierung geschäftsrelevanter Daten Einsatz klassischer Archivlösungen ist teuer Zugriff auf Informationen oft nur eingeschränkt möglich Umsetzung gesetzl. Anforderungen Überleitbarkeit und Erklärbarkeit von Steuerungsinformationen Stetig wachsende Datenmengen Knappe Ressourcen Kostenreduzierung DOAG Hadoop & IT-Strategie Seite 19

20 Zielsetzung: Transparenz über Skills und Potentiale der Mitarbeiter schaffen. Die Mitarbeiter Profile sollen durchsuchbar sein. Zusätzlich soll die Verteilung und die Korrelationen zwischen den Skills analysiert werden können. DOAG Hadoop & IT-Strategie Seite 20

21 Lösungsansatz: Mit der Hadoop Search API kann der Personalstamm performant analysiert werden, durch den Einsatz von SolR Cloud wird dabei ein hohes Maß an Flexibilität und Stabilität erreicht, was sich in geringen TCO widerspiegelt. WinSCP hdfs dfs -put MapReduceIndexerTool Hue Search Windows Fileserver CentOS Linux Filesystem HDFS Cloudera Search Solr Console REST API R:\Intern\ProfessionalServices\MA Profile SolrJ DOAG Hadoop & IT-Strategie Seite 21

22 Zielsetzung: Reduzierung Kosten bei der zentrale Archivierung geschäftsrelevanter FiBu-Daten zur Erfüllung gesetzlicher Anforderungen. Der Einsatz klassischer Archivlösungen ist teuer, der spätere Zugriff oft nur eingeschränkt möglich. Klassische Speichermedien (SAN, Storage, Tape) Datawarehouse Archivsysteme und optische Medien DOAG Hadoop & IT-Strategie Seite 22

23 Lösungsansatz: Zentrale Archivierung mit Hadoop durch Replikation der im Core-DWH gehaltenen Daten und sukzessiver Ausbau zur Big Data Integrations- und Analyticsplattform. DWH Hadoop - Archiv Analytics QuickWin: Reduzierung Storage-Kosten SAP Marktdaten DMS In Memory Mehrwert/Potentiale: Investitionssicherheit bestehendes Core-DWH Ausbau zur BigData Integrations- und Analyseplattform Je mehr Daten, desto höhere Analysemöglichkeiten Mehrwert DOAG Hadoop & IT-Strategie Seite 23

24 Zielsetzung: Reduzierung Kosten bei gleichzeitiger Umsetzung gesetzlicher Anforderung. Die Überleitbarkeit und Erklärbarkeit von Steuerungsinformationen stellt bei wachsenden Datenmengen und zur Verfügung stehenden Ressourcen Finanzinstitute heute vor immer größere Herausforderungen. DOAG Hadoop & IT-Strategie Seite 24

25 Lösungsansatz: Ergänzung DWH durch den Aufbau eines Hadoop ODS und damit... Kostenreduzierung durch die Ablösung von Point-to-Point Verbindungen bei gleichzeitiger Erhöhung der Qualität im Reporting. DOAG Hadoop & IT-Strategie Seite 25

26 3. Zusammenfassung und Fazit

27 Um künftig als Unternehmen erfolgreich am Markt agieren zu können, müssen wir bereit sein neue Wege durch unbekanntes Terrain zu gehen. Der Spagat zwischen Innovation und Kostendruck, ist die Herausforderung und Hürde Mit dem Einsatz von Hadoop werden klassische DWH s nicht überflüssig sondern sinnvoll ergänzt Für Big Data gilt Think Big, think out of the box but start small DOAG Hadoop & IT-Strategie Seite 27

28 Metafinanz unterstützt Ihre Kunden bei Einführung von Hadoop end-to-end: Von Entscheidung und Konzeption bis hin zu Einführung und Optimierung. DECIDE PLAN BUILD OPTIMIZE metafinanz ist herstellerunabhängig, erfahren, kompetent, zuverlässig und lieferfähig metafinanz Consulting Leistungen rund um Data Warehouse und Enterprise Information Management Businessanalyse, Systemauswahl und Integrationskonzept Gesamtheitliche IT Architektur Strategie und Designkonzeption (IT Strategie) Customizing von Big Data Lösungen für Ihre besonderen Business Anforderungen (Zukunftsfähigkeit) DWH Configuration & Optimierung für mehr Leistungsfähigkeit (Effizienzpotential) Vorstudie Hadoop-Strategie DWH Cost Savings Dokumentenverarbeitung Identifikation Use Cases Tool-/Distributor-Auswahl & Architektur Projekt- und Betriebs-Setup Data Mart Offload (hist. Daten) ETL-Offload: Staging Calculation Offload Dokumentenarchivierung Volltextsuche Textanalyse Log-File-Analysen Click-Stream-Analyse Web-Anwendungen Security Analytics (Server-Logs, Firewall-Logs, ) DOAG Hadoop & IT-Strategie Seite 28