IBM DB2 & Business Intelligence Lösungen für Data Warehouse (DWH) durch Information Integration

Transkript

1 IBM Software Group IBM DB2 & Business Intelligence Lösungen für Data Warehouse (DWH) durch Information Integration Wien, März 2007 Gerald AUFMUTH Technical Presales / IT-Specialist für DB2 & Informix / BI-DWH / II / MDM SW Group Austria CEMAAS EMEA NE Gerald_Aufmuth@at.ibm.com 2006 IBM Corporation

2 Agenda 1. Data Warehousing & Reporting 2. Information Integration (Extract-Transform-Load / Replikation / Föderation) 3. Master Data Management Seite 2 Okt. 2006

3 Clients face many Information on demand challenges 60% + of CEOs: Need to do a better job capturing and understanding information rapidly in order to make swift business decisions Only 1/3 of CFOs believe that the information is easy to use, tailored, cost effective or integrated 79% of companies: have 2 + repositories 25%: have % of information is unstructured 17% of IT Budgets Spent on Storage HW, SW, People Products s Trx. Reports Customers Employees Orgs. Databases Documents Financials Media Partners Web Content 48 disparate financial sys. and 2.7 ERP sys. in the average $1B company 30-50% of design time is copy management 30% of people s time is spent searching for relevant information 37% CGR Disk Storage Growth Terabytes Disk Storage in 2005 Sources: IBM & Industry Studies, Customer Interviews 40% of IT budgets may be spent on integration Seite 3 Okt. 2006

4 Information on Demand - Information als Service Weiterentwicklung von projektbasierter zu flexibler Architektur (SOA) Tools & Anwendungen Dashboards In-line, Echtzeit Prozesse Erkenntnisse Insight Integrierte Entwicklungs -umgebung Informationsgrundlage für e-learining Grafische Abfragen Nutzung von MS-Office Daten & Content Plattform zur Informationsweitergabe Geschäfts- Kontext Einsichten und Beziehungen Neue Benutzerkreise erschließen Standard-basierend Information als Service Optimieren, Virtualisieren, Integrieren, Beschleunigen Integration von Datenquellen und Systemen Heterogene Anwendungen & Informationen Extrahiert oder Echtzeit DB2 Informix IBM Content Manager MS SQL Oracle und mehr Seite 4 Okt. 2006

5 Information On Demand Changes the Game Business Value Innovative Use of Information Drives New Business Value Information On Demand Business Insight from Information Employees Can Find the Data They Need Adaptive Business Performance Information-Enabled Business Innovation XML Information to Support New Business Processes Information In Business Context Operations & Reporting Information to Manage the Business Basic Information Interaction Data to Run the Business Focus on Data And Reporting Older Generation Maturity of Information Use Seite 5 Okt. 2006

6 Information Management Investitionen Zugriff, Speicherung, Verwaltung, Analyse, Integration & Verteilung Informations Management Mehr als nur Datenbanken Database Servers & Tools OLTP & Analytische Anwendungen High Performance & Scale Hoch Verfügbarkeit, Sicherheit Platform Optimierung Reduzierte Administration durch Automatisierung Informix Dynamic Server, DB2 Universal Database, IMS, Cloudscape, U2 Erweiterte Analyse Data Warehouse Daten & Text Mining Suche, Web Crawling Integriertes OLAP Internet-Reporting DB2 Alphablox, QMF, DB2 Cube Views Information Integration Heterogene Föderation, Replikation, Datenplazierung Verbundene Suche XML-Integration WS DataStage, WS Information Integrator Enterprise Content Mgmt. Optimiertes Ressourcen Management für Rich Content Digital Rights Management e-records Management DB2 Content Manager, DB2 CommonStore Archivierung SAP Archivierung Data Management Tools Kostenreduzierte Administration durch Automation & Tools DB2 Performance Optimizer, DB2 Query Patroller 13,000 Partner 40,000 Anwendungen Seite 6 Okt. 2006

7 IBM Information Management Software Bietet einen höheren Nutzen als traditionelle Repositorys Informationen On Demand auf der Basis einer serviceorientierten Architektur bereitstellen Kein anderer Hersteller bietet ähnlich breite und tiefe Fähigkeiten sowie umfangreiche Produktpalette Daten Services DB2, Informix, IMS, Cloudscape, U2 Tools #1, #2 im Markt 450,000+ Kunden Content & Discovery Services Content Mgmt. & Integrations Services Discovery Services #1 im Markt 13,000+ Kunden Informationsintegrations Services Qualitätssicherungs Services Transformations Services Föderations Services Metadaten Services #1 im Markt 5,000+ Kunden Geschäftsinformations Services Master Data Management Entity Analytics Information Warehousing Anpassbare Dashboards Branchenspezifische Datenmodelle Führend am Markt 1,000+ Kunden Seite 7 Okt. 2006

8 Warehousing and Analytics Lifecycle Data modeler Architect Warehouse administrator IDEAL Combined roles Common tools/vendor Integrated environment Faster time to value consistency TODAY Many different roles What if analysis Reporting analyst OLAP developer Different tools/vendors Silos of analytic data Prolonged deployment cycle Seite 8 Okt. 2006

9 The Enterprise Data Warehouse Environment BI Apps Application Application Application Application Application Data Marts (LOB Apps) Atomic Data (normalized) ODS / Staging Layer Operational systems Extreme Scalability via Shared Nothing Architecture ETL EDW Advanced Query Optimization Materialized Query Tables (MQT) optimizes aggregation operations Multidimensional Clustering (MDC) for fast data access Sophisticated Workload Management with Query Patroller (QP) Ease of Administration Low Cost of Ownership Seite 9 Okt. 2006

10 IBM Information Management IBM Moves the Database Goalposts Innovative Technology Most Comprehensive Information Management Vendor In The Industry Database & Content Mgmt., Business Intel., Info. Integration R&D: 3,000 Strong; 6 Labs Patent & Open Standards Leader 7 Acquisitions since 2001 Strong Market Acceptance 450,000+ Worldwide Customers 12,000+ Content Mgmt Customers Leading Share in Database* & Content Management* Leadership positioning by Gartner & META Group in BI, CM, II*** IBM #1 In Database Market Share* Others Microsoft Oracle IBM Strong Client Relationships Over 450,000 Clients 95% of the Fortune % of the Fortune 500 Broad Industry Coverage**** 86+% Insurance 70+% Retail, Fortune 1K Banking, Telecom, Utilities, Wholesale Business Intelligence Content Management Information Integration Strong Partnerships Partners Influence Over 40% of Information Mgmt. Revenues Over 40,000 Applications Over 13,000 Partners Winner! 2005 CRN Channel Champions Awards Winner! VARBusiness 2004 Annual Report Card * Dataquest, 2004; ** Dataquest 97-04;***Gartner & META Group Publications, 04;****IBM Analysis of Fortune Magazine Fortune 1000, 2004 Seite 10 Okt. 2006

11 DB2 - The Upscale (BI) Engine DB2 UDB for zlinux DB2 UDB AIX, Solaris, HP-UX Windows 2000/XP/2003 Linux, Linux/390 z/os, OS/400 PalmOS, WinCE, EPOC bit servers DB2 Data Warehouse Edition AIX, Solaris, Linux Windows 2000/XP/2003 Workgroup Edition Everyplace Seite 11 Okt Personal Edition Enterprise- Server Edition Small & Medium Business, departmental, test, & developer systems ESE + DPF Large Businesses Multi-terabyte clustered data warehouses Scalability Parallel Support Extensible Engine Function & Feature Rich Open Enterprise Solution DB2 UDB for z/os for VM/VSE for iseries AIX, Linux, Windows, AIX, Linux, Windows, Solaris, HP/UX Solaris, HP/UX zseries, iseries zseries, iseries

12 DB2 9 TPC-C Results Der Gewinner ist DB2 9 Viper enjoying the ride on SLES10 Linux. Date Submitted Company System tpmc Price/t pmc System Availability Database Operating System TP Monitor Cluster 09/19/06 IBM System x , U S $ 11/30/06 IBM DB2 9 SUSE Linux Enterprise Server 10 for Intel EM64T Microsoft COM+ N 09/13/06 HP ProLiant BL480c Server Blade 147, U S $ 11/01/06 Microsoft SQL Server 2005 x64 Enterprise Edt. SP1 Microsoft Windows Server 2003 Enterprise x64 Edition SP1 Microsoft COM+ N 08/08/06 IBM System p ,033, U S $ 12/20/06 IBM DB2 9 IBM AIX 5L V5.3 Microsoft COM+ N 08/01/06 Hp Integrity rx , U S $ 12/01/06 Oracle Database 10g Enterprise Edition HP UX 11.i V2 64 bit BEA Tuxedo 8.0 N 07/18/06 HP Integrity rx , U S $ 12/01/06 Microsoft SQL Server 2005 Enterprise Itanium Ed. Microsoft Windows Server 2003 Enterprise Edition SP1 Microsoft COM+ N 06/30/06 PowerEdge 2900/3.0GHz/4M 65, US $ 06/26/06 Microsoft SQL Server 2005 Standard Ed. Microsoft Windows 2003 Server Std Edt SP1 Microsoft COM+ N 06/26/06 HP ProLiant ML380G , U S $ 11/22/06 Microsoft SQL Server 2005 Enterprise x64 Edition Microsoft Windows Server 2003 Enterprise x64 Edition SP1 Microsoft COM+ N 06/23/06 IBM System p , U S $ 12/22/06 Sybase Adaptive Server Enterprise SUSE Linux 9 Microsoft COM+ N 06/12/06 IBM System x3950 8P c/s 340, U S $ 06/12/06 Microsoft SQL Server 2005 Enterprise x64 Edition Microsoft Windows Server 2003 Enterprise x64 Edition Microsoft COM+ N 05/22/06 HP ProLiant ML370 G5 SAS 3.0 GHz/4MB DC 169, U S $ 11/22/06 Microsoft SQL Server 2005 Enterprise x64 Edition Microsoft Windows Server 2003 Enterprise x64 Edition SP1 Microsoft COM+ N Seite 12 Okt. 2006

13 A Vision for Business Intelligence based on DB2 infrastructure OLAP (Cube Views), MQT Spatial Data Mining Federated & Replication HADR Automatic Summarized Aggregation Tables (AST) MQ ETL text search MDC XML DPF & Compression LBAC Analytical Applications SQL UDFs DB2 Engine Kernel Web Services Extenders Statistical Workbench Functions XML Stored Procedure Vertical Industry solutions PMML* SDK BI Tools * Predictive Model Markup Language Seite 13 Okt. 2006

14 DB2 9 (V9.1 Viper) Technology Overview More XML Support* Now native integrated and storaged in all factes of DB2 Easier Maintenance Automatic Memory Management Autonomic Storage Management Reduce installation complexity Multiple instances for maintenance 30 % lower DBA effort compared to competition Table Partitioning Logical (as before unique with MDC) & physical Range, Hybride More Security with Label Based Access Control (LBAC) SQL Features more optimized for SAP More SQL-based thoughts Database Design with larger Tablespaces Row Compression - Up to 70 % reduction of database size for SAP / Applications Up to 30 % faster for DWH (Data load, Query processing, response time) Seite 14 Okt * Für alle Edition extra zu erwerben Nur bei DWE kostenlos inkludiert sonst für ESE extra erwerbbar

15 Partitionierungsmöglichkeiten mit DB2 UDB LUW Physische Partitionierung Hash Partitionierung DB Partitionierung mit DB2 DPF Table Partitionierung (z. B. je Monat) Splittung auf mehrere physische Objekte Range or Data Partitionierung Hybrid Partitionierung durch mehrere Kombinationen Hash mit logischer Partitionierung Table mit logischer Partitionierung Range mit logischer Partitionierung Hash mit Table & Range (und eventuell zusätzlich logischer Partitionierung) Logische Partitionierung mit DB2 List Partitionierung (bestimmte Bereiche zusammengelegt) Range Partitionierung 1.MDCs (Ein- oder Mehrdimensional) innerhalb einer physischen Range 2.UNION ALL Views mit Constraints (z. B. Tabelle je Jahr/Quartal oder je Region/Bereich) Empfehlung max. < 36 Tabellen wegen Optimierung Bei OLTP-Anwendungen ist es zu vermeiden eine Splittung von zusammengehörigen Tabellen in einzelne Partitionen vorzunehmen! 3.Kombination von beiden Seite 15 Okt. 2006

16 DB2 Multidimensional Clustering Multidimensional Clustering Provides range partitioning on multiple dimensions Reduces need for indexing (including clustered indexes), reorganizations, and index maintenance Roll-in / roll-out improvements Can be used for query or transaction workloads Region Region Year Prior to MDC MDC Clustering in one dimension only clustering NOT guaranteed (degrades once page free space is exhausted) With MDC Clustering guaranteed! Smaller indexes Faster query response Simple definition syntax Fast roll-in & roll-out East East NorthSouthWest Year Seite 16 Okt. 2006

17 DB2 9 Performance & Compression Example 42% Faster Compression Arten: V8.1 Nullwerte V8.2 Backup V9.1 Rows / Columns Few Tables or Database Seite 17 Okt. 2006

18 DB2 9 Compression Example 79% Smaller 78% Smaller 81% Smaller 81% Smaller SALES Fact Table PRODUCT Dimension Table Seite 18 Okt. 2006

19 Concepts & terminology Shared-nothing Software concept: ability for an application (DB/ETL/ ) to parallelize a single task by processing subset of data Massively Parallel Processing (MPP) Hardware concept: set of servers/nodes, communicating using high speed network, on which runs a shared-nothing application (DB/ETL/ ) Cluster MPP configuration in which nodes share disk sub-system. When a node fails, a node having physical access to the disk of the failed node can take over Scalability Capacity of the architecture to grow: Scale-up: grow by adding components to a single node Scale-out: grow by adding more nodes Linearity Linear scaling: measure of efficiency: increasing resources will linearly increase performance Seite 19 Okt. 2006

20 Magic Quadrant: A Leading Product Information Management Seite 20 Okt. 2006

21 Nutzenaspekte DB2 UDB Linux/Unix/Windows (LUW) Minimierung der Wartungskosten von Datenbanken Reduzierung der Erstellungszeiten von Anwendungs-Systemen Verbesserung von Lade- und Antwortzeiten Einfache Adminstration der Datenbank durch unterstützende Werkzeuge und integrierte Funktionalitäten Bei Plattformwechsel kein neuer Skill erforderlich Hohe Ausfallsicherheit Einfache Steuerung und Wartung Möglichkeit der Überwachung und Automatisierung Skalierbarkeit von Datenmengen und Benutzeranzahl Flexiblität bei Änderungen in der Organisation oder dem Datenmodell Keine teilweise jährlich steigenden Kosten in der Wartung wie bei Oracle-Systemen Einheitliche Datenlandschaft, keine Migration, einfache automatische Zugriffe und damit einfache Administration Alle Daten sind aus einer zentralen Stelle über eine Data-Warehouse-Landschaft auswertbar und recherchierbar Versionsumstieg frei wählbar mit garantiertem weltweitem Support und Service Seite 21 Okt. 2006

22 HADR Vorteile IBM Software Group DB2 Information Management Software Sehr schnelle Übernahmezeiten (ohne Instance Restart) Datenbank aktiv 24 * 7 Stunden verfügbar vorgewärmte Puffer auf der Sekundärdatenbank Kein Datenverlust Automatisches Client Reroute Failover in Sekunden Applikation OS Unterstützung für unterbrechungsfreie Upgrades Betriebssystem und Datenbank HADR Verbund während des Upgrades stoppen Wechseln der Rollen (Primär Sekundär) Automatische Resynchronisation DB Server OS DB Server OS Einfache Konfiguration / Administration Design-Ziel: Make it easy make it work Geringerer Netzwerk - Bandbreitenbedarf als Plattenspiegelungen HADR repliziert Logs Plattenspiegel replizieren Daten und Logs DB primär Rechner HADR DB Secondär Rechner Mehrere Betriebsarten möglich (ohne Extrakosten) Asynchronous Near-synchronous Synchronous Rechenzentrum Ausfallzentrum Seite 22 Okt. 2006

23 Herausforderung an Business Performance Manager benötigen einen einzigen, integrierten und flexiblen Prozess (einheitliche definierte Standards & Geschäftsregeln), um die Performance zu steuern, planungsanalytische Strategie(modell)- Entwicklung und die Verantwortlichkeiten in einer Organisation zu lenken um damit den Gesamtzustand des Unternehmens zu verbessern. Sämtliche Daten von Kunden, Produkt, Finanz, etc. werden dabei zusammengeführt, organisiert und analysiert sowie die daraus entstandenen Ergebnisse als Reports verteilt. Key Performance Indikatoren werden überwacht und bei außergewöhnlichen Ereignissen frühzeitig benachrichtigt bzw. dienen der Budgetierung. Seite 23 Okt. 2006

24 IBM Software Group DB2 Data Management Software IBM Software Group DB2 Information Management Software Vom Data Warehouse zum Information Warehousing Das Information Warehouse stellt alle benötigten Dienste einheitlich bereit Information Warehouse SOA Integration Industry Datenmodelle & Lösungen Master Data Management ETL Mining Integriertes Data Warehouse Enterprise Data Warehouse OLAP In-Line Analytics Entity Analytics Seite 4 24 Okt Infrastruktur DB2 & IDS / DWH für / II das / MDMDWH Copyright 2006 IBM Corporation 2006

25 Unternehmenserfolg durch folgende Analysen: Internationale Märkte Identifizieren von Kunden Kundensegmentierung Langfristige Bindung der Kunden Prognosen Trends / Verhaltensmuster Gezieltes Marketing Forschung Metriken mit Ursache-Wirkung-Beziehung Gesetzliche Vorschriften Compliance Verdrängungswettbewerb Kostendruck Unternehmensplanung Optimiertes Risk Management Betrugserkennung Portfolioanalyse/-gestaltung/-kontrolle Performance Measurement Wertschöpfung Profitabilität Deckungsbeitragsrechnung Seite 25 Okt. 2006

26 Zukunftsorientierte Informations-Architektur Anforderungen des Marktes an BI Planung & Modellierung Balanced Scorecard Basel II & neue Herausforderungen Reporting-/Analyse-/Anzeige- Werkzeuge Single Version of Truth Realtime Knowlege Offenheit für neue Anforderungen Offenheit für neue Tools Steuern / Überwachen Automatisieren OLAP Funktionen Data Warehouse Mining Funktionen Befüllung / Transformation / Extrakt Quellen DB2 Oracle Externe IMS VSAM Daten XML MS-SQL File-Based wie EXEL Anwendungen Informix SAP Notes MQ Erfüllung von Standards Erfüllung gesetzlicher Vorgaben (Basel II, Rating, Kundenprofileanalyse) Integration aller Informationen Verschmelzen von ETL und EAI Generelle IT- & Finanz-Konsolidierung Risiko- & Wissensmanagement Optimierung und Kontrolle der Organisation eines Unternehmens Zentrale Stammdatenverwaltung Vereinfachtes Reporting mit Security Seite 26 Okt. 2006

27 Anforderung an die Informations-Architektur Planung & Modellierung Balanced Scorecard Basel II & neue Herausforderungen Reporting-/Analyse-/Anzeige- Werkzeuge Steuern / Überwachen Automatisieren ENTSCHEIDUNG Aus- & Bewertung OLAP Funktionen WISSEN Data Warehouse Mining Funktionen Informationen Befüllung / Transformation / Extrakt Quellen DATEN DB2 Oracle Externe IMS VSAM Daten XML MS-SQL File-Based wie EXEL Anwendungen Informix SAP Notes MQ Anforderungen an die Lösung Heute setzen Unternehmen durchschnittlich 3,2 BI-Tools von unterschiedlichsten Herstellern und 13 BI-Tools insgesamt ein. Dabei werden im Durchschnitt fast 3 Werkzeuge für das Online Analytical Processing (OLAP) und das formatierte Standardberichtswesen, 2 für Dashboard-/Scorecard- Lösungen, 2 Abfrage-/Reporting- Tools und 1,5 Werkzeuge für Data Mining sowie Planung und Geschäftsmodellierung eingesetzt. Eckerson Wayne / Enterprise Business Intelligence: Strategie & Technologies for Deploying BI on an Enterprise Scale. The Data Warehouse Institute (August 2005) Seite 27 Okt. 2006

28 IBM Business Intelligence Data Warehouse Architektur Data Warehouse Management & Administration Data Mining Data Cleansing Front End, Portal, Reporting Data Warehouse Analysis Extract, Transformation und Load Meta Daten Management Interne und externe (Kunden-) Daten Seite 28 Okt. 2006

29 DWE v9 Conceptual Architecture Anforderungen an die PlattformSolution Templates (Banking, Retail) Integrated Skalierbarkeit platform for in Datenmenge warehouse-based analytics in Benutzeranzahl Componentized architecture Kalkulierbare Performance Shared Verfügbarkeit Tooling & Metadata Shared Run-time Infrastructure vermeiden ungeplanter Ausfälle einfache Wartung Web-based embedded analytics Aktualität Integrated Data Modeling, OLAP, der Daten Data Mining, Warehousing Tool der Analysen Offenheit für neue Geschäfts-Anforderungen für neue ergänzende Tools Warehousing Tool Design Studio (Eclipse) Admin Console (Web) Mining OLAP BI Infrastructure* In Line Analytics DB2 UDB for Linux, Unix and Windows * Data Warehouse and Analytics Infrastructure (WebSphere Application Server) Seite 29 Okt. 2006

30 DWE OLAP Model full integrated DB2 Engine CUBE MODEL CUBE Metadata in DB2 Cube dimension Cube hierarchy Cube Level Facts Dimension Relationship Hierarchy Join Level Cube Facts Measure Measure Attribute Join Attribute dimension tables fact table dimension tables Relational tables in DB2 Seite 30 Okt. 2006

31 DB2 Cube Views: Model Once, Use Everywhere meta data bridge OLAP Metadata meta data bridge DB2 Alphablox OLAP Metadata OLAP Metadata Hyperion OLAP Metadata OLAP Metadata OLAP Metadata OLAP Metadata DML DDL RDBMS Metadata DB2 Cube Views DATA OLAP Metadata OLAP Metadata BUSINESS OBJECTS QMF for Windows DB2 OLAP Metadata DB2 Data Warehouse (zentraler Datenspeicher für alle Benutzer) OLAP Metadata Model and ETL tool metadata Seite 31 Okt Shared by all Warehouse Users EXCEL Plug-In Anwendungen BI tool metadata

32 What Are DB2 Cube Views? Multi-dimensional metadata inside DB2 Import/export for metadata exchange bridges oder Use Standard SQL for "rollup" reports DB2 optimizer query rewrite to MQTs Faster performance Faster cube load Faster drill through reports Faster hybrid analysis Faster Ad-hoc analysis Faster reporting Relational Multidimensional Wizard to design & generate "cube views" Multidimensional Query Tables (MOLAP, ROLAP) Super aggregate operators Grouping sets Roll up Cube Materialized Query Tables (MQT) Transparent optimization Multidimensional Clustering (MDC) More efficient indexing and storage of dimensional data Seite 32 Okt. 2006

33 DB2 Intelligent Miner - Modeling, Scoring, Visualization SQL Modeling Intelligent Miner Answers scores DB2 Data Warehouse PMML Model SQL Scoring Neural Nets Associations Time Series Radial Basis Decision Trees Regression clusters predict ions Outliers Decisions PM_usage multi_lines wireless_rm T_rev98 call_card.47 MM_usag e multi_lines ISP_usa Call_waiting wireless_3t.44 MM_usag e T_rev98 Call_waiting call_card PM_usage.43 visualize res_bldg ISP_amt call_card ISP_amt wireless_3t MM_usag e Sys_rx_ft T_rev98 multi_lines Rtx rural_zip wireless_rm ISP_amt PM_usage call_card.29 Call_waiting multi_lines PM_usag e MM_usag e ISP_amt.27 MM_usag e T_rev98 rural_zip multi_lines PM_usage.19 Seite 33 Okt PMML = Predictive Model Markup Language

34 DB2 Cube Views Enhancement Summary Alphablox and Partner Tools AlphaBlox Cubing Engine Enhanced Metadata Improved logical modeling for Alphablox and Partner Tools Enhanced Schema Support DB2 Cube Views Improved mapping to robust warehouse schemas Enhanced Optimization Better BI Query Performance DB2 OLAP Metadata Seite 34 Okt. 2006

35 DB2 Alphablox IBM Software Group DB2 Information Management Software Interaktive Präsentation von Daten J2EE Framework und Entwicklungsplattform Komponenten für analytische und Warnfunktionalität Hohe Einsparung bei der Definition und Entwicklung Present Analyze Access Alert Der Baukasten für Ihre Servlets im Portal Individuelle Lösung Seite 35 Okt. 2006

36 The Integrated Data Warehouse The ideal Solution Solution Templates (Banking, Insurance, Telco, Retail) Eclipse-based Integrated Design Studio Data Architect BI Designer DBA Data Modeling SQL Warehouse Tools Data Mining OLAP Enablement In-Line Analytics BI Specialist BI / Data Warehouse & Analytics Infrastructure (WAS) Web-based Administration Console DB2 UDB ESE w/ DPF & Query Patroller Integrated platform & componentized architecture for warehouse-based analytics Shared Tooling & Metadata & Run-time Infrastructure Web-based embedded analytics Integrated Data Modeling, OLAP, Data Mining, Warehousing Tool Seite 36 Okt. 2006

37 Operational systems IBM Software Group DB2 Information Management Software The DB2 Portfolio for Business Intelligence V9 Information Extract, Server transform, load ETL metadata DB2 Design Studio SQL-Warehousing Rational Data Architect Enterprise Data Warehouse ODS DB2 DB2 z/os DB2 ESE & DPF Query Patroller Line of Business Data Marts DB2 Cube Views DB2 WS(U)E End User Tools Applications Extensions ISV Partners DB2 Intelligent Miner Spatial Extender QMF Alphablox & WAS Seite 37 Okt. 2006

38 Data Warehouse Enterprise Edition Components Data Modeling Eclipse-based Integrated Design Studio SQL Warehouse Tools Data Mining OLAP Enablement Web-based Administration Console DB2 UDB ESE w/ DPF & Query Patroller In-Line Analytics BI / Data Warehouse & Analytics Infrastructure (WAS) DWE Design Studio RDA physical Data Modeling Tool DWE SQL Warehousing Tool DWE Intelligent Miner DWE Cube Views DB2 Alphablox DWE Admin Console DB2 Query Patroller DB2 Data Partitioning Feature DB2 Enterprise Server Edition DWE Integrated Installer WebSphere Application Server Seite 38 Okt. 2006

39 Data Warehouse Enterprise Edition DB2 Cube Views DB2 Alphablox DWE Intelligent Miner DWE Admin Console DWE Design Studio Komponenten DB2 Enterprise Server Edition DWE Integrated Installer Rational Data Architect Plug-ins DWE SQL Warehouse Tool DB2 Performance Optimization Feature DB2 Data Partitioning Feature WebSphere Application Server Reporting Front End Information Einfache, schnelle, skalierbare, zentrale, zuverlässige und führende Datenbank Integrierte OLAP Engine für relationale und multidimensionale Datenmodelle Integriertes Tool für Modellierung, Scoring und Visualisierung von (Cluster)-Analysen Zentrale Verwaltung der Administration Eclipsebasierte Zentrale für Steuerung & Entwicklung Installationswerkzeug für alle Komponenten Physische Datenmodellierung für Re(verse)engineering ETL-Tool für Integration aller Sourcen Verwaltet Anfragen & verbessert damit Performance Shared Nothing Skalierbarkeit Zentraler Anwendungs-Server Seite 39 Okt. 2006

40 DWE Deployment Architecture Seite 40 Okt. 2006

41 SOA Reference Architecture Business Innovation & Optimization Services Facilitates better decision-making with real-time business information Development Services Interaction Services Process Services Information Services Enables collaboration between people, processes & information Orchestrate and automate business processes Manages diverse data and content in a unified manner IT Service Management Integrated environment for design and creation of solution assets Partner Services Business App Services Access Services Connect with trading partners Facilitates communication ESB between services Build on a robust, scaleable, and secure services environment Facilitates interactions with existing information and application assets Apps & Info Assets Manage and secure services, applications & resources Infrastructure Services Optimizes throughput, availability and performance Seite 41 Okt. 2006

42 IBM ist Marktführer in Information Integration Seite 42 Okt. 2006

43 Gartner EIM Reference architecture Business Process Composition Integrated Composition Technologies Business Services Repository Custom Applications Package Applications External Services MDM Customer Data Integration Product Content & Data Management Business Intelligence Applications Enterprise Content Management Information Integration Data Movement Data Enrichment Models Data Stewardship Data sourcing Data Services Data Transformation Content Integration Metadata Management and Semantic Reconciliation Schemas Repositories Standards Business Rules Search Data Access Data Quality Classification Across Transactional, Operational and Analytical Sources Customer Master Data Product Master Data Asset Master Data External Data Sources Enterprise Data Warehouse Across Structured, Semi-Structured and Unstructured Content Seite 43 Okt. 2006

44 IBM WebSphere Information Server Delivering information you can trust Information Server Information Services Director Understand Cleanse Transform & Move Federate Information Analyzer* Business Glossary* Data Architect QualityStage DataStage Replication Server Event Publisher Federation Server Metadata Server Parallel Processing Data Rich Connectivity to Applications, Data and Content Connect Content * Available in Beta since 07/2006 Seite 44 Okt. 2006

45 Information Services Integrating XML with Innovative Technology IBM Information Management SW Services Business services Industry / business process services Models Schemas Analysis & discovery services Contextual delivery Contextual understanding Contextual notification Analysis & discovery Statistical analysis Pattern recognition Text analysis Relationship analysis Content Services Document management Records management Web content Digital asset management Rights management Data Services Management services Query services Availability services Storage models & services Best practices, policies Maps Master data services Content services Master data integration services Report management Capture Image management & message archiving Information integration services Understand/analyze Transform Contextual presentation Prescriptive response Information Warehousing Multidimensional analysis Predictive analysis Spatial analysis Reporting Cleanse Federate Connect Security services Scalability services Performance optimization services Seite 45 Okt. 2006

46 What is Information Integration? Information integration refers to a category of middleware which lets applications access data as though it were in a single database, whether or not it is. 85% of information is unstructured. 42% of transactions are still paper-based. Process Integration Information Integration 30-50% of design time is copy management. Build to Integrate Application Connectivity 60% + of CEOs: Need to do a better job capturing and understanding information rapidly in order to make swift business decisions. User Interaction 30% of people s time: searching for relevant information. It enables the integration of data (structured) and content (unstructured) sources to provide real-time read and write access to transform data for business analysis and data interchange, to manage data placement for performance, currency, and availability. Seite 46 Okt. 2006

47 WebSphere Information Integrator Product Family Integrating diverse Business Information across and beyond the Enterprise Data Access or Data Movement Migration or Transition Co-existence or Renovation WebSphere Information Integrator Zugriffsquellen: Federation Read/Write Access across diverse Data and Content Stores Database Programming Model Content Programming Model Data Replication and Placement Consolidation and Synchronization across complex, multi-vendor IT Environments Caching and replication over heterogeneous information Event Publishing Capturing of Database Changes Formatting of captured Changes into XML Messages Publication of Messages into Queue Enterprise Search Indexing and Searching of heterogeneous Enterprise Data DB2, Informix, Oracle, SQL Server, Sybase, Teradata, XML, OLE DB, ODBC, IMS, VSAM, Message Queues, Web services, Flat Files, Document & Content Repositories, Classic Sources, WWW, Excel, Databases, LDAP directories and more Seite 47 Okt. 2006

48 Informations-Integration: Neudefinition der Datenbank Föderierter Zugriff zu diversen Daten DB2 UDB Alle Anwendungen oder Werkzeuge Ein zentraler Zugriffs-Punkt Für Benutzer und Anwendungen DB2 Family VSAM IMS Software AG Adabas CA-Datacom CA-IDMS Einheitliche Datenbanksicht WS II Classic Federation WS Information Integrator O D B C WS II Content Edition SQL, SQL/XML Federation Engine Wrappers and functions Sybase Informix SQL Server Oracle Others Open Text Documentum Teradata Stellent FileNet DB2 Content Manager Text XML Excel WebSphere MQ IBM Extended Search WWW, , ODBC Seite 48 Okt. 2006

49 WebSphere Information Integration Portfolio Enhancements Delivering accurate, consistent, timely, and coherent business information to people and processes OmniFind Usage Models Content, Standard or Advanced Edition, Classic Federation Standard APIs Serviceoriented DataStage, Replication Edition Scheduled Event-driven (Classic) Event Publisher, Content Edition Information Integration Services Platform Services ProfileStage, AuditStage, Information Analyzer* Find Federate Place Analyze Model Connect to Data & Content and Deliver Integrated Metadata Understand Business & Unified User Experience Rational Data Architect Enterprise Edition Parallel Execution Publish Cleanse Transform MetaStage, Business Glossary* QualityStage *New products In Beta Seite 49 Okt. 2006

50 Real-time Data Warehouse Parallel ETL BI Tool Query Patroller User Queries Message queues Replication Web services Seite 50 Okt Continuous Loading XML UDF ODS DB2 Warehouse MQ SP XML Information Integration Personalization Engines, Alerts, triggers, KPIs Aktuelle Aktienkurse und Wirtschaftsdaten Föderation Content Systems Consumers Corporate Dashboard Call Center Application

51 Information Integration Data Patterns EII EAI ETL SQL (or Content) Application Target / Data Warehouse Structured Data Source Data Virtualization Legacy Data Source unstructured Application Interpret Transform Route Application Data Source load transform extract Data Source Real-time information access Federation of data from multiple sources Dynamic drill down Semi-structured & unstructured data Process based integration of application data Message-based, transactionoriented processing Workflow and data orchestration, content-based routing Bulk data integration Set-based & hierarchical transformations High scale, batchoriented data delivery Seite 51 Okt. 2006

52 WebSphere Information Integrator measures very well against Oracle or Microsoft IBM wins against ALL competitors! Solution to feature / function WSII Oracle Metamatrix Microsoft Full set of SW development tools Own their technology SQL based applications Can update relational data sources Includes replication Full non-mainframe platform support Data caching Heterogeneous replication source Heterogeneous replication target Unstructured data support Committed to federation Powerful optimizer No No No No No No No No No No No No No No No No No Mainframe legacy data federation Partner No BEA No No No No No No No Partner Composite No No No No Limited No Seite 52 Okt. 2006

53 Business Intelligence - Scenario Analyse & Planung Auswertung historischer und regionaler Produkt Performance über alle Lokationen. Evaluierung aktueller und historischer Plandaten sowie Inventurinformationen. Data Warehouse Region 1 Product Performance Seite 53 Okt Region 2 Product Performance Analytical & Reporting Tools Region 3 Product Performance Technische Lösung Laden & aggregieren historischer Produktionsdaten in ein integriertes Data Warehouse Zentral automatisch aktualisierte und synchronisierte Verwaltung von Metadaten, Bibliotheken und Kunden Transformregeln ohne Programmierung Unternehmensweit standardisiertes Analyse- und Reporting-tool Business Value Rascher time to market Investitionsschutz für bestehende Databank und Reporting Infrastruktur Anforderungszentralisierung

54 Risiko & Bewilligungen - Scenario Banken / Versicherungen Notwendigkeit konsistenter Risiko- Informationen entsprechend Basel II sichtbar und analysierbar über mehrere Operaterations-Einheiten. Bedarf an allen Risiko beeinflußenden Information aus (halb)strukturierten und unstrukturierten Quellen. Data Warehouse Trading Applications External Data Feeds Risk Analytics Supporting Documents Technische Lösung Aufbau einer formatunabhängigen zentralen allgemeinen Bibliothek aus integrierter Logik für den Konzern Alle Informationen in einem Query Laden und aggregieren historischer Risikodaten in ein integriertes analysierbares Data Warehouse Business Value Konsistente Risikobehandlung in allen Geschäftseinheiten Umfassende Risikoanlayse nach geregelten Anforderungen Rascher time to market für beschleunigte Abwicklung Seite 54 Okt. 2006

55 Unternehmensportale - Scenario Hersteller / Erzeuger Brauchen verteilte Information vom Produkt, Spezifikationen und Unterstützung vom Zulieferer. Benötigen zeiteinsparende Unterstützung zur Suche von Information über Daten und Inhalt. Applications Data Warehouse Partner Portal Documents and Images Technische Lösung Erzeugen eines Repositories fürs Unternehmen welches Produkt- und Handelspartnerinformation verbindet Erzeugen Schlüsselwort basierter Suchalgorithmen Integration von Daten und Kontent- Inhalten durch out-of-the-box Portale Business Value Reduktion time to market durch Rasche Portalentwicklung Steigerung von Qualität Produktivitätssteigerung durch Zeit-Reduktion zur Informationsfindung Kostenreduktion bei Portalanpassung Seite 55 Okt. 2006

56 Rationalisierung Infrastruktur - Scenario Finanzdienstleister Brauchen konsolidierte redundante Systeme als Ergebnis von Erwerb oder Fusionierungen von Banken und Versicherungen. Fordern raschest finanzumfassendes Unternehmensbild zur Koordination, Management und Kontrolle. Strategic Applications Legacy Applications Smooth Migration Analysis Tools Acquired Applications Technische Lösung Einheitliche, gemergte und konsolidierte Daten über alle Systeme geladen in ein strategisches Zeilsystem Erzeugen einer übersichtlichen virtuellen Geschäftssicht über alle Informationen sämtlicher Applikationen Nahtloser Übergang von Daten und Inhalten ins strategische Zielsystems ohne Auswirkung auf die Applikationen Business Value Komplette Integration & Datenlösung Schnelle unternehmensweite Sicht Geschäftskontinuität während den Transaktionsperioden und Migration Seite 56 Okt. 2006

57 Seite 57 Okt IBM Software Group DB2 Information Management Software Master Data Management - Scenario Einzelhandel Zusammenschluß von Lieferanten zur Verbesserung von Waren & Lieferung, Kundenerziehung sowie Kaufverhalten besser verstehen Fordern richtige, vollständige und konsistente Information über Kunden, Produkte und Lieferanten. Trading Partners Packaged Applications Data Warehouse Customer Touch points Paper forms, spreadsheets, , etc Technische Lösung Aufbau eines vergrößerten system of record für Handelspartner & Produkte mit wertvollen Zusatz-Informationen Erzeugen von zusammenpassenden Standardregeln Globale Daten-Synchronisation mit 100en von internen Systemen Informationsteilung mit Lieferanten Business Value Alle verfügbaren und wertvollen Informationen eingebunden Schneller time to market Zunehmende Einnahmen bessere Lieferantenverbindung mehr selbständige & ausgebildete Kunden

58 Geschäfts-Transformationen - Scenario Logistik Verbindung zu ausgelagerten und inhouse Warehäuser für einheitlichen Sichten. Behandlung unterschiedlichster Kundendatenformate sowie ein übergreifendes System für globale Nachforschungen. Technische Lösung Globaler Resourcen-Katalog für Zusammenschluß von logistischen Management-Applikationen Verbinden ausgelagerter Systeme durch integrierte Datenumwandlung Verwalten globaler Nachfragen und Ergänzungen über ein virtuelles Daten- Repository Business Value Raschere Servicelieferungen Applikationsinvestitionsschutz Eine einheitliche Kundensicht Regional Warehouse & Asset Systems Warehouse Applications Customer Requests Real-time on demand business Seite 58 Okt. 2006

59 ETL - WebSphere Data Integration Suite (ehemals Ascential) Discover Prepare Transform & Deliver Data Profiling Data Quality Data Transformation ProfileStage QualityStage DataStage Data Marts PeopleSoft Consumer Portals Siebel Oracle Financials SAP Legacy data IBM Systems IBM Talber/Somers/IBM Molly Talber DBA IBM Ms. M. Talber, IBM I.B.M. Corp Metadata Management MetaStage Usage & Tracking Enterprise Data Warehouse Operational Data Store DataStageTX Complex & Semi-Structured Forms, Dependent Rules, Industry Formats Seite 59 Okt. 2006

60 IBM Products for Master Data Integration Requirements Deployment Operation Capability Category phase 1 Capability Assessment phase 2 Blue Print phase 3 Data Assessment phase 4 phase 5 Data Alignment Data Harmonization phase 6 Data Integrity phase 7 Evaluation & Assessment Analyze Cleanse Transform* Place Publish Federate Find Synchronize Mg. Masterdata Profile & Understand Connect & Populate * Monitor Data Quality ** & Enrich ^ Match & Standardize WebSphere ProfileStage, AuditStage* WebSphere DataStage, QualityStage WebSphere QualityStage^ WebSphere II Event Publisher WebSphere II Standard & Content Editions WebSphere II OmniFind Edition WebSphere DataStage, DataStage TX, QualityStage, II Replication Edition Methodology binds process steps, skills and software to produce MDI deliverables WebSphere Business Integration, DataStage TX, II Replication Edition WebSphere MetaStage Seite 60 Okt. 2006

61 IBM MDM Market Position and Acceptance Master Data Integration Customer Data Integration Product Information Management November 2006 June 2006 May 2006 Source: Gartner Group IBM Information Server WebSphere Customer Center WebSphere Product Center Seite 61 Okt. 2006

62 Sind Stammdaten (Master Data) nicht korrekt oder sogar widersprüchlich, kann das viel Geld kosten Kunde: Marketing Verlust von Kundenloyalität durch Recht schlechten Service (75% der Unternehmen reporten Verluste***) Personal Entgangene Verkäufe** (3,5% p.a.) * Schätzungen für Retailer aus AMR 2005 [2] ** Schätzung aus AT Kearney [1] *** IBM interne Schätzung Verkauf POS Kunden Buchhaltung Kundenbeziehungen Administration Controlling Beispiele für das KPI Modell und ausgewählte Business Cases in: CGEY-GCI 2005 [2] Produkte Organisation & Assets Beschaffung Lieferantenbeziehungen Lieferanten Produktion Lieferant: Produkt: Zu Zulange und teure Entwicklungs- und Einführungszyklen (z. (z. B. B. Retailer >80% Reduktion möglich*) Zu Zuhohe Transport- und Handlingskosten Logistik Fehlende Produktverfügbarkeit Auftragsmanagement Rechnungsstellung Beschäf- tigte Stammdaten Zu Zuviele Lieferanten (Senkung um 80% möglich***) Zu Zuschlechte Einkaufskonditionen Zu Zuhohe Kosten bei Neueinführung Lieferant (30%***) Fehler in in Aufträgen, Lieferungen, Wareneingängen, Rechnungsstellung (10%-20% Rückgang in in Retouren*, 26%***) Seite 62 Okt. 2006

63 MDM Data Modeling Master Data Governance, Stewardship and Change Mgmt. ETL Composite Applications / SOA Business Process and Workflow Industry Solutions and Accelerators Content Management Master Data Management Product Party Item Asset Part Materials Bill of Materials Item Location Price/Trade Terms Information Integration Master Data Integration Services EAI Master Data Modeling Customer Employee Supplier Consumer Partner Applicant Citizen Business Intelligence EII Entity Analytics Branchenspezifische Referenzmodelle Insurance Banking Retail Telco,... Data Architect Seite 63 Okt. 2006

64 IBM MDM & CDI Gain Control over Comprehensive Master Information and Business Processes Master Data Management Industry Solutions Industry Frameworks (IFWs) Data Models Process Models Banking / Insurance / Healthcare / Government / Telecommunication / Manufactoring Master Data Management Systems WebSphere Product Center (WPC) WebSphere Customer Center (WCC) Kontaktdaten, Organisationsstruktur Konten & Hierarchien samt Historie Entity Analytics & Global Name Recognition Master Data Integration Information Server The information integration capabilities necessary to solve the broadest range of MDM implementation and ongoing operational challenges across any industry, business function and scope of business data Master Data Governance, Stewardship and Change Mgmt. Business Process and Workflow Content Management ETL Composite Applications / SOA Industry Solutions and Accelerators Master Data Management Product Party Item Supplier Part Materials Bill of Materials Item Location Price/Trade Terms Entity Analytics & GNR Information Integration Master Data Integration Services EAI Master Data Modeling Customer Employee Supplier Consumer Partner Applicant Citizen Business Intelligence EII Seite 64 Okt. 2006

65 WebSphere Customer Center / WebSphere Product Center Kunde Lieferant Mitarbeiter Contact/Support & Call Center Mobiler Self-service Web Self- Service Händler Direktvertrieb Real Time Analytics Data Warehouse Product Legacy Application Einheitliche Kunden- / Produktsicht Seite 65 Okt. 2006

66 IBM Entity Analytics Solution / Global Name Recognition Ermittlung bekannter Partner und Beziehungen Seite 66 Okt. 2006

67 Entity Analytics vielfältige Anwendungen Überwachung gesetzlicher Vorschriften Geldwäschegesetz Kreditsicherung Sarbanes Oxley Innere Sicherheit Terrorabwehr Strafverfolgung Behördenübergreifende Zusammenarbeit Erkennung der Identität ein wichtiger erster Schritt Betrugserkennung Versicherung (Schaden) Kreditkarten Kreditwesen Steuer, Sozialleistungen Insidergeschäfte Spielcasinos Kundenbeziehung/CRM eindeutige Zuordnung Kundenbeziehungen erkennen Adressbereinigung Kontaktdaten Seite 67 Okt. 2006