Information Integration in Zeiten von BigData mit IBM Information Server 9.1. Christian Lenke IBM Software Group InfoSphere Specialist

Transkript

1 Information Integration in Zeiten von BigData mit IBM Information Server 9.1 Christian Lenke IBM Software Group InfoSphere Specialist

2 Trusted Data Bereitstellung zuverlässiger Informationen transaktionale & kollaborative Anwendungen Integrieren Analysieren BI, analytische Anwendungen Verwalten Stamm -Daten Marts Daten Data Warehouse Würfel Big Data Externe Daten- Quellen Inhalte Streams Governance Daten- Qualitä t Standard, Modell, Organisation Lebens -zyklus Sicherheit & Datenschutz 2013 International Business Machines Corporation 2

3 Umfassende Vision für Datenintegration und Governance transaktional Data Warehouse Hadoop Streams Web Logs bekannte Quellen Mainframe Data strukturiert wiederholbar linear Information Integration & Governance unstrukturiert forschend schrittweise Social Data Text & Images OLTP System Data Sensor Data ERP data Traditional Sources New Sources RFID International Business Machines Corporation 3

4 Information Server 9.1 Hadoop Connectivity Any to Big Data Ich muss traditionelle Datenquellen in mein Hadoop- System laden, um meine analytischen Modelle zu fahren. Any ETL Big Data to Any Ich muss die neuen Erkenntnisse aus meinen unstrukturierten BigData Systemen zurück in meine Anwendungen und Warehouse-Systeme laden, damit die Ergebnisse einfach konsumierbar sind. Big Data Hub Ich muss Informationen transformieren und bereinigen, um sie für analytische Zwecke (wieder-) verwenden zu können, ohne täglich Tbs an Daten in meinem Netzwerk bewegen zu müssen. ETL ELT Any 2013 International Business Machines Corporation 4

5 Information Server 9.1 BigData Connectivity Weiterentwicklung des Big Data Investments in Information Server, dass in V8.7 mit der Hadoop Data File System (HDFS) Integration begonnen hat Aufruf von Big Insights und anderen MapReduce Jobs über den DataStage Job Sequencer, um DataStage und Hadoop in einem End-to-End Workflow zu kombinieren. Entwurf von MapReduce-Abläufen im DataStage Designer mit Standard Stages was die Option einräumt, BigData Quellen mit Hadoop-Methoden zu transformieren. Direkte Datenfluss-Integration zwischen InfoSphere DataStage und InfoSphere Streams um die Reichweite und Funktionalität beider Plattformen zu kombinieren Metadata und Data Lineage Support für alle beschriebenen Use Cases International Business Machines Corporation 5

6 Information Server 9.1 BigData Connectivity Sequential File & BDFS Dynamic File Creation Job Logic wird von Datenwerten beeinflusst Neue Stage-Eigenschaft Generate Multiple Files generiert eine dynamische Anzahl an Ausgabe-Dateien basierend auf tatsächlich verarbeiteten Datenwerten ohne bereits im Job- Design mehrere Ausgaben vorzusehen oder den Ablauf bei geänderten Daten anpassen zu müssen. Java Integration Stage Framework für vielseitige Erweiterbarkeit Einfaches und hochperformantes Framework, um Java Code in DataStage-Abläufe zu integrieren. Darauf basierenden Assets werden benutzt, um neue NoSQL oder andere Big Data Datenquellen zu integrieren. InfoSphere Streams Integration Einbindung von Real-Time Big Data Direkte Datenfluss-Integration zwischen InfoSphere DataStage und InfoSphere Streams um die Reichweite und Funktionalität beider Plattformen zu kombinieren BDFS Stage BigInsight 1.4, Cloudera CH4.0 Cassandra, HDFS, hive, hbase, mongodb, und andere nosql Datenbanken InfoSphere Streams 3.0 JRules 7.1.x, 7.5.x, 8.0.x 2013 International Business Machines Corporation 6

7 Data Integration & und Governance in Zeiten von BigData Setzen Unternehmen BigData Systeme wie Hadoop für Berichtsund Analyseaufgaben ein, ist eine Datenintegrations-Strategie, die Datenqualitäts-Aspekte, Data Profiling, Metadaten, Data Lineage und Governance unterstützt, unerlässlich, um ermittelte Analyse- Ergebnisse nicht per se anzuzweifeln International Business Machines Corporation 7

8 Datenqualität Information Server Data Quality Console Web Dashboard mit aggregierten und mit Detail-Sichten Flexible Anzeige von Data Quality Exceptions aus unterschiedlichen Information Server Komponenten Data Profiling ETL Data Quality Möglichkeit, den Exceptions einen Bearbeiter, Status, Priorität zu, Drill-Down auf Datensatz-Ebene Definierte Rollen und Rechte bei der Bearbeitung 2013 International Business Machines Corporation 8

9 Data Governance und Metadata Management Kategorie: Kosten Term: Steuern Beschreibung: Steuern auf Brutto-Umsatz Status: aktuell Data Steward: Paul Müller Verwandter Term: Steuerpflicht Verwandtes Asset: UMSATZ_TBL Fördert die Zusammenarbeit zwischen fachlichen & technischen Teams Quelle: UMSATZ_TBL (DB2 Table) Ableitung: SUM(TAXAMT) Data Rule: TAXEXP > $1 ETL Job: TXExp Business Term: Steuern Information Server Business Glossary Common Metadata Repository Information Server Metadata Workbench 2013 International Business Machines Corporation 9

10 Neu: Zentrale Definition von Policies und Regeln Policies beschreiben Anforderungen an Information Governance Information Governance Rules beschreiben die fachlichen Erwartungen an Daten 2013 International Business Machines Corporation 10

11 Regeln: Angleichen von fachlicher Anforderung und IT- Implementierung Referencing Policy: Verknüpft die Regel mit der zugrunde liegenden Policy Implemented By: Zeigt di eoperationale Umsetzung der Regel Governs: Zeigt die Datenquellen, die der Regel entsprechen sollen 2013 International Business Machines Corporation 11

12 Dynamische Data Lineage Ermittlung und Anzeige Die Metadata Workbench ist die 'Linse' in das Metadata Repository. Über Suche und Baum-Navigation hat der Benutzer aus verschiedenen Dimensionen Zugriff auf alle Metadata-Assets der Installation. Mit dem sog. 'Data Lineage' kann man Abhängigkeiten analysieren und den Datenfluss über Jobs und Projekte hinweg visualisieren International Business Machines Corporation 12

13 Zwischenstand: Was ist IBM InfoSphere Information Server? Unterstützt unterschiedliche Projekt-Anforderungen DataWarehouse Datenakquisition Datenmigrationen, Datenkonsolidierung Metadata Integration Daten-Qualitäts Initiativen Enterprise Information Integration Information as a Service Unterstützt alle Phasen eines Datenintegrationsprojektes Modellierung, Analyse Data Quality Assesment Mapping, Spezifikation ETL-Entwicklung, Cleansing Information-Services-Deployment Scheduling, Monitoring, Operation Metadata Integration, komplettes Data-Lineage Linear skalierbar und performant Ausrichtung auf Geschäfts- und IT-Ziele 2013 International Business Machines Corporation 13

14 Weitere Release Highlights von IBM InfoSphere Information Server International Business Machines Corporation 14

15 Betrieb Workload Management Maximierung des Durchsatzes Definition von Policies, Obergrenzen und Regeln bezüglich der Ressourcennutzung (Memory, CPU), Priorisierung von Abläufen mit dem Ziel, den Durchsazu des Gesamtsystems zu erhöhen. Weiter verbesserte operationale Console Beschleunigte Überwachung und Reaktion Überblick über laufende und abgeschlossene Jobs und über System-Ressourcen, Zugriff Job-Informationen und auf das komplette Job-Log, Starten, Stoppen, Reset von Jobs wenn erforderlich. DataStage Director Client? Überflüssig. Transparente Sicht in die Abläufe innerhalb der ETL-Engine des Information Servers. Optimale Ausnutzung der zur Verfügung gestellten Hardware- Ressourcen. Analytische Betriebs-Reports Gain New Insight Vorgefertigte Cognos-BI-Reports über operationale Metadaten. Fertige und sofort nutzbare Dashboards und Statistiken für operationale Kennzahlen International Business Machines Corporation 15

16 Neu: Workload Management Erlaubt ein proaktives Management wenn mehrere Teams / Projekte eine gemeinsame Datenintegrations-Infrastruktur nutzen Optimiert Hardware Auslastung und priorisiert kritische Abläufe. Verzögerung von Abläufen wenn System-Ressourcen der spezifizierte Limit erreichen / überschreiten Spezifikation der Priorität eines Ablaufes. Konfiguration auf Projektoder auf Job-Ebene Manuelles Überschreiben durch priviligierte Administratoren um bestimmte Abläufe zu beschleunigen International Business Machines Corporation 16

17 Produktivität InfoSphere Data Click Data Mart laden mit nur 2 Klicks Neue Web-basierte UI erlaubt es analytischen Nutzern, Daten aus Datenbanken oder MDM-Systemen mit wenigen einfachen Klicks zu laden. Bei voller Governance und Laufzeit-Optimierung. XML Schema Views Focus auf das Geschäftsobjekt Neue XML Schema Views limitieren den Umfang eines komplexen XML-Schema-Baumes um den Design-Prozess zu verschlangen und zu beschleunigen und um den Parsing-Prozess zu optimieren. Neue Funktionen steigern die Benutzer- Produktivität. Fokus auf Vereinfachung in vielen Aspekten der aktuellen Version. Rational Team Concert Integration Steuerung und Sicherung von Integrations-Assets Erweitert die Liste der zertifizierten Source Control- und Asset Interchange-Lösungen um Rational Team Concert zur Optimierung der Zusammenarbeit in größeren Entwicklerteams und zur Qualitätssicherung des Deployment-Prozesses International Business Machines Corporation 17

18 Neu: Data Click! Kombination von Agilität & Governance Built-in Governance: Define and control scope & architecture Business Agility: get your data in just 2 clicks Built-in Governance: Review and manage environment & compliance 2013 International Business Machines Corporation 18

19 Expert Integrated Systems PureSystems Private Cloud Rapid deployment of optimized environments Neues System-Pattern für InfoSphere Information Server Enterprise Edition für den Einsatz in Private Clouds. Schnellstart durch einfaches Knopfdruck-Deployment. Auslieferung von Information Server für das schnelle Deployment in einer Private Cloud (Pattern für IBM Pure Application System) Stellt Daten-Integrations-, Datenqualitäts und Metadaten- Funktionen für Entwicklungs- & Testals auch für skalierbaren Produktionsumgebungen bereit Einheitliches Management Integrierte Expertise Umfassende Integration Einfache Bereitstellung um schnell mit dem Projekt zu starten und oder die Umgebung schnell zu skalieren 2013 International Business Machines Corporation 19

20 Danke für's Zuhören, Fragen bitte International Business Machines Corporation 20