BI 3 & smartdata / smartreasoning

Transkript

1 Business Intelligence requires Best Information requires Best Integration BI 3 & smartdata / smartreasoning Subthema: Komplexe Wechselwirkungen von Schema & Quality Dr.Siegmund Priglinger dr.priglinger consul3ng GmbH Wien & Hagenberg, 2014 s.priglinger@pup- consul3ng.at consul3ng.at smartdata.com In Planung: Experten erzählen (Anwender und Implemen3erer) 1

2 Business Intelligence requires Best Information requires Best Integration Business Intelligence Methdoen / Verfahren Stamm- /Daten- Qualität Models & Flow Ausbildung und Begleitung Einsatz- op3mierung und Monitoring Informa3ons- auzereitung & Entscheidungs- findung Konzep3on, Evaluierung Umsetzung Reifegrad- Assessment (Ist/Plan- Gap) Projekt- Programm & Planung Intelligent Analy3cs Product Life Cycle Werkzeuge Customer Life Cycle TASKFORCE & WISSENSVERBUND - UNSERE ERFAHRUNG FÜR IHREN ERFOLG 2

3 DWH Architektur Treiber... Top Down versus Bottom Up Top Down Schicht 1: Benutzeroberfläche Schicht 2: BI- Anwendungen Schicht 3: Warehouse Schicht 4: DatenintegraCon Schicht 5: Datenquellen Bottom Up 3 3

4 BI Architektur... im Big & BI SelfService Zeitalter Dashboards Traditionelle BI-Anwendungen Standard- Repor3ng Mart 1 Ad hoc Repor3ng Mart 2 Analyse Mart n Mining Planung Suche Discovery Erweiterte BI-Analyse Text Analyse Ist es das? Netzwerk- Analyse Pfad- Analyse Muster- erkennung Core Warehouse NoSQL File System Staging Area Datenintegra3on - Batch, Real Time, Streams/Events, Map- Reduce SAP ERP CRM Externe Systeme Sensor- Daten Web Logs Social Media Dokumente Transaktionsdaten Maschinen-generierte Daten Dokumente/Texte 4

5 Life Cycle Management Architecture Metadata-Repository (je BI-Schicht) Gesamt-Metadaten-Repository Schicht 1: Benutzeroberfläche Schicht 2: BI-Anwendungen Schicht 3: Warehouse Schicht 4: Datenintegration Schicht 5: Datenquellen (R&A) Reports (VMo) Virtuelle Modelle (SeS-1) Semantische Schicht(Verknüpfen aller Modelle) (MdM) Multidimensionale Modelle (Facts, Dimensions, Cubes, Marts, ) (ODS) Operational Store (integriertes relationales Modell) (SeS-2) Semantische Schicht (MDQ) Services für Datenqualität & Stammdaten (SeS-3) Semantische Schicht (OpS) Operative Systeme (ETL-3) M,E,T,L Kennz (RE-1) Primäres Requirements ahlen Engineering Dime nsion en Würfel (RE-2) Sekundäres Requirements Engineering (MrM) Mapping relationale auf multidimensionale Modelle (ETL-2) M,E,T,L (RE-3) Tertiäres Requirements Engineering DM- Proze sse (ETL-1) Mapping, Extrahieren, Transformieren, Laden Fachsicht DQ MDM 5

6 Types of Schema and Strong qualified Schema, strong qualified Qualified Schema, qualified Hub Partly known Schema / uncertain Unknown Schema / uncertain 6

7 - Business-Intelligence-Inhalte Informationsaufbereitung und Entscheidungsfindung Informationsaufbereitung Ø Schema & Quality (SDQ) Ø Architecture Ø bases Ø Modeling Ø Integration Ø Warehousing Ø Metadata Ø Quality Ø Reference & Master Ø Schema & Quality Ø Documents and Content Management Ø Ø Intelligent Analytics ( Science) Ø Search & Analysis Ø Prediction techniques Ø Semantic Processing Ø Cognitive Systems Ø Visualization Lifecycle Ø Governance & Stewardship Ø Security Ø Operations Ø Applications Development Entscheidungsfindung Ø Decision Methods & Networked Thinking 7

8 Business Intelligence requires Best Information requires Best Integration consul3ng.at UNSERE ERFAHRUNG FÜR IHREN ERFOLG... bei der Vorbereitung und Umsetzung von Projekten in den Belangen Informationsaufbereitung und Entscheidungsfindung ü ü ü ü ü Konzeption, Auswahl und Einführung von Business Intelligence & smartdata- Lösungen Reifegradmessung, Optimierung und Migration von Datenflüssen und Datenmodellen in komplexen Applikationslandschaften Bewertung, Vorbereitung und Umsetzung von Stammdaten- und Datenqualitätsprojekten (inkl. BI3-smartDATA-Innovation-Lab) Konzeption und Umsetzung von "Intelligent Analytics"-Projekten (alias Science ) der Evaluierung, dem Erlernen und dem praktischen Einsatz von Methoden der Entscheidungsfindung in heterogenen Teams (smartreasoning)... bei strategischen und operativen Fragen zum Produkt- und Kundenlebenszyklus ü ü Bewertung und Einsatzoptimierung von vorhandenen Lösungen Verbesserte Unterstützung des Produktlebenszyklus durch Integration von CAx-, PDM- und System Engineering-Lösungen 8

9 TransformaConen in OrganisaConen heute und gestern Was hat das Thema Daten damit zu tun 9

10 Industrie 4.0: Smart im Kontext von Industrie-Unternehmen SCM Lieferant Hub Kunde Lieferant SRM Produzent Smart BI Management CRM Kunde Plan Source Make Deliver Legende APS: Advanced Planning and Scheduling BDE: Betriebsdatenerfassung BI: Business Inteligence CRM: Customer Relationship Management MES: Manufacturing Excecution System PLM: Product-Lifecycle-Management PDM: Product-Daten-Management SCM: Supply Chain Management SRM: Supplier Relationship Management Systemintegration PDM ERP APS/MES BDE PLM Vorfertigung Fertigung Vormontage Endmontage Datenharmonisierung Quelle: FIR! Alle verfügbaren Daten können prinzipiell zur Entscheidungsunterstützung herangezogen werden.

11 Telco 3.0: Smart im Kontext von Telco-Unternehmen Smart Management Quelle: ICC Integration Competency Center, John Schmidt + David Lyle,

12 Energie 3.0: Smart im Kontext der Energiebranche Smart Management Quelle: SAP 12

13 Finanz 3.0: Unified Financial Analysis & ACTUS Methodology for Stress Tests 13

14 Finance 3.0 (Contracts) ICT Architecture User Interface Spreadsheet Browser etc. Smart Management Business Applica3ons Storage Monte Carlo Algorithms Operational Storage I (relational) ACTUS Contract Algorithms Integra3on Matching, Mapping, Transformation SQL Semantic Layer Semantic Layer Operational Storage II (Big ) NoSQL DatFisMo Reporting DatFisMo Analytics Analytical Storage I (Big ) Semantic Layer NoSQL Analytical Storage II (Cubes) Dimensional OLAP Sources BANK A BANK B BANK C BANK... Quelle: DatFisMo EU Projektantrag [Vorschlag Priglinger, basierend auf Unified Financial Analysis] 14

15 DatFisMo Operational Storage I (relational) Algorithms/ Rules Algorithms/ Rules Risk Factors Financial Contracts Operational Storage I (relational) Markets Counterparties Behaviour Terms Conditions Model Model

16 DatFisMo Operational Storage II (Big ) Analysis Events: Risk Factors & Financial Contracts Operational Storage II (Big ) Markets Counterparties Behaviour Contract Analysis Elements Model (Big )

17 DatFisMo Analytical Storage: Big & Dimensional Events & Analysis Elements Analytical Storage (Big ) Markets Counterparties Behaviour Contract Analysis Elements Model (Big ) Analysis Model... a special Storage for each Query Analytical Storage (Dimensional) Facts Dimensions Model (Dimensional)... for Aggregated

18 smartdata smartreasoning Von Daten zu Entscheidungen 18

19 Life Cycle Management Architecture Metadata-Repository (je BI-Schicht) Gesamt-Metadaten-Repository Schicht 1: Benutzeroberfläche Schicht 2: BI-Anwendungen Schicht 3: Warehouse Schicht 4: Datenintegration Schicht 5: Datenquellen (R&A) Reports (VMo) Virtuelle Modelle (SeS-1) Semantische Schicht(Verknüpfen aller Modelle) (MdM) Multidimensionale Modelle (Facts, Dimensions, Cubes, Marts, ) (ODS) Operational Store (integriertes relationales Modell) (SeS-2) Semantische Schicht (MDQ) Services für Datenqualität & Stammdaten (SeS-3) Semantische Schicht (OpS) Operative Systeme (ETL-3) M,E,T,L Kennz (RE-1) Primäres Requirements ahlen Engineering Dime nsion en Würfel (RE-2) Sekundäres Requirements Engineering (MrM) Mapping relationale auf multidimensionale Modelle (ETL-2) M,E,T,L (RE-3) Tertiäres Requirements Engineering DM- Proze sse (ETL-1) Mapping, Extrahieren, Transformieren, Laden Fachsicht DQ MDM

20 Integration Architecture State of the Art Storage manual Meta daten ODS Daten Analytical DS Meta Daten daten Schema IntegraCon Schema Mapping Schema & Integration manual Schema Matching manual TransformaCon StandardizaCon Company Operational storage inividual Meta daten Appl A Daten Meta daten Appl B Daten

21 Integration Architecture Innovative Solution SADI Storage standardized SADI Operational DS Meta SADI Analytical DS Meta Schema Mapping TransformaCon Schema & Integration semi- automa3c Schema Matching Schema StandardizaCon StandardizaCon Company Operational Storage individual Meta Appl A Meta Appl B Meta Appl C Schema EvaluaCon

22 Besten Dank für Ihre Aufmerksamkeit! 22

23 SADI: Semi-automatic Integration The research ques*ons we address are as follows: u u u How can we define a standard for data modeling and use this standard with exis3ng data models? Given a standard for data modeling, how can we integrate data models of individual applica3ons by matching the seman*c of the data content and mapping the schema in an efficient way into one consistent data model? Since each data model of the various applica3ons in a company can differ considerably from others (e.g. different schema types, different naming conven3ons, different natural language, etc.) the mapping from the different data models to a consistent company data model is a tedious process. In principle, each company would need to physically implement its own mapping. The ques3on is: how can we standardize the representa*on of different model schemas (rela*onal, XML, OO,...) and unify the implementa*on of these schemas and their mappings. 23

24 SADI: How to resolve the questions The steps to resolve the research ques*ons are as follows: u u u u Define a unique language for each type of modeling nota3on by using aiributed grammars and the ENBF Metasyntax. u Examples: rela3onal model, dimensional model, JSON, RDF, Graph, UML, SysML, XML, T- ADAPT, DAPLEX,... Map all the types of languages to each other by defining translators. Map all the types of languages into a directed graph model. Steps for the relaconal model type: u Define a modeling standard for the rela3onal type. u Define a transla3on from this standard to a graph model (schema and data). u For each individual rela3onal model: u u u Use the rela3onal modeling standard to standardize exis3ng rela3onal models. u Translate this standardized rela3onal models into a graph model. Use the graph models for using exis3ng algorithms and develop new algorithms for schema (and data) integra3on of different source schemas to one target schema. Translate the target model back to the rela3onal representa3on. 24

25 TransformaConen in OrganisaConen GeschäWsmodelle und die InformaConslogisCk Von Small & Big zu Smart 25

26 bility u u u bility das Thema der CeBIT Dabei ist bility ein Kunstwort geschaffen aus den Bestandteilen Big sowie Sustainability (Nachhaltigkeit). Laut CeBIT 2014 bezeichnet bility: "Die Fähigkeit, große Datenmengen in hoher Geschwindigkeit verantwortungsvoll und nachhaltig zu nutzen. Das bedeutet, Big sollte nicht als Selbstzweck gesammelt werden, sondern dazu genutzt werden, um konkrete Werte daraus ziehen: Transform into Value! Smart ó with Value u u Es muss ein Transformationsprozess von Big zu Smart erfolgen. Die zukünftigen Geschäftsmodelle benötigen u treffsichere Hinweise auf künftige Kundenanforderungen und u die Entwicklung von zielorientierten Serviceangeboten Product Life Cycle Customer Life Cycle 26

27 Schwerpunkt 1: Informationsfluss vor Materialfluss und Prozessfluss 27

28 Schwerpunkt 2: Datenmanagement als kritischer Erfolgsfaktor für Performance-Steuerung Performance Level 1 Kunde Performance Level 3 Performance Level 2 Dispositive Geschäftsprozesse (wertschöpfend?) Operative Geschäftsprozesse (wertschöpfend) DatenManagement- Supportprozesse (wertschöpfend?) Kritischer Pfad 28

29 Schwerpunkt 3: die Typen von Modellen und Daten Strong qualified Schema, strong qualified Qualified Schema, qualified Hub Partly known Schema / uncertain Unknown Schema / uncertain 29

30 Schwerpunkt 4: Datenredundanz als Folge heterogener Kooperationen und verschränkter Anwendungslandschaften u Die Inkompa3bilität der Applika3onsschemata und die Qualität und Redundanz der Daten sind schlechthin das Hindernis für Interoperabilität!!! u Datenintegra3on (Schema- Mapping und Datenfluss) soll die Folgen der Datenredundanz beheben / mildern. u Das führt zu den Fragen erster Art... u Wo macht Redundanz Sinn? u Wie ist Redundanz zu vermeiden? u... und das wiederum zu den Fragen zweiter Art u Welche Integra3onsmuster sollen eingesetzt werden? u Wie sollen verschiedene Muster kombiniert werden? 30

31 Nutzen aus Daten ziehen heißt... u sich über Funktionsgrenzen hinweg (in oder zwischen Unternehmen) u mit Blick auf die gesamten, meist noch zu definierenden Wertschöpfungsketten u mit Daten und ihren Möglichkeiten zu beschäftigen. è Lösungen mit explizitem Endkundennutzen generieren è Smart ist Big mit Value, nicht nur mit Volume, Velocity und Variety è Markting+Sales+IT+Technik sind gemeinsam gefordert. 31

32 Business Intelligence requires Best Information requires Best Integration Business Intelligence Stamm- / Daten- Qualität Models & Flow Einsatz- op3mierung und Monitoring Informa3ons- auzereitung & Entscheidungs- Ausbildung findung und Begleitung Konzep3on, Evaluierung Umsetzung Reifegrad- Assessment (Ist/Plan- Gap) Projekt- Programm & Planung Intelligent Analy3cs Product Life Cycle consul3ng.at Customer Life Cycle UNSERE ERFAHRUNG FÜR IHREN ERFOLG 32

33 DWH Architecture 3.0 Active Schema & Integration Dispositive Schichten DWH Dimensional Schema DWH MOLAP DWH ROLAP Schema- und Datenintegration Requirement Specification Integrated / Reconciled Schema Schema IntegraCon Schema Matching Neue Methoden Active DWH ODS Schema StandardizaCon Schema StandardizaCon Schema StandardizaCon Operative Datenspeicherung & Datenverarbeitung Schema ERP Schema Classic CRM Schema EvaluaCon Ac3ve CRM 33