Business Intelligence Architektur im Umfeld von Big Data (IDAREF) [D2] Bernd Meister Uetliberg,

Transkript

1 Business Intelligence Architektur im Umfeld von Big Data (IDAREF) [D2] Bernd Meister Uetliberg,

2 In dieser Session wird IDAREF, ein Framework, dass auf logischer Ebene eine analytische Datenplattform der nächsten Generation beschreibt, vorgestellt. Die Vorteile von IDAREF werden erläutert und schliesslich die Brücke zum Thema Big Data Architekturen geschlagen. «AGENDA» Einleitung/Hintergrund Probleme der schwachen Standardisierung Konsequenzen Herausforderungen durch erweiterte Anforderungen Konsequenzen Antwort: IDAREF IDAREF-Würfel Fazit Slide 2 Business Intelligence Architektur im Umfeld von Big Data (IDAREF)

3 EINLEITUNG/HINTERGRUND

4 Die Themen BI, DWH, Reporting etc. (Analytics) und Datenintegration gibt es seit Jahrzehnten, jedoch gibt es in der Industrie noch immer wenig einheitliche Standards. EINLEITUNG/HINTERGRUND Seit Jahrzehnten sind BI, DWH, Reporting, Dashboarding, Analytics, Data Mining ein Thema, welches ganze Organisationen beschäftigt. Diverse Persönlichkeiten haben diese Epoche geprägt. Ralph Kimball (dimensional DWH / Stammdatenbus) Bill Inmon (CIF / 3NF Core DWH) Dan Linstedt (Data Vault) Diverse Implementationen / Frameworks von Hardware- und Softwareherstellern sind entstanden. SAP BW Teradata Solution Methodology Wherescape 3D, etc Slide 4 Business Intelligence Architektur im Umfeld von Big Data (IDAREF)

5 PROBLEME DER SCHWACHEN STANDARDISIERUNG

6 Da die Industrie wenig standardisiert ist, gibt es in der Praxis immer wieder schwerwiegende Mängel beim Aufbau von analytischen und datenintegrativen Systemen. PROBLEME DER SCHWACHEN STANDARDISIERUNG Keine standardisierte Vorgehens- und Modellierungsmethodik Schwaches Daten-, ETL- und Infrastrukturarchitekturmanagement Organisationen sowohl auf IT- wie auch auf Businessseite sind nicht adäquat/effizient aufgestellt. Anforderungen sind oft unvollständig definiert. Shortcut- bzw. Quick&Dirty-Implementationen Mehrere historisch gewachsene DWH s im gleichen Unternehmen Slide 6 Business Intelligence Architektur im Umfeld von Big Data (IDAREF)

7 KONSEQUENZEN DER SCHWACHEN STANDARDISIERUNG

8 Das Resultat ist, dass zu oft über das WIE diskutiert wird und zu wenig über das WAS (Inhalt). Die führt zu überdurchschnittlichen hohem TCO. KONSEQUENZEN DER SCHWACHEN STANDARDISIERUNG Viele Diskussionen um das WIE und zu wenig Zeit für Diskussionen um das WAS (Inhalt). Schwierigkeiten in den Bereichen: Projektlaufzeiten Performance Akzeptanz Erweiterbarkeit / Skalierbarkeit Nachhaltigkeit Wartung und Betrieb Slide 8 Business Intelligence Architektur im Umfeld von Big Data (IDAREF)

9 HERAUSFORDERUNGEN DURCH ERWEITERTE ANFORDERUNGEN

10 In den letzten paar Jahren wurden weitere Anforderungen an die analytischen Systeme herangetragen. Speziell die Thematik um Big Data hat verschiedene Systemschocks ausgelöst. HERAUSFORDERUNGEN DURCH ERWEITERTE ANFORDERUNGEN Erweiterte Funktionalitäten eines DWH als Integrationsplattform / Data Hub / Datenqualitätssicherung Neue Anforderungen an das DWH und Trends der letzten Jahre: Big Data / Unstrukturierte Daten Systemschock 1: RDBMS können Big Data nicht speichern Systemschock 2: Fokusverschiebung von Slice-and-Dice-Reporting zu Advanced Analytics Systemschock 3: Nutzen von Big Data steigert sich mit abnehmender Latenzzeit Data Scientists (Datenwissenschaftler) Immer höhere analytische Anforderungen (Tausende statt wenige Szenarienberechnungen pro Tag) Hohe Agilität und rasches Time2Delivery Real-Time Analytics und Data Streaming Analytics Slide 10 Business Intelligence Architektur im Umfeld von Big Data (IDAREF)

11 KONSEQUENZEN AUS DEN ERWEITERTEN ANFORDERUNGEN

12 Die erweiterten Trends stellen die bestehenden Architekturen auf massive Bewährungsproben. Man muss sich die Frage stellen, ob die Paradigmen der letzten Dekade noch gültig sind. KONSEQUENZEN AUS DEN ERWEITERTEN ANFORDERUNGEN Trends stellen bestehende BI/DWH Architekturen auf eine massive Bewährungsprobe Slide 12 Business Intelligence Architektur im Umfeld von Big Data (IDAREF)

13 ANTWORT: IDAREF

14 Die Antwort auf die schwache Standardisierung und die erweiterten Anforderungen ist das IDAREF (IT-Logix Data & Analytics Reference Architecture Framework). ANTWORT: IDAREF IDAREF ist die Antwort auf die aktuellen Trends. IDAREF ist eine Beschreibung einer SOLL «Data and Analytics (Big Data)» Plattform der nächsten Generation auf logischer Ebene. IDAREF ist herstellerneutral und "tailorbar" auf eine Vielzahl von analytischen und datenintegrativen Use Cases. IDAREF kann für folgende Themen eingesetzt werden: Anforderungsgesteuerte und standardisierte Auswahl des richtigen Architekturszenarios basierend auf vordefinierten Service- und Skillkriterien. Definition einer SOLL-Architektur mit dem Ziel einer Roadmap für den Aufbau einer Big Data Architektur. Unterstützung bei der Plattform- und Produktselektion. Grundlage für eine Standardisierungsinitiative mit dem Ziel agiler zu werden. Benchmark für Audit / Review bestehender Architekturen. Basis für ein Servicelevel Management im Bereich von analytischen und datenintegrativen Lösungen. Vorlage für ein Ausbildungsframework Slide 14 Business Intelligence Architektur im Umfeld von Big Data (IDAREF)

15 Niveau der Integration & Wiederverwendbarkeit der Businesslogik Niveau der Datenqualität, Vertrauen und Governance Niveau der Datenmodellierungs- und integrationsaufwände Echtzeit-Min. Data Management / Integration (z.b. ETL, EAI, Sync, CEP) Min.- Stunden Datenvolumen Stunden- Tage Tage- Monate Das IDAREF beschreibt auf logischer Ebene eine analytische Datenplattform der nächsten Generation. IDAREF: BASISARCHITEKTUR BIGDATA Integration BI & Analytische Tools (z.b. SAP WebI, SAP Lumira, Microsoft SSRS, IBM SPSS, SAS, SQL, R, Python, MapReduce etc.) Governed Data Marts (z.b. OLAP, KPI Marts, GL etc.) Modellierungsmethode: Dimensional Governed Data Repository (+ Transaktionsdaten, comformed facts, datenqualitätsgesichert, etc.) Modellierungsmethode: Dimensional ODS Layer / Corporate IT Memory (zum Teil Datenaggregation durch hadoop) Modellierungsmethode: quellnahe (und historisiert), data vault Quellsysteme (Atomic data) Conformed Masterdatabus (standardisiert, integriert, qualitätsgesichert, etc.) Modellierungsmethode: Dimensional oder 3NF Analytics Business Closed Loop Taktisch Betrieblich Niveau der Datenanalyseskills (z.b. SQL, MapReduce) Niveau der Agilität und der time2delivery Niveau des Entwicklungs- und Wartungsaufwandes Data Scientist Power User Business Analysts Standard Users Strukturiert Semi-Strukturiert Unstrukturiert Service Level Anwendertyp Internal Daten Strategisch Externe Daten Slide 15 Business Intelligence Architektur im Umfeld von Big Data (IDAREF)

16 Niveau der Integration & Wiederverwendbarkeit der Businesslogik Niveau der Datenqualität, Vertrauen und Governance Niveau der Datenmodellierungs- und Integrationsaufwände Data Management / Integration SAP Data Services / SAP SLT / SAP Sybase Replication Server / SAP BW ETL / SAP Information Steward Echtzeit-Min. Min.- Stunden Datenvolumen Stunden- Tage Tage- Monate Architekturvariante ausgestaltet mit SAP Standard Hard- und Software. BASISARCHITEKTUR BIGDATA IM FALLE VON SAP Integration Analytische Frontend Tools SAP BI Platform + Frontends (Web Intelligence, Lumira, Analysis, Crystal, Design Studio, Explorer) Governed Data Marts SAP BW powered by SAP HANA Governed Data Repository SAP BW powered by SAP HANA Near-line storage Sybase IQ ODS Layer / Corporate IT Memory SAP HANA Standalone Near-line storage Sybase IQ Quellsysteme Conformed Masterdatabus SAP HANA standalone Modellierung: SAP Sybase Powerdesigner Analytics Business Closed Loop Strategisch Taktisch Betrieblich Niveau der Datenanalyseskills (z.b. SQL, MapReduce) Niveau der Agilität und der time2delivery Niveau des Entwicklungs- und Wartungsaufwandes Strukturiert Semi-Strukturiert Unstrukturiert Service Level Interne Daten Externe Daten Slide 16 Business Intelligence Architektur im Umfeld von Big Data (IDAREF)

17 DER IDAREF-WÜRFEL

18 Der IDAREF-Würfel ergibt eine Übersicht aller im Architekturkonzept zu beschreibenden Pakete. IDAREF WÜRFEL Der IDAREF-Würfel besteht aus den 3 Dimensionen: BI-Layer: Source, ODS, Core Data Repository, Data Marts Arbeitsbereich: Datenmodellierung, semantischer Layer, ETL, Frontend Arbeitsebene: Fachlich, Konzeptionell, Logisch, Physisch Data Marts Core Data Repository ODS Jede Kombination dieser 3 Dimensionen ergibt ein zu beschreibendes Dokumentationspaket (z.b. Data Mart / ETL / Logisch) Source Slide 18 Business Intelligence Architektur im Umfeld von Big Data (IDAREF)

19 IDAREF ist ein universell einsetzbare Methodik im Bereich BI-Architektur. FAZIT BI-Architektur ist als einer der kritischen Erfolgsfaktoren von BI-Projekte anzusehen und dementsprechend zu behandeln. IDAREF ist als Framework für eine BI-Referenzarchitektur, die auch den Big Data Bereich umfasst, etabliert und ersetzt die fehlenden Standards. Der IDAREF-Würfel gibt einen Gesamtüberblick über alle möglichen Punkte, die architekturrelevant sind und in einem Architekturkonzept zu beschreiben sind Slide 19 Business Intelligence Architektur im Umfeld von Big Data (IDAREF)

20 In der Big Data Welt sind wir alle noch Pioniere. Testen Sie, machen Sie PoC's und seriöse Evaluationen und starten Sie mit einfachen Use Cases. EMPFEHLUNGEN IM AUFBAU VON BIG DATA ARCHITEKTUREN Starten Sie mit einfachen Big Data Use Cases (z.b. Sammlung von Daten, Archivierung, Datensicherung etc.). Testen Sie die verschiedene Technologien mittels eines PoC's. Allenfalls unter Verwendung von Cloud Angeboten (z.b. Cloudshare, SAP HANA Cloud, Amazon AWS, Cloudera, Hortonworks etc.). Stellen Sie die nötige Infrastruktur (z.b. Hadoop Cluster) zur Verfügung, um noch nicht bekannte Fragen des WAS agil beantworten zu können. Evaluieren Sie genau, wo die Technologieunterschiede im Detail liegen und welche Vor- und Nachteile daraus entstehen. Verwenden Sie Metadaten gesteuerte Entwicklungsumgebungen, welche den Infrastrukturlayer abstrahieren, da die technische Entwicklung sich so schnell verändert (z.b. unter Verwendung von SAP Data Services oder SAP multi-source Universen) Slide 20 Business Intelligence Architektur im Umfeld von Big Data (IDAREF)

21 Bitte beachten Sie die Thementische während dem Mittagessen! Wir freuen uns auf angeregte Gespräche mit Ihnen Bernd Meister Senior Business Intelligence Consultant Follow