DOAG Analytics Community Business Intelligence oder Big? Oder doch BI und Big data? DOAG Analytics Community Informiert zu BI und Big 2017
Interaktion: Jetzt; Vorurteile abladen BI / DWH Big 2
Warum Big? Paradigmenwechsel! Alter Ansatz: Weniger Datenproduzenten, aber viele Anwender Das aktuelle Modell: Alle generieren Daten und sind Konsumenten 3
BI/ DWH 4
Was ist BI bzw. BI/DWH? Business Intelligence (BI) ist ein unternehmensweites Konzept, das den Zugriff, die Analyse und das Reporting von im Unternehmen gespeicherten Unternehmensdaten regelt. Business Intelligence (BI) ist eine umfangreiche Kategorie von Anwendungen und Technologien, mit denen sich Daten erfassen, speichern und analysieren. BI soll es Unternehmensanwendern ermöglichen, bessere Geschäftsentscheidungen zu treffen Business Intelligence (BI) beschreibt die auf eine Unterstützung, Durchführung und Kontrolle betrieblicher Aktivitäten ausgerichtete Intelligenz (Einsicht) sowie die zu ihrer Erzielung eingesetzten Konzepte, Methoden und Informationssysteme. BI-Systeme sind informationsgetriebene Entscheidungsunterstützungssysteme zur Gewinnung und Verbreitung von Erkenntnissen für und über betriebliche Abläufe. Business intelligence (BI) is an umbrella term that includes the applications, infrastructure and tools, and best practices that enable access to and analysis of information to improve and optimize decisions and performance. 5
Funktionale BI/DWH Architektur 6
BI/DWH Architektur 7
Big 8
Was ist Big? Big ist nicht neu, sondern nur die Fortschreibung bekannter Konzepte in Kombination mit neuen Technologien. Big ist insofern keine Revolution, sondern vielmehr eine Stufe in der Evolution zu einer stärker datenorientierten Unternehmensrealität. Big setzt einen analytischen Fokus auf Basis von großen und vielfältig strukturierten Datenmengen aus unterschiedlichen Quellen, die in der Regel unmittelbar nach Entstehung der Daten erzeugt werden und aktuelle Maßnahmen und zukunftsorientierte Handlungen in Bezug setzen. Damit grenzt sich Big tendenziell von der gelebten Realität älterer Konzepte wie Business Intelligence ab. (tdwi) Big data is high-volume, -velocity and -variety information assets that demand costeffective, innovative forms of information processing for enhanced insight and decision making. (Gartner) In frühen Veröffentlichungen zum Thema wird das Phänomen Big häufig anhand einer Negativabgrenzung bezüglich der Leistungsfähigkeit klassischer IT beschrieben - Big liegt dann vor, wenn die Möglichkeiten der klassischen Datenhaltung, -verarbeitung und - analyse auf konventioneller Hardware überstiegen. (tdwi) Der Begriff Big unterliegt als Schlagwort einem kontinuierlichen Wandel; so wird mit ihm ergänzend auch oft der Komplex der Technologien beschrieben, die zum Sammeln und Auswerten dieser Datenmengen verwendet werden 9
Big : Definition über Abgrenzung 10
Big : Definition über Eigenschaften 11
Funktionale Architektur Big 12
Frag den Papst: Bill Inmon zu Big & BI/DWH warehouse is an architecture and Big is a technology. They are not the same thing at all There simply is not the carefully constructed and carefully maintained infrastructure surrounding Big that there is for the data warehouse. Any executive that would use Big for Sarbanes-Oxley reporting or Basel II reporting isn t long for his/her job. Ralph Kimball zu Big & DWH It s a rennaisance that is happening here a Warehouse needs to encompass Big and I hope that all folks working with those (Big ) topics realize that they are part of the larger Warehouse team We want to use SQL and SQL like languages but we don t want the RDBMS storage constraints. The disruptive solution: Hadoop http://www.forestrimtech.com/big-data-vs-data-warehouse http://www.cloudera.com/content/cloudera/en/resources/library/recordedwe binar/building-a-hadoop-data-warehouse-video.html 13
Big : Ist Big beherrschbar?
Big in Ordnung bringen Datenakquisition Datenaufbereitung Datenspeicherung Daten- Visualisierung
Connectors (Pull) Batch/Bulk Full Services (Push) Stream Incremental Ganzheitliche Sicht Die Leinwand des Architekten Organisation BI Competence Center IT Operations Business Stakeholders Un-/Semistructured Raw in Motion Standardized in Motion Service / API Dashboard Structured Optimized in Motion Refinery/Factory Search Prebuild & AdHoc BI Assets Master & Reference Machine Content Optimized at Rest Standardized at Rest Raw at Rest Lab (Sandbox) Virtualization Query Information Services Advanced Analysis Tools Science Tools Sources Acquisition Management Information Provisioning Consumer Governance Metadata Management Master Management Quality & Accountability Security Legal Compliance
Connectors (Pull) Batch/Bulk Full Services (Push) Stream Incremental Ganzheitliche Architektur BI /DWH Komponenten Organisation BI Competence Center IT Operations Business Stakeholders Un-/Semistructured Raw in Motion Standardized in Motion Service / API Dashboard Structured ETL Optimized in Motion Refinery/Factory Search Prebuild & AdHoc BI Assets Master & Reference Machine Content Optimized at Rest Standardized at Rest Raw at Rest Lab (Sandbox) Marts Core DWH Staging Area Virtualization Query Information Services Advanced Analysis Tools Science Tools Sources Acquisition Management Information Provisioning Consumer Governance Metadata Management Master Management Quality & Accountability Security Legal Compliance
Connectors (Pull) Batch/Bulk Full Services (Push) Stream Incremental Ganzheitliche Architektur Big Komponenten Organisation BI Competence Center IT Operations Business Stakeholders Un-/Semistructured Raw in Motion Service / API Dashboard Event Hub Standardized in Motion Structured Stream Analytics Optimized in Motion Refinery/Factory NoSQL DB Search Prebuild & AdHoc BI Assets Master & Reference Machine Content Raw at Rest Standardized at Rest Optimized at Rest Hadoop Raw Lab (Sandbox) SQL Engine Processed Files Merge Layer Query Information Services Advanced Analysis Tools Science Tools Sources Acquisition Management Information Provisioning Consumer Governance Metadata Management Master Management Quality & Accountability Security Legal Compliance
Take Away
.. Und die Antwort von Oracle?
Deutsche ORACLE Anwender Gruppe http://www.oracle.com/ocom/groups/public/@otn/documents/webcontent/2297765.pdf Beschreibt und definiert Big, organisatorische und technische Anforderungen sowie Tooling und Entscheidungskriterien
Deutsche ORACLE Anwender Gruppe (2) Oracle Big Statement of Direction http://www.oracle.com/technetwork/database/bigdata-appliance/overview/sod-bdms-2015-04-final-2516729.pdf Big Management Systeme bestehen aus Warehouse (base) Franchised Query Engine Federation Tool (Big SQL) Reservoir Big Ecosystem mit Hadoop & NoSQL (Big Appliance)
Deutsche ORACLE Anwender Gruppe A favorite hobby of new entrants to the database market is to paint Oracle, the market-leading database, as inflexible and promote their product on the basis that Oracle will never be able to provide the same type of functionality as their new platform. Such vendors pursue this positioning at their peril: object-oriented databases, massively-parallel databases, columnar databases, data warehouse appliances and other trends have been outed as replacements for Oracle base only to later see their core benefits subsumed by the Oracle platform. Widerstand ist zwecklos!
Diskussion 24
und nochmal in eigener Sache: Wer hat Interesse sich aktiv in der DOAG Analytics Community zu beteiligen? Frage: Wieviel Aufwand wird auf mich zukommen? Antwort: So viel Du möchtest, aber es werden wohl mind. 6 PT im Jahr sein.
Danke!