ENTERPRISE open source PENTAHO JEDOX UND BUSINESS INTELLIGENCE-LÖSUNGEN DATA WAREHOUSING // REPORTING // ANALYSE // PLANUNG

Transkript

1 ENTERPRISE open source stefan MÜLLER christopher KELLER PENTAHO UND JEDOX BUSINESS INTELLIGENCE-LÖSUNGEN DATA WAREHOUSING // REPORTING // ANALYSE // PLANUNG

2 Müller/Keller Pentaho und Jedox Bleiben Sie auf dem Laufenden! Unser Computerbuch-Newsletter informiert Sie monatlich über neue Bücher und Termine. Profitieren Sie auch von Gewinnspielen und exklusiven Leseproben. Gleich anmelden unter Hanser Update ist der IT-Blog des Hanser Verlags mit Beiträgen und Praxistipps von unseren Autoren rund um die Themen Online Marketing, Webentwicklung, Programmierung, Softwareentwicklung sowie IT- und Projektmanagement. Lesen Sie mit und abonnieren Sie unsere News unter

3

4 Stefan Müller Christopher Keller Pentaho und Jedox Business Intelligence-Lösungen: Data Warehousing, Reporting, Analyse, Planung

5 Herausgeber: Sebastian Wenzky Die Autoren: Stefan Müller, Fulda Christopher Keller, Großenlüder Alle in diesem Buch enthaltenen Informationen, Verfahren und Darstellungen wurden nach bestem Wissen zusammengestellt und mit Sorgfalt getestet. Dennoch sind Fehler nicht ganz auszuschließen. Aus diesem Grund sind die im vorliegenden Buch enthaltenen Informationen mit keiner Verpflichtung oder Garantie irgendeiner Art verbunden. Autoren und Verlag über nehmen infolgedessen keine juristische Verantwortung und werden keine daraus folgende oder sonstige Haftung übernehmen, die auf irgendeine Art aus der Benutzung dieser Informationen oder Teilen davon entsteht. Ebenso übernehmen Autoren und Verlag keine Gewähr dafür, dass beschriebene Verfahren usw. frei von Schutzrechten Dritter sind. Die Wiedergabe von Gebrauchsnamen, Handelsnamen, Waren be zeich nungen usw. in diesem Buch berechtigt deshalb auch ohne besondere Kennzeich nung nicht zu der Annahme, dass solche Namen im Sinne der Warenzeichen- und MarkenschutzGesetzgebung als frei zu betrachten wären und daher von jedermann benutzt werden dürften. Bibliografische Information der Deutschen Nationalbibliothek: Die Deutsche Nationalbibliothek verzeichnet diese Publikation in der Deutschen Nationalbiblio grafie; detaillierte bibliografische Daten sind im Internet über abrufbar. Dieses Werk ist urheberrechtlich geschützt. Alle Rechte, auch die der Übersetzung, des Nachdruckes und der Vervielfältigung des Buches, oder Teilen daraus, vorbehalten. Kein Teil des Werkes darf ohne schriftliche Genehmigung des Verlages in irgendeiner Form (Fotokopie, Mikrofilm oder ein anderes Verfahren) auch nicht für Zwecke der Unterrichtsgestaltung reproduziert oder unter Verwendung elektronischer Systeme verarbeitet, vervielfältigt oder verbreitet werden Carl Hanser Verlag München, Lektorat: Sieglinde Schärl Copy editing: Sandra Gottmann, Münster-Nienberge Herstellung: Irene Weilhart Umschlagdesign: Marc Müller-Bremer, München Umschlagrealisation: Stephan Rönigk Gesamtherstellung: Kösel, Krugzell Ausstattung patentrechtlich geschützt. Kösel FD 351, Patent-Nr Printed in Germany Print-ISBN: E-Book-ISBN:

6 »Der Weltuntergang steht bevor, aber nicht so, wie Sie denken. Dieser Krieg jagt nicht alles in die Luft, sondern schaltet alles ab.«im obersten Stock der Cornell University s Clark Hall stehen der Physiker Homer Layton und seine drei jungen Assistenten vor einem Durchbruch, der es ermöglicht, die Zeit etwas Tom langsamer DeMarco ablaufen zu lassen. Sie vermuten, dass der sogenannte Als Layton- auf der Welt das Licht ausging Effekt keinen praktischen Nutzen haben wird, rechnen aber damit, dass die von ihnen geplante Abhandlung einem Paukenschlag ca. 560 Seiten. in der Hardcover Welt der theoretischen Physik gleichkommen wird. ca. Doch 19,99 dann [D]/ 20,60 [A]/ sfr 28,90 bemerkt Loren Martine, jüngstes Mitglied von Homers ISBN Team, etwas Seltsames: Wird die Zeit verlangsamt, reicht Erscheint die Brennstoffen gespeicherte Energie nicht mehr für ein plötzliches Feuer. im November 2014 Dinge können noch immer brennen, wenn auch langsamer, aber nichts kann mehr explodieren. Die Wissenschaftler stellen sich eine Art Layton-Effekt-Taschenlampe vor, die das Abfeuern einer Waffe verhindert. Ihnen wird klar, dass man auch die Explosion einer Bombe oder gar einen ganzen Krieg verhindern könnte. Hier klicken zur Leseprobe Sie möchten mehr über Tom DeMarco und seine Bücher erfahren. Einfach Code scannen oder reinklicken unter Sie möchten mehr über Tom DeMarco und seine Bücher erfahren. Einfach reinklicken unter

7 Inhalt Vorwort IX 1 Business Intelligence im Überblick Business Intelligence: die Verwandlung von Daten in Informationen Data Warehouse: das zentrale Datenlager des Unternehmens Reporting und Dashboards: die maßgeschneiderte Verteilung von Informationen Online Analytical Processing: mit Daten würfeln das Business verstehen Data Mining: unbekanntes Wissen in den Daten entdecken Open Source trifft BI: vom Nischen- zum Mainstream-Player Zusammenfassung Pentaho: Business- und Big-Data-Analysen Pentaho im Überblick Warum Pentaho? Community vs. Enterprise Community oder Enterprise Edition im Unternehmenseinsatz Zusammenfassung Los geht s: Pentaho installieren und konfigurieren Installation Pentaho BA-Server Zugriff auf die User Console Verwaltung der Lizenzen Anlage von Datenverbindungen Sicherheitseinstellungen Einrichtung der -Dienste Zusammenfassung

8 VI Inhalt 4 Pentaho User Console Überblick der Pentaho User Console Reporting Scheduling Interactive Reporting Analyzer Reports Dashboards Marketplace Mobile Zusammenfassung Pentaho Data Integration Pentaho Data Integration im Überblick Aufbau eines Star-Schemas mit Pentaho Data Integration Big Data und Pentaho Data Integration Data Mining und Pentaho Data Integration Zusammenfassung Pentaho Reporting Pentaho Report Designer Überblick des Report Designers Definition von Datenquellen und Abfragen im Report Designer Entwicklung des ersten Berichts Erweiterte Berichtsfunktionen am Beispiel eines MDX-Berichts Berichtsverteilung mit Pentaho Reportentwicklung für Big Data Stores Pentaho Interactive Reporting Metadaten für Reporting und Analysen Zusammenfassung Pentaho Analysis Mondrian im Überblick OLAP-Würfel mit der Pentaho Schema Workbench erstellen Bessere Performance mit dem Aggregation Designer erreichen Flexible Analysen für Big Data Analytics Zusammenfassung Pentaho Dashboards von Self Service bis maßgeschneidert Self Service Dashboards für Endanwender mit dem Pentaho Dashboard Designer Maßgeschneiderte Dashboards mit den Pentaho CTools Zusammenfassung

9 Inhalt 9 Jedox: Self Service BI und Performance Management Jedox: Self Service BI und Performance Management Versionsübersicht Los geht s: Jedox installieren und konfigurieren Installationsvarianten Exemplarische Installation aller Komponenten Konfiguration des Servers für den Zugriff externer Clients Installations verzeichnis & Ordner strukturen Jedox for Excel Add-in mit dem OLAP-Server verbinden Der Dialog Ansicht einfügen Datenfunktionen Der Dialog Elemente einfügen Entwicklung von Datenstrukturen Modeller Erstellen einer neuen Datenbank Anlegen der Dimensionen Erstellen eines Würfels Dateneingabe Splashing Import-Assistent Jedox Web Jedox Web Datei-Manager Funktionsweise Datei-Manager Funktionsweise Arbeitsmappe Entwicklung von Berichten Anlegen des Berichts (inkl. Überschriften) Anlegen der Combo-Boxen Anlegen des Datenbereichs Platzieren des DynaRanges und des Datenbereichs Einbinden des Diagramms Einbinden der individuellen Bilder Weitere Funktionen Hilfreiche Zusatzfunktionen im Web Verwendung von Variablen und benannten Bereichen Macro-Engine VII

10 VIII Inhalt 15 Berichts-Manager Funktionsweise Berichts-Manager Erweiterte Berichtserstellung ETL-Manager ETL-Menü ETL-Komponenten Verbindungen Extraktion Transformation Transformationsschritt Field Transform Transformationsschritt Table Join Transformationsschritt Table Transform Transformationsschritt Table View Transformationsschritt Tree FH Weitere Transformationen Laden Job Variablen Beispiel ETL-Prozess Task- und OLAP-Manager Task-Manager Batch PDF ETL Jobs OLAP-Manager System-Manager Grundlegende Optionen Benutzerberechtigungen Jedox Mobile Potenziale von Pentaho und Jedox zusammenführen Pentaho und Jedox in der Gegenüberstellung Pentaho und Jedox im Zusammenspiel Zusammenfassung Index

11 Vorwort Beschäf tigt man sich mit Business Intelligence und durchsucht das Internet, wird man schnell mit Phrasen wie Daten sind das neue Öl oder Wer die Daten hat, hat die Macht konfrontiert. Daten bzw. die enthaltenen Informationen werden immer wichtiger für Unter nehmen. Wer seine Kunden am besten kennt oder am schnellsten auf geänderte Markt bedingungen reagieren kann, generiert Wettbewerbsvorteile und kann sich von seinen Marktbegleitern absetzen. Voraussetzung ist, die Daten schnell und zuverlässig zu erheben und auszuwerten. Nur so kann man die Schätze aus den eigenen Datenbanken und IT-Sys temen heben. Als Berater für Business Intelligence und Big Data führen wir entsprechende Lösungen seit mehreren Jahren in einer Vielzahl von Projekten ein. Als Software verwenden wir in diesen Projekten die Tools von Pentaho oder Jedox, um Daten zu extrahieren, zu veredeln und somit in wertvolle Informationen zu verwandeln. Dieses Buch stellt die beiden Lösungen vor. Nach einer kurzen allgemeinen Einführung in das Thema Business Intelligence wird im ersten Teil des Buches die Software von Pentaho vorgestellt. Pentaho bietet einen voll ständigen Ansatz für Business Intelligence und Big Data Analytics. Der zweite Teil dieses Buches stellt die BI-Software von Jedox vor. Jedox ist ebenfalls eine vollständige BI-Plattform und bietet zudem die Möglichkeit, umfangreichen Planungsapplikationen zu entwickeln. Neben der Vorstellung der beiden Software-Suiten sind in den jeweiligen Kapiteln auch praktische Beispiele hinterlegt. Hier steht ein Teil der Beispiele zum Download bereit, entsprechende Hinweise sind in den Kapiteln hinterlegt. So können Sie direkt mit den Tools arbeiten und die Beispiele besser nachvollziehen. Sowohl Pentaho als auch Jedox haben sich in unseren Projekten mehr als bewährt und die Anwender überzeugt. In diesem Sinne wünschen wir Ihnen viel Spaß beim Lesen und Aus probieren und vor allem viel Erfolg für Ihre eigenen Business Intelligence-Vorhaben. Viele Grüße Stefan Müller und Christopher Keller Fulda, im Dezember 2014

12

13 1 Business Intelligence im Überblick Business-Intelligence-(BI-)Systeme haben in den letzten Jahren massive Verbreitung in Unternehmen gefunden. Der zielgerichteten Bereitstellung von Informationen kommt in Zeiten steigenden Wettbewerbs und immer kürzer werdenden Entscheidungszyklen eine strategische Bedeutung zu. Begünstigt durch das explosive Wachstum an Daten bei gleich zeitig immer niedrigeren Kosten für die Speicherung von Informationen wird Business Intelligence auch in den kommenden Jahren eine wichtige Rolle für die Entwicklung eines besseren Geschäftsverständnisses spielen. Das erste Kapitel des vorliegenden Buchs führt allgemein in das Konzept von Business Intelligence ein. Im ersten Abschnitt lesen Sie, was Unternehmen motiviert, in Business Intelligence zu investieren und entsprechende Systeme zu implementieren. In den folgen den Abschnitten erhalten Sie Informationen zu den Teilbereichen von Business Intelligence: von der Entwicklung eines Data Warehouse über die gerichtete und ungerichtete Analyse von Unternehmensdaten bis hin zu ihrer Verteilung in Form von Berichten und Dashboards. Diese Begrifflichkeiten und Konzepte bilden die Grundlage der späteren Kapitel, in denen ich vorstelle, wie man eine vollständige Business-Intelligence-Anwendung mit open-sourcebasierten Werkzeugen aufbaut. Open Source Business Intelligence ist auch das Thema des letzten Abschnitts dieses Kapitels. Hier werden die Vorteile dieses Ansatzes und einige Marktteilnehmer vorgestellt. 1.1 Business Intelligence: die Verwandlung von Daten in Informationen Kennen Sie die Situation, dass für die Bereitstellung von Berichten immer die IT-Abteilung herangezogen wird? Ist für Sie die Auswertung von Geschäftskennzahlen sehr zeitauf wendig und kostenintensiv? In vielen Unternehmen ist es Usus, für Besprechungen Reports mit unterschiedlichen Datenbeständen heranzuziehen, ganz davon zu schweigen, dass sich die Datenbestände meistens über mehrere Datenquellen und Systeme verteilen. Solche Situationen erschweren es, aussagekräftige Berichte zu erstellen und die dazugehörigen Daten zu analysieren. Doch gerade Geschäftsdaten stellen die Grundlage für unternehme rische Entscheidungen von großer Tragweite dar.

14 2 1 Business Intelligence im Überblick Früher waren Begrifflichkeiten wie IT-basierte Managementunterstützung, Manage ment-support-systeme oder Management-Informationssysteme weit verbreitet. Heute hat sich dafür der Begriff Business Intelligence (BI) eingebürgert. Business Intelligence ist ein Sammelbegriff für eine große Zahl unterschiedlicher Techno lo gien, sodass es eigentlich keine einheitliche Definition des Begriffes gibt. In meinen Augen beschreibt das folgende Zitat die Ideen und Gemeinsamkeiten, die den unterschiedlichen Ansätzen zugrunde liegen, sehr gut: Business Intelligence (BI) as Business Intelligence is getting the right information to the right people at the right time to support better decision making and gain competitive advantages. (J. Waite) Waite geht auf die Business-Perspektive des Themas ein. Business Intelligence soll es ermöglichen, Informationen so gut wie möglich zu verwalten. Jeder Mitarbeiter soll maß geschneidert aufbereitete Informationen immer dann zur Verfügung haben, wenn er eine Entscheidung treffen muss. Ziel ist es also, immer einen Entscheidungsprozess zu unter stützen und Wettbewerbsvorteile für ein Unternehmen zu generieren. Schauen wir uns eine andere Definition an: Business Intelligence is the process of transforming data into information and, through discovery into knowledge. (W. Behme) Dieser Satz beleuchtet eher die technische Perspektive von Business Intelligence. Daten aus den operativen Systemen werden eingesammelt, durch entsprechende Aufbereitungspro zesse in Informationen verwandelt und schließlich im Unternehmen verteilt. BI hat in den letzten Jahren nicht ohne Grund ein so großes Marktinteresse erfahren. Aus löser waren z. B. ungeeignete Reporting- und Analysefunktionalitäten von anderen (ins besondere ERP-)Systemen, mit denen man nur mit großem Aufwand Berichte und Auswer tungen erstellen konnte. Daneben hat die Notwendigkeit zugenommen, Daten aus mehreren (oft unterschiedlichen) Vorsystemen konsolidieren zu müssen, um einen umfassenden Überblick zu gewinnen (z. B. Konzernreporting). Auch wirtschaftlicher Druck hat dazu ge führt, dass viele Unternehmen ihre Prozesse und Organisation durch besseres Zahlen material optimieren wollen. Auf Anwenderseite gibt es einen weiteren wichtigen Grund: Man wollte auf Geschäftsdaten und Analysen über vertraute, nichttechnische Frontends wie Excel oder Portale zugreifen können, die auch Fachanwendern und nicht nur der IT das Arbeiten mit Daten ermöglichen. Bis vor einiger Zeit gab es auch noch die Anforderung, die operativen Transaktionssysteme zu entlasten. Dieser Performancegrund ist aber durch die ständig günstiger und leistungsfähiger werdende Hardware kaum noch relevant. Die Auswertung von unternehmerischem Zahlenmaterial geschieht durch analytische In formationssysteme, die auf einen konsolidierten Datenbestand (oftmals in Form sogenann ter Cubes ) zugreifen. Je größer das Unternehmen ist, desto mehr Daten entstehen. Dazu kommt, dass aufgrund von heterogenen IT-Landschaften Daten aus verschiedenen Vorsys temen integriert werden müssen. Das stellt nicht nur hohe technische Anforderungen, sondern auch semantische, z. B. die Normierung von Daten wie Euro und Dollar in einem globalen Umsatzreport. Natürlich sind diese Informationen ohne eine entsprechende Aufbe reitung nicht wirklich nützlich für die Geschäftsführung oder den Vorstand eines Unterneh mens. Bearbeitet und verändert man sie aber unter Verwendung von BI-Systemen, bekom men sie einen Bezug zueinander und sind in Entscheidungsprozessen einsetzbar.

15 1.1 Business Intelligence: die Verwandlung von Daten in Informationen 3 Ich übertreibe nicht, wenn ich sage, dass BI-Systeme mit wenigen Ausnahmen ein Muss für alle Managementebenen sind. Denn: Entscheider erhalten dadurch einen einfachen Zu gang zu Kennzahlen, Berichten und Scorecards und können selber Analysen mit zeitlicher Betrachtung durchführen. Führungskräfte haben spezielle Anforderungen, die BI-Systeme gut erfüllen können: Schnelligkeit, Einfachheit der Nutzung, Gebrauchstauglichkeit für IT-fremde Personen, Datenqualität, stetige Aktualität, Verlässlichkeit, Integrität und Kon sistenz. In Abhängigkeit von den individuellen Anforderungen kann die Architektur eines BI-Sys tems unterschiedliche Formen haben. Im Folgenden beschreibe ich einen Ansatz, den man in der Praxis häufig antrifft. Bild 1.1 Eine Referenzarchitektur für Business Intelligence Die zu verarbeitenden Daten liegen in der Regel in unterschiedlichen Quellsystemen. Dabei kann es sich um die operativen Systeme handeln, wie bspw. das ERP- oder das CRM-System. Neben diesen internen Informationen können allerdings auch externe Daten wie Marktund Wettbewerbsinformationen für Analysen und Auswertungen interessant sein. Diese Schicht der Quellsysteme ist durch eine große Heterogenität der Daten geprägt. Diese Daten zu integrieren, zu bereinigen und zu standardisieren ist eine der wesentlichen Aufgaben von Business-Intelligence-Lösungen. In der zweiten Schicht der Business-Intel ligence-architektur, der Integrationsschicht, werden daher zeit- oder eventgesteuert die sogenannten Extraktions-, Transformations- und Ladeprozesse (ETL-Prozesse) zur Aufbe reitung und Veredelung der Daten ausgeführt. Ziel der ETL-Prozesse ist ein sogenannter Data Storage Layer mit dem Data Warehouse (DW). Dazu wird typischerweise eine relationale Datenbank eingesetzt, um die Daten zu speichern. Die zentrale Aufgabe der Datenbank ist es, performante Abfragen über sehr große Datenmengen zu ermöglichen. Konfrontiert mit explosionsartigem Datenwachstum und damit den Grenzen relationaler Datenspeicherung finden in dieser Schicht unter dem Stichwort Big Data neue Technologien Einzug. Ein bekannter Vertreter ist das Hadoop-

16 4 1 Business Intelligence im Überblick Framework mit seinem MapReduce-Algorithmus zur Speicherung und Verarbeitung riesi ger Datenmengen. Die Funktionalitäten der unterschiedlichen BI-Anwendungen werden in der Output-Schicht oder im Output Layer abgebildet. Die Technologie des Online Analytical Processing (OLAP) erlaubt eine multidimensionale Sicht auf die Daten und damit flexible und performante Analysen. Auch nicht IT-affine Anwender können dadurch eigene Auswertungen erstellen, Ansichten filtern oder Operationen zur Generierung von Detailansichten (sogenannte Drilldowns) durchführen. Neben solchen hochdynamischen Ansichten für Poweruser werden in dieser Schicht auch weniger flexible, aber hochformatierte Standardberichte für die ver schiedenen Berichtsempfänger erstellt. Data-Mining-Anwendungen erlauben mittels statis tischer Funktionen, neue Muster in den Datenbeständen des Data Warehouse zu erkennen. Diese Methoden lassen Sie nicht nur in die Vergangenheit blicken, sondern ermöglichen es auch, Prognosen über zukünftige Entwicklungen zu treffen. Business-Intelligence-Systeme bieten vielfältige Frontends für Anwender. Je nach Anbieter können die Analysen, Berichte oder Dashboards im Browser, in Excel oder in anderen Desk top-werkzeugen angezeigt werden. Die Referenzarchitektur wird uns durch das ganze Buch begleiten. Anhand eines prakti schen Beispiels werde ich ihre Schichten beschreiben und erklären, welchen Zweck sie erfüllen. Zuerst möchte ich aber noch ein wenig auf die einzelnen Technologien eingehen, die sich in einem BI-System verbergen. In den nächsten Abschnitten wird es daher um Kon zepte wie Data Warehouse, OLAP etc. gehen. 1.2 Data Warehouse: das zentrale Datenlager des Unternehmens Das Data Warehouse ist das zentrale Datenlager im Unternehmen und der Dreh- und Angel punkt innerhalb einer BI-Architektur. Über die unterschiedlichen operativen Systeme sind steuerungsrelevante Informationen über Lieferanten, Prozesse, Produkte, Kunden und das sonstige Unternehmensumfeld verstreut. Diese Systeme speichern die Informationen in un terschiedlichen Datenbanken und -formaten. Auch externe Informationen werden im Nor malfall nicht zentral, sondern im ganzen Unternehmen verteilt gespeichert. Das bedeutet, dass diese Daten für Berichte und Auswertungen zum einen konsolidiert und zum anderen aufbereitet werden. Mitarbeiter greifen für diese Aufgaben in der Regel auf Tabellenkalkulationen und andere Office-Software zurück. Diese Anwendungen sind populär, aber mit einigen Nachteilen be haftet: Einerseits findet der Zugriff auf die Datenquellen durch die verschiedenen Abteilun gen unkoordiniert statt. Kennzahlen werden nach unterschiedlichen Berechnungsvorschrif ten berechnet, sodass es bei Besprechungen zwangsläufig zu Diskussionen über die Zahlen kommt. Insgesamt ist der Informationsfluss von den Quellen bis zum Managementbericht meistens sehr intransparent und wenig standardisiert.

17 1.2 Data Warehouse: das zentrale Datenlager des Unternehmens 5 Andererseits sind diese Tätigkeiten mit einem hohen Arbeitsaufwand verbunden. Nicht sel ten sitzen mehrere Mitarbeiter an der Erstellung der Berichte und Auswertungen. Sind viele manuelle Einzelschritte nötig, um z. B. einen Report zu erstellen, führt das zu einer hohen Fehleranfälligkeit und schwer zu pflegenden Berichtssystemen. Erschwerend kommt dazu, dass viele operative Quellen nur schwer zugänglich sind und deshalb spezielle, technische Vorkenntnisse nötig sind, um die gewünschten Informationen aus den Datenbanken zu be kommen. Das Data-Warehouse-Konzept setzt an diesen Schwachpunkten der herkömmlichen Samm lung betrieblicher Informationen an. Doch Vorsicht, nicht jede Datensammlung im Unter nehmen ist ein Data Warehouse! Ein Data Warehouse muss gewissen Ansprüchen an Flexi bilität und Leistungsfähigkeit bei Auswertungen genügen. Der Data-Warehouse-Experte Inmon hat für eine derartige Datensammlung die folgende Definition parat: A data warehouse is a subject-oriented, integrated, time-variant, non-volatile collection of data in support of management's decision making process. Subject-oriented bedeutet, dass die Daten nach bestimmten Themen innerhalb des unter nehmerischen Umfeldes organisiert werden. Man will also beispielsweise alles über seine Produkte oder Lieferanten auswerten. Das Attribut integrated bezieht sich auf die Zusammenführung von Daten aus verschie denen Quellen in ein gemeinsames Datenmodell. Im Data Warehouse werden also Daten aus dem ERP- oder CRM-System ebenso integriert wie Informationen aus externen Daten quellen. Ein weiterer wichtiger Aspekt eines Data Warehouse wird durch das Adjektiv time-variant ausgedrückt. Dahinter verbirgt sich die Vorstellung, dass die integrierten Daten langfristig gespeichert werden, sodass auch Auswertungen mit historischen Informationen möglich sind. Eine Zeitdimension mit unterschiedlichen Aggregationen ist eigentlich obligatori scher Bestandteil eines jeden Data Warehouse und erlaubt den Anwendern, die Entwick lung einer Kennzahl über eine bestimmte Zeit zu analysieren. Non-volatile beschreibt die persistente Speicherung der Daten im Warehouse. Die Daten werden per se nicht gelöscht oder geändert. Nimmt man Änderungen an den Daten vor, passiert das lediglich über das Laden über ETL-Prozesse. Übergeordnetes Ziel eines Data Warehouse ist die Unterstützung von Entscheidungspro zessen des Managements. Mit diesem Anspruch grenzt sich das Data Warehouse in vielen Punkten von operativen Systemen ab. Oft werden BI- oder DW-Initiativen mit dem Argu ment konfrontiert, dass alle Daten ohnehin im ERP-System stünden. Diese Argumentation vernachlässigt aber die unterschiedliche Motivation der Systeme. Diese Tabelle zeigt die wesentlichen Unterschiede zwischen einem Data Warehouse und operativen Datenquellen:

18 6 1 Business Intelligence im Überblick Tabelle 1.1 Gegenüberstellung Data Warehouse und operative Datenbank Merkmal Data Warehouse Operative Datenbank Anwenderkreis Sachbearbeiter Controller, Analysten Anwenderzahl sehr groß wenige Datenherkunft zentrale Datenbank viele unterschiedliche Datenvolumen Megabyte Gigabyte Gigabyte Petabyte Datenaktualisierung permanent vordefinierter Zeitpunkt, z. B. jede Nacht Systemlast sehr viele parallele Einzelzugriffe komplexe Abfragen über große Datenmengen Verfügbarkeit hochverfügbar, mission-critical nicht mission-critical Antwortzeit Millisekunden bis Sekunden Sekunden bis Minuten (bei umfangreichen Abfragen) Zentrales Data Warehouse und Data Marts Ein Data Warehouse kann auf unterschiedliche Weise aufgebaut sein. Welche Architek turart Sinn macht, hängt von der jeweiligen Anforderung ab, die man an Datenmengen, Performance oder andere Faktoren stellt: Die einfachste Variante ist ein zentrales Data Warehouse. Hier werden Daten aus allen Quel len in einer gemeinsamen Datenbank gespeichert. Je nach Unternehmensgröße und Anzahl der zu integrierenden Quellsysteme kann dieser Ansatz also in sehr großen Datenmengen und hoher Komplexität resultieren. Um das zu vermeiden, kann man das DW auf mehrere physische Datenbanken aufteilen. Das so entstehende Distributed Data Warehouse ist über sichtlicher und performanter. Ein Nachteil ist, dass es durch die Aufteilung noch komplexer wird als durch die Synchronisierung, Abfragen usw. Bevor ich andere Architekturansätze erkläre, halte ich es für sinnvoll, den Begriff Data Mart einzuführen. Data Marts sind eigenständige, nach Themen gekapselte Datenbe stände. Diese Datenbestände sind von deutlich geringerem Umfang als das Data Warehouse und werden in der Regel von bestimmten Abteilungen oder Unternehmensbereichen ge nutzt. Durch die geringeren Datenvolumina erreicht man zum einen eine bessere Perfor mance, zum anderen lässt sich auch der Zugriffsschutz auf die Daten individueller ge stalten. Ein Data Mart kann mit OLAP-Technologien aufgebaut werden, die ich in einem der nächsten Kapitel beschreiben werde. Man spricht von einer unabhängigen Data-Mart-Architektur, wenn die Datenpools direkt aus den operativen Datenquellen beladen werden. Es existiert also beispielsweise jeweils ein Data Mart für den Vertrieb, den Einkauf und das Finanzcontrolling. Die zugehörigen Daten werden direkt aus dem ERP-System geladen. Dieser Ansatz ist typisch für Unter nehmen mit vielen einzelnen BI-Projekten. Sein Vorteil ist, dass sich für die betroffene Ab teilung schnelle Ergebnisse erzielen lassen, da keinerlei Abhängigkeiten beachtet werden müssen. Die Kehrseite der Medaille sind isolierte Dateninseln, die keine unternehmens weite Sicht auf die Wertschöpfungsprozesse ermöglichen. Von einer Hub-and-Spoke-Architektur ist die Rede, wenn die Data Marts nicht unabhängig aus den operativen Systemen befüllt werden, sondern als zusätzliche Schicht auf das Data

19 1.2 Data Warehouse: das zentrale Datenlager des Unternehmens 7 Warehouse aufsetzen. Das Data Warehouse als zentraler Datenbestand ist der Hub, aus dem die Data Marts (Spokes) für die jeweiligen Abteilungen generiert werden. Die Vorteile liegen auf der Hand: Es existiert sowohl eine zentrale, übergreifende Datenhaltung als auch eine themen- bzw. abteilungsspezifische Sicht auf die Daten. Extraktion Transformation Laden: von der Datenquelle zum Data Warehouse Die Befüllung bzw. Bewirtschaftung des Data Warehouse erfolgt durch sogenannte ETLProzesse. ETL steht für: Extraktion der Daten aus dem ERP-System, einer Datenbank, einer Datei oder aus ande ren bestehenden Ursprungsquellen. Hier wird also auf die Datenquellen des Unterneh mens zugegriffen. Sogenannte automatisierte Jobs werten alle relevanten Daten für die weitere Verarbeitung aus. Je nach Konzeption werden die Daten zunächst ohne große Veränderungen in einer Staging Area abgelegt. Von diesem Punkt an beginnt die weitere Aufbereitung der Informationen. Transformation der Daten, um sie in die gewünschte Zielstruktur bringen zu können. Das kann durch eine Vielzahl von Operationen geschehen: Filterung, Harmonisierung, Aggregation und Anreicherung. So werden beispielsweise die Werte aus vielen Zeilen zusammengefasst und summiert. Neben der Berechnung von Kennzahlen, die in den Quellen noch nicht existieren, lassen sich auch Prüfungen der Datenqualität durchführen und unterschiedliche Datenformate vereinheitlichen. Laden der gewonnenen Daten in eine zentrale Datensammelstelle (Data Warehouse). In diesem Schritt werden die transformierten Daten in die Zieldatenbank verschoben. ETL-Prozesse wandeln also operative Daten in subjekt- bzw. themenorientierte Daten um. Dadurch können sie für die Entscheidungsfindung des Managements eingesetzt werden. Durch ETL werden die Daten unterschiedlichster Quellen integriert. Die Daten werden har monisiert, vereinheitlicht und in eine konsistente Form gebracht. Dadurch werden die Daten für Analysen und Berichte optimal strukturiert.

20 8 1 Business Intelligence im Überblick Bild 1.2 Beispiel für einen ETL-Prozess Big Data Stores als Erweiterung des Data Warehouse Data-Warehouse-Systeme strukturieren Daten und speichern diese in der Regel in relatio nalen Datenbanksystemen. Gegenwärtig sind Unternehmen mit einer wahren Explosion an Daten konfrontiert: Social Media, Sensoren, mobile Endgeräte usw. liefern immer mehr Daten und Informationen, die sich sinnvoll nutzen lassen. Klassische, relationale Daten banken kommen hier seitens des Datenvolumens, der Verarbeitungsgeschwindigkeit und der notwendigen Flexibilität an ihre Grenzen. An dieser Stelle kommt der Begriff Big Data ins Spiel. Unter Big Data versteht man Technologien und Methoden zur zeitnahen Analyse und Auswertung großer Mengen an strukturierten und unstrukturierten Daten. Big Data wird oft durch die drei V charakterisiert:

21 1.2 Data Warehouse: das zentrale Datenlager des Unternehmens 9 Volume Diese Charakteristik bezieht sich auf die Größe der Datenmengen, die verarbeitet werden soll. Bedingt durch das rapide Wachstum der Daten sind Unternehmen mit völlig neuen Anforderungen bei der Bewältigung dieser Datenmengen konfrontiert. Klassische An sätze scheitern technologisch oder aus Kostengesichtspunkten an diesen Datenvolumen, sodass Big-Data-Technologien ins Spiel kommen. Velocity Geschwindigkeit ist ein weiterer Aspekt von Big Data. Informationen verlieren immer schneller an Aktualität. Betrachtet man beispielsweise Social Media, sind neue Meldun gen wie Tweets oder Statusmeldungen oft nur wenige Sekunden interessant. Weiterhin werden Analysen und Auswertungen immer operativer, sodass es oft nicht mehr aus reichend ist, auf aktuelle Daten zu schauen. Es gilt Datenströme schnell auszuwerten. Auch hier geraten klassische Ansätze schnell an ihre Grenzen. Big-Data-Technologien können unterstützen, diese Anforderungen zu realisieren. Variety Daten liegen nicht nur in strukturierter Form vor. Es sollen auch Daten ausgewertet wer den, die nicht in hoch strukturierten Quellen wie ERP-Systemen liegen. Man geht davon aus, dass 70 bis 80 % der verfügbaren Informationen in unstrukturierter Form vorliegen. Dies können beispielsweise Text, Bilder, Videos oder ähnliche Formate sein. Big-DataTechnologien erlauben die Verarbeitung polystrukturierter Daten. Nachstehend ist eine Tabelle zu sehen, welche Business Intelligence und Big Data gegen überstellt. Tabelle 1.2 Gegenüberstellung BI und Big Data Business Intelligence Big Data Hardware Hoch getunter Server Commodity Server Datenvolumen TB und weniger PB und mehr Datenstruktur Strukturierte Daten Polystrukturierte Daten Storage-Kosten Vergleichsweise teuer Günstig pro TB Datenzugriff Schnell vergleichsweise langsam Skalierung Vertikal Horizontal OLAP-Eignung Schnell Langsam Datenqualität Hoch Mittel Lizenzmodell Oft Closed Source Open Source Hadoop, NoSQL und analytische Datenbanken sind Technologien im Big-Data-Umfeld. Analytische Datenbanken Analytische Datenbanken sind eine vergleichsweise einfache und schnell umsetzbare Erweiterung des Data Warehouse. Es sind Datenbanksysteme, die zwar auch auf relatio nalen Datenbanksystemen (RDBMS) aufbauen, aber für schnelle Abfragen optimiert sind und sich damit besonders für analytische Anwendungen eignen. Auch sehr große Daten bestände lassen sich mithilfe von analytischen Datenbanken per SQL oder mit anwender freundlichen BI-Werkzeugen analysieren selbst von Analysten und Controllern ohne

22 10 1 Business Intelligence im Überblick großes IT-Know-how. Typische Vertreter sind InfiniDB, Infobright, Vertica oder Vector wise. NoSQL NoSQL steht für Not only SQL. Datenbanken dieser Kategorie sind Open Source, hori zontal skalierbar, verteilt und verfügen über ein nichtrelationales Modell. Damit vermei den NoSQL-Datenbanken einige Schwächen relationaler Datenbanken, etwa bezüglich Skalierbarkeit und Performance. Große Datenmengen lassen sich durch das Hinzufügen weiterer Server vergleichsweise kostengünstig verarbeiten und zur Steigerung der Aus fallsicherheit können die Daten auf mehrere Server repliziert werden. NoSQL-Datenban ken sind zudem offener für Erweiterungen des Schemas und bieten durch einfachere Schemen mehr Agilität und Flexibilität bei der Anpassung und Erweiterung. Typische Anbieter in dieser Kategorie sind z. B. MongoDB, Cassandra, Neo4J oder CouchDB. Hadoop Hadoop ist ein open-source-basiertes Framework für die Erfassung, Organisation, Spei cherung, Suche und Analyse unterschiedlich strukturierter Daten auf einem Cluster von Standardrechnern. Durch diese Architektur kann Hadoop extrem skalieren und sehr große Datenmengen performant verarbeiten. Damit eignet es sich hervorragend für die batch-orientierte Verarbeitung gigantischer Datenmengen. Die Verwendung von Stan dardhardware sorgt zudem dafür, dass die anfallenden Hardwarekosten überschaubar bleiben, und ermöglicht ein ausgezeichnetes Preis-Performance-Verhältnis. Neben der reinen Open-Source-Version der Software existieren einige kommerzielle Distributionen, wie zum Beispiel Cloudera, Hortonworks oder MapR. Neben professionellem Support bie ten diese Distributoren auch erweiterte Funktionalitäten. Bei allen Gegensätzen lassen sich beide Welten aber kombinieren: So können bspw. große Datenmengen in einem Hadoop-Cluster oder einer NoSQL-Datenbank gehalten und über entsprechende Schnittstellen an das Data Warehouse angebunden werden. Dabei werden selbstverständlich nicht alle Daten, sondern nur die wichtigen übertragen. Analytische Datenbanken mit spaltenbasierten Ansätzen oder In-Memory-Technologien geben BI-Sys temen zusätzliche Performance zur Auswertung großer Datenbestände. Zusammenfassend bringt die Nutzung eine Data Warehouse eine Reihe von Vorteilen mit sich. Das DW vereint alle relevanten Daten des Unternehmens an einer zentralen Stelle und steht so für übergreifende Auswertungen zur Verfügung (Single Point of Truth). Die Daten des Data Warehouse sind durch die ETL-Prozesse vereinheitlicht und qualitätsgesichert. Durch die so entstandene Kombination von Daten aus unterschiedlichen Quellen lässt sich neues Wissen generieren. Da auch historische Daten gesammelt wurden, ist es möglich, Kennzahlen im Zeitverlauf zu analysieren. Mithilfe dieses zentralen Datenbestands lassen sich nun Informationen an verschiedene Anwendergruppen im Unternehmen verteilen. Da von handelt das folgende Kapitel.

23 1.3 Reporting und Dashboards: die maßgeschneiderte Verteilung von Informationen Reporting und Dashboards: die maßgeschneiderte Verteilung von Informationen Business Intelligence hat vor allem ein Ziel, nämlich die effektive und effiziente Verteilung von entscheidungsrelevanten Informationen im Unternehmen. Wird alleine auf Excel, PowerPoint & Co vertraut, ist der Prozess der Berichtserstellung und -verteilung sehr auf wendig und fehleranfällig. Hinzu kommt, dass es eine Vielzahl unterschiedlicher Gruppen von Berichtsempfängern gibt. Jede dieser Gruppen hat höchst unterschiedliche Anforde rungen an ihren Konsum von Informationen. Zunächst ist es allen Mitarbeitern wichtig, dass Informationen schnell und einfach zugäng lich sind. Was die Detailtiefe der dargestellten Informationen betrifft, kann es allerdings Unterschiede geben. Während das Management tendenziell höher aggregierte Kennzahlen und Sachverhalte haben möchte, verlangen Sachbearbeiter eher Detaildaten. Diese Band breite muss man sowohl auf der Ebene des Data Warehouse als auch im Berichtswesen ab bilden können. Auch die Aufbereitung der Daten kann je Empfängerkreis unterschiedlich ausfallen. Ein Teil der Berichtsempfänger setzt auf eine grafische Aufbereitung der Daten, während der andere Teil lieber Zahlen und Tabellen bevorzugt. Weitere Unterschiede kann es beim Interaktivitätsgrad der Berichte und den vielfältigen Formen der Berichtsvertei lung geben. BI-Systeme versuchen, diesen Anforderungen mit unterschiedlichen Berichts werkzeugen zu begegnen. Diese lassen sich wie folgt klassifizieren. Standardberichte Bild 1.3 Standardbericht Standardberichte greifen auf die konsistente Datenbasis des Data Warehouse oder der Data Marts zurück. Die Daten können sowohl grafisch als auch in Form von Tabellen aufbereitet sein. Was ihre Struktur betrifft, ist diese Form eher als starr zu bezeichnen, z. B. sind Spal

24 12 1 Business Intelligence im Überblick ten- und Zeilenaufbau mehr oder weniger fix vorgegeben. Ein Mindestmaß an Interaktivität lässt sich durch unterschiedliche Filter erreichen. Sie helfen dem Anwender, die Menge der dargestellten Daten nach eigenen Kriterien einzuschränken. Der Fokus von Standardberichten liegt auf der pixelgenauen Darstellung von Informatio nen. Deshalb spricht man auch von hochformatierten Berichten. Die Berichte sind druckbar und üblicherweise in einer Vielzahl von Formaten (HTML, PDF, Textdateien usw.) verfüg bar. Die Berichtsempfänger können die Berichte entweder in einem Portal abrufen bzw. abonnieren oder die Berichte werden per zugestellt. BI-Plattformen sind in der Lage, Standardberichte an große Empfängerkreise vollkommen automatisiert und zeitgesteuert zu verteilen. Adhoc-Berichte Bild 1.4 Ad-hoc-Bericht Ad-hoc-Berichte richten sich an Anwender, die mehr Interaktivität wünschen, als das bei Standardberichten der Fall ist. Endanwender können mit Ad-hoc-Reports eigene Berichte erstellen und bestehende Berichte anpassen. Dazu sind keine tieferen IT-Kenntnisse not wendig, weil die Anwender auf eine aufbereitete Metadatenschicht zugreifen können. Über eine Weboberfläche kann das Berichtslayout definiert und der Bericht mit Daten versorgt werden. Anwender können die Daten nach eigenen Vorstellungen sortieren und filtern. Gruppierungen und Aggregationen lassen sich so festlegen. Auch die farbliche Gestaltung kann der User selber bestimmen. Über Ad-hoc-Berichte können Anwender exakt die Daten abrufen, die sie benötigen, ohne auf Entwicklungsressourcen in der IT-Abteilung zurück zugreifen.

25 1.3 Reporting und Dashboards: die maßgeschneiderte Verteilung von Informationen 13 Dashboards Bild 1.5 Dashboard Manager und Entscheider wollen einen besonders schnellen und intuitiven Zugriff auf relevante Informationen. Diese Usergruppe möchte nicht erst viele Reports und Analysen öffnen, um die gewünschten Informationen zu erhalten. Deshalb gibt es Dashboards, die einen komprimierten Blick auf relevante Daten und wesentliche Kennzahlen geben. Ziel ist es, Informationen unkompliziert und ohne Ablenkungen zu konsumieren. Die Fokussie rung auf die wichtigsten Zahlen soll eine schnelle Reaktionsfähigkeit ermöglichen. Dashboards setzen sehr stark auf die Visualisierung von Daten. Über Grafiken und Farbkon zepte soll es dem Betrachter ermöglicht werden, Zusammenhänge, Trends, Ausreißer usw. sofort zu erfassen. Aus diesem Grund sollte ein Dashboard nicht mit Inhalten überladen sein und auf ablenkende Effekte verzichten. Ein Dashboard sollte genau auf den Monitor passen. So wird vermieden, dass der Betrachter scrollen muss, um alle Inhalte zu sehen. Durch die Kombination von Informationen aus unterschiedlichen Quellen lässt sich mit einem Dashboard ein ganzheitliches Bild vom Zustand eines Unternehmens zeichnen. Selbstverständlich kann ein Dashboard der Einstiegspunkt für tiefere Analysen sein. Durch die Entwicklung geeigneter Navigationskonzepte und Verlinkungen kann der Anwender zu Detailinformationen oder anderen Analyseoberflächen wechseln. Das Dashboard bezieht seine Daten aus dem Data Warehouse, sie können aber auch aus operativen Systemen kommen. Dashboards können Informationen bei Bedarf sehr zeitnah darstellen, um einen Liveblick auf einen bestimmten Sachverhalt zu ermöglichen. Business Intelligence bietet also eine Vielfalt unterschiedlicher Methoden für das Berichten von Informationen im Unternehmen. Egal, ob ein Bericht an Hunderte von Empfängern zu einer bestimmten Zeit ausgeliefert werden soll oder ob sich versierte Anwender eigene Be richte in einer Weboberfläche zusammenstellen möchten, ein BI-System bietet für fast alle Anforderungen eine Lösung. Dashboards stellen komplexe Informationen in komprimierter Form dar, sodass sie auf einen Blick erfassbar werden. Die Informationen aus unterschied lichen Quellen bieten einen Einblick in die Leistungsstärke des Unternehmens. Dieses Wis sen kann für die Entscheidungsfindung genutzt werden.

26 14 1 Business Intelligence im Überblick 1.4 Online Analytical Processing: mit Daten würfeln das Business verstehen Das reine Konsumieren von Informationen in Form vordefinierter Reports und Dashboards ist bestimmten Anwenderkreisen zu wenig. Analysten, Controller und verwandte Mitarbei ter haben den Anspruch, flexibel mit Daten zu arbeiten. Diese Anwender wollen die Daten nicht nur filtern, sondern sich eigene Auswertungen erstellen, um Probleme analysieren und Wissen generieren zu können. Hinzu kommt, dass im Alltagsgeschäft oft Fragestellun gen zeitnah untersucht werden müssen, die nicht vollständig vordefiniert sind. Flexibilität und Geschwindigkeit haben in diesem Umfeld eine besonders hohe Bedeutung. Werden zur Erfüllung dieser Anforderungen klassische Instrumente wie starre Berichte eingesetzt, kommt aufseiten der Business-Anwender, aber auch der IT oft Frustration auf: Die Fach abteilungen haben nicht die richtigen Werkzeuge für ihr Tagesgeschäft und müssen u. U. lange auf Anpassungen warten. Die IT ist zwangsläufig involviert, weil die Auswertungen sehr komplex sein können, z. B. wenn viele Tabellen berücksichtigt werden müssen. Insbe sondere in kleinen und mittleren Unternehmen sind die Ressourcen für die Bereitstellung der Auswertungen und Reports in der Regel eingeschränkt, sodass die Arbeitsbelastung für die beteiligten Personenkreise entsprechend wächst. Aber es gibt eine Lösung für dieses Dilemma: Online Analytical Processing (OLAP). Vielen Anwendern ist es unter den Begriffen Cubes oder Würfel bekannt. OLAP is an approach to quickly provide answers to analytical queries that are multi-dimensional in nature. (E. F. Codd) OLAP-Systeme sollen sogenannten Powerusern die analytischen Tools an die Hand geben, um mit den Daten interagieren und sie einfach erkunden zu können. OLAP-Systeme zeich nen sich durch folgende Merkmale aus: Multidimensionale Sicht auf Daten B ild 1.6 OLAP-Würfel

27 1.4 Online Analytical Processing: mit Daten würfeln das Business verstehen 15 Die Daten sind in Form von Würfeln organisiert. Ein Würfel besteht aus Dimensionen und Fakten. Die Dimensionen sind die Kanten des Würfels und stellen die Analysestrukturen für die Anwender dar. In der Regel enthalten die Dimensionen mindestens eine Hierarchie. Betrachtet man z. B. eine Zeitdimension, kann man Hierarchieknoten für das Jahr, die Quar tale, die Monate usw. finden. Aufbau und Anzahl der Dimensionen bestimmen die Anfor derungen der Anwender. Bei einer Modellierung bieten bestehende Berichte und Auswer tungen einen guten Ausgangspunkt dar. Die Fakten liegen auf den Verbindungspunkten zwischen den einzelnen Dimensionen und stellen die Kennzahlen dar. Auch die Berechnungsvorschriften für die Kennzahlen werden durch die Anwender bestimmt. Neben den durch ETL-Prozesse vorberechneten Werten können auch Berechnungen innerhalb des Würfels ( Calculated Measures ) durchgeführt werden. Bild 1.7 Multidimensionale Datensicht Die Abbildung zeigt exemplarisch die multidimensionale Sicht eines Anwenders auf einen OLAP-Würfel. Gezeigt wird die Kennzahl Umsatz gegliedert nach Produktlinien in den Ab satzregionen APAC und Europe über die Jahre 2003, 2004 und Fokussierung auf Endanwender OLAP-Werkzeuge sind für Fachanwender gemacht. Es geht nicht darum, Daten abzufragen, sondern durch sie hindurch zu navigieren. Kenntnisse über Datenbanken oder Abfragespra chen sind nicht notwendig. Die Anwender nutzen einfach zu bedienende Oberflächen, um ihre Analysen zu erstellen.