WhitePaper. Mai BIA Business Intelligence Accelerator. Markus Krenn Geschäftsführer Mail:

Transkript

1 WhitePaper BIA Business Intelligence Accelerator Mai 2012 Markus Krenn Geschäftsführer Mail: BIA Business Intelligence Accelerator GmbH Softwarepark 26 A-4232 Hagenberg Mail: Web: Seite 1

2 Inhalt WhitePaper... 1 Überblick und Einführung... 3 Vorlagenbasierte ETL Generierung... 3 Systemvoraussetzungen... 3 Features... 4 Metadatenverwaltung... 5 Vorlagenverwaltung... 6 Dynamische Statements... 7 Beispiel (Datenfluss zwischen zwei SQL Server Datenbanken)... 8 SSIS Generator... 9 Dokumentation Sonstiges Lizenzierung Wartung Testversion Online Demo Seite 2

3 Überblick und Einführung Vorlagenbasierte ETL Generierung BIA Business Intelligence Accelerator ist ein Visual Studio Add-In, das sich in das Business Intelligence Studio des SQL Servers 2008 (R2) und 2012 integriert. Das Add-In generiert SQL Server Integration Services (SSIS)-Pakete anhand frei definierbarer Vorlagen. Einsatzmöglichkeiten sind überall dort, wo Daten extrahiert, geladen und transformiert werden müssen. Durch den flexiblen SSIS-Generator erhalten Sie Pakete von wesentlich höherer Qualität, als bei manuell erstellten SSIS- Paketen. Die oft sehr zeitintensive Erstellung und spätere Pflege der einzelnen SSIS-Pakete fällt weg. Reduzierung der Entwicklungszeit um bis zu 50% Durch einen 3-stufigen Ansatz wird die Entwicklungszeit sowohl während der Entwicklungsphase, als auch bei der späteren Wartung und Instandhaltung nachhaltig gesenkt: 1. Vorlagenbasierter Ansatz: Mit der Software werden bereits viele verschiedene Vorlagen ausgeliefert, die die wichtigsten Datenintegrationsszenarien abdecken. Der Benutzer kann natürlich diese nach seinen eigenen Vorstellungen abändern oder auch eigene Vorlagen erstellen und verwenden. 2. Flexibler SSIS-Generator: Anstatt wie bisher alle SSIS Pakete manuell zu erstellen, leitet der SSIS- Generator diese automatisch von den eingesetzten Vorlagen ab. Ändert sich etwas am ETL-Prozess 1, an den Vorlagen oder an einem Quellsystem, werden die betroffenen Pakete einfach über den Generator aktualisiert (bisher war dazu viel manueller Aufwand notwendig). 3. Integrierte Dokumentation: Durch die integrierte Dokumentation erhält der Anwender eine umfassende, stets aktuelle Dokumentation seines Data Warehouse. Systemvoraussetzungen Arbeitsspeicher o Minimum: 1 GB o Empfohlen: 4 GB oder mehr Betriebssystem o Windows Server 2003 (R2) SP2 o Windows Server 2008 (R2) SP2 Prozessor o Minimum: 1,4 GHz o Empfohlen: 2,0 GHz oder schneller Software o Microsoft SQL Server 2008 (R2) o Microsoft SQL Server Extract Transform Load Process Seite 3

4 Features BIA Business Intelligence Accelerator besteht aus einem Satz von Modulen, die es ermöglichen, Microsoft SQL Server Integration Services Pakete flexibel aus vordefinierten Vorlagen zu generieren. Dazu werden Metadaten (insbesondere Informationen bzgl. Datenschemata) aus den Systemen, die an den ETL Prozessen beteiligt sind(seien es Quell- oder Zielsysteme), importiert. BIA Business Intelligence Accelerator liefert einen Satz von gebräuchlichen ETL Vorlagen mit aus, die durch benutzerdefinierte SSIS-Vorlagen beliebig erweitert werden können. Auf Basis der SSIS-Vorlagen und der Metadaten generiert der SSIS-Generator lauffähige ETL Pakete. Abb. 1: BIA Business Intelligence Accelerator - Architektur Seite 4

5 Metadatenverwaltung In der Metadatenverwaltung können Metadaten von verschiedensten Daten Providern eingelesen und editiert werden. Aktuell können die Metadaten von Microsoft SQL Server, SAP 2 und Flatfiles verarbeitet werden die Anzahl der unterstützten Provider wird jedoch ständig erweitert (derzeit wird an der Unterstützung von IBM DB2 und Oracle Database gearbeitet). Abb. 2: Manage Metadata - Screenshot 2 Separate Lizenzen von Theobald Software GmbH notwendig Seite 5

6 Vorlagenverwaltung BIA Business Intelligence Accelerator ermöglicht es dem Anwender, aus jedem beliebigen Microsoft SSIS Paket eine SSIS-Vorlage zu erstellen. Dazu wird definiert, welche Eigenschaften der Vorlage bei der Generierung der lauffähigen Pakete dynamisch ersetzt werden müssen (Details hierzu sind im Kapitel Dynamische Statements zu finden). Abb. 3: Manage SSIS Templates - Screenshot Seite 6

7 Dynamische Statements Ein Basiskonzept von BIA Business Intelligence Accelerator ist das der Dynamischen Statements. Dynamische Statements erlauben das Kreieren von Ausdrücken, wie z.b. selektiere die Nicht- Schlüssel-Spalten einer Quelltabelle und weise deren Werte den Nicht-Schlüssel-Spalten einer Zieltabelle zu. Bei der Generierung der lauffähigen Pakete werden alle Dynamischen Statements einer Vorlage durch konkrete Statements ersetzt, z.b. SQL, C#, usw. Abb.4 : Manage dynamic statement Screenshot Seite 7

8 Beispiel (Datenfluss zwischen zwei SQL Server Datenbanken) Die folgenden Beispiele sollen zeigen, wie Dynamische Statements in BIA Business Intelligence Accelerator zum Einsatz gebracht werden. Basis für die Beispiel-Statements sind folgende Entitäten: Quelle (Database-name: L1) Ziel(Database-name: L2) dbo.customer PK CUST_ID varchar(12) dbo.customer PK CustomerID varchar(12) CUST_NAME CustomerName ADD_CITY AdressCity ADD_STR AdressStreet ADD_ZIP nvarchar(12) ZIPCode nvarchar(50) ADD_CTRY Country Mapping CUST_ID CUST_NAME ADD_CITY ADD_STR ADD_ZIP ADD_CTRY CustomerID CustomerName AdressCity AdressStreet ZIPCode Country Beispiel 1: Input: SELECT {SC} FROM {ST} --Repeat = No Details: {ST} = {SourceTable} [Customer] Details: {SC} = {SourceColumn} CUST_ID Output: SELECT CUST_ID FROM [Customer] Beispiel 2: Input: UPDATE {Destination} SET {Columns} --Repeat = Yes; Filter = DestinationColumn.IsPrimaryKey = 0; Delimiter =, Details: {Destination} = {DestinationSchema} +. + {DestinationTable} L2.dbo.Customer Details: {Columns} = {DestinationColumn} + = n/a CUST_ID Output: UPDATE L2.dbo.Customer SET CUST_NAME = 'n/a', ADD_CITY = 'n/a', ADD_STR = 'n/a', ADD_ZIP = 'n/a', ADD_CTRY = 'n/a' Seite 8

9 SSIS Generator Bevor nun Pakete generiert werden können, wird für alle Quelle - Ziel Beziehungen festgelegt, welche Vorlage der SSIS Generator verwenden soll. Anschließend können die Pakete per Knopfdruck generiert werden. Abb. 5: Manage Relations / Generate Packages Screenshot Seite 9

10 Dokumentation BIA Business Intelligence Accelerator bietet die Möglichkeit, verschiedenste Berichte aus den abgelegten Daten zu ziehen. In der folgenden Abbildung finden Sie einen Bericht zu einem Paket BrokerExposures.dtsx, der zeigt, welche Statements für das Paket dynamisch erzeugt wurden und auf welche Quelle - Ziel Beziehung der ETL Prozess angewandt wird. So ist sichergestellt, dass die mit BIA Business Intelligence Accelerator verwalteten ETL Prozesse immer klar dokumentiert sind. Abb. 6: SSIS Packages Report Seite 10

11 Sonstiges Lizenzierung BIA Business Intelligence Accelerator wird pro Entwickler lizenziert. Sie können jeden einzelnen Entwickler mit einer Standard Lizenz ausstatten oder einen kompletten Kundenstandort mit einer Enterprise Lizenz, die für eine unlimitierte Anzahl von Entwicklern gilt, ausstatten. Falls SAP Integration gewünscht ist, müssen separate Lizenzen von Theobald Software GmbH erworben werden. Wartung Im Rahmen der Wartung wird garantiert, dass BIA Business Intelligence Accelerator gemäß dem Handbuch fehlerfrei läuft. Bei technischen Schwierigkeiten können die Fragen per gestellt werden. Die Wartung wird jeweils für ein Jahr abgeschlossen und kann dann jeweils verlängert werden. Bei ausgelaufener Wartung verfällt das Anrecht auf Updates. Testversion Die BIA Business Intelligence Accelerator - Testlizenz ist 14 Tage gültig und stellt den vollen Funktionsumfang der Professional Edition dar. Die Testlizenz ist kostenlos und unverbindlich. Bitte füllen Sie das Onlineformular auf aus und Sie erhalten umgehend den Link für den Download der Testversion. Online Demo Vereinbaren Sie einen Termin auf für ein persönliches Online-Meeting und erhalten Sie einen technischen Überblick über BIA Business Intelligence Accelerator, seine flexiblen Einsatzmöglichkeiten und Anwendungsgebiete, kostenlos und unverbindlich. Nähere Informationen erhalten Sie unter oder unter support@biaccelerator.com Seite 11