Microsoft SQL Server REFERENZEN. Business Intelligence

Transkript

1 Microsoft SQL Server REFERENZEN aus dem Geschäftsbereich Business Intelligence

2 BMI - Bundesministerium für Inneres Migration Asylstatistik: Aufgabenstellung: Migration der vorhandenen Asylstatistik von Microsoft SQL Server 2000 auf Microsoft SQL Server 2005 sowie die Migration von BusinessObjects 6.5 auf BusinessObjects XIr2 o Microsoft SQL Server 2005 o Microsoft SQL Server 2005 Integration Services (SSIS) o BusinessObjects XIr2, DB2 Quelldatenbank, Exceldateien Quelldaten Umsetzung: Die vorhandenen Beladeroutinen von der DB2 Quelldatenbank wurden bisher mit den DTS Services des Microsoft SQL Server 2000 durchgeführt. Diese DTS Routinen wurden mittels den neuen Microsoft SQL Server 2005 Integration Services neu abgebildet und verbessert. Der Kunde musste von einer monatlichen Datenbeladung auf eine tägliche Datenbeladung wechseln, um auch tägliche Asylstatistik erstellen zu können. Die monatlichen Auswertungen sind aber auch möglich. Die Asylstatistik Auswertungen werden mittels BusinessObjects XIr2 durchgeführt. Eine Migration von BusinessObjects 6.5 auf XIr2 wurde durchgeführt und die Konfiguration an die Anforderungen des Kunden individuell angepasst. Die bestehenden Business Objects Auswertungen wurden durch einen Releasewechsel auf die neue Version Business Objects XI R2 überführt und über funktionale Tests überprüft. Das bestehende Berechtigungskonzept als auch bestehende Funktionen wurden in die neue Technologie übernommen, angepasst und durch Möglichkeiten ergänzt. Erstmals wurde eine automatisierte Reportverarbeitung eingerichtet, die eine automatisierte und zeitgesteuerte Aktualisierung der Asylstatistikauswertungen ermöglicht. o Einrichtung SQL Server Agent (Job Scheduling): Credentials, SSIS Package Execution Proxy o Integration Services Funktionen Datenzugriffe: DB2, SQL Server, Excel Files Foreach Loop Container: Ausführen von vorhandenen Create SQL Scripts um bei Bedarf die Tabellen Struktur wieder herzustellen. Execute SQL Tasks: SQL Scripts um die logischen Berechnungen durchzuführen. Automatische benachrichtigung bei fehlerhaften Beladungen (im SSIS Paket) Loggingfunktionalitäten

3 ORF - Österreichischer Rundfunk ARCON Hostdatenmigration: Aufgabenstellung: Analyse und Umstrukturierung relevanter ORF Daten o MS SQL Server 2005 Integration Services (SSIS) o Textdateien als Quelldaten o Oracle Datenbank als Datenziel Umsetzung: Es soll beim Kunden eine Migration von Filmarchivdaten von einem Hostsystem auf ein Datenbanksystem erfolgen. Um dies zu realisieren wird aus dem Hostsystem ein Textfile-Abzug gemacht. Dieses Textfile mit einer Größe von über 4GB (über 250 Mio. Datenzeilen) wird mittels der Microsoft Integration Services weiterverarbeitet. Die Datenzeilen wurden nach angegebener Logik verarbeitet und Informationen hinzugefügt bzw. neu aufbereitet. Funktionen, die für diese Schritte herangezogen wurden, sind folgende: o Datenzugriff auf Flat Files o Pivot / Unpivot o Conditional Split o Join Funktionalitäten o Derived Columns o Logging Funktionalität o.net Transformationsskripts (Synchrone / asynchrone Outputs) Ö1 Club Reporting: Aufgabenstellung: Ö1 Club Reports an die Anforderungen des Ö1 Clubs anpassen und die definierten Änderungswünsche umsetzen o Microsoft SQL Server 2005 Reporting Services (SSRS) o Microsoft SQL Server 2005 Analysis Services (SSAS) Umsetzung: Durch stetige Nutzung der vorhandenen Ö1 Club Reports sind im Laufe der Zeit Verbesserungsvorschläge aufgetreten. Prompt Abfragen, die für die Ö1 Club Mitarbeiter eine bessere Analyse der Daten bringen, sollen verbessert werden. Die Prompt Abfragen ermöglichen den Mitarbeitern beispielsweise die Auswahl eines gewissen Abfragezeitraumes. Mit Hilfe der neuen Funktionen des Microsoft SQL Server 2005 Reporting Services ist es nun möglich, den Usern eine Kalenderfunktion zur Verfügung zu stellen, mit der sie bequem Datumsdaten, wie bei einem Kalender, auswählen können. Weiters wurden auch noch Layout und zusätzliche Grafiktypen hinzugefügt und addaptiert. o Reportzugriff auf SQL Server Analysis Services 2005 (SSAS)

4 o Verwendung von Reportparameter für individuellere Datenauswertungen o Datumsauswahlfenster im IE (Parameter) o Tabellenauswertungen o Matrixauswertungen o Diverse grafische Darstellungsformen RadioKulturHaus Data Warehouse: Aufgabenstellung: Erstellung eines Data Warehouse für die Analyse und Auswertung der RadioKulturHaus Kunden o Microsoft SQL Server 2005 (Datenbank, Integration Services, Analysis Services, Reporting Services) o Textdateien generiert aus einem SAP System als Quelldaten Umsetzung: Das RadioKulturHaus hat durch die Einführung einer Clubkarte begonnen, Kunden zu gewinnen und zu akquirieren. Da man herausfinden will, welche Kundensegmente vermehrt im RadioKulturHaus ein- und ausgehen bzw. Umsätze produzieren entschloss man sich, ähnlich dem Ö1 Club, ein Data Warehouse Projekt umzusetzen. Textdateien, die aus einem SAP System abgezogen werden, wurden in das Data Warehouse geladen und in einem ETL Prozess (Microsoft Integration Services) bearbeitet um die erforderliche Datenstruktur festzulegen. Mittels der Microsoft Analysis Services wurden die logischen Kombinationen und Relationen zwischen den verschiedenen Attributen und Dimensionen definiert und konfiguriert. Mittels der Reporting Services von Microsofts Datenbanklösung wurden ausdefinierte Reports erstellt, die die gewünschten Informationen des RadioKulturHauses darstellen. Konkrete Fakten, aber auch deren Prozentuelle Ausprägung wurden, wie vom Kunden gewünscht, dargestellt. Tabellen-, Matrix- und Grafikdarstellungen helfen hierbei bei der besseren Visualisierung der Auswertungen. o Integration Service Funktionen Datenquellen: Flat Files (Abzug aus SAP System), Excel Files (Abzug Österreichisches Postverzeichnis aus dem Web) Error Output (Rückschreiben von fehlerhaften Daten in die Datenbank mit genauer Fehlerangabe und Fehlerursache).NET Transformationsskript für Datumsumwandlungen Conditional Split und Transformation Tasks für Währungsumrechnungen und Kostenberechnungen Sort Tasks und Merge Tasks zum Zusammenführen unterschiedlicher Datenquellen Implementierung umfangreicher T-SQL Abfragen für die Aufbereitung von Daten Execute SSIS Packages und Process Analysis Service Tasks um einen Ablauf der Data Warehouse Beladung und Prozessierung der Dimensionen und des Cubes zu gewährleisten o Analysis Service Funktionen

5 Data Source Views und Named Calculations Relationen: Fact, Regular, Referenced, Many-to-Many Calculated Members Data Mining Algorithmen: Decision Tree, Cluster Algorithm o Reporting Service Funktionen Reportzugriff auf SQL Server Analysis Services 2005 Verwendung von Reportparameter Tabellenauswertungen Matrixauswertungen Diverse grafische Darstellungsformen. RadioKulturHaus Report Erweiterungen: Aufgabenstellung: RadioKulturHaus Reports an die Anforderungen des Kunden anpassen o Microsoft SQL Server 2005 Reporting Services (SSRS) o Microsoft SQL Server 2005 Analysis Services 2005 (SSAS) Umsetzung: Durch stetige Nutzung der vorhandenen RadioKulturHaus Reports sind im Laufe der Zeit Verbesserungsvorschläge aufgetreten. Es wurde bei diesem Projekt ein anderes Layout definiert und realisiert, sowie die Darstellung der Fakten und Prozentzahlen der Kunden des RadioKulturHauses geändert. o Reportzugriff auf SQL Server Analysis Services 2005 o Verwendung von Reportparameter für individuellere Datenauswertungen o Datumsauswahlfenster im IE (Parameter) o Tabellenauswertungen o Matrixauswertungen o Diverse grafische Darstellungsformen. Transformationsskript Hierarchieaufbereitung: Aufgabenstellung: Individuelle Gestaltung einer Integration Services Skript Komponente o Microsoft SQL Server 2005 Integration Services (SSIS) Umsetzung: Eine Textdatei, die Inhalte einer Abteilungsstruktur enthält, sollte so verändert werden, dass zu jeder jeweiligen Abteilung die übergeordnete Abteilung aufgelistet wird. Diese Anforderung wurde mittels einer Skript Komponente in den Integration Services gelöst. Mit der Implementierung in.net konnte man die Anforderungen des Kunden meistern. o Integration Service.NET Transformationsskript um die benötigten Datenaufbereitungen und Datentransformationen mittels Schleifen- und Arraytechniken zu gewährleisten

6 SMDL Modell Einzelsportler: Aufgabenstellung: Erstellung eines SMDL (Semantic Model Definition Language) Modells auf Basis der Sportdatenbank um Details und Ergebnisse von Einzelsportler mittels Report Builder abzufragen. Sportredakteure müssen stets mit neuesten Daten und Wissen über einzelne Sportler versorgt werden. Mit dem Report Builder, der mit dem SQL Server 2005 zur Verfügung gestellt wird, können User eigene Abfragen auf ein Datenmodell durchführen. Sportreporter sollen so die Möglichkeit haben, immer die neuesten Informationen zu Einzelsportler zu erhalten. o Microsoft SQL Server 2005 Reporting Services (SSRS) o Report Builder Umsetzung: Ergebnis dieses Projektes ist die Erstellung eines SMDL (Semantic Model Definition Language) Modells, damit User Abfragen auf das Datenmodell durchführen können. Mithilfe adaptierter Data Source Views auf die Sportdatenbank konnten, die für die Auswertung benötigten Daten, schon gefiltert werden. Im SMDL Modell wurden danach die richtigen Relationen zwischen den Tabellen und Attributen konfiguriert sowie verknüpfte Tabellen zu einer Entität zusammengefasst. Weiters wurden auch alle Attribute so adaptiert, dass sie am Client im richtigen Format angezeigt werden. o Report Builder o Business Intelligence Development Studio Data Source Views Erstellung eines SMDL Modells Entitäten Attribute Verknüpfte Tabellen Attributsettings (Darstellungsformen) o Report Builder Erstellung von vordefinierten Reports Filterung Tabellenreports Matrixreports Grafikauswertungen

7 WKO Inhouse GmbH der WKÖ Erweiterung bestehender OLAP Auswertungen Aufgabenstellung: Auswertungen mittels Excel (Pivot Tabellen) direkt auf Microsoft SQL Server 2005 Analysis Service Cubes. Ein bestehendes Excel File, das bereits auf einen bestehenden Daten Cube Auswertungen durchführt, soll um ein weiteres Registerblatt erweitert werden. Ein weiteres Ziel dieses Projektes war es, UND bzw. ODER Abfragen in den Pivot Tabellen bzw. im OLAP Cube zu realisieren. o Microsoft SQL Server 2005 (Datenbank) o Microsoft SQL Server 2005 Analysis Services (SSAS) o Microsoft Excel 2003 Umsetzung: o Erweiterungen des vorhandenen OLAP Cubes Erstellung neuer Kennzahlen Erstellung UND / ODER Abfragen o Anpassung des vorhandenen Excel Files bzw. der darin enthaltenen Pivot Tabellen um das zu erstellende Excel Blatt darzustellen o Test o Dokumentation o Präsentation der gebrachten Leistungen o Analysis Services Funktionen Named Calculations im Data Source View Verwendung mehrerer Distinct Count Aggregationen Relationen: Fact, Regular, Referenced, Many-to-Many o Microsoft Excel 2003 Pivot Funktionalität Einrichtung von MS Excel 2003 Tabellenblätter Pivot Funktionalitäten Filterdefinitionen Business Intelligence Workshop Aufgabenstellung: In diesem Workshop wurden die wichtigsten Business Intelligence Funktionen des SQL Server 2005 Enterprise Edition vorgestellt. Weiters wurde zu den SQL Server Funktionen ein kurzer allgemeiner Einblick in den Themenbereich Business Intelligence und Data Warehousing durchgeführt. Angefangen von SSIS (SQL Server Integration Services), über SSAS (SQL Server Analysis Services) bis hin zu dem SSRS (SQL Server Reporting Services, Report Builder) Services wurden Funktionen anhand von Übungsbeispielen vermittelt. Microsoft SQL Server 2005 Enterprise Edition (Datenbank, SSIS, SSAS, SSRS, Report Builder) o Integration Services:

8 Datenquellen: SQL Server, Text Files, Excel Files Looping Mechanismus zum Erstellen von Datenbanktabellen Logging Funktionalität.NET Transformationsskript SQL Tasks Variablenverwendung Slowly Changing Dimensions Fuzzy Lookup Metadateninformationen / Data Viewers Conditional Split Derived Columns Union Tasks Error Handling SSIS Deployment und Einbindung in den Scheduler o Analysis Services: UDM Grundlagen Data Source View Funktionalitäten Named Calculations Dimensions- und Kennzahlenhandling Calculations Translations Perspectives Rollenverwendung Verbindung SSAS mit SSIS (Automatische Prozessierung in den Integration Services) o Reporting Services Konfiguration Reporting Services Visual Studio Reporting Entwicklung (Report Designer) Abfragen auf SQL Server Datenbank und Analysis Services Shared Data Sources Report Parameter Grafische Darstellungsformen Tabellen- und Matrixdarstellungsformen Report Builder Data Model Konfiguration von Relationen im Data Model Darstellungsformen von Kennzahlen / Dimensionen User Interface und Handhabung Report Viewer Konfigurationsmöglichkeiten Sicherheitseinstellungen Ordnerhierarchien Datenquellen

9 Anforderungsanalyse & Umsetzung Veranstaltungsmanagement Tool (VMT) OLAP Aufgabenstellung: Das Veranstaltungsmanagementtool, kurz VMT, unterstützt die Mitarbeiter der Außenwirtschaftsorganisation (AWO) bei der Planung und Durchführung von Veranstaltungen der einzelnen Außenhandelsorganisationen und deren Dienststellen. Es ist beispielsweise möglich Teilnehmer bzw. Firmen zu Veranstaltungen einzuladen, Budgetdaten zu erfassen o.ä. Die AWO verwendet als CRM System das Produkt update.seven (CRM Suite). Weiters besitzt die AWO bereits Auswertungen der Mitglieds- bzw. Kontaktdaten, die mittels Microsoft Excel 2003 auf SQL Server 2005 Analysis Services durchgeführt werden. Die Veranstaltungsabteilung der AWO will nun auch Auswertungen und Analysen auf diese Art und Weise durchführen. Es soll daher ein neuer OLAP Cube auf Basis der Microsoft SQL Server 2005 Analysis Services Technologie erstellt werden. Mittels der Microsoft Excel Pivot Table Funktionen sollen danach Auswertungen auf diese Datenbasis möglich sein. o Microsoft SQL Server 2005 (Datenbank) o Microsoft SQL Server 2005 Analysis Services (SSAS) o Microsoft SQL Server 2005 Integration Services (SSIS) o Microsoft Excel 2003 Umsetzung: o Analyse bestehender Datenquellen und deren Struktur o Integrationsmöglichkeiten in bestehende Cube-Landschaft o Abhängigkeiten zwischen den Themenbereichen o Analyse der Betriebslandschaft o Erstellung eines Pflichtenheftes für die Umsetzung der Realisierung von VMT OLAP Definition der Datenintegration (Beladung des Data Warehouse) Definition der Attribute des Cubes Auflistung der Reporting-Möglichkeiten Norbert Schaller GmbH IST-Analyse & Optimierungsmaßnahmen der bestehenden Analyseund Reportingumgebung Aufgabenstellung: Im Einsatz ist ein ERP System, welches eine Oracle DB nutzt. Aus dieser Quelldatenbank werden relevante Daten in einen MS SQL Server 2000 integriert und mit den MS Analysis Services (OLAP Services) analysiert. Die Auswertungen erfolgen mittels Pivot-Tabellen in Excel. Dieses System bereitet einige Herausforderungen hinsichtlich Skalierbarkeit und Effizienz und stößt in manchen Bereichen an Grenzen.

10 Projektziel war es, Optimierungsmaßnahmen und die Umsetzungsschritte aufzuzeigen. Hierfür wurde das ABC Testcenter benutzt, um das Kundenszenario vollständig nachzubilden und vergleichbare Performancetests möglicher, verbesserter Szenarios durchführen zu können. o Oracle DB o Microsoft SQL Server 2000 (Datenbank, Analysis Services) Umsetzung/Projektschwerpunkte: Analyse bestehender Datenbanken: Datenbankstruktur, Tabellen, Views Analyse bestehender Analyse Services: Vorhandener ETL Prozess, Datenzugriff Fakten- und Bewegungstabellenaufbau Dimensionen, Kennzahlen Aggregationen, Partitions Analyse der bestehenden Reporting Tools Präsentation der Optimierungsmaßnahmen Darstellung der Umsetzungsschritte Migration der bestehenden Reportingumgebung (MS SQL Server 2000) auf Microsoft SQL Server 2005 Aufgabenstellung: Im Einsatz ist ein ERP System, welches eine Oracle DB nutzt. Aus dieser Quelldatenbank werden relevante Daten in einen MS SQL Server 2000 integriert und mit den MS Analysis Services (OLAP Services) analysiert. Die Auswertungen erfolgen mittels Pivot-Tabellen in Excel. Dieses System soll aus Gründen der Performance, Wartbarkeit und Skalierbarkeit durch neue Technologie (MS SQL Server 2005, darauf basierendes Data Warehouse) abgelöst werden. o Oracle DB o Microsoft SQL Server 2000/2005 (Datenbank, Analysis Services, Integration Services), Excel Umsetzung/Projektschwerpunkte: Allgemeine Einführung in die neuen Konzepte von SQL Server 2005 Integration- und Analysis Services (SSIS / SSAS) anhand einer Schulung. Die Einführung umfasst auch das Entwicklungswerkzeug Visual Studio 2005, sofern es für die Erstellung von SSIS und SSAS Artefakten benötigt wird. Aufbau eines DWH mit SQL Server 2005 anhand der bereits existierenden Materialized Views (MV) in der Oracle DB. Entwicklung und Deployment von SSIS-Paketen für die Übernahme der Daten aus der Oracle DB in das SQL Server DWH. Die Pakete bilden hierbei die Logik der Oracle MVs ab.

11 Migration von sechs Cubes: Die Cubes werden mit Visual Studio 2005 neu erstellt und auf dem SQL Server 2005 deployed. Die Struktur der Cubes bleibt hierbei vollständig erhalten, sodass existierende Reports einfach und automatisch migriert werden können. Die Migration umfasst darüber hinaus die Festlegung der Formate der Kennzahlen (Measures) und die Migration der Rollen. Im Zuge der Migration der Cubes werden exemplarische Tests anhand von existierenden Reports durchgeführt. Job für die automatische Aufbereitung der Cubes. o MS SQL Server 2000 bzw o SQL Server Analysis Services o SQL Server Integration Services o Excel 2003 Für uns als mittelständisches Unternehmen ist es wichtig, über einen kompetenten BI- Partner zu verfügen. hat die versteckten Abhängigkeiten unseres bisherigen Reportings lokalisiert und offengelegt, sowie detaillierte Optimierungsmaßnahmen entwickelt, die uns mehr Effizienz garantieren. Sven Harder, IT Leiter, Schaller Lebensmitteltechnik bwin Interactive Gaming AG Unterstützung im Microsoft SQL Server 2005-Umfeld Aufgabenstellung: Unterstützung von bwin im MS SQL Server 2005-Umfeld o MS SQL Server 2005 o MS SQL Server 2005 Analysis Services Umsetzung/Projektschwerpunkte: Konzeption und Implementierung von SQLServer 2005 Datenbankobjekten sowie Stored Procedures und OLAP Cubes mit SQLServer 2005 Analysis Services. o MS SQL Server 2005 o SQL Server Analysis Services Unterstützung im Projekt Data Warehouse-Migration von SQL Server 2005 auf Oracle DB Aufgabenstellung: Vor-Ort-Unterstützung von bwin im hausinternen DWH-Migrationsprojekt o MS SQL Server 2005 o Oracle DB, Oracle Data Integrator (Sunopsis, ETL-Werkzeug) Umsetzung/Projektschwerpunkte: Projektbegleitung, Koordinationsaufgaben, Konzepterstellungen

12 Interwetten.com Unterstützung im Bereich des Microsoft SQL Server 2005-Data Warehouse o MS SQL Server 2005 (Datenbank) o MS SQL Server 2005 Analysis Services (SSAS) o MS Office 2007 (Excel) Umsetzung/Projektschwerpunkte: o Umfangreiche, fachliche Anforderungsanalyse für ein DWH mit darauf aufbauendem OLAP Cube für die Verwendung mit MS Excel 2007 o Aufbereitung der Anforderungen für den Fachbereich o Analyse des bestehenden DWH: Analyse des Cube-Designs Analyse des Beladungsprozesses Analyse der Zugriffe über den Front-End Client (Excel 2007) Erstellung einer Studie über den IST Zustand o Erstellung einer SOLL-Architektur für das DWH o Erstellung eines Implementierungskonzepts (Vorgehensmodell, technische Machbarkeit) o MS SQL Server 2005 o SQL Server Analysis Services Unterstützung bei der Implementierung & Redesign des Microsoft SQL Server 2005-Data Warehouse und Entwicklung von OLAP Cube Komponenten o MS SQL Server 2005 (Datenbank) o MS SQL Server 2005 Analysis Services (SSAS) Umsetzung/Projektschwerpunkte: o Konzept von Attribute Relationships der Cube Dimensionen und Hierarchien o Optimierung von berechneten Kennzahlen. o Konzept und Umsetzung von Partitionsmechanismen der Cube Measure Groups. o Konzept von Aggregation Designs für Cube Paritionen o Erstellung eines Beladungsplans für den Cube und Unterstützung der Umsetzung der Beladungsroutinen. In diesem Zuge wird auch die Umstellung auf eine inkrementielle Beladung vorgenommen o Konzept und Unterstützung der Umsetzung von Performance Tuning-Maßnahmen für n:m Beziehungen im Cube.

13 o Coaching der DWH Entwickler des Kunden auf die Technologie SSAS 2005 o Durchführung von Tests des neuen OLAP Systems o Einführung der Projekt-Leitung in die Verwendung des Cubes o Vermittlung und Koordination zwischen IT Abteilung und Fachbereich o MS SQL Server 2005 o SQL Server Analysis Services (SSAS)