Microsoft Business Intelligence mit SQL Server

Transkript

1 Microsoft Business Intelligence mit SQL Server BI-Komponenten von Microsoft SQL Server zur Abbildung eines automatisierten Berichtswesens Datum: Referent: Thomas Groß Thank you for the last session Team Foundation Server (TFS)

2 Einführung Begriffsbestimmung BI = Business Intelligence Der Begriff Business Intelligence bezeichnet ein Verfahren und einen Prozess zur systematischen Analyse (Sammlung, Auswertung und Darstellung) von Daten in elektronischer Form.

3 Einführung Schritt für Schritt Der Vortrag zeigt Schritt für Schritt die Abbildung eines automatisierten Berichtswesens mit Hilfe der Microsoft BI-Tools. 1. Schritt: Data-Warehouse erstellen (SSIS) Aus einer relationalen OLTP(OnLine-Transaction-Processing)-Datenbank zur Datenerfassung wird mittels SSIS-Datentransfer ein Data-Warehouse gefüllt. Dies entspricht dem klassischen ETL(Extraction-Translation-Load)-Prozess. 2. Schritt: OLAP-Datenbank erstellen (SSAS) Die Daten der Data-Warehouse-Datenbank werden mit Analysis Services in mehrdimensionale Cubes einer OLAP-Datenbank (OnLine-Analytical-Prozessing) überführt. 3. Schritt: Berichte erstellen (SSRS) Mit Reporting Services werden sowohl die relationale Daten aus dem Data-Warehouse als auch mehrdimensionale Daten aus den Cubes der OLAP-Datenbank als Berichte gerendert. Die Auswertung der OLAP-Cubes ist auch mit Excel möglich. 4. Schritt: Berichte in SharePoint Portal veröffentlichen Die Berichte werden in einem SharePoint-Portal veröffentlicht.

4 Einführung ssis ssas ssrs - OLTP OLAP DWH Cube Report - sql mdx OLTP OLAP mysql Ora ssis SQL SQL SQL SQL DWH Cube ssas ssrs

5 Einführung BI Tools ala Microsoft Zu den BI-Komponenten von SQL Server zählen: SSIS SQL Server Integration Services zum Datentransfer (ETL Tool) SSAS SQL Server Analysis Services zum Erstellen von OLAP-Cubes (Mehrdimensionale Datenbank) SSRS SQL Server Reporting Services zur Berichterstellung (Reporting Server Tool) + SharePoint Server!!! BUSINESS INTELLIGENCE (BI) IS ONE BIG AREA! BIG DEFINITIONS, BIG NEW PHILOSOPHY, BIG DATA, BIG SERVERS,..., BIG MANAGEMENT DECISIONS

6 Einführung zur Person - join and share... Let s start join and share GmbH Entwicklung kundenspezifischer Anwendungen Microsoft Silver Partner (Data Platform) Technologien SQL Server.net / asp Programmierung Business Intelligence Share Point Office Programmierung Thomas Groß (MCDBA) entwickelt seit über 25 Jahren datenbankbasierte Anwendungen. Besonderen Wert legt er auf den Entwurf und das Design von Anwendungen, um eine optimale Abbildung der Prozesse und eine hohe Usability zu gewährleisten. Für die Implementierung der Software nutzt er MS SQL Server, das.net-framework, Office VBA, SharePoint und die BI-Komponenten von SQL Server. Vor über 10 Jahren gründete er die join and share GmbH. Das Team von join and share pflegt langjährige und vertrauensvolle Beziehungen zu seinen Kunden.

7 SSIS ETL-TOOL (FÜR DATA-WAREHOUSE) SSIS Sql Server Integration Services

8 SSIS - Definition SSIS-Lernprogramm: Erstellen eines einfachen ETL-Pakets Microsoft SQL Server Integration Services(SSIS) ist eine Plattform zum Erstellen leistungsfähiger Datenintegrationslösungen, z.b. von ETL- Paketen (Extraction, Transformation und Load) für das Data Warehousing. SSIS enthält grafische Tools und Assistenten zum Erstellen und Debuggen von Paketen; Tasks zum Ausführen von Workflowfunktionen wie z. B. FTP- Vorgänge, Ausführen von SQL-Anweisungen und Senden von s; Datenquellen und Ziele zum Extrahieren und Laden von Daten; Transformationen zum Bereinigen, Aggregieren, Zusammenführen und Kopieren von Daten; einen Verwaltungsdienst, den Integration Services- Dienst zum Verwalten der Paketausführung und -speicherung; und Anwendungsprogrammierschnittstellen (APIs, Application Programming Interfaces) zum Programmieren des Integration Services-Objektmodells.

9 SSIS - Demo SQL Server Integration Services (SSIS) Demo + Data Flow Control contra SQL Task Nächtlicher SQL Agent Job zur Ausführung des SSIS Pakets um das Data-Warehouse zu füllen

10 SSIS - Lernmaterial Weitere Steuerelemente wie Schleifen, Filter, ftp + mail Tasks siehe PDF Ebook (0 aber super) SQL Server Integration Services (SSIS) Step by Step Tutorial

11 SSIS SSAS - DWH BREAK: Exkurs Date-Warehouse Wir brauchen noch ein Data-Warehouse Create First Data WareHouse X-Mart is having different malls in our city, where daily sales take place for various products. Higher management is facing an issue while decision making due to non availability of integrated data they can t do study on their data as per their requirement. So they asked us to design a system which can help them quickly in decision making and provide Return on Investment (ROI). Demo Z:\Offline\dotnetUserGroup_BIToolsDesSQLServers\DataWareHouseSQLScript.sql

12 SSIS SSAS - DWH Management Anforderung an BI Lösung Let us first identify the requirement from management about their requirements. Need to see daily, weekly, monthly, quarterly profit of each store. Comparison of sales and profit on various time periods. Comparison of sales in various time bands of the day. Need to know which product has more demand on which location? Need to study trend of sales by time period of the day over the week, month, and year? On what day sales is higher? On every Sunday of this month, what is sales and what is profit? What is trend of sales on weekday and weekend? Need to compare weekly, monthly and yearly sales to know growth and KPI?

13 SSIS SSAS - DWH Das Sternschema

14 SSAS CUBES SSAS Sql Server Analysis Services

15 SSAS - Definition Analysis Services-Lernprogramme (SSAS) Dieses Lernprogramm vermittelt die wesentlichen Fähigkeiten und Konzepte hinter mehrdimensionaler Modellierung in SQL Server- Datentools (SSDT). Nach dem Abschluss verfügen Sie über eine Cubedatenbank auf Basis von Adventure Works-Daten, auf die Sie über Excel, Reporting Services oder eine andere Clientanwendung zugreifen können, die eine Verbindung mit Analysis Services herstellt. OLAP DWH Cube ssas

16 SSAS OLTP contra OLAP Online Transaction Processing (OLTP) Designed to support Daily DML Operations of your application Holds daily Latest Transactional Data related to your application Data stored in normalized format Databases size is usually around 100 MB to 100 GB Used by normal users CPU, RAM, HDD space requirement is less. Query response may be slower if the amount of data is very large, it can impact the reporting performance. Online Analytical Processing (OLAP) Designed to hold historical data for analyses and forecast business needs Data is consistent up to the last update that occurred in your Cube Data stored in denormalized format Databases size is usually around 100 GB to a few TB Used by users who are associated with the decision making process, e.g., Managers, CEO. CPU, RAM, HDD space requirement is higher. Query Response is quicker, management can do Trend analysis on their data easily and generate quicker reports. T-SQL language used for query MDX is used for querying on OLAP Cube What is the difference between OLAP and OLTP? Ahttp://

17 SSAS Cubes Der Würfel

18 SSAS - Demo SQL-Server-Analysis-Serv Create First OLAP Cube in SQL Server Analysis Service Demo Datenquellen, Datenviews, Cube, Faktentabellen, Dimensionstabellen, Attribute, Hierarchien + Sortierung der Monate über KeyColums + natural hierarchy User-Defined Hierarchies = Performace über KeyColums und Attributrelations Performance! + Excel z:\offline\dotnetusergroup_bitoolsdessqlservers\salesdataanalysis.xlsx

19 SSAS - Lernmaterial Youtube Videos Serie: Analyis Services Youtube Analysis Services 01 Analysis Services 02 Analysis Services 03 Analysis Services 04 Analysis Services 05 Analysis Services 06 Analysis Services 07 Analysis Services 08 Analysis Services 09 Analysis Services 10 Analysis Services 11 Content Prerequisite Guide Data Source Creation Data Source Views Cube Creation Dimension Fundamentals Dimension Hierarchies Dimension Attribute Relationships Dimension Storage Dimension Discretization Parent/Child Dimension Hierachies Star and Snowflake Schemas

20 SSRS REPORTING SSRS Sql Server Reporting Services

21 SSRS - Definition Erstellen eines einfachen Tabellenberichts (SSRS-Lernprogramm) Dieses Lernprogramm hilft Ihnen, mit dem Berichts-Designer einen einfachen Tabellenbericht zu erstellen, der auf der AdventureWorks Datenbank basiert. Sie können die Berichte auch mithilfe des Berichts- Generators oder des Berichts-Assistenten erstellen. In diesem Lernprogramm erstellen Sie ein Berichtsprojekt, richten Verbindungsinformationen ein, definieren eine Abfrage, fügen einen Tabellendatenbereich hinzu und zeigen den Bericht in der Vorschau an. + Features over Features + OLAP Cube als data source + deployment

22 SSRS - Demo Demo ssrs tutorials lesson 1 ssrs tutorials lesson 2 ssrs tutorials lesson 4 ssrs tutorials lesson 5 ssrs tutorials lesson 6 ssrs tutorials lesson 7 ssrs tutorials lesson 8 In this tutorial I use Northwind database to create an SSRS report. The report displays suppliers and for each one all the products they supply. We will see how to create a data source, data set, table, expressions, parameters and indicators. This demo gives a brief description of how to make your first SSRS report using the Report wizard. This tutorial shows you how to create a basic SSRS report using the toolbox and without using the wizard. This demo shows you how to create a parameterized SSRS report. This demo shows you how to create a cascading parameters ssrs 2008 report This demo gives you a brief overview of using SSRS 2008 R2 expressions. This demo gives you an overview of how to create SSRS Matrix reports. We use the Adventure works Database in our demo. OLTP Northwind Einführung data sorce, data set, table AdventureWorks Erstellen mit Wizard AdventureWorks Erstellen ohne Wizard Parameter Cascading Parameter Expressions Matrix (OLTP, AdventureWorks) sql CUBE db Creating Basic Reports from an SQL Server Analysis Services SQL Server Report Builder (User Tool) OLAP Cube Adventure Works DW (Cube) Tool Report Builder mdx + ssrs with mdx part

23 SSRS - Lernmaterial Youtube Videos Serie: OLTP Reports; Keywords: ssrs tutorials lesson sql SQL db Content Remark ssrs tutorials lesson 1 In this tutorial I use Northwind database to create an SSRS report. The report displays suppliers and for each one all the products they supply. We will see how to create a data source, data set, table, expressions, parameters and indicators. OLTP Northwind Einführung data sorce, data set, table ssrs tutorials lesson 2 This demo gives a brief description of how to make your first SSRS report using the Report wizard. AdventureWorks Erstellen mit Wizard ssrs tutorials lesson 4 This tutorial shows you how to create a basic SSRS report using the toolbox and without using Erstellen ohne Wizard the wizard. ssrs tutorials lesson 5 This demo shows you how to create a parameterized SSRS report. Parameter ssrs tutorials lesson 6 This demo shows you how to create a cascading parameters ssrs 2008 report Cascading Parameter ssrs tutorials lesson 7 This demo gives you a brief overview of using SSRS 2008 R2 expressions. Expressions ssrs tutorials lesson 8 This demo gives you an overview of how to create SSRS Matrix reports. We use the Adventure works Database in our demo. ssrs tutorials lesson 9 This demo gives you a brief overview on how to create child groups and drilldowns. We also look at how to control and toggle the... ssrs tutorials lesson 10 This tutorilas gives you an overview of how to create an SSRS subreport. We look at passing parameters from a main report to a.. ssrs tutorials lesson 11 This demo gives you an overview on how to create basic graphs and charts using SSRS 2008 R2. This demo shows you ways to... Matrix (OLTP, AdventureWorks) Drillup and -down Subreports Graphs

24 SSRS - Lernmaterial Youtube Videos Serie: OLTP Reports; Keywords: Services (SSRS) Part sql Reporting Services (SSRS) Part 1 Reporting Services (SSRS) Part 2 Reporting Services (SSRS) Part 3 Reporting Services (SSRS) Part 4 Reporting Services (SSRS) Part 5 Reporting Services (SSRS) Part 6 Reporting Services (SSRS) Part 7 Reporting Services (SSRS) Part 8 Reporting Services (SSRS) Part 9 Reporting Services (SSRS) Part 10 Reporting Services (SSRS) Part 11 Reporting Services (SSRS) Part 12 Reporting Services (SSRS) Part 13 Reporting Services (SSRS) Part 14 Reporting Services (SSRS) Part 15 Reporting Services (SSRS) Part 16 Reporting Services (SSRS) Part 17 Reporting Services (SSRS) Part 18 Reporting Services (SSRS) Part 19 Reporting Services (SSRS) Part 20 Reporting Services (SSRS) Part 21 Reporting Services (SSRS) Part 22 Reporting Services (SSRS) Part 23 Getting Started with a New Project Data Sources and Datasets Keeping Header Rows Visible Working with Tables Controlling the number of rows per page Grouping in Tables Calculated Fields Conditional Formatting in Tables Indicators Gauges Basic Parameters Drop Down List Param Null Values in Parameters Cascading Parameters Matrix Lists Linked Reports Charts Subreports Basic Maps Pivot Table (Dynamic Matrix) Document Maps Report Variables and Group Variables

25 SSRS - Lernmaterial Youtube Videos Video: OLAP Reports (Einführung) Creating Basic Reports from an SQL Server Analysis Services mdx Inhalt SQL Server Report Builder (User Tool) OLAP Cube

26 SSRS - Lernmaterial Youtube Videos Serie: OLAP Reports; Keywords: ssrs with mdx part mdx ssrs with mdx part 1 ssrs with mdx part 2 ssrs with mdx part 3 ssrs with mdx part 4 ssrs with mdx part 5 ssrs with mdx part 6 ssrs with mdx part 7 ssrs with mdx part 8 ssrs with mdx part 9 ssrs with mdx part 10 ssrs with mdx part 11 Sonstige Datenbank (CUBE): Cube 4 Reports Simple Report with Query Wizard With mdx Query Builder With mdx Query Builder Drillup and down Simple Parameter Writing own mdx Query Calculated fields groups Matrix Parameter Multiple Parameter Values in mdx Multiple Parameter in mdx Cascading Parameters Null Values in Parameters Mdx IsEmpty Gouping Drillup and down Drill throw Pass Parameter to form Subreports

27 SharePoint PORTAL SHAREPOINT

28 SharePoint Deployment to SharePoint SharePoint ist das Unternehmensportal SharePoint ist das Management Cockpit SharePoint ist die BI-Plattform und mehr? TFS ist das Tool für Entwickler / thanks for the last TFS session Business Intelligence in 100 Sekunden