Mission Critical In-Memory Performance mit xvelocity

Transkript

1 11. April,15:30 16:30 Uhr Mission Critical In-Memory Performance mit xvelocity Markus Raatz Vorstand Ceteris AG Georg Urban Technology Solution Professional Microsoft Deutschland GmbH

2 Ein Tag im Leben eines Business Analysten Datenbank Administratrors lange Reporting- Wartezeiten nerven. Datenbankoptimierung kann aufwändig sein.

3

4 Microsoft In-Memory Technologien

5 US$/GB Hardware Trends (CPU & Memory) $ per GB of PC Class Memory Transistors (000) Clock Speed (MHz) Power (W) Performance (ILP)

6 RDBMS SMP Scale Up ist einfach... SQL Server 2008 R2 unterstützt bis zu 256 logische CPUs & 2 TB RAM SQL Server 2012 mit Windows 2012 kann bis zu 640 logische CPUs & 4 TB RAM nutzen

7 Big Data ist real (auch ohne In-Memory) Große SQL Server Produktionszahlen Ad Impressions pro Tag Data Load pro Tag Analysis Services Cube Refresh Zyklus TB 24TB 1 h It has to be information at the speed of thought we were able to achieve less than 10 seconds of query time against a 24TB Cube. Campaign-Effectiveness-Boosts-Ad-Revenue-with-Big-Data-Solution/ Größtes Datenvolumen für Applikation Größte Datenbank (transaktional) Höchste TX-Rate/s für Einzel-Server (perfmon) Größte Tabelle Schnellste Ladezeit für 1TB etc PB 100 TB /s 1.5 Bil. Zeilen 30 min

8 SQL Server xvelocity-engines PowerPivot in Excel & SharePoint Analysis Services Tabular Mode Columnstore Indizes Hekaton In-Memory-OLTP

9 Columnstore Indizes

10 Spaltenformat sorgt für hohe Komprimierung Heaps & B-Trees speichern Datensätze auf Seiten C1 C2 C3 C4 C5 C6 CSI speichern Daten spaltenweise Jede Seite enthält Daten einer Spalte Hohe Kompression Mindestens 2-3x besser als Seitenkomprimierung Basiert auf VertiPaq & VertiScan Keine Voraggregierung notwendig

11 Bitmap qualifizierter Zeilen Columnstore-Konzepte SELECT Region, SUM(Sales) C2 C3 C1 C4 C5 C6 T.C2 T.C4 Spaltenvektoren T.C1 T.C1 T.C2 T.C2 T.C3 T.C3 T.C4 T.C4 Batch-Objekt T.C1 T.C2 T.C3 T.C4 Besseres IO & Caching Spalten werden unabhängig gespeichert Frühe Segment-Eliminierung Aggressives Read Ahead Speicher-Optimierung Neuer Memory Broker Segmente werden bei Bedarf geladen und bleiben dort möglichst lange Batch Mode max. Parallelisierung ca Werte pro CPU CPU-Zeit wird um Faktor 7-40 reduziert

12 In Memory Columnstore Index

13 Kompressionsraten in der Demo in GB , ,9 11,2 4 0 Rohdaten Page Compression Backup Compression Columnstore-Index (Disk) Columstore-Index (Memory) Kompressionsrate bei *diesen* Daten: ca. 20

14 SAP BW & Columnstore Indexes CSI sind zertifiziert für SAP BW 7.0 & höher Einfach in jeder e-fact-tabelle aktivieren über alle Spalten hinweg CSI wird bei Cube Compression neu aufgebaut Dokumentation: SQL_Server_2012_Column-Store.pdf

15 Columnstore: Die nächste Generation Columnstore wird primäre Datenstruktur Keine Basistabelle mehr notwendig Update & Delete werden möglich Einfaches Datenmanagement Beseitigt V1 Nickeligkeiten Unterstützung aller (sinnvoller) Datentypen Weitere Abfrageoperatoren unterstützt Statistiken auf partitionierten Tabellen Verfügbar ab sofort in PDW v2 & in der nächsten SQL Server-Version

16 Dynamische BI mit tabellarischen Modellen

17 Test-Umgebung TPC-DS-Benchmark (300 GB) Physischer Testserver, Windows Server 2012, 144 GB Hauptspeicher, 2 Prozessoren Xeon L5520 2,26 GHz, 8 physische Kerne, 16 logische Kerne. Relational und SSAS tabellarisch auf demselben Rechner 300 GB generierte relationale Testdaten Große Faktentabelle catalog_sales 432 Mio. Zeilen; 75 GB (nicht komprimiert) Relational partitioniert in vier Jahre, ca. 85 Mio. DS/Jahr Eine Jahrespartition im Modell ist ca. 7 GB groß; Gesamt 29 GB, ca. 39% komp. Große Faktentabelle store_sales 864 Mio. Zeilen; 60 GB (PAGE komprimiert) Tabelle unpartitioniert, nur gruppierter Index auf Datum Große Faktentabelle inventory 585 Mio. Zeilen, 11 GB (nicht komprimiert) Keine Partitionierung im Modell

18 Modell-Design Unbedingt mit relationalen Sichten arbeiten! Ermöglicht das zentrale Einschränken der Datenmenge für Testsysteme / PowerPivot durch SELECT TOP PERCENT Änderung der Spaltennamen Ermöglicht das Umbenennen von Spalten von technischen auf natürliche Namen Es fehlt die Datenquellensicht / Data Source View! Hat man den Spaltennamen in den Data Tools / PowerPivot geändert, kann man nicht mehr den original-spaltennamen zurückverfolgen! Ändert man ihn im View, kann man die geänderte Spalte unter Tabelle / Tabelleneigenschaften neu hinzufügen!

19 Mehrschichtige Entwicklung Auf reduzierten Testdaten entwickeln Arbeit in den SQL Server Data Tools / in PowerPivot auf der vollen Datenmenge kann beschwerlich oder (mit 32-bit-Office) unmöglich sein Lösung: grundsätzlich über relationale Sichten arbeiten Sichten zwischen Entwicklung und Produktion per Skript komplett umstellen Vorsicht: in der Sicht nicht SELECT TOP verwenden, dann werden die Indizes auf den Partitionierungsspalten nicht mehr benutzt Lösung: Partitionierung im Modell Auf dem Entwicklungssystem genügt es, eine Partition verarbeitet zu haben Bei der Bereitstellung unbedingt nicht verarbeiten einstellen Danach manuell alle Partitionen der Tabelle verarbeiten lassen

20 Bereitstellung Vorsicht: Verarbeitung folgt! Bei erneuter Bereitstellung (vorhandenes Modell) wird enorm viel zusätzlicher Hauptspeicher verbraucht. Lösung: Zielmodell löschen, erneut bereitstellen Am besten: Bei Bereitstellung nicht verarbeiten, dann Verarbeitung manuell in den Data Tools anstoßen! Beim Verarbeiten einer großen Partition (ca. 30 Mio. DS) brauchen SQL und SSAS je 3,5 GB Dauer des Verarbeitens: etwa 30 min pro Partition

21 Abfragen ich hätte da mal eine Frage Zur besseren Vergleichbarkeit mit anderen OLAP-Lösungen am besten mit MDX erstellen Achtung: der MDX-Abfrage-Designer zeigt nur explizit definierte Measures an Gleiches gilt für Excel 2013 anders als Power View!

22 Abfragen MDX ist ein Standard! WITH MEMBER Measures.cs_net_quantity AS [Measures].[cs_quantity] - [Measures].[cr_return_quantity] MEMBER Measures.cs_return_pct AS [Measures].[cr_return_quantity] / [Measures].[cs_quantity], FORMAT_STRING = "percent" -- MEMBER Measures.ss_net_quantity AS [Measures].[ss_quantity] - [Measures].[sr_return_quantity] SELECT {[Measures].[cs_net_quantity], [Measures].[ss_quantity], Measures.cs_return_pct} ON COLUMNS, NON EMPTY [item].[i_category].members ON ROWS --, [customer].[c_birth_country].members ON ROWS FROM [Model] WHERE [date_dim].[d_year].&[1999]

23 Große tabellarische Modelle

24 Weitere Erfahrungen 4 Faktentabellen (bis zu Zeilen) 10 Dimensionstabellen (bis zu Zeilen) Bis zu 400 Spalten in den Faktentabellen Intensive Nutzung von Hierarchien Serverhardware: 48 Cores 512 GB RAM Aufbau eines SSAS-tabellarischen Modells Einzulesendes Datenvolumen von 2 TB Teradata Ergebnis im SSAS: 350 GB Compression Rate 1:6 Backup: Best Practice für große Modelle: Detach und File-Copy Performance gut, aber Hohe Anzahl an Spalten in der Abfrage führt zu Performance-Engpässen Insbesondere in Kombination mit Hierarchieverschachtelung Speicherbus-Engpass

25 Ausblick auf In Memory OLTP

26 Projekt Codename Hekaton * High Performance In-Memory OLTP Engine In Datenbankmaschine Integriert Voller ACID Support Transparent für Anwendungen facher Durchsatz Unterstützt SQL wichtige Server Features, wie AlwaysOn 25x Ziel für Version 1 (SQL Server vnext): Anwendungen, die sehr niedrigen Latenzen benötigen & mit einfachem SQL auskommen: Keine LOBs, XML, Trigger, *

27 Treiber Architektur Vorteile Hekaton Architektur-Prinzipien Low Latency Datenoperationen Effektivere Logikverarbeitung Lineares Scale Up SQL Server-integriert Hauptspeicher-optimiert T-SQL in Machinencode kompiliert Versionierend Nahtlose Integration Kein Buffer Pool Keine B-Trees Keine Pages Indizes (Hash, ) existieren nur im Hauptspeicher Stream-basierte Speicherung Optimiertes Logging Code in gespeicherten Prozeduren wird via C- Compiler kompiliert Prozeduraufruf ist ein DLL Entry Point Aggressive Optimierung zur Kompilierungszeit Optimistische, versionierende Concurrency (Snapshot Isolation) Lock free Latch free Zusätzlichere Engine für den Optimierer Gleicher Algebrizer etc. Integriertes HA & Backup/Restore Hardware-Trends Business Mehr Hauptspeicher Stagnierende CPU Clock Rates Multi-Core CPUs TCO

28 Beispiel: Hauptspeicher-optimierte Strukturen Row format Timestamps Chain ptrs Name City Hash index on Name John Susan 200, John Beijing 90,150 Susan Bogota 100, 200 John Paris Hash index on City Beijing Paris 70, 90 Susan Brussels 50, Jane Prague Jede Row Version besitzt einen Gültigkeitszeitraum Eine Version ist sichtbar, wenn Sie in den Gültigkeitszeitraum einer TX fällt Garbage Collection: inkrementell, parallel, nicht blockierend, kooperativ

29 Wrap Up: In

30 Ressourcen Microsoft Data Platform Blogs SQL Server Columnstore Index FAQ Tabular Model Tutorial Tabular Model Best Practices (SQLBits-Vortrag)

31 2013 Microsoft Corporation. All rights reserved. Microsoft, Windows, Windows Vista and other product names are or may be registered trademarks and/or trademarks in the U.S. and/or other countries. The information herein is for informational purposes only and represents the current view of Microsoft Corporation as of the date of this presentation. Because Microsoft must respond to changing market conditions, it should not be interpreted to be a commitment on the part of Microsoft, and Microsoft cannot guarantee the accuracy of any information provided after the date of this presentation. MICROSOFT MAKES NO WARRANTIES, EXPRESS, IMPLIED OR STATUTORY, AS TO THE INFORMATION IN THIS PRESENTATION.