XTP in SQL Server liegt die Zukunft in In-Memory

Transkript

1 XTP in SQL Server liegt die Zukunft in In-Memory Project Hekaton: Extreme Transactional Processing (XTP) Andreas Wolter (MCM) Andreas Wolter Consultant, Trainer & Speaker Microsoft Certified Master SQL Server (MCM) Microsoft SQL Server Datawarehouse & OLTP-System Architektur Performance Tuning Sicherheit Contact: andreas.wolter@sarpedonqualitylab.com Blog: XING: Linkedin: 1

2 Agenda Trends in Hardware und Business Warum Hekaton / XTP Architektur und Integration in SQL Server Demonstration Migrations-Empfehlungen und einige Zahlen In aller Kürze: Weitere neue Features in SQL Server 2014, Datenbankengine Zeit für Fragen (?) SQL Server 2014 Engines 2

3 Trends in Hardware und Business Hardware Trends Moore s Law gilt noch, wenn auch in paralleler Verarbeitung CPU Taktrate stagniert Sinkende RAM-Preise 3

4 Business Trends Bedarf an noch höherem Durchsatz und geringeren Latenzen bei geringen Kosten Beispiele Kreditkartentransaktionen: Validieren, Authorisieren, Komplettieren der Transaktion Online-Wetten: Wetten schnell platzieren Echtzeithandel Weitere Anwendungsfälle für Entzeit-Analysen: Kundenanalysen, Sicherheitsanalysen uä. Stand Heute Viele OLTP worksloads passen in RAM Im Gegensatz zu Big Data wachsen OLTP-Daten eher moderat Bisherige OLTP Leistungssteigerung waren das Ergebnis von Verbesserter Software CPU Leistungsverdoppelung alle 2 Jahre Vorbei: DBMS sind ausgereift und ausgereizt CPUs werden nicht mehr schneller 4

5 Warum Hekaton / XTP Rechenbeispiel Angenommen alle Daten in RAM Basis: 100 TPS bei 1 Mio Instructions/Sek Ziel: TPS -> Instr./Sek (90% Reduzierung) Ziel: TPS -> Instr./Sek (99% Reduzierung) 5

6 Performance-Hürden 1. Latching (im Buffer Pool) 2. Locking (für Concurrency Control) 3. Interpretation von Ausführungsplänen Was ist Hekaton/XTP? Hekaton ist eine Hoch performante, Memory-optimierte OLTP Engine integriert in SQL Server für moderne Hardwaretrends entworfen Multi-versioned, timestamped optimistic concurrency control Beginn des Projektes war bereits vor 5 Jahren 13 6

7 SQL SERVER vs. HEKATON/XTP Lock- und Latch-freie Datenstrukturen Versionierung mit Timestamps + Optimistic Concurrency Control Kompilierung in DLL PASS Summit 2013 Keynote by David DeWitt Architektur und Integration in SQL Server 7

8 Architektur-Pfeiler Vorteile Einflussfaktor In-Memory OLTP Architektur-Pfeiler Hoch performante Daten Operationen Effiziente Verarbeitung von Geschäftsprozessen Reibungslose Skalierung Hybride, integrierte Engine Hauptspeicher optimiert T-SQL Kompilierung in Maschienencode Hohe Parallelität SQL Server Integration Optimiert für In-Memory Daten Indexe (Hash und Range) existieren nur im Memory Kein Buffer Pool, B-trees Stream-basierte Speicherung T-SQL kompiliert in Maschinencode via C Code Generator und VC Aufruf einer Prozedur ist lediglich ein DLL Einsprungspunkt Aggressive Optimierungen zur Kompilierzeit Multi-version optimistic concurrency control mit vollständiger ACID Unterstützung Core Engine verwendet Lock-freie Algorithmen Kein Lock Manager, Latches oder Spinlocks Gleiche Verwaltbarkeit, Administration & Entwickler- Erfahrung Integrierte Abfragen & Transaktionen Integriertes HA und Backup/Restore Hardwaretrends Business Stetig sinkende RAM- Preise, NVRAM Stehenbleibende CPU Taktfrequenzen Multi-Core Prozessoren TCO In-Memory OLTP Integration und Applications-Migration Client App TDS Handler und Session Management Legende Nativ kompilierte SPs und Schema Native Compiler Parser, Catalog, Optimizer T-SQL Query Execution Query Interop T1 T2 T3 Tabellen Indexe Bestehende SQL Komponente In-Memory OLTP Komponente Generierte.dll Memory Optimized Tabellen & Indexe SQL Server.exe Buffer Pool für Tabellen & Indexe T1 T2 T3 T1 T2 T3 Memory Optimized Data Filegroup Transaction Log Data Filegroup 8

9 Performance Gewinne Client App Keine Verbesserungen im Kommunikations- Stack, Parameterweitergabe, Resultset Generierung 5-30x effizienter Beseitigt Lock und Latch Konflikte Reduzierte Bandbreite. Latenz bleibt bestehen! Natively Compiled SPs and Schema Engine für Memory_optimized Tabellen & Indexe TDS Handler und Session Management Native Compiler Parser, Catalog, Optimizer Query Interop SQL Server.exe T-SQL Query Execution Buffer Pool für Tabellen & Indexe Legende Bestehende SQL Komponente In-Memory OLTP Komponente Generierte.dll Sequentielles I/O Memory-optimized Table Filegroup Transaction Log Data Filegroup Memory-Optimized Tabelle (DDL Befehl) CREATE TABLE [Kunde]( [ID_Kunde] INT NOT NULL PRIMARY KEY NONCLUSTERED HASH WITH (BUCKET_COUNT = ), [Name] VARCHAR(250) NOT NULL [Kunde_Seit] DATE NULL ) WITH (MEMORY_OPTIMIZED = ON, DURABILITY = SCHEMA_AND_DATA); Hash Index Tabelle ist Memory optimized Tabelle ist durable Jede In-Memory optimierte Tabelle benötigt einen Primary Key Einige Einschränkungen für V1: kein BLOB, XML Durability kann auch nur Schema sein 9

10 Key Lookup: Btree vs. Memory-Opt Tabelle Hash Index auf Name R1 R3 Matching Index Record Verwendung Über Standard, Ad-Hoc T-SQL ( INTEROP ) Bis zu Überarbeitete und kompilierte Prozeduren ~ 3X 5X - 30X Einige Einschränkungen in V1 10

11 Generierung von Ausführungsplänen Q Parser Parse Tree Catalog Semantic Analysis Logical query plan Query Optimizer Physical query plan PASS Summit 2013 Keynote by David DeWitt Native Plan Ausführung Physical query plan Translator C Code C Compiler DLL DLL Generierung nur beim ersten Aufruf der Prozedur komplett Abfragespezifisch Keine Funktionsaufrufe DLL Loaded & Invoked PASS Summit 2013 Keynote by David DeWitt 11

12 Native vs. Interpreted Predikate INTEROP Interpreted QP Native QP Matching Row Non-matching Row SQL Table Hekaton Table Hekaton Table Number of instructions executed per row PASS Summit 2013 Keynote by David DeWitt Demonstration XTP Performance AMR Tool 12

13 Migrations-Empfehlungen und einige Zahlen Performance-Vergleich aus dem Testlab Aus: The Hekaton Memory-Optimized OLTP Engine 13

14 Der Hekaton Effekt in Kundenprojekten Batches/Sec SBI Liquidity Market >~ Pages/Sec auf dem Webserver Hohe Anzahl Latch Waits 17X TPS Batches/Sec 4 Sek Latenz > ~ Pages/Sec auf dem Webserver EdgeNet Nächstes Bottleneck: CPU (Test auf 4-Socket Server, = 100% CPU Last) 5.31 TPS < 1 Sek Latenz rows/sec 2X 17X rows/sec Herausforderungen bei der Migration Nicht alle Datentypen unterstützt Workaround für BLOB benötigt Nicht alle Funktionalitäten unterstützt Sequences und Identity müssen außerhalb gesteuert werden Lockfreies Modell muss bedacht werden Write/Write Konflite-Behandlung Atomic stored Procedures müssen manchmal gewrapped werden 14

15 Für In-Memory OLPT passende Applikations-Eigenschaften Alle Performance-kritischen Daten passen in den Arbeitsspeicher Transaktions-Sperren oder physikalische Latches erzeugen Aussetzer und Blockaden Relativ kurzlebige Transaktionen Hoher Grad an parallelen Transaktionen von vielen Verbindungen Beispiele: Börsenhandel, Reisebuchungen, Verarbeitung von Bestellungen Gespeicherte Prozeduren verwendet werden Performance Probleme isoliert für eine Untermenge Tabellen und Prozeduren bestehen In aller Kürze: Weitere neue Features in SQL Server 2014, Datenbankengine 15

16 Neuerungen in der Datenbank-engine von SQL Server 2014 AlwaysOn Bis zu 8 Sekundäre Replikas Bei Quorum-Verlust bleiben read-only Replicas zum Lesen verfügbar Failover cluster instances (FCIs) können Cluster Shared Volumes als cluster shared disks in Windows Server 2012 und höher verwenden Datenbank Engine Single Partition Rebuilding Lock Priority Management für Online-Operationen Inkrementelle Statistiken Resource Governor Unterstützung für physical IO Neue Erweiterte Ereignisse (XEvents): 775 insgesamt, 152 mehr als SQL 2012 SP1, 12 seit CTP1 in-memory OLTP (Hekaton) xvelocity ColumnStore (Clustered, höhere Kompression, Updatable(!),...) Buffer Pool Extensions - Auslagern von (Buffer-)Speicher auf SSDs Neue Sicherheitsberechtigungen auf Server- und Datenbankebene Ressourcen SQL Server Support for In-Memory OLTP msdn.microsoft.com/de-de/library/dn133189%28v=sql.120%29.aspx Microsoft Research - Main-Memory Databases research.microsoft.com/en-us/projects/main-memory_dbs/ SQL Server 2014 In-Memory OLTP bwin Migration and Production Experience blogs.technet.com/b/dataplatforminsider/archive/2013/07/30/sql-server-2014-in-memory-oltpbwin-migration-and-production-experience.aspx SQL Server 2014 In-Memory OLTP ( Hekaton ) Whitepaper sqlblog.com/blogs/kalen_delaney/archive/2013/06/05/hekaton-whitepaper.aspx Informationen zu SQL Server 2014 CTP2 16

17 Unter dem Motto "community powered product knowledge" präsentieren Ihnen die Experten der deutschen und internationalen PASS SQL Server Community sowie Experten von Microsoft zwei Tage lang am 11. und 12. Februar 2014 technischen Deep Dive zu SQL Server Einen Tag zuvor, am 10. Februar 2014, gibt es zusätzlich die Möglichkeit, sich für unsere PreCons anzumelden, die in drei ganztägigen Power Workshops spezifische Anwendungsszenarien des SQL Servers im Detail beleuchten. Und es gibt auch noch etwas zu feiern: den Launch von Microsoft SQL Server 2014 sowie 10 Jahre PASS Deutschland e.v.! Zeit für Fragen Andreas Wolter Kontakt: Blog: XING: Linkedin: 17