Datenbank Queries mit 1800 Cores in 2U ParStream & CUDA. best Open Systems Day Mai Alexander Tilgner IT-Systemtechniker

Transkript

1 Datenbank Queries mit 1800 Cores in 2U ParStream & CUDA best Open Systems Day Mai 2011 Alexander Tilgner IT-Systemtechniker best Systeme GmbH Münchner Str. 123a Unterföhring Tel: 089/ Fax: 089/ Web:

2 Agenda CUDA Überblick, Performance Entwicklung APIs und Programmiersprachen Cluster, GPU Hardware, GPU enabled Applications Big Data Herausforderung von heute, Datenbanksysteme ParStream Big Data Superfast, DB-Architektur Praxisbeispiel SQL Datenbankabfrage mit 1800 Cores OTP Datensatz, Test Setup, Performancevergleich, Antwortzeiten Beispiele: Queries, Reisesuchmaschine, Skalierung Serviceleistungen Fragen? Seite 1 von 31

3 CUDA - Überblick CUDA = Compute Unified Device Architecture Entwickelt wurde diese Programmierschnittstelle vom Hersteller Nvidia. Diese ermöglicht es Programmteile vom Grafikprozessor (GPU) ausführen zu lassen. GPUs enthalten eine sehr große Anzahl an Rechenwerken. Durch die CUDA-API kann der Grafikprozessor als Co-Prozessor für die CPU genutzt werden. Seite 2 von 31

4 CUDA - Performance Entwicklung Seite 3 von 31

5 CUDA - APIs und Programmiersprachen low-level API = CUDA Driver API high-level API = CUDA Runtime API, die auf der Treiber API umgesetzt wird. Die APIs schliessen sich gegenseitig aus, eine Anwendung kann also nur die eine od. andere API benutzen. nvcc Compiler benutzt high-level API, die erzeugten Programme werden gegen die Runtime API gelinkt. OpenCL 1.1* (Open Computing Language) CUDA C/C++ (Linux gcc, MS Visual Studio) PGI CUDA Fortran (Fortran 2003) * Seite 4 von 31

6 CUDA - Cluster mit GPUDirect GPU beschleunigte Clustersysteme Direktes schreiben in den GPU-Speicher (Netzwerkadapter, SSD)* Beschleunigung bis zu 30% Freigegeben für Redhat Enterprise Linux Für Tesla M und S Serie InfiniBand Support: Mellanox ConnectX-2 und QLogic * Seite 5 von 31

7 CUDA - GPU Hardware: Nvidia Tesla Tesla C2050/C2070, PCIe x16 1 Tesla Grafikprozessor Leistung 515 GFlops (64-Bit Gleitkomma) 3 GB bzw. 6 GB GDDR5 Speicher Tesla S2050/S2070, 19 1U Einheit 4 Tesla Grafikprozessoren Leistung 2.5 TFlops (64-Bit Gleitkomma) 12 GB bzw. 24 GB GDDR5 Speicher Systemschnittstelle 2x PCIe x16 od. 2x PCIe x8 Seite 6 von 31

8 CUDA - GPU Hardware: IBM BladeCenter GPU IBM BladeCenter GPU Expansion Blade für BladeCenter E*, H od. HT Tesla M2070 bis zu 4 Expansion Blades möglich Systemschnittstelle CFFh I/O GPU Expansion Blade mit HS22 Blade Server * Modelle xx/3xx mit 2.320W Power Supply Seite 7 von 31

9 CUDA - GPU Hardware: IBM idataplex idataplex dx360 M3 mit 2U Flex Chassis 2U Flex Chassis mit 1U idataplex Server und 1U I/O Tray Tesla M2050, M2070, M2070Q* Systemschnittstelle 2x PCIe x16 * mit spez. Softwarestack für grafische Visualisierung Seite 8 von 31

10 CUDA - GPU enabled Applications: Mathematica 8 Wolfram Mathematica 8 CUDA und OpenCL Support bereits als Core Komponente in Mathematica integriert. CUDA optimierte Funktionen für Bildbearbeitung, FFT und lineare Algebra. (Expliziter Aufruf) Eigene Funktionen können mit CUDA / OpenCL Support kompiliert und als ladbare Anwenderfunktion zur Verfügung gestellt werden. Beispiel (discrete Fourier transform): In[1] := Needs[ CUDALink` ]; (laden der CUDA Implementierung) In[2] := myranlist = randomreal[1., {10}]; (Zufallsliste aus REAL-Zahlen) In[3] := CUDAFourier[myranlist]; (Non-CUDA wäre : Fourier[myranlist];) Seite 9 von 31

11 CUDA - GPU enabled Applications: Matlab Mathworks Matlab GPU Support z.b. über Parallel Computing Toolbox. (Expliziter Funktionsaufruf) GPU Support als MEX-Files Aufruf erfolgt als externe Funktion innerhalb Matlab Code. Kommerzielle Anbieter für GPU-Support in Matlab: Jacket (AccelerEyes) Aufruf von Matlab Funktionen über Wrapper. Beispiel (Double Precision) : gdouble(matlabfunction[values]) GPUlib (Tech-X Corporation) Library mit GPU optimierten Funktionen. (Expliziter Funktionsaufruf) Seite 10 von 31

12 Agenda CUDA Überblick, Performance Entwicklung APIs und Programmiersprachen Cluster, GPU Hardware, GPU enabled Applications Big Data Herausforderung von heute, Datenbanksysteme ParStream Big Data Superfast, DB-Architektur Praxisbeispiel SQL Datenbankabfrage mit 1800 Cores OTP Datensatz, Test Setup, Performancevergleich, Antwortzeiten Beispiele: Queries, Reisesuchmaschine, Skalierung Serviceleistungen Fragen? Seite 11 von 31

13 Big Data - Die Herausforderung von heute ecommerce Social Networks Finance Telco Energy Many More! Web analytics! SEO! Affiliate! Ad serving! Profiling! Targeting! Algo trading! Trend analysis! Fraud detection! Profiling! Targeting! Billing! Smart metering! Smart grids! Wind parks! Science! Transport! Production Seite 12 von 31

14 Big Data - Datenbanksysteme Algorithmen und Prozeduren zur Indizierung von großen Datenmengen (> Milliarden Datensätze) haben in den letzten Jahren relativ wenig Innovation erfahren. Heutige Datenbanksysteme wurden nicht für Massendaten (> Milliarden Datensätze) entwickelt. Seite 13 von 31

15 ParStream - Big Data Superfast Datenbank zur Analyse strukturierter Massendaten Speziell für parallele Rechner-Architekturen entwickelt Besondere Produkteigenschaften: Scalability High-Speed Import Clustering Clustering Scalability Custom Query Operators Continuous import of data with up to 1 TByte / h (single server) Parallel import and query execution on customizable data and index partitions ParStream scales horizontally and vertically up to and above Petabyte SQL, JDBC and powerful C++ API enables fast query processing Seite 14 von 31

16 ParStream - DB-Architektur High Speed Import & Index Compression Partitioning Caching Parallelization ParStream Data Source Data Source Data Source ETL ETL ETL ETL Roworiented record store Columnoriented record store Loader Index Store Query Logic Query Results Multiple Servers, CPUs and GPUs Seite 15 von 31

17 Agenda CUDA Überblick, Performance Entwicklung APIs und Programmiersprachen Cluster, GPU Hardware, GPU enabled Applications Big Data Herausforderung von heute, Datenbanksysteme ParStream Big Data Superfast, DB-Architektur Praxisbeispiel SQL Datenbankabfrage mit 1800 Cores OTP Datensatz, Test Setup, Performancevergleich, Antwortzeiten Beispiele: Queries, Reisesuchmaschine, Skalierung Serviceleistungen Fragen? Seite 16 von 31

18 Praxisbeispiel - OTP Datensatz RITA Press Room USA Airline On-Time Statistiken* Daten von 16 Fluggesellschaften, die mind. 1% des Personenverkehrs einnahmen Press Room Nur Flüge innerhalb der USA Öffentliche Verfügbarkeit seit 21 Jahren April 5, 2011 ( ) Daten bestehen aus Zeilen Jede Zeile hat 93 Spalten About RITA Press Room Offices Jobs Press Releases (Upcoming Press Releases) April 6, 2011 March 29, 2011 March 22, 2011 March 16, 2011 More Press Releases >> U.S. Department of Transportation Announces Transportation Technology Video Challenge No Tarmac Delays Longer Than Three Hours in February January 2011 Surface Trade with Canada and Mexico Rose 19.5 Percent from January Traffic Data for U.S Airlines and Foreign Airlines U.S. Flights: Total Passengers Up from 2009, Still Below Surface Trade with Canada and Mexico Rose from 2009, Remains Lower than 2008 Press Releases by Subject Airline Financial Data Airline On-Time Statistics Airline Traffic Data Air Fares North American Surface Freight Data Passenger Airline Employment Research, Development and Technology News Transportation Services Index Contact Us E-m Rece Rese and t Con Dave Bure Natio David Mike Intell (202) Mich Jane Intell Rese Trans Unive Volpe Jane Publications *Quelle: Recent Products 2009 DOT Biennial Spectrum Plan Budget Estimates Fiscal Year RITA Seite 17 von 31

19 Praxisbeispiel - Test Setup: 1800 Cores (1792 GPU + 8 CPU) IBM System x3550 M3 2x Intel Xeon 2.67Ghz, 4 Cores 24 GB Ram Tesla S2050 (4x M2050), 19 1U Einheit Datenspeicher lokale SAS HDD mit 500GB Daten Volumen (native) 97GB 11 Columns indexed, 21GB indexed Data Betriebssystem Ubuntu Linux LTS Seite 18 von 31

20 Praxisbeispiel - Performancevergleich: Query PostgreSQL ParStream Seite 19 von 31

21 Praxisbeispiel - Performancevergleich: Antwortzeiten PostgreSQL (blue) ParStream 100 1,0 90 0,9 80 0,8 Response Time [sec] Response Time [sec] 0,7 0,6 0,5 0,4 0,3 20 0,2 10 0, Number of Rows [Millions] Number of Rows [Millions] Seite 20 von 31

22 Praxisbeispiel - Performancevergleich: Antwortzeiten Q1 = Anzahl Flüge pro Tag von 2000 bis 2008 Q2 = Anzahl verspätete Flüge mit mehr als 10min. pro Tag von Q3 = Anzahl der Verspätungen pro Fluggesellschaft von Seite 21 von 31

23 Praxisbeispiel - ParStream Query: Verteilte Abfragen Query Ergebnis Laufzeit select Year,count(*) from OTP group by Year 21 Rows flights 64 msec select DayOfWeek,count(*) from OTP group by DayOfWeek 7 Rows flights 57 msec select DayofMonth,count(*) from OTP group by DayOfMonth 31 Rows flights 57 msec Seite 22 von 31

24 Praxisbeispiel - ParStream Query: 2 und 3 dimensionale Abfragen Query Ergebnis Laufzeit Select DayOfWeek,Year,count(*) from OTP where 141 Rows flights 102 msec DepDelay > 60 and ArrDelay > 60 group by DayOfWeek,Year Select Carrier,Year,count(*) from OTP where 284 Rows flights 170 msec DepDelay > 60 and ArrDelay > 60 group by Carrier,Year select DayOfWeek,Month,Year,count(*) from OTP Where DepDelay > 60 and 1765 Rows flights 172 msec ArrDelay > 60 group by DayOfWeek,Month,Year Seite 23 von 31

25 Praxisbeispiel - ParStream Query: bad days Query Ergebnis Laufzeit select Year,Avg(DepDelay),Avg(ArrDelay) from OTP 21 Rows flights 24 msec WHERE ArrDelay > 60 AND DayOfWeek = 6 AND DayofMonth = 13) group by Year select Year,Avg(DepDelay),Avg(ArrDelay) from OTP 21 Rows flights 121 msec WHERE ArrDelay > 60 AND DayOfWeek = 6 AND DayofMonth <> 13) group by Year Seite 24 von 31

26 Praxisbeispiel - ParStream: Reisesuchmaschine 100 Reiseangebote aus 1 Mrd. Datensätzen 25 unabhängige Filterkriterien Antwortzeit Speicheranforderung 6,5 sec Faktor 80 Faktor 1000 ~ 5000MB pro Abfrage ~ 5MB pro Abfrage 0,08 sec Index Größe Database X ParStream Database X ParStream Seite 25 von 31

27 Praxisbeispiel - ParStream: Skalierung Analysieren von Milliarden Records in ms Bereich! horizontale Skalierung (Rows) Web Analytics Unique User Berechnung (SQL: select count distinct) Durchsucht Tera- und Petabyte an Daten innerhalb von Bruchteilen einer Sekunde Analysiert 8 Mrd. Records in 15ms auf einem 4-Server Cluster System Seite 26 von 31

28 Praxisbeispiel - ParStream: Skalierung ParStream ermöglicht schnelle und flexible Kombinationen von vielen Spalten vertikale Skalierung (Columns) Market Research > 1000 Columns Mustererkennung Flexible mehrspaltige Filterung & Gruppierung 20 Mio. Records mit 1000 Spalten 5000 Queries in 5 sec. Seite 27 von 31

29 Agenda CUDA Überblick, Performance Entwicklung APIs und Programmiersprachen Cluster, GPU Hardware, GPU enabled Applications Big Data Herausforderung von heute, Datenbanksysteme ParStream Big Data Superfast, DB-Architektur Praxisbeispiel SQL Datenbankabfrage mit 1800 Cores OTP Datensatz, Test Setup, Performancevergleich, Antwortzeiten Beispiele: Queries, Reisesuchmaschine, Skalierung Serviceleistungen Fragen? Seite 28 von 31

30 Serviceleistungen - CUDA Als IBM-Business Partner bieten wir ein umfangreiches Serviceangebot für CUDA-Systeme an: Vor-Ort Behebung von Mängeln / Lieferung von Ersatzteilen Reaktionszeit next business day Hotlinesupport Proof of Concept Kundenworkshops Kundenspezifische Benchmarks und Evaluierung Komplette Testumgebung im Haus Seite 29 von 31

31 Agenda CUDA Überblick, Performance Entwicklung APIs und Programmiersprachen Cluster, GPU Hardware, GPU enabled Applications Big Data Herausforderung von heute, Datenbanksysteme ParStream Big Data Superfast, DB-Architektur Praxisbeispiel SQL Datenbankabfrage mit 1800 Cores OTP Datensatz, Test Setup, Performancevergleich, Antwortzeiten Beispiele: Queries, Reisesuchmaschine, Skalierung Serviceleistungen Fragen? Seite 30 von 31

32 Fragen? Vielen Dank für Ihre Aufmerksamkeit! Seite 31 von 31