Reale Kundenanwendung auf der Exadata DB Datenbank-Maschine

Transkript

1 GfK Retail and Technology StarTrack Name of presenter 14 April 2008 Reale Kundenanwendung auf der Exadata DB Datenbank-Maschine Marcus Bender, Martin Gosejacob Oracle Deutschland GmbH Jens Albrecht, Marc Fiedler, Oliver Scheibe GfK Retail and Technology GmbH

2 GfK Retail and Technology StarTrack Name of presenter 14 April Einführung

3 Aufgabenfeld der GfK 3 Unsere Business Information Services liefern das grundlegende Wissen, das Industrie und Handel, Dienstleistungsunternehmen und Medien benötigen, um ihre Marktentscheidungen zu treffen. Industrie Großhandel Einzelhandel Konsument Hauptsitz: Nürnberg, Nordwestring

4 GfK Gruppe Umsatz 1.2 Mrd. Euro 4 Angestellte ca weltweit über 80% außerhalb Deutschlands Netzwerk 150 Tochterfirmen in mehr als 100 Ländern Firma Umsatz 2008 in US$ million 1. The Nielsen Company, USA 4,575,0 2. Kantar Group incl. TNS, UK 1) 3, IMS Health, USA 2, GfK Group, Germany 1, Ipsos, France 1,442.1

5 GfK Business Sectors Custom Research Retail and Technology Media 5 Data source Specific target groups, e.g. consumers, doctors etc. Retail Media GfK Konsumklimaindex Services Tailor-made surveys and continuous data collection in Custom Research Consumer Tracking HealthCare Retail information through continuous data collection Tailor-made surveys and continuous data collection regarding media consumption Share of continuous research ~43% 100% ~95% Sales EUR 783 million EUR 304 million EUR 130 million Margin 7.2% 27.2% 18.3%

6 GfK Business Sectors Custom Research Retail and Technology Media 6 Data source Specific target groups, e.g. consumers, doctors etc. Retail Media Services Tailor-made surveys and continuous data collection in Custom Research Consumer Tracking HealthCare Retail information through continuous data collection Tailor-made surveys and continuous data collection regarding media consumption Share of continuous research ~43% 100% ~95% Sales EUR 783 million EUR 304 million EUR 130 million Margin 7.2% 27.2% 18.3%

7 GfK Retail and Technology GfK Retail and Technology Erhebung von Handelsinformationen für langlebige Gebrauchsgüter z.b. Unterhaltungselektronik, Unterhaltungsmedien, elektrische Haushaltsgeräte, IT und Telekommunikation, DIY, Entertainment 7 Dienstleistungen Produktion standardisierter Analysen für Informationen zu Trends, Volumen, Umsatz, Vertriebsweg und Segment Kundennutzen Produkt- und Preispolitik, Distribution, Vertrieb und Logistik

8 Panelorientierte Marktforschung 8 Industrie Großhandel Einzelhandel Konsument Mehrere hundert Kunden weltweit Handelspanel Durables Erhebung in Geschäften Geschäfte weltweit Über 300 Warengruppen in insgesamt 80 Ländern

9 Beispielauswertung: Wasch-Frontlader nach Energieeffizienzklassen Sales Units % F/M00 - D/J01 A EN.CL A WASH A SPIN A EN.CL A WASH B SPIN A EN.CL A WASH C SPIN B EN.CL A WASH B SPIN B EN.CL A WASH C SPIN B EN.CL B WASH B SPIN B EN.CL B WASH C SPIN C EN.CL B WASH C SPIN Others GfK Panel Market Germany Frontloaded Washing Machines Feb/Mar 00 Apr/Mai 00 Jun/Jul 00 Aug/Sep 00 Okt/Nov 00 Dez/Jan 00 Feb/Mar01 Apr/Mai 01 Jun/Jul 01 Aug/Sep 01 Okt/Nov 01 Dez/Jan 01 5,1 30,9 8,8 8,4 4 3,9 8,1 3 27,7 4,6 30,4 9 9,2 3,4 7,7 6,9 3,4 25,3 4,8 33,2 10,3 9,6 3,1 6,2 8,6 2,4 21,8 4,9 33,2 11 8,9 2,8 4,7 7,6 2,3 24,6 5,7 32 9,6 7, ,1 1,7 27,9 5,9 34,8 13,7 10,2 4,2 2,6 5,1 22,5 5 39,9 11,6 9,5 2,7 3,7 5,3 1,3 20,8 4,6 45,5 9,4 9,2 2,1 5,3 4,3 1,5 6,4 47 9,8 6,2 1,8 4,8 4,2 18,1 9 18,6 6,8 48,9 9,4 4,2 2,2 3,5 4,9 1,4 18,6 7 53,6 7,9 3,6 2,4 2,7 3,3 1,5 18 7,3 58,4 7,3 2,3 1,9 2,3 3,1 1,2 16,3 9

10 GfK Retail and Technology StarTrack Name of presenter 14 April StarTrack

11 StarTrack Process View 11 Load and Identification Preprocessing and Quality Control Reporting Client Data Marts (Online Access) GSE Data Mart IDAS Release QC Publish Reporting Base Export Data Marts (Batch Exports) Files Master Data Management Data Mart

12 Komplexe Berichtsstrukturen 12 GROUP BY GENERATION TOTAL*, EDGE GROUP BY GENERATION TOTAL*, HSDPA GROUP BY WAY OF BUYING GROUP BY DESIGN GROUP BY KEYBOARD

13 StarTrack Server Infrastruktur Central Production System Preprocessing and Master Data Management Oracle 10.2 on 2 HP Superdomes with 28/20 CPU Cores Itanium, 80/64 GB Main Memory and each about 3 TB Storage (EMC DMX) Central Reporting Database Final Database for report production Oracle 10.2 RAC on 6 HP Server Nodes (4xDL585, 2xDL785) with 128 CPU Cores in Total, 512 GB Main Memory in Total and about 6 TB Disk Storage (Sun 9990-V) Client Data Mart Servers Server farm for high performance online access; each server has a shadow server for offline data updates and availability 2x24 HP Proliant Blades with 8 CPU Cores and 48 GB Main Memory; Oracle 10.2 and Application Server SW 13 Real Application Cluster (RAC) IDAS MDM QC Reporting Base Batch Export Servers Server farm for production of QV, charts and specialized file formats Farm of 64 HP Proliant Blades each with 8 CPU Cores and 32 GB Main Memory, Oracle 10.2 and Export Server Software

14 GfK Retail and Technology StarTrack Name of presenter 14 April DBM Benchmark

15 Motivation für Oracle DBM Central Production System Preprocessing and Master Data Management Oracle 10.2 on 2 HP Superdomes with 28/20 CPU Cores Itanium, 80/64 GB Main Memory and each about 3 TB Storage (EMC DMX) Central Reporting Database Final Database for report production Oracle 10.2 RAC on 6 HP Server Nodes (4xDL585, 2xDL785) with 128 CPU Cores in Total, 768 GB Main Memory in Total and about 6 TB Disk Storage (Sun 9990-V) Client Data Mart Servers Server farm for high performance online access; each server has a shadow server for offline data updates and availability 2x24 HP Proliant Blades with 8 CPU Cores and 48 GB Main Memory; Oracle 10.2 and Application Server SW 15 Real Application Cluster (RAC) MDM QC Motivation für Betrachtung der HP Oracle DBM: - Performance - TCO senken durch Konsolidierung Reporting Base Batch Export Servers Server farm for production of QV, charts and specialized file formats Farm of 64 HP Proliant Blades each with 8 CPU Cores and 32 GB Main Memory, Oracle 10.2 and Export Server Software

16 Motivation für Oracle DBM Ersatz für Superdomes? Central Production System 3 Jahre alt und abgeschrieben Preprocessing and Master Data Management Oracle 10.2 on 2 HP Superdomes with 28/20 CPU Cores Itanium, 80/64 GB Main Memory and each about 3 TB Storage (EMC DMX) Central Ersatz Reporting für Database Reporting Base RAC Final Database for report production Bessere Performance? Oracle 10.2 RAC on 6 HP Server Nodes (4xDL585, Bei 2xDL785) gleichem with TCO? 128 CPU Cores in Total, 768 GB Main Memory in Total and about 6 TB Disk Storage (Sun 9990-V) Client Data Mart Servers Schnell genug, um die Client updates and availability Data Marts zu 2x24 HP Proliant Blades with ersetzen? Server farm for high performance online access; each server has a shadow server for offline data 8 CPU Cores and 48 GB Main Memory; Oracle 10.2 and Application Server SW 16 Real Application Cluster (RAC) MDM QC Motivation für Betrachtung der HP Oracle DBM: - Performance - TCO senken durch Konsolidierung Reporting Base Schnell genug, um die Export Batch Export Servers Server zu specialized file formats ersetzen? Server farm for production of QV, charts and Farm of 64 HP Proliant Blades each with 8 CPU Cores and 32 GB Main Memory, Oracle 10.2 and Export Server Software

17 Benchmark 17 Möglichst einfache Definition SQL-Skripten ohne Anwendung Reporting Base Realistische Leselast Realistische Schreiblast

18 Workload Definition Interaktives Reporting: Protokollierung der SQL- Abfragen an den Application Servern Application Server SQL Client Data Marts: Automatisch auf Granularität Land, Warengruppe, Periode aktualisierte Auszüge der RB simuliert durch entsprechende SELECTs Client Data Mart Servers 18 Publishes: permanente Ladevorgänge auf Granularität Land, Warengruppe, Periode simuliert durch DELETE/INSERT Central Reporting Database Real Application Cluster (RAC) Reporting Base Export Data Marts: Pro Export-Job automatisch auf Granularität Land, Warengruppe, Periode erstellte Auszüge der RB simuliert durch entsprechende SELECTs Batch Export Servers

19 Workload Definition Typische Anzahl aktiver Sessions im Produktivsystem Lastkategorie Anzahl paralleler Sessions 19 Client Data Mart (CDM) 10 Export (Export) 50 Interaktives Reporting (IA) 60 Publishes (schreiben) Zusammensetzung der Workload ( Statements) SQL Typ Beschreibung Anzahl MICRO LOOKUP Queries/ FuncDep - Auflösung CLIENT DATA MARTS SQLs auf ein Basisprojekt und eine Periode INTERACTIVE Interaktives Reporting (Rohdaten und Aggbase) EXPORT SQLs über mehrere Perioden und Basisprojekten PUBLISH DML/ Ladevorgänge 5.961

20 GfK Retail and Technology StarTrack Name of presenter 14 April Ergebnisse

21 Ablauf Vorbereitung & PoC im ETC in London 21 März / April: Vorbereitung des Benchmarks 19.05: Anlieferung der USB Platte 20.05: Anlegen der DB, Daten auf die Staging Area 22.05: Übernahme der Infrastruktur, Import der Daten 23.05: Laden der Daten aus den CSV Dateien 24.05: Fehlerbereiningung, Indizes, Statistiken 25.05: Probeläufe der Baseline 26. / 27.05: Baseline Tests, Tuning, Partitioning, Compression

22 Durchführung des Benchmarks 22 Baseline Produktivsystem Oracle RAC 6 Knoten (128 Cores, 512 GB RAM) nahezu exklusiver Zugriff Treibermaschinen: 2x HP Proliant BL460c (32 GB, 8 Core) Lasttest: Ablauf aller SELECTs Schreibzugriffe: DELETE, (Re-)INSERT und Rollback 128 parallele SQL*Plus Sessions verteilt auf die Knoten Real Application Cluster (RAC) Benchmark HP Oracle DBM Oracle RAC 8 Knoten (64 Cores, 256 GB RAM) Lasttest: Workload ohne spezifische Anpassungen der Statements; kein extra Tuning Feature-Test: gezieltes Tuning einzelner Langläufer, um Features der DBM gezielt auszunutzen Reporting Base

23 GfK PoC Ergebnis Summary 23 Type of Query or Operation Amount of Data Type of Data # Concurrent Users Time [Production] Time DB Machine How many times faster? Notes 1 hour complete prod. baseline 4TB Market Research min min Primarily star transformation Middle & Short Statements 4TB Look up queries (128) 00:05:18 hh:mi:ss 00:01:17 hh:mi:ss 4.13 B*tree index lookup Exp21 4TB Export query 1 00:37:10 00:37:10 00:10:32 00:00: Old concept New concept Bad Guy 4 4TB Customer report 1 01:32:00 hh:mi:ss 00:01:34 hh:mi:ss Long running query Avg TopN Statements 4TB Mix 7 04:52:00 hh:mi:ss 00:33:00 hh:mi:ss TopN Queries SQL Type Production DB Machine Factor Micro 33 min. 43 min CDM 420 min. 215 min Baseline Details Interactive 2616 min min Export 1911 min. 811 min. 2,38 Publish 287min. 83 min. 3,44

24 Anzahl SQLs Verteilung interaktiver SQLs nach Laufzeit in Sekunden 24 Logarithmische Skalierung! RAC DBM

25 Tuning der Top-N Queries 25 Long running queries Production in hh:mi:ss DB Machine in hh:mi:ss Factor Bad Guy 4 01:32:00 00:01: Bad Guy 9 01:22:00 00:08: Topn_114 00:05:14 00:01: Topn_180 00:23:47 00:06: Topn_82 00:15:40 00:00: Topn_86 00:31:25 00:01: Exp_21 00:37:10 00:10: Exp_21 new* 00:37:10 00:00: MDA 04:47:16 00:32: Middle / Short 00:05:16 00:01:17 4.1

26 PoC Baseline Auslastung 26 INT INT INT EXP EXP EXP DMU PUB INT / Interactive: 60 Sessions EXP / Export: 50 Sessions DMU / DM Update: 10 Sessions PUB / Publish: 08 Sessions

27 Fazit aus GfK-Sicht 27 Potenziale Faktor 2 ohne jegliche Anpassungen Well Balanced, auch bei Erweiterungen Appliance: vorkonfiguriertes Komplettpaket Leistungsfähiges I/O Subsystem Optimierungsmöglichkeiten Smart Scan Schnelle Indexanlage Column Store Ausnutzung von Flash-Memory Grenzen / Risiken Skalierung allein der CPU nicht möglich Kosten First Adaptor für komplexe Architektur Kaum oder kein Performance- Gewinn bei Micro Queries oder Bitmap-Index-Zugriff Smart Scan begrenzt nutzbar, da viele Bitmap Index Zugriffe Kein Fibre Channel problematisch bei Einbettung in Rechenzentrum

28 Sun Database Machine HW Verbesserungen 28 Aktuellste Technologien 80% Faster CPUs 100% Faster Networking 50% Faster Disk Throughput 200% Faster Memory Xeon 5500 Nehalem 40 Gb InfiniBand 6 Gb SAS Links DDR3 DRAM 33% More SAS Disk Capacity 100% More SATA Disk Capacity 125% More Memory 100% More Ethernet Connectivity 600 GB SAS Disks 2 TB SATA Disks 72 GB per DB Node 4 Ethernet links per DB Node Plus Flash Storage!

29 Thank you very much for your attention.?? Fragen???????? 29 Contact: