DOAG Konferenz 2010: Exadata Flash Cache Der Turbo für die Datenbank

Transkript

1 Wanted! <Insert Picture Here> Exadata Flash Cache der Turbo für die Datenbank Schneller Speicher für random reads Hohe Bandbreite für sequential reads Transparente Nutzung Kein Engpass durch Controller Hohe Kapazität für häufig genutzte Daten Optimierte Systemarchitektur Ergänzung Caching Hierarchie Günstige Kosten Rainer Marekwia, Frank Schneede, 2 Idee: Flash Module verwenden Vorteile Write-through Cache in der Storage Zelle Transparente Verwendung für Lese-Operationen OLTP-Betrieb: 1 Million Lese-Operationen pro Sekunde (Full Rack) DWH-Betrieb: 50GB Bandbreite pro Sekunde im Flash Cache (Full Rack) 3 4 Idee: Flash Module verwenden und noch mehr Vorteile I/O Operationen Schreiben PCIe Karten statt SSDs vermeiden Controller Engpässe Optimiertes Caching durch Datenbank- und Storage DB Schreib-Operation Server Software Synergieeffekte durch Smart Flash Cache in Verbindung mit Hybrid Columnar Compression (HCC) Schreiben auf Platte ( write through cache) Bestätigung an DB Optional: Kopieren in Cache 5 6 1

2 I/O Operationen Lesen DB Lese-Operation Daten bereits im Cache? Lesen aus Cache oder Lesen von Platte Daten an DB Exadata Storage Server Hardware Sun Fire X4270 M2 12 x 3.5 Disks (600GB SAS or 2TB SAS) Disk Controller HBA mit 512MB Cache (Batterie gepuffert) 2 Six-Core Intel Xeon L5640 CPUs 24 GB DRAM (6 x 4GB) Dual-Port InfiniBand QDR (40Gb/s) Karten 4 x 96GB Flash PCIe Karten Optional: Kopieren in Cache Redundante Stromversorgung ILOM Installierte Software: Oracle Exadata Storage Server Software Oracle Linux Treiber 7 8 Sun Flash Accelerator F20 PCIe Card Default Einsatz Flash Speicher 96GB Speicher Kapazität 4 x 24GB Flash Module zus. 8GB Reserve für Fehlerhafte Bereiche x8 PCIe Karte Mit Super-Kondensator als Backup bei Stromausfall Optimiert für Datenbank Caching Vollintegriert in die Exadata Database Machine Gemessene Leistung (end-to-end) 3,6 GB/Sec pro Zelle IOPs pro Zelle 384 GB Flash Speicher pro Zelle für 16 Cell Disks 4 Flash Karten mit je 4 FDOMs 24 GB je Cell Disk Standardeinrichtung und -nutzung als Smart Flash Cache Linux Blockdevice Smart Flash Cache Verwendet gesamten verfügbaren Platz Automatisch verwaltet Unterstützt OLTP und DWH Workloads 9 10 Flash Speicher als Flash Grid Disks To cache or not to cache... Alternative: Flash basierte Grid Disks Hochperformanter persistenter DB Speicher Separate ASM Disk Group Platzbedarf sehr sorgfältig planen! Kapazität Grid Disks halbiert durch ASM Redundanz Einbindung in Backup-Strategie Mischbetrieb Smart Flash Cache / Flash Grid Disk möglich Objektattribut CELL_FLASH_CACHE NONE, DEFAULT, KEEP DB Caching Hint CACHE, NOCACHE ASM primary/secondary I/O I/O Größe I/Os < 128k in Cache ohne explizites KEEP DB sendet Infos im Request, ob Caching lohnt Caching von random reads KEIN Caching bei sequential reads

3 Create / Drop Smart Flash Cache Verwaltung mit MS CellCLI Command Line Interface Flash Cache wird automatisch mit Zelle angelegt CellCLI> CREATE CELL <Name> Zuweisung gesamter verfügbarer Speicherplatz Löschen jederzeit möglich CellCLI> DROP FLASHCACHE Anlegen jederzeit möglich CellCLI> CREATE FLASHCACHE ALL [SIZE= ] Flash basierte Grid Disks anlegen SQL Storage Klausel CELL_FLASH_CACHE disktype Attribut für griddisk, celldisk, lun, physicaldisk Grid Disk erzeugen mit Qualifier ALL FLASHDISK CellCLI> LIST CELLDISK DETAIL name: FD_00_cell01 disktype: FlashDisk... name: CD_00_cell01 disktype: HardDisk... CellCLI> CREATE GRIDDISK ALL FLASHDISK PREFIX= FAST, SIZE=10G GridDisk FAST_FD_00_cell01 successfully created GridDisk FAST_FD_01_cell01 successfully created... Pinning von DB Objekten durch DBA Storage Klausel (create, alter) ALTER TABLE tkb STORAGE (CELL_FLASH_CACHE NONE); CREATE TABLE pt (c1 number, c2 clob) TABLESPACE TBS_1 PARTITION BY RANGE(c1) (PARTITION p1 VALUES LESS THAN (100) TABLESPACE TBS_2 STORAGE (CELL_FLASH_CACHE DEFAULT), PARTITION p2 VALUES LESS THAN (200) TABLESPACE TBS_3 STORAGE (CELL_FLASH_CACHE KEEP)); Objektattribut CELL_FLASH_CACHE CELL_FLASH_CACHE=KEEP Aggressiveres Caching Füllgrad bis zu 80% des Flash Caches Keine Verdrängung durch default Objekte keep Blöcke werden aus Cache entfernt, wenn Reboot der Zelle Drop/Shrink/Truncate Objekt Kein Objektzugriff auf der Zelle in 24 Stunden Kein Blockzugriff auf der Zelle in 48 Stunden

4 Monitoring Zellenebene mit CellCLI Status Flash Cache Statistiken Flash Cache Objektinformationen (mit Hilfe data_object_id) Datenbankebene Statistiken (Session, System, Segment) AWR Reports (Wait Events) OEM Grid Control Status LEDs auf Flash Cards Status FDOM Module (0, 1, 2, 3) Ladezustand Super Kondensator Serviceanzeige Super Kondensator Stromversorgung... jetzt live on stage! Flash Accelerator F Flash Card Hardware Problem Ähnlich wie Festplattenausfall MS erzeugt Alert über das ausgefallene Gerät DB läuft weiter Nutzbarer Smart Flash Cache wird reduziert Flash Grid Disks nutzen ASM Spiegelblock CellCLI> LIST FLASHCACHE cell01_flashcache warning CellCLI> LIST CELLDISK FD_07_cell01 notpresent FD_08_cell01 normal Kundenerfahrungen mit Flash Cache Kundenerfahrungen mit Flash Cache Verwendung von GRID-Disks auf Flash Cache Machen die Kunden nicht Tests mit redo log auf Flash Cache log file sync Zeiten von 8ms auf 51 ms hoch Schreiben langsam, dann besser (kleiner Cache) Häufig zulesendes auf Flash, schon besser Verwendung für Datenfiles ist manueller Vorgang Daten müssen gespiegelt werden PQ ctrl file contention (Checkpoint) besser Meist brauchen die Kunden das voreingestellte (default) Verhalten des Flash Caches nicht verändern Beobachtung von mehreren Kundenprojekten: Mehr als 80% aller IOs werden aus dem Flash Cache befriedigt Wer seine Anwendung und die Objekte sehr gut kennt, kann (zusätzlich) dediziert Objekte im Flash Cache halten (keep). Geeignete Objekte werden ohnehin ge-cached, bleiben mit KEEP allerdings länger im Flash Cache Beispiel AWR: Dialog Semiconductor

5 Flash Cache ergänzt Speicherkonzept Exadata Database Machine bietet Speicher Hierarchie Datenbank DRAM Cache 768GB Kapazität Bis zu 7TB Nutzdaten 100 GB/sec Exadata Smart Flash Cache 5TB Kapazität bis zu 50TB Nutzdaten 50 GB/sec Exadata Platten 100TB Plattenkapazität 25 GB/sec Exadata Smart Flash Cache Extreme Performance für DWH und OLTP Applikationen Exadata Architektur abgestimmt auf Flash Häufig verwendete Daten Exadata Flash Architektur Scale-Out Storage InfiniBand Flash I/O skaliert ohne Bottleneck Hoher Durchsatz, geringe Latenz Selten verwendete Daten Intelligent Storage PCI Flash Schlüssel für vollen Durchsatz im Flash Kein Disk Controller Bottleneck Exadata hat 5.3 TB Flash Cache: 56 Flash Karten keine Controller Engpässe Automatisches Cachen von häufig benutzen Objekten im Flash Cache Intelligentes transparentes Management: Flash Geschwindigkeit zu Disk Kosten Exadata Flash Cache: Über 1 Millionen IO/Sek über SQL (8K), < Millisekunden Antwort Zeit bei 50 GB/Sek Query Durchsatz Compression Erhöht Flash Kapazität um Faktor 10, damit auch Data Scan Raten Flash Cache Transparent durch Automatismus User kann optimieren Fragen & Antworten ODD Veranstaltungen in 2011 Oracle's Eleven - Das Beste aus Oracle 11g Termin Veranstaltungsort Oracle 1. Februar München 8. Februar Stuttgart 9. Februar Frankfurt 10. Februar Düsseldorf 15. Februar Hamburg 16. Februar Berlin 17. Februar Dresden 29 5

6 6