Herausforderungen und Chancen von Nearline Storage Dr. Michael Hahne Hahne Consulting GmbH 9. Juni 2010
Agenda Herausforderung: Wachsende Data Warehouses Lösung: Information Lifecycle Management mit SAP NLS Best Practice: Enterprise Data Warehousing Best Practice: NLS für Query-Performance Hahne Consulting GmbH Q & A / Weitere Vorgehensweise 10.6.2010 Herausforderungen und Chancen von Nearline Storage 2
Herausforderungen IT 10.6.2010 Herausforderungen und Chancen von Nearline Storage 3
Datenwachstum 10.6.2010 Herausforderungen und Chancen von Nearline Storage 4
Herausforderung fürs Data Warehouse With projected compounded annual growth rates for databases exceeding 125%, organizations face two basic options: 1) Continue to grow the infrastructure (e.g., server size, storage capacity) OR 2) Develop processes [and architectures] to separate dormant [archive-ready] data from active data. Meta Group Report Databases on a Diet 10.6.2010 Herausforderungen und Chancen von Nearline Storage 5
Typische Data Warehouse Probleme We Can t Meet our Batch Windows KPI und Berichtsbereitstellung Backup der Datenbank Neuaufbau im Data Warehouse Our Costs are Spiraling Storage / Hardware / Replikation Rechenzentrumsbetrieb (Raum / Energie / Klimatechnik) Datenadministration The Targets Keep Changing Neue Geschäftsanforderungen Spezifische Projektanforderungen Externe Anforderungen / Audit / Innenrevision 10.6.2010 Herausforderungen und Chancen von Nearline Storage 6
Ausgaben für Storage (Platten, Bandsysteme, Netzwerk, Administration) wachsen jährlich um 15% bis 20%, obwohl die Speicherkosten um 30% jährlich sinken Ref.: McKinsey 10.6.2010 Herausforderungen und Chancen von Nearline Storage 7
Speicherkosten 10.6.2010 Herausforderungen und Chancen von Nearline Storage 8
Moore s Law, Kryder s Law und die große Ausnahme Moore: Verdoppelung der Transistoren pro IC alle zwei Jahre Kryder: Informationsdichte auf Disks verdoppelt sich alle 18 Monate Wachstumsfaktoren: Transistoren/Chip: >100,000 seit 1971 Disk density (Bit/mm^2): >100,000,000 seit 1956 Disk speed: 12.5 seit 1956 45% 40% 35% 30% 25% 20% 15% 10% 5% 0% Compound Annual Growth Rate The disk speed barrier dominates everything! Quelle: Monash Research Transistors/Chips since 1971 Disk Density since 1956 Disk Speed since 1956 10.6.2010 Herausforderungen und Chancen von Nearline Storage 9
Resultat: Verfehlte Service Levels Performance geht runter Batch Fenster unzureichend WORKLOAD COMPLEXITY Costs Data Management Challenges Performance Data Growth Welche Lösungen gibt es? 10.6.2010 Herausforderungen und Chancen von Nearline Storage 10
Information Lifecycle Management Online: Persistent im Data Warehouse Datenmodellierung und Mehrschichtige Architekturen relevant Housekeeping Nearline: Transparenter Zugriff BW on a diet Offline: Klassische Archivierung Frequently read/updated data Online Database Storage Near Line Storage Data Archiving Infrequently read data Very rarely read data 10.6.2010 Herausforderungen und Chancen von Nearline Storage 11
Datenzugriff vs. Datenwachstum Typisches Datenwachstum Typischer Datenzugriff vs. Datenwachstum Mit zunehmendem Datenwachstum ändert sich die Zugriffswahrscheinlichkeit signifikant 10.6.2010 Herausforderungen und Chancen von Nearline Storage 12
Information as Corporate Asset We Do not Know What we not Know... The Known Current BI implementations are set up to answer known requirements The Unknown Little or nothing is done to be prepared for unpredictable future information needs 10.6.2010 Herausforderungen und Chancen von Nearline Storage 13
Data Management Best Practice: Enterprise Data Warehousing M Multi-Cube M Multi-Cube Virtual Reporting Layer Virtual Analytical layer Externes Schema B NLS Partition B NLS Partition B NLS Partition B Basis-Cube B Basis-Cube B Basis-Cube Reporting Layer Analytical layer Hauptsächlich aggregierte Daten DSO (st.) DSO (st.) DSO (st.) DSO (st.) DSO (st.) DSO (st.) DSO (st.) DSO (st.) Ready to use angereicherte Daten Dienen der Befüllunge der Data Marts ~ ¼ bis 1/3 des Datenvolumens Integration Layer Acquisition Layer Granulare, untransformierte Daten 1:1 in Bezug auf ERP System ~ ¼ bis 1/3 des Datenvolumens 10.6.2010 Herausforderungen und Chancen von Nearline Storage 14
NLS und Mehrschichtige Architekturen: NLS und Acquisition Layer Acquisition Layer: Komplette Extraktionshistorie Daten: granular und untransformiert Ablage im Allgemeinen in schreiboptimierten DSOs Request basierte Archivierung nach erfolgter QA der Daten Archivierung im Rahmen des täglichen Lademanagements Nur die letzten Datenlieferungen verbleiben online Vermeidung von erneuten Extraktionen historischer Daten 10.6.2010 Herausforderungen und Chancen von Nearline Storage 15
NLS und Mehrschichtige Architekturen: NLS und Integration Layer Integration Layer: Single Point of Truth Daten: granular und transformiert Ablage im Allgemeinen in normalen DSOs Zeitscheiben basierte Archivierung gemäß Retention Policy der nicht veränderlichen Daten Im Rahmen des Lademanagements benötigte Daten verbleiben online (Vermeidung von look-ups auf nearline Daten) Flexible Anpassung und Korrektur von Transformationen 10.6.2010 Herausforderungen und Chancen von Nearline Storage 16
NLS und Mehrschichtige Architekturen: NLS und Reporting Layer Daten: aggregiert mit spezifischem Analyse-Fokus Ablage im Allgemeinen Info Cubes Data Marts on Demand werden flexibel auf Basis des Integration Layers aufgebaut Neue aggregierte Sichtweisen werden bei Bedarf auf Basis des Integration Layer aufgebaut Zeitscheiben basierte Archivierung gemäß Retention Policy bei Bedarf, monatlich, jährlich Meistens verbleiben 2 Jahre online B NLS Partition B NLS Partition B NLS Partition B Basis-Cube B Basis-Cube B Basis-Cube Reporting Layer 10.6.2010 Herausforderungen und Chancen von Nearline Storage 17
Logische Partitionierung Wird durch NLS entlang der Zeitachse unnötig Regionale Partitionierung (z.b. induziert durch Lademanagement) verbleibt hingegen 2010 Aggregate / Index / Snapshot MP 2009 2008 2007 2006 NLS Cubes 10.6.2010 Herausforderungen und Chancen von Nearline Storage 18
Data Management Best Practice: Schnellere Queries mit NLS 10.6.2010 Herausforderungen und Chancen von Nearline Storage 19
Data Management Best Practice: Schnellere Queries mit NLS 10.6.2010 Herausforderungen und Chancen von Nearline Storage 20
NLS beschleunigt Queries Schlankere Basis Cubes sind schneller NLS Partitionen auf Basis CBW NLS IQ sind meistens schneller als Basis Cubes Effiziente Bildung von Snapshots (100% NLS Partitionen) beschleunigen darüber hinaus auch 10.6.2010 Herausforderungen und Chancen von Nearline Storage 21
Vorteile einer Data Management Strategie Performance Schnellere Ladezeiten Schnellere Abfragen Kosten Geringere Speicherkosten Geringere Administrationsaufwände Kontrolliertes System-Wachstum Verfügbarkeit Datenverfügbarkeit: Schnellere Rollups und change runs etc. Systemverfügbarkeit: Geringere Downtime für Backups, Upgrades etc. Enterprise Data Warehousing Data Marts on Demand : Mehr Flexibilität, schnelleres Rollout 10.6.2010 Herausforderungen und Chancen von Nearline Storage 22
Effiziente BW Datenmanagement Strategie: Key Points 10.6.2010 Herausforderungen und Chancen von Nearline Storage 26
How to get started Analyse Workshop Mit dem Ziel, Quick Wins zu identifizieren ROI in wenigen Monaten Proof of Concept Testinstallation Pilotierung Projekt und Nutzung Analyse und Design Realisierung Betrieb Health-Check 10.6.2010 Herausforderungen und Chancen von Nearline Storage 27
Unterstützung durch Hahne Consulting Aufbau und Umsetzung einer BI Strategie Konzipierung von BI Architekturen Unterstützung in der Business Analyse Fachkonzeptionelle Modellierung von BI Systemen Optimierung von BI Landschaften hinsichtlich Kosten und Performance Datenmodellierung für BI Systeme Data Warehouse Modellierung Aufbau von EDW Architekturen Implementierung von analytischen Applikationen auf Basis von SAP, SAS, IBM/Cognos, Microsoft 10.6.2010 Herausforderungen und Chancen von Nearline Storage 28
Kontaktdaten Dr. Michael Hahne Königsberger Str. 31 55559 Bretzenheim michael@hahneconsulting.de www.hahneconsulting.de www.hahneonline.de Tel. 0049 671 20 27 180 10.6.2010 Herausforderungen und Chancen von Nearline Storage 29