Herausforderungen und Chancen von Nearline Storage

Transkript

1 Herausforderungen und Chancen von Nearline Storage Dr. Michael Hahne Hahne Consulting GmbH 9. Juni 2010

2 Agenda Herausforderung: Wachsende Data Warehouses Lösung: Information Lifecycle Management mit SAP NLS Best Practice: Enterprise Data Warehousing Best Practice: NLS für Query-Performance Hahne Consulting GmbH Q & A / Weitere Vorgehensweise Herausforderungen und Chancen von Nearline Storage 2

3 Herausforderungen IT Herausforderungen und Chancen von Nearline Storage 3

4 Datenwachstum Herausforderungen und Chancen von Nearline Storage 4

5 Herausforderung fürs Data Warehouse With projected compounded annual growth rates for databases exceeding 125%, organizations face two basic options: 1) Continue to grow the infrastructure (e.g., server size, storage capacity) OR 2) Develop processes [and architectures] to separate dormant [archive-ready] data from active data. Meta Group Report Databases on a Diet Herausforderungen und Chancen von Nearline Storage 5

6 Typische Data Warehouse Probleme We Can t Meet our Batch Windows KPI und Berichtsbereitstellung Backup der Datenbank Neuaufbau im Data Warehouse Our Costs are Spiraling Storage / Hardware / Replikation Rechenzentrumsbetrieb (Raum / Energie / Klimatechnik) Datenadministration The Targets Keep Changing Neue Geschäftsanforderungen Spezifische Projektanforderungen Externe Anforderungen / Audit / Innenrevision Herausforderungen und Chancen von Nearline Storage 6

7 Ausgaben für Storage (Platten, Bandsysteme, Netzwerk, Administration) wachsen jährlich um 15% bis 20%, obwohl die Speicherkosten um 30% jährlich sinken Ref.: McKinsey Herausforderungen und Chancen von Nearline Storage 7

8 Speicherkosten Herausforderungen und Chancen von Nearline Storage 8

9 Moore s Law, Kryder s Law und die große Ausnahme Moore: Verdoppelung der Transistoren pro IC alle zwei Jahre Kryder: Informationsdichte auf Disks verdoppelt sich alle 18 Monate Wachstumsfaktoren: Transistoren/Chip: >100,000 seit 1971 Disk density (Bit/mm^2): >100,000,000 seit 1956 Disk speed: 12.5 seit % 40% 35% 30% 25% 20% 15% 10% 5% 0% Compound Annual Growth Rate The disk speed barrier dominates everything! Quelle: Monash Research Transistors/Chips since 1971 Disk Density since 1956 Disk Speed since Herausforderungen und Chancen von Nearline Storage 9

10 Resultat: Verfehlte Service Levels Performance geht runter Batch Fenster unzureichend WORKLOAD COMPLEXITY Costs Data Management Challenges Performance Data Growth Welche Lösungen gibt es? Herausforderungen und Chancen von Nearline Storage 10

11 Information Lifecycle Management Online: Persistent im Data Warehouse Datenmodellierung und Mehrschichtige Architekturen relevant Housekeeping Nearline: Transparenter Zugriff BW on a diet Offline: Klassische Archivierung Frequently read/updated data Online Database Storage Near Line Storage Data Archiving Infrequently read data Very rarely read data Herausforderungen und Chancen von Nearline Storage 11

12 Datenzugriff vs. Datenwachstum Typisches Datenwachstum Typischer Datenzugriff vs. Datenwachstum Mit zunehmendem Datenwachstum ändert sich die Zugriffswahrscheinlichkeit signifikant Herausforderungen und Chancen von Nearline Storage 12

13 Information as Corporate Asset We Do not Know What we not Know... The Known Current BI implementations are set up to answer known requirements The Unknown Little or nothing is done to be prepared for unpredictable future information needs Herausforderungen und Chancen von Nearline Storage 13

14 Data Management Best Practice: Enterprise Data Warehousing M Multi-Cube M Multi-Cube Virtual Reporting Layer Virtual Analytical layer Externes Schema B NLS Partition B NLS Partition B NLS Partition B Basis-Cube B Basis-Cube B Basis-Cube Reporting Layer Analytical layer Hauptsächlich aggregierte Daten DSO (st.) DSO (st.) DSO (st.) DSO (st.) DSO (st.) DSO (st.) DSO (st.) DSO (st.) Ready to use angereicherte Daten Dienen der Befüllunge der Data Marts ~ ¼ bis 1/3 des Datenvolumens Integration Layer Acquisition Layer Granulare, untransformierte Daten 1:1 in Bezug auf ERP System ~ ¼ bis 1/3 des Datenvolumens Herausforderungen und Chancen von Nearline Storage 14

15 NLS und Mehrschichtige Architekturen: NLS und Acquisition Layer Acquisition Layer: Komplette Extraktionshistorie Daten: granular und untransformiert Ablage im Allgemeinen in schreiboptimierten DSOs Request basierte Archivierung nach erfolgter QA der Daten Archivierung im Rahmen des täglichen Lademanagements Nur die letzten Datenlieferungen verbleiben online Vermeidung von erneuten Extraktionen historischer Daten Herausforderungen und Chancen von Nearline Storage 15

16 NLS und Mehrschichtige Architekturen: NLS und Integration Layer Integration Layer: Single Point of Truth Daten: granular und transformiert Ablage im Allgemeinen in normalen DSOs Zeitscheiben basierte Archivierung gemäß Retention Policy der nicht veränderlichen Daten Im Rahmen des Lademanagements benötigte Daten verbleiben online (Vermeidung von look-ups auf nearline Daten) Flexible Anpassung und Korrektur von Transformationen Herausforderungen und Chancen von Nearline Storage 16

17 NLS und Mehrschichtige Architekturen: NLS und Reporting Layer Daten: aggregiert mit spezifischem Analyse-Fokus Ablage im Allgemeinen Info Cubes Data Marts on Demand werden flexibel auf Basis des Integration Layers aufgebaut Neue aggregierte Sichtweisen werden bei Bedarf auf Basis des Integration Layer aufgebaut Zeitscheiben basierte Archivierung gemäß Retention Policy bei Bedarf, monatlich, jährlich Meistens verbleiben 2 Jahre online B NLS Partition B NLS Partition B NLS Partition B Basis-Cube B Basis-Cube B Basis-Cube Reporting Layer Herausforderungen und Chancen von Nearline Storage 17

18 Logische Partitionierung Wird durch NLS entlang der Zeitachse unnötig Regionale Partitionierung (z.b. induziert durch Lademanagement) verbleibt hingegen 2010 Aggregate / Index / Snapshot MP NLS Cubes Herausforderungen und Chancen von Nearline Storage 18

19 Data Management Best Practice: Schnellere Queries mit NLS Herausforderungen und Chancen von Nearline Storage 19

20 Data Management Best Practice: Schnellere Queries mit NLS Herausforderungen und Chancen von Nearline Storage 20

21 NLS beschleunigt Queries Schlankere Basis Cubes sind schneller NLS Partitionen auf Basis CBW NLS IQ sind meistens schneller als Basis Cubes Effiziente Bildung von Snapshots (100% NLS Partitionen) beschleunigen darüber hinaus auch Herausforderungen und Chancen von Nearline Storage 21

22 Vorteile einer Data Management Strategie Performance Schnellere Ladezeiten Schnellere Abfragen Kosten Geringere Speicherkosten Geringere Administrationsaufwände Kontrolliertes System-Wachstum Verfügbarkeit Datenverfügbarkeit: Schnellere Rollups und change runs etc. Systemverfügbarkeit: Geringere Downtime für Backups, Upgrades etc. Enterprise Data Warehousing Data Marts on Demand : Mehr Flexibilität, schnelleres Rollout Herausforderungen und Chancen von Nearline Storage 22

23 Effiziente BW Datenmanagement Strategie: Key Points Herausforderungen und Chancen von Nearline Storage 26

24 How to get started Analyse Workshop Mit dem Ziel, Quick Wins zu identifizieren ROI in wenigen Monaten Proof of Concept Testinstallation Pilotierung Projekt und Nutzung Analyse und Design Realisierung Betrieb Health-Check Herausforderungen und Chancen von Nearline Storage 27

25 Unterstützung durch Hahne Consulting Aufbau und Umsetzung einer BI Strategie Konzipierung von BI Architekturen Unterstützung in der Business Analyse Fachkonzeptionelle Modellierung von BI Systemen Optimierung von BI Landschaften hinsichtlich Kosten und Performance Datenmodellierung für BI Systeme Data Warehouse Modellierung Aufbau von EDW Architekturen Implementierung von analytischen Applikationen auf Basis von SAP, SAS, IBM/Cognos, Microsoft Herausforderungen und Chancen von Nearline Storage 28

26 Kontaktdaten Dr. Michael Hahne Königsberger Str Bretzenheim Tel Herausforderungen und Chancen von Nearline Storage 29