Data Lifecycle Management im BI Umfeld

Transkript

1 Managed Services Fachbericht Data Lifecycle Management im BI Umfeld Daniel Liebhart, Dozent für Informatik an der Hochschule für Technik Zürich, Solution Manager Inhalt Data Lifecycle Management im BI Umfeld...1 Einleitung...1 Data Lifecycle Management...2 Data Lifecycle Management = Information Lifecycle Management?...2 Der klassische Data Lifecycle...2 Bewertungskriterien für Daten...4 System Managed Storage...4 Storage Resource Management...5 Hierarchical Storage Management...5 Die Zeit als Faktor...5 Entwicklung eines Data Lifecycle Management Konzeptes...6 ILM des BITKOM...6 ILM von StorageTek...7 Business Intelligence und DLM...8 Das Idealbild...8 Die Realität...9 Fazit...9 Referenzen...10 Einleitung Data Lifecycle Management (DLM) oder auch Information Lifecycle Management (ILM) im engen Sinn ist ein Storage Management-Konzept, welches Informationsobjekte während der gesamten Lebenszeit aktiv verwaltet. Business Intelligence (BI) benutzt dieselben Informationsobjekte, um die Business Performance zu analysieren und ein Unternehmen durch Kenntnis der Geschäftsprozesse und deren Wirkungszusammenhänge operativ und strategisch zu führen. Obwohl bereits eine Reihe von DLM und ILM Konzepten bestehen, die eine Klassierung der Daten vorsehen, ist eine Integration der Bedürfnisse aus Sicht BI noch nicht erfolgt. Diese Bedürfnisse sind jedoch aus Unternehmenssicht zentral, da die Planung und die Steuerung des Unternehmens wesentlich von den verfügbaren und korrekten operationellen Daten abhängen. Die Sicherstellung dieser Daten durch ein durchgängiges DLM Konzept ist nur dann möglich, wenn BI-Anforderungen bereits in die Datenklassierung einfliessen. Die

2 Datenklassierung oder auch Klassierung der Informationsobjekte erlaubt ein gezieltes Management durch Wohldefinierte Prozesse und bewährte Technologien. Data Lifecycle Management Die aktive Verwaltung der Daten über ihre ganze Lebenszeit hinweg umfasst die Umsetzung eines Regelwerkes bestehend aus Prozessen und Technologie. Dabei stehen sich die Vorgaben aus den Geschäftsprozessen und die Notwendigkeit zur Optimierung der Speicherkosten gegenüber. Vorgaben sind beispielsweise der Wert eines Informationsobjektes, gesetzliche Rahmenbedingungen, Aufbewahrungszeiten, Zugriffsrechte und SLA's (Service Level Agreements). Informationsobjekte sind Logische Units (LUN), Volumes, Dateien, Verzeichnisse, Datenbanken, Records, s, etc. Data Lifecycle Management prüft nun ereignisgesteuert oder in fixen Intervallen, ob sich die Bewertung eines Informationsobjektes geändert hat und stösst gegebenenfalls Aktionen an, um die Objekte optimal zu verwalten. Solche Aktionen sind ein Verschieben des Informationsobjektes innerhalb der Speicherhierarchie, ein Archivieren oder ein Löschen des Objektes. Data Lifecycle Management = Information Lifecycle Management? Data Lifecycle Management (DLM) ist ein Verfahren zur Verwaltung von betrieblichen Informationsobjekten basierend auf ihrem Wertbeitrag während der gesamten Lebenszeit dieser Objekte [SUN]. Information Lifecycle Management (ILM) ist eine business-orientierte Strategie zum proaktiven Management von Informationen anhand ihres Wertes [EMC]. Die Abgrenzung zwischen DLM und ILM ist in der Fachwelt heute umstritten. Bestimmte Fachleute gehen davon aus, dass DLM eine Untermenge von ILM darstellt. Die zusätzlichen ILM Funktionen wären dann Data Mining, Prozessverarbeitung und Entdeckung von Geschäftstrends. Data Mining und Entdeckung von Geschäftstrends sind jedoch klassische Business Intelligence Funktionen, während Prozessverarbeitung ein Teilbereich des Business Process Engineering darstellt. Deshalb werden in diesem Artikel die beiden Begriffe für dasselbe verwendet. Der klassische Data Lifecycle Create Transport Modify Use / Store Archive Shred Abbildung 1: Data Lifecycle /10

3 Der klassische Data Lifecycle umfasst 6 Zustände: Create: Daten werden erzeugt. Die jährliche Datenzunahme ist gemäss der Studie der University of California im Exabyte-Bereich (siehe Kasten Datenzuwachs ). Transport: Es werden 3.5-mal mehr Daten transportiert (18 Exabytes im Jahr 2003), als gespeichert werden. Modify: Lediglich 10 % aller Daten werden tatsächlich verändert. Use / Store: Ab den 30 Tag nach der Speicherung wird lediglich noch auf 20 % aller Daten zugegriffen. Archive: Die Archivierung von Daten hängt vor allem von den regulatorischen Vorgaben eines Unternehmens ab. Shred: Die gezielte und gesteuerte Vernichtung von Daten. Datenzuwachs Gemäss der Studie der University of California [INFOSTUDY]: Neu gespeicherte Daten 6 Exabytes neuer Informationen sind weltweit als Print, Film, magnetische und optische gespeicherte Information im Jahr 2002 neu abgespeichert worden. Das sind 800 MB pro Person bei einer Bevölkerung von 6.3 Milliarden Menschen. Die Zuwachsrate zwischen 1999 und 2002 war 30 % pro Jahr. Prozent Zunahme 2002 Zunahme 2005 (Geschätzt) Speicherart 92 % 5.52 Exabytes 12.1 Exabytes Harddisks und Tapes 7 % 420 Pentabytes 922 Pentabytes Film 0.01 % 6 Pentabytes 13 Pentabytes Papier % 120 Terabytes Terabytes optischen Speichermedien Transportierte Daten 18 Exabytes sind weltweit im Jahr 2002 als Informationen durch elektronische Kanäle geflossen. Prozent Transportiert Transport 2005 (Geschätzt) Informationsart 96.1 % 17.3 Exabytes 39.5 Exabytes Telefonanrufe 0.3 % 70 Pentabytes 153 Pentabytes 31 Millionen neu produzierte Fernsehstunden (Total 123 Millionen Stunden gesendet) 0.02 % 3.5 Pentabytes 7.7 Pentabytes 70 Millionen Stunden neu produzierte % 400 Terabytes 879 Terabytes % Radiostunden (Total 320 Millionen Stunden gesendet) 274 Terabytes 601 Terabytes Instant Messaging (SMS, MMS) % 170 Terabytes Terabytes WWW /10

4 Bewertungskriterien für Daten Leider gibt es heute noch kein etabliertes Modell zur Berechnung des Wertbeitrages von Daten in einem Unternehmen. Es sind lediglich die monetären Einflüsse von fehlerhaften Daten untersucht worden (siehe Kasten Die Kosten und der Einfluss fehlerhafter Informationen ). Aus diesem Grunde ist die Entwicklung eines Bewertungsschemas für Daten, respektive für Informationsobjekte Sache der Unternehmensleitung. Eine mögliche Klassierung der Daten könnte sein: Critical Data: Daten, die für die wichtigen Geschäftsprozesse benötigt werden und deren Verlust zu einer operativen Katastrophe führen kann (die Leistungserstellung kann nicht mehr erfolgen). Sowie Daten, die aus rechtlichen Gründen aufbewahrt werden müssen. Essential Data: Daten, die für das Daily Business verwendet werden und damit Teil des Business Know-hows seines Unternehmens sind. Sensible Data: Daten, die für das Daily Business verwendet werden, die jedoch entweder schnell wiederhergestellt werden können oder durch alternative Daten ersetzt werden können. Non-Critical Data: Daten, die mit geringen Kosten wiederhergestellt werden können oder aber Duplikate bestehender Daten. System Managed Storage Die Klassierung von Informationsobjekten findet einerseits auf der Ebene der Bewertungskriterien aus Unternehmenssicht statt, andererseits ist eine technische Abbildung der unternehmerischen Vorgaben in einzelne Klassen zu realisieren. Einzelnen Informationsobjekten werden nicht mehr individuelle Attribute zugeordnet, sie werden lediglich verschiedenen technischen Storage Klassen zugewiesen. Alle Operationen eines Data Lifecycle Management beziehen sich dann auf die einzelnen Storage Klassen, die dann ihrerseits eine Menge von Die Kosten und der Einfluss fehlerhafter Informationen Thomas Redman, der Präsident der Firma Navesik Consulting Group in New York, hat 1998 in einer Zusammenfassung einer Reihe von Untersuchungen zum Thema Datenqualität festgestellt, dass durchschnittlich 1-5 % aller Daten eines Unternehmens fehlerhaft sind [REDMAN]. 1. Kosten 8-12% des Einkommens eines Unternehmens (Durchschnittswerte aus verschiedenen Case- Studies) % der Ausgaben für Dienstleistungs- Unternehmen. 2. Andere Einflussfaktoren Langsamere und nicht akkurate Entscheidungen Schwierigere Strategie-Definition und Umsetzung Zunehmendes Misstrauen dem Unternehmen gegenüber Ablenkung der Aufmerksamkeit der Unternehmensführung zugeordneten Informationsobjekten umfassen. Eine solche technische Umsetzung ist in dem von IBM definierten System Managed Storage (SMS) realisiert worden [SMSDOC]. Dabei werden 3 Klassen definiert und je nach Bedarf mit den entsprechenden Attributen instanziert. Klasse Data-Class Storage-Class Management-Class Standartattribute Platzbedarf, Dateiorganisation Zugriffszeit, Verfügbarkeit Datensicherung, Migration und Aufbewahrungsfrist /10

5 Storage Resource Management Storage Resource Management (SRM) umfasst die Steuerung und die Überwachung der Speicherressourcen und Datenbestände eines Unternehmens durch definierte Managementregeln. Es erlaubt die Verteilung der Unternehmensdaten durch gezielte Automatismen auf alle im Unternehmen vorhandenen Speicher, unabhängig von der konkreten Hardware und Software, die zur Speicherung eingesetzt wird. Die Merkmale eines SRM sind: Unternehmensweite Verwaltung (Überwachung, Planung und Reporting) aller logischen Speicherressourcen. Trend- und Backupplanung, basierend auf den täglich geänderten Datenmengen. Durchgängiges Management aller Speicherinformationen. Interoperabilität zwischen Speichersystemen. Alle grossen Hersteller von Storage Systemen haben SRM Software in ihrem Portfolio [SRMOVER]. Hierarchical Storage Management die nächste Stufe der Hierarchie transferiert. Das betroffene Informationsobjekt wird verschoben und durch einen Platzhalter repräsentiert. Beim Aufruf einer ausgelagerten Datei, respektive des entsprechenden Platzhalters kopiert das Hierarchical Storage Management die ausgelagerte Datei in die Online Storage oder in die definierte Storage Hierarchiestufe und setzt danach den Bearbeitungsprozess fort. Die Zeit als Faktor Der Wert der Daten ändert sich im Laufe der Zeit. So können dieselben Daten anhand von zeitlichen Vorgaben in verschiedenen Speicherbereichen gehalten werden. s verlieren sehr schnell an Aktualität und müssen nur noch sporadisch zugegriffen werden, während beispielsweise Daten aus der Forschung und Entwicklung mit der Zeit sogar an Relevanz für ein Unternehmen zunehmen. Eine Besonderheit stellen die finanziellen Daten eines Unternehmens dar, die periodisch (Quartalsabschluss, Jahresbilanz oder Revision und Steuerprüfung) sehr aktuell sind, in der Zwischenzeit jedoch nicht verändert werden. Storage Hierachy Online Inline Nearline Offline Technology HDS / SAN / NAS ATA Disks Tape Roboters Optical Libraries DVD, Tapes Recovery Strategy Mirroring / Replication Replication / Backup to Disk / Virtual Tape Tape Backup Archiving $ / MB $ / MB $ / MB Primary Online Secondary Online Backup Data Storage Temporary Data Permanent Data Costs / Attributes Temporary Data Light Workload Heavy Workload Heavy Workload Reliability Abbildung 2: Hierarchical Storage Management < $ / MB Backup Data Permanent Data Light Workload Hierarchical Storage Management ist ein Mechanismus, der inaktive Dateien, auf die seit längerem nicht zugegriffen wurde, markiert und auf Abbildung 3: Wichtigkeit der Daten über die Zeit [LUNDBERG] /10

6 Die von verschiedenen Autoren verwendete Abbildung 3 geht noch von einer dreistufigen ILM des BITKOM Verlagerung Speicherhierarchie aus, während durch die Einführung der ATA (Advanced Technology Erstplazierung Replikation Datensicherung Archivierung Löschen / Zerstören Attachment Packet Interface) Technologie heutige Verdrängung Speicherarchitekturen vierstufig ausgeführt werden. Es wird in diesem Zusammenhang auch von einer Layered Storage Architecture gesprochen. Abbildung 4: Information Lifecycle Management Konzept des BITKOM Entwicklung eines Data Lifecycle Management Konzeptes Die Entwicklung eines Data Lifecycle Management, respektive eines Information Lifecycle Management Konzeptes hängt von einer Reihe von externen Requirements und der Erbringung von Vorleistungen ab. Die Vorgaben sind die Bewertung der Information durch das Unternehmen, die vereinbarten Service Level Agreements im Betrieb, sowie die Definition der Zugriffsrechte und der Datenintegrität. Als Vorleistungen gelten heute die Konsolidierung und Virtualisierung der Storage Infrastruktur, sowie die Einführung eines Storage Resource Managements. Das Konzept selbst ist eine Kombination aus Technologie und Prozessen. In diesem Kapitel werden zwei mögliche Lösungsansätze skizziert, das Information Lifecycle Management Konzept des BITKOM sowie der Information Lifecycle Management Ansatz der Firma StorageTek. Der Bundesverband Informationswirtschaft, Telekommunikation und neue Medien e.v. (BITKOM) stellt in seinem Leitfaden sein ILM Konzept vor [BITKOM]. Die IML-Prozesse sind: Erstplatzierung der Daten: Die Erstplatzierung legt fest, in welcher Speicherklasse ein Informationsobjekt gespeichert werden soll. Die Definition der Klassen ist unternehmensspezifisch. Replikation: Die Replikation von Daten erfolgt entweder über Mirroring oder über PIT (Point in Time) Mechanismen. Dabei werden sämtliche Daten möglichst aktuell repliziert, respektive nachgeführt. Datensicherung: Die Datensicherung basiert auf einem Versionsschema. Informations-Objekte werden in regelmässigen Abständen kopiert, ohne dass das Original zerstört wird. So können auch auf ältere Versionen desselben Speicherobjektes zugegriffen werden. Archivierung: Die Archivierung ist eine gezielte Speicherung von Informationsobjekten in eine andere Speicherklasse. Dabei wird definiert, wie lange ein Informationsobjekt nicht gelöscht werden darf (Vorhaltefrist Retention). Verdrängung (Hierarchical Storage Management): Die Verdrängung verschiebt ein Informationsobjekt von einer Speicherklasse in eine andere ohne Veränderung der Zugriffs- Syntax /10

7 Verlagerung: Die Verlagerung eines Informationsobjektes ist ein irreversibler Vorgang der vor allem im Rahmen vom Einsatz neuer Hardware zum Zug kommt. Löschen / Zerstören: Beim Löschen wird ein Informationsobjekt lediglich logisch freigegeben, während das Zerstören eines Objektes eine Garantie beinhaltet, dass ein Informationsobjekt nie mehr gelesen oder rekonstruiert werden kann. Erstplazierung Datensicherung Replikation Verlagerung Verdrängung Archivierung Löschen / Zerstören Die Übergangsmatrix definiert alle möglichen Zustandsänderungen der einzelnen Standardprozesse Erstplatzierung, Datensicherung, Replikation, Verlagerung, Verdrängung, Archivierung und Löschen/Zerstören. Abbildung 5: ILM Prozesse und Übergänge ILM von StorageTek Distribute Provide Protect Conservate Archive Background Architecture Storage Archtecture Business Continuity / Disaster Recovery Network & Interoperability Infrastructure & Datacenter Technology Virtualization Consolidation Online Solutions Systems Inline Solutions Nearline Solutions Hierachical Storage Management Management Data Migration Industry Practices Operations Implementation Storage Remote Managed Storage Storage Resource Management Support Storage Operations Support Customer Support Customer Training Abbildung 5: Information Lifecycle Management Übersicht /10

8 Das Information Lifecycle Management Konzept der Firma StorageTek [STORTEK] umfasst folgende Kernprozesse: Distribute (Verteilen): Der Verteilung der Daten auf den Online Systemen. Dieser Prozess umfasst auch die spezifischen Online-Backup sowie die Replication / Mirroring Mechanismen. Provide (Bereitstellen): Die Bereitstellung aller Daten im Online und Inline Bereich. Dieser Prozess umfasst das Inline-Backup. Protect (Schützen): Definierte Datenbereiche (Informationsobjekte) werden aufgrund geschäftspolitischer Policies gesichert und mittelfristig bereitgestellt. Convervate (Konservieren): Aufgrund regulatorischer Rahmenbedingungen und Business-Überlegungen werden Informationsobjekte konserviert. Archive (Archivieren): Die mittel- und langfristige Archivierung von Daten im Nearline- und Offline- Bereich. abdecken. So sind sowohl die operationellen Daten, wie auch Data Warehouses respektive Data Marts mit allen zur Entscheidungsunterstützung verwendeten Informations-objekten entsprechend zu klassieren und innerhalb eines DLM Konzeptes zu behandeln. Das Idealbild Operative Daten Data Warehouse Data Mart Critical Data Essential Data Sensible Data Non-Critical Data Critical Data Essential Data Sensible Data Non-Critical Data Critical Data Essential Data Sensible Data Non-Critical Data Abbildung 6: Idealbild einer vereinfachten BI- Architektur Business Intelligence und DLM Data Lifecycle Management unterscheiden in den heutigen Konzepten nicht zwischen operationellen und nicht operationellen Daten. Diese Unterscheidung ist jedoch für den Bereich Business Intelligence zentral. Die Informationen, die in Business Performance Managementsystemen gehalten werden, bestimmen den Unternehmenswert massgeblich. Heute existiert jedoch keine einheitliche BI-Systemarchitektur, die zu einem integrierten Datenmodell von Data Warehouses, Data Marts und der Vielzahl von Tabellen- und Berichtsdokumenten führen könnte. Die Klassierung von Informationsobjekten sollte also nicht nur aus Sicht der regulatorischen Vorgaben und der Speicherkosten erfolgen. Darüber hinaus sind Kriterien einzuführen, die die Bedürfnisse von BI Im Idealfall hat ein Unternehmen eine durchgängige BI-Architektur umgesetzt. Die operativen Daten werden über Data Warehouses verdichtet, die wiederum werden zu dedizierten Data Marts zusammengefasst, die sämtliche für die Steuerung eines Unternehmens relevanten Informationen, Funktionen und Prozesse enthalten. In diesem Fall ist die Abbildung der Informationsobjekte sehr einfach: Operative Daten können in alle Bewertungsklassen aufgeteilt werden ( Critical, Essential, Sensible und Non-Critical Data ). Data Warehouse Daten sind als Essential Data zu klassifizieren, da sie als Vorstufe für die Data Marts verwendet werden, jedoch aus den operativen Daten heraus verdichtet werden. Der Verlust dieser Daten bedeutet lediglich eine neue Verdichtung der operativen Daten /10

9 Data Mart Daten gehören zur Klasse Critical Data, da sie im Idealfall alle entscheidungsrelevanten Daten enthalten. Ein Verlust dieser Daten bedeutet keine kurzfristige Beeinträchtigung des Daily Business dafür jedoch eine unternehmerische Katastrophe, da die Basis für unternehmerische Entscheidungen verloren ist. Die Realität Leider haben die wenigsten Unternehmen eine BI- Architektur realisiert, die sämtliche planungs- und entscheidungsrelevanten Informationen enthält. So werden Verträge durch bestätigt, Excel-Sheets enthalten Finanzdaten, Investitionsanträge und Entscheidungsprotokolle (und deren Input) sind als Word-Dokument abgelegt. Alle diese Informationen sind in keinem Data Warehouse und in keinem Data Mart abgespeichert. Sie sind jedoch zentral für die Steuerung eines Unternehmens. Das Data Lifecycle Management dieser Daten sollte durch eine besondere Klassierung erfolgen. Diese Informationsobjekte werden einer gesonderten Klasse (z.b. Business Performance Data oder auch Corporate Performance Data ) zugewiesen und in einem DLM entsprechend verwaltet. In der konkreten Umsetzung würde diese Klasse als Management-Class (System Managed Storage Klassierung) definiert. Die Bewertungskriterien von Daten umfasst also neu fünf statt nur vier Klassen (Critical, Business Performance, Essential, Sensible und Non-Critical Data): Critical Data: Daten, die für die wichtigen Geschäftsprozesse benötigt werden und deren Verlust zu einer operativen Katastrophe führen kann (die Leistungserstellung kann nicht mehr erfolgen). Sowie Daten, die aus rechtlichen Gründen aufbewahrt werden müssen. Business Performance Data: Daten, die für die Steuerung und die Planung eines Unternehmens relevant sind und deren Verlust zu einer unternehmerischen Katastrophe führen kann. Essential Data: Daten, die für das Daily Business verwendet werden und damit Teil des Business Know-hows seines Unternehmens sind. Sensible Data: Daten, die für das Daily Business verwendet werden, die jedoch entweder schnell wiederhergestellt werden können oder durch alternative Daten ersetzt werden können. Non-Critical Data: Daten, die mit geringen Kosten wiederhergestellt werden können oder aber Duplikate bestehender Daten. Fazit Data Lifecycle Management mit Einbezug der Bedürfnisse aus Sicht BI ist durch die Erweiterung eines Klassierungs-Schemas für Informationsobjekte möglich. Ein DLM / ILM Konzept ohne Einbezug der Bedürfnisse der Unternehmens-Steuerung ist nicht vollständig. Die Umsetzung von DLM / ILM Konzepten in Unternehmen wird jedoch erst in der Zukunft erfolgen. Die meisten Unternehmen sind noch daran die Voraussetzungen für die Umsetzung eines Data Lifecycle Management zu schaffen. Die Konsolidierung der IT-Infrastruktur sowie die Virtualisierung der Dienste sind Projekte, die heute umgesetzt werden. Dennoch ist es sinnvoll, bereits heute über die Bewertungskriterien nachzudenken, um die Grundlagen für eine aktive Verwaltung der Unternehmensdaten über ihre ganze Lebenszeit hinweg zu schaffen. Ohne den Einbezug der Bedürfnisse der Unternehmens-Steuerung sind die Kriterien nicht vollständig. Ein Data Lifecycle Management kann nur dann nachhaltig umgesetzt werden, wenn die Verwaltung der Business Performance Daten mit einbezogen wird /10

10 Referenzen [BITKOM] [EMC] [LUNDBERG] [INFOSTUDY] [REDMAN] S. Born et Al: Leitfaden zum Thema "Information Lifecycle Management" (BITKOM April 2004) D. Reiner et Al.: Information Lifecycle Management: The EMC Perspective (Proceedings of the 20th International Conference on Data Engineering, 2004 IEEE) J. Lundberg: Understanding Data Lifecycle Management (Veritas Architect Network ) P. Lyman, H.R. Varian et Al: How Much Information? (University of California, School of Information Management and Systems 2003) T.C. Redman: The Impact of Poor Data Quality on the Typical Enterprise (Communications of the ACM, Feb 1998) [SMSDOC] J. P. Gelb: System Managed Storage (IBM Systems Journal, Vol 28, No1 1989) [SRMOVER] R. Thurnhofer: Storage Resource Management hilft Kosten sparen (Funkschau Nr. 20, 2003) [STORTEK] [SUN] M. Giesselbach: Return-on-Investment durch Information Lifecycle Management (2003 Storage Technology Corporation) Chris Wood (CTO Storage & Data Management): Sun's Data Management Strategy (SUN Microsystems ) /10