JANUS. Migration von OAM Objekten von Optischen Platten, DB2 und Tape auf neue Hardware Produktbeschreibung V02R03

Transkript

1 JANUS Migration von Objekten von Optischen Platten, DB2 und Tape auf neue Hardware Produktbeschreibung V02R03 Intercom Computer Systems GmbH Seite 1

2 USA Intercom Computer Systems Inc Golansky Blvd. Suite 102 Woodbridge, VA Phone: Fax: Europe Intercom Computer Systems GmbH Zum Ulrichstein 7 D Grafenau Tel: +49(0) Fax: +49(0) intercom@icsg.de Intercom Computer Systems GmbH Konrad-Celtis-Straße 81 D München Tel: +49(0) Fax: +49(0) intercom@icsm.de DR RAINER HARTMANN & PARTNER AG Langegasse 101 CH-4104 Oberwil Tel: +41(0) rh@drhartmannpartner.com hartmann.rainer@gmail.com Intercom Computer Systems GmbH Seite 2

3 Inhalt 1 DAS PROBLEM JANUS MIGRATION: STANDARD UND EXTENDED JANUS MIGRATION: PROZESSE DEFINITIONEN ZUSAMMENSTELLEN DER ZU MIGRIERENDEN OBJEKTE MIGRATION DER OBJEKTE Migration JANUS Standard Migration JANUS Extended AKTIVIERUNG DER MIGRIERTEN OBJEKTE IN JANUS EXTENDED VERIFIKATION ZUGRIFF AUF ORIGINAL-PRIMÄRDATEN UND ORIGINAL-BACKUPS NUTZEN DER JANUS MIGRATION DIENSTLEISTUNGEN...12 Intercom Computer Systems GmbH Seite 3

4 1 Das Problem Elektronische Archivesysteme auf IBM zos Mainframes setzen auf dem Speicherverwaltungssystem (Object Access Method) auf: Image Plus, IAFC, OnDemand/390, DB2 Content Manager OnDemand und Archivsysteme von anderen Herstellern. Typische Installationen verwalten Archivdatenbestände von 5 bis 30 TB, die Anzahl einzeln adressierbarer Objekte kann bis zu 500 Millionen betragen. Gesetzliche Vorschriften erfordern für diese Objekte eine Aufbewahrungszeit von 10 Jahren, doppelt so lang wie die Innovationszyklen der Hardware-Entwicklung. Es ist nicht zu vermeiden, dass die Daten während ihrer Aufbewahrungszeit mindestens einmal auf neue Medien umkopiert werden müssen, will man den Anschluss an die technische Entwicklung nicht verpassen. Seit Beginn der neunziger Jahre des zwanzigsten Jahrhunderts benutzen Elektronische Archive Optische Platten als Speichermedium. Obwohl sich die Speicherkapazität dieses Mediums in den letzten Jahren erhöht hat, sind optische Archive nicht mehr Stand der Technik. In der Welt der IBM Mainframes wird diese Technik (Optische Libraries 3995) von IBM nicht mehr weiterentwickelt. Alternative Lösungen im Bereich der Hardware und Software haben die besonderen Vorzüge der optischen Platten, Unveränderbarkeit und hohe Stabilität der gespeicherten Daten, abgelöst. Darüberhinaus sind Optische Medien heute wesentlich teurer als die magnetische Medien Disk oder Tape. Dedizierte Disk-Speicher-Subsysteme für die grossen Datenmengen von Archiven sind z.b. von IBM oder Hitachi verfügbar. Die neuen Speicher-Subsysteme lassen sich allerdings nicht direkt über ansprechen. Durch Einschalten eines Gateway-Servers, der einerseits mit auf dem IBM zos Mainframe über Kanal-Anbindung, andererseits mit dem Speicher- Subsystem über dessen Interface kommuniziert, sind diese Systeme an den IBM zos Mainframe anschliessbar. Es genügt jedoch nicht, diese Systeme nur für die Archivierung aktueller Daten zu benutzen. Auch die alten Daten müssen, wegen der langen Lebensdauer, auf die neuen Systeme migriert werden, um von einer einheitlichen Hardwareumgebung zu profitieren. IBM bietet kein einfach zu bedienendes und automatisierbares Migrationstool an. Das Migrationstool JANUS erlaubt eine einfach zu handhabende, automatisierbare und zuverlässige Migration. Darüberhinaus wird die Migration detailliert dokumentiert. Intercom Computer Systems GmbH Seite 4

5 JANUS Migration of Objects Architecture of Applications using Storage New Hardware Application... IAFC OD/390 ImagePlus ANY Storage Management IBM 3995 Intercom 4995 Physical Storage DB2 Optical Tape EMC Centera IBM DS6000 Hitachi HCP 2 JANUS Migration: Standard und Extended Janus wird in zwei Varianten angeboten: JANUS Standard (oder JANUS S) und JANUS Extended (oder JANUS E). Abhängig von den Anforderungen des Anwenders wird JANUS S oder JANUS E eingesetzt. JANUS Standard ist unabhängig von der Archiv-Applikations-Software: JANUS S arbeitet nur mit. Beide Varianten, JANUS S und JANUS E, sind unabhängig von den Spezialitäten der neuen Hardware: Die Anforderung ist lediglich, dass die neue Hardware (genauer: das Gateway) die Standard -Schnittstelle unterstützt. Der Migrationsprozess ist am effizientesten, falls die Umstellung der aktuellen Archivierung auf die neue Hardware bereits erfolgt ist: die alten Daten sind dann READ ONLY. Falls während der Migration weiter auf Optische Platten oder in DB2 archiviert wird, erhöht sich der Aufwand für Planung und Kontrolle der Migration. Die Variante JANUS Extended bietet erweiterte Funktionalität und grössere Flexibilität für bestimmte Archiv-Systeme. Heute unterstützt JANUS E die IBM Systeme Image Plus, IAFC und OnDemand/390, eine Anpassung an andere Systeme von IBM oder anderen Herstellern ist einfach: Voraussetzung ist auch hier nur, dass die Archiv-Systeme mit als Speichermanagement-System arbeiten. Die erweiterte Funktionalität hängt von der Archiv-Software ab, da jede Archiv-Software die Informationen über die physische Speicherung in anders handhabt. Intercom Computer Systems GmbH Seite 5

6 JANUS S benutzt die existierenden Storage Gruppen (die normalerweise bereits auf die neue Hardware/Medien hin angepasst wurden): JANUS spezifische Definitionen sind nicht erforderlich. JANUS E benutzt drei getrennte Bereiche von Storage Gruppen (genauer: s): Bereich 1: die ursprünglichen Storage Gruppen für die existierenden Daten (Medien: Optische Platten, DASD oder Tape) Bereich 2: Storage Gruppen für die neu regulär zu archivierenden Daten (neue Medien) Bereich 3: Storage Gruppen für die (von Optischen Platten, DASD oder Tape auf die neuen Medien) migierten Daten. JANUS E bietet eine uneingeschränkte UNDO Funktion (d.h. jeder Migrationsschritt kann rückgängig gemacht werden) und die Möglichkeit, sowohl die Vollständigkeit als auch die Identität der migrierten Objekte auf einfache Art zu verifizieren. Allerdings ist die Definition neuer Storage Gruppen und s erforderlich. Darüberhinaus bietet JANUS E die Möglichkeit, die archivierten Daten bezüglich der physischen Speicherung zu restrukturieren und zu optimieren (auf der Basis der Erfahrungen über Zugriffsprofile, die im Unternehmen in der Vergangenheit gemacht wurden). Die Migration einer grossen Menge von Daten (typischerweise 10 bis 30 TeraBytes) von IBM-3995 Libraries auf die neuen Medien erfordert viel Zeit. Der Migrationsprozess erfordert eine sorgfältige Planung, um die Ressourcen optimal zu nutzen muss die Verifizierung für einzelne Objekte ermöglichen darf die reguläre Archivierung und den Zugriff der Benutzer auf die vorhandenen Daten in optical Libraries nicht behindern. 3 JANUS Migration: Prozesse 3.1 Definitionen In beiden JANUS-Varianten werden in einem ersten Schritt die existierenden s auf die s der Migration (in einer DB2-Tabelle) abgebildet. In JANUS E müssen separate s definiert werden, in JANUS Standard sind die beiden Gruppen von s identisch. 3.2 Zusammenstellen der zu migrierenden Objekte Im zweiten Schritt werden Referenzen auf alle Objekte, die migriert werden sollen, in eine JANUS Arbeits- Tabelle gesammelt, einschliesslich der physischen Adressen der Primär-Objekte und ihrer Backups. Diese Tabelle ist die Grundlage für Planung, Steuerung und Kontrolle der Migration. Eine breite Palette von Selektionskriterien erlaubt, die Migration den Bedürfnissen des Anwenders optimal anzupassen: Auswahl nach Storagegruppe, -, Medien, Datumsbereich. Dieses Verfahren erlaubt, die Migration zunächst auf einige Storagegruppen zu beschränken, in anderen weiterhin auf optische Platten zu archivieren. Durch dieses schrittweise Vorgehen kann während der Migration Erfahrung mit den neuen Medien gewonnen und das Risiko der Migration minimiert werden. Intercom Computer Systems GmbH Seite 6

7 3.3 Migration der Objekte Im dritten Schritt werden die Objekte selbst physisch migriert. Der Anwender kann sehr flexibel bestimmen, wie die Migration bezüglich Optische Library oder Storagegruppe sequentiell oder parallel erfolgen soll. Hohe Parallelität vermindert die Laufzeit der Migration erheblich. Die erreichbare Parallelität hängt im wesentlichen davon ab, wieviele optische Laufwerke der Migration zugeordnet werden können, parallel zur regulären Nutzung durch Online- oder Batchprozesse, der Bedarf an CPU-Leistung ist gering. In der Tat ist eine hohe Parallelität für eine schnelle Migration unentbehrlich. Die Migration wird über das Standard--Interface, das OSREQ-Makro, ausgeführt. Die Migrationsprozesse erscheinen für daher als weitere Benutzerprozesse wie die normalen Online- oder Batch- Prozesse, im Gegensatz zu Utilities wie MOVEVOL oder OSMC, die Locking-Probleme oder undefinierte Zwischenzustände verursachen könnten. Diese Technik der Migration bietet höchste Sicherheit, dass die migrierten Objekte nicht verändert werden. Darüberhinaus ist ein 24-Stunden-Betrieb möglich, soweit die betrieblichen Verfahren des Anwenders dies zulassen. Der Migrationsprozess wird in JANUS S und JANUS E unterschiedlich ausgeführt Migration JANUS Standard JANUS Standard: Migration of Objects and Access During and after Migration Archive Application Old JANUS Mapping Index Read Access OSREQ 1 READ 2 DELETE 3 INSERT Object list Read Originals before and during Migration 1 READ 2 DELETE 3 INSERT Read migrated Objects Physical Storage Old Physical Storage New Intercom Computer Systems GmbH Seite 7

8 In JANUS S werden die Objekte von den Originalmedien auf die Migrationsmedien verschoben. Originalobjekte werden in einen Programmspeicher gelesen, logisch im gelöscht (d.h. die Index- Einträge im werden gelöscht) und auf den neuen Medien gespeichert (d.h. erzeugt auch einen neuen Eintrag in seinem Index). Nach dieser Verschiebung erhält die Statusvariable in der JANUS Arbeits- Tabelle der Wert migriert und ein DB2-Commit wird ausgeführt. Dieses Verfahren erfüllt drei Aufgaben: - Die Daten sind immer konsistent: jedes Objekt ist entweder auf den alten Medien oder auf den neuen Medien verfügbar, aber nicht auf beiden, es kann aber auch nicht verlorengehen. - Die Statusvariable garantiert, dass nicht mehrfach versucht werden kann, ein Objekt zu migrieren. - Die Statusvariable erlaubt einfachen Restart des Migrationsprogramms ohne manuelle Eingriffe. Die migrierten Objekte sind unmittelbar nach dem DB2-Commit für den Benutzer-Zugriff verfügbar, die Originalobjekte sind nicht mehr verfügbar (sie sind jedoch nicht verloren, siehe unten) Migration JANUS Extended JANUS Extended: Migration of Objects and Access During Migration Archive Application Access: name Objectname Index Old old JANUS New OSREQ READ Mapping Object list OSREQ INSERT READ INSERT Physical Storage OLD Physical Storage NEW In JANUS E werden die Objekte auf die neuen Medien kopiert: Die Originalobjekte werden von JANUS E nur gelesen und eine Kopie wird auf die neuen Medien geschrieben. Die Konsistenz der Datenbasis und die Restartfähigkeit der Migrationsprogramme wird, wie bei JANUS S, über eine DB2-Transaktion gewährleistet. Die Originalobjekte werden weiterhin von den Benutzern gelesen, die Kopie ist zunächst nicht zugreifbar (da sie dem Archiv-System vor der Aktivierung noch nicht bekannt ist). Intercom Computer Systems GmbH Seite 8

9 3.4 Aktivierung der migrierten Objekte in JANUS Extended In JANUS E ist ein vierter Schritt erforderlich, bevor die migrierten Daten verfügbar sind: die Aktivierung der migrierten Daten. Ein spezieller Prozess ersetzt die Referenzen auf die originalen -s in den Tabellen des Archivsystems (Image Plus, OD/390 usw.) durch Referenzen auf die -s der Migration. Dieser Prozess ist sehr schnell (nur Updates von DB2-Tabellen des Archiv-Systems und der JANUS Arbeits-Tabelle) und ebenfalls reversibel (falls die migrierten Objekte Probleme verursachen sollten, oder die Original-Objekte aus irgendeinem Grund wieder verfügbar gemacht werden müssten). JANUS Extended: Activation and Access of Migrated Objects 1 Access before: Original name Objectname Archive Application Index 3 Access after: Migration name Objectname 2 Replace Old old JANUS Mapping Object list New Physical Storage OLD Physical Storage NEW Intercom Computer Systems GmbH Seite 9

10 3.5 Verifikation Bei vielen Anwendern wird es erforderlich sein nachzuweisen, dass - alle Original-Objekte migriert wurden - die migrierten Objekte nicht verändert wurden. In JANUS E ist dies sehr einfach zu implementieren, da Originalobjekte und migrierte Objekte in verschiedenen -s koexistieren. Zugriffe über SQL auf die -Indexdaten der Originale und der migrierten Objekte sind einfach. (JANUS E stellt ein Verifikationsprogramm zur Verfügung, das sich allerdings auf den einfachen Fall einer 1:1 Abbildung der Original-s auf die Migrations-s beschränkt). Zusätzlich könnte es erforderlich sein, eine Teilmenge der Objekte Byte für Byte zu vergleichen, um nachzuweisen dass die Objekte nicht verändert wurden. (Ein solcher Vergleich für alle Objekte wäre zu zeitaufwändig.) Da jeder Anwender wahrscheinlich andere Anforderungen für solch eine Verifikation haben dürfte, stellt JANUS dafür kein Programm zur Verfügung. Die Implementierung ist allerdings recht einfach. 3.6 Zugriff auf Original-Primärdaten und Original-Backups JANUS S bietet zunächst nicht die Möglichkeit, Original-Objekte und migrierte Objekte von einem Programm aus zu lesen. Es lässt sich jedoch auch hier eine Verifikation auf einfache Weise ausführen: Ein DB2-Unload der relevanten Attribute der Indextabellen vor und nach der Migration mit anschliessendem Filecompare ist ausreichend. Ein Anwender von JANUS S könnte, ebenso wie ein Anwender von JANUS E, gezwungen sein nachzuweisen, dass die migrierten Objekte nicht verändert wurden. Die Original-Objekte existieren ja noch auf den optischen Platten. JANUS kann die Adressen der Originale oder der Backups wieder in den neuen -Indextabellen als Adressen von Backup oder von Backup2 verfügbar machen, da sie aus der JANUS Arbeits-Tabelle entnommen werden können. Zugriff auf die Originale ist dann möglich, indem angewiesen wird Backups zu lesen. (Diese Funktion ist auch für JANUS E verwendbar). Intercom Computer Systems GmbH Seite 10

11 4 Nutzen der JANUS Migration Im folgenden werden die für eine sichere und einfache Migration besonders wichtigen Eigenschaften von JANUS zusammengefasst: JANUS verwaltet Millionen von Objekten automatisch und konsistent Der administrative Aufwand der Migration gegenüber einer manuellen Migration mit IBMs MOVEVOL Utility wird wesentlich verringert JANUS Programme können jederzeit abgebrochen und wieder neu gestartet werden JANUS Programme laufen, aufgrund der Unabhängigkeit der Storagegruppen, in hoher Parallelität: Eine notwendige Voraussetzung für eine schnelle Migration. Eine schnelle Migration verringert Hardware- und Wartungskosten JANUS Migrationsprogramme laufen parallel zu den regulären Prozessen, die auf Objekte zugreifen (Online oder Batch), Locking mit anderen Prozessen ist ausgeschlossen JANUS erlaubt grosse Flexibilität bei der Selektion der zu migrierenden Objekte bezüglich Storagegruppe und, Optische Library und Datumsbereich JANUS erlaubt Zugriff auf die ursprünglichen Objekte (Primär-Objekte und/oder Backup Objekte) nach der Migration Protokollierung der Migration auf Einzelobjekt-Ebene. Besondere Vorteile von JANUS Standard: Minimaler administrativer Aufwand Jedes Objekt ist unmittelbar nach der Migration für die Benutzer verfügbar Die Zugriffsgeschwindigkeit steigt laufend während der Migration aufgrund des schnellen Zugriffs auf die neuen Medien Die Mount-Raten optischer Platten nehmen während des Migrationsprozesses kontinuierlich ab. Besondere Vorteile von JANUS Extended: Restrukturierung der Zuordnung der Daten zu Storage Gruppen/s durch die Migration: Zuordnungen, die wegen geänderter Nutzung oder geänderter Zugriffsprofile über die Jahre nicht mehr effizient sind, können optimiert werden Einfache Verifikation bezüglich Vollständigkeit und Korrektheit der migrierten Daten Einfacher und schneller Prozess zur Umschaltung des Zugriffs der Benutzer von den ursprünglichen zu den migrierten Daten und wieder zurück (UNDO Funktion) Grösstmögliche Sicherheit des Migrationsprozesses insbesondere für Banken und Versicherungen Reduktion der Mount Rate optischer Platten nach jeder Aktivierung migrierter Storage Gruppen. Intercom Computer Systems GmbH Seite 11

12 5 Dienstleistungen Auf Wunsch führt DR RAINER HARTMANN & PARTNER AG einen einwöchigen Workshop zur Einführung in JANUS beim Kunden durch. Themen sind: Einführung in die Konzepte und die Arbeitsweise von JANUS Installation der Software in Test- und Produktionsumgebung Detaillierte Einarbeitung der Kundenmitarbeiter in alle JANUS-Programme im Testumfeld Unterstützung bei der Planung der produktiven Migration. Ziel des Workshops: die Mitarbeiter des Kunden können die produktive Migration selbständig durchführen. JANUS wurde entwickelt von DR RAINER HARTMANN & PARTNER AG JANUS wird vertrieben von Intercom Computer Systems Intercom Computer Systems GmbH Seite 12