Investment Data Services 10g Migration

Transkript

1 Investment Data Services 10g Migration Dreieich 9. April 2008 Jörg Otto

2 Agenda 1. Wer ist IDS 2. IT-Landschaft der IDS 3. Migration auf 10g RAC 4. Probleme und erste Erfahrungen Copyright IDS 4/25/2008 2

3 Allianz SE 1890 in München als Erstversicherer mit Sitz Berlin gegründet Geschäftsfelder heute Lebens- und Sachversicherung Banking Vermögensverwaltung Kennzahlen Stand 2007 in über 70 Ländern aktiv mehr als 80 Millionen Kunden mehr als Mitarbeitern 100 Mrd. Umsatz, 10 Mrd. Gewinn Copyright IDS 4/25/2008 3

4 IDS GmbH - Investment Data Services GmbH 100% Tochter der Allianz SE gegründet 2001, Sitz in München und Frankfurt/M. Dienstanbieter für Holding, Tochtergesellschaften sowie Drittkunden ca. 130 Mitarbeiter Geschäftsfelder Operational Investment Controlling Services Performance und Risk Analyse Legal Reporting Compliance Reporting Copyright IDS 4/25/2008 4

5 IDS Geschäftsmodell Daten Quellen Front office systems Middle office systems Back office systems Market data IDS Produkte Performance calculation Risk calculation Reconciliation Group GL Ad-hoc reporting Factsheets Client reporting External / legal reporting UCITS III GIPS verification Kunden Asset Management Retail Institutional Compliance Versicherung Accounting Fixed Income PM Equity PM Corporate Services Finance Legal Risk controlling Copyright IDS 4/25/2008 5

6 Überblick IDS Plattform Investment positions / transactions (IFRS) Allianz SE Investment positions/ transactios (local GAAP) Fund accounting Information enrichment Increasing functional complexity Analytical functions / applications Key figure calculations / data enrichment Data management functions Core DB system Portfolios / Investments / Companies / Positions Transactions Meta data Compliance Finance Legal Accounting Allianz Insurance OE s Risk controlling Standardization, enrichment, Cross-referencing, Re-evaluation AGI Re-calculation, Risk figures (e.g. duration) Accounting figures (General ledger) Performance attribution, VaR, Retail Fixed Income PM Institutional Equity PM Corporate Services Market data Third party Copyright IDS 4/25/2008 6

7 Überblick IDS Plattform Anzahl Eingangssysteme ca. 250 täglich / monatlich 150 / 100 Composites Investment (monatlich) positions / 500 Portfolios transactions (IFRS) Investment positions/ transactios (local GAAP) Marktdaten monatlich täglich Fonds Rohdaten täglich ca. 10 Mio Sätze /Tag 1 GB Information enrichment Vendoren ca. 50 Increasing functional Fund Daten accounting nicht real-time complexity Preishistorien, Zeitreihen (FAME) Preisbereinigungen (Corporate Actions) Eigene Katalogdatenbank Analytical functions / applications Key figure calculations / data enrichment Data management functions Core DB system Portfolios / Investments / Companies / Positions Transactions Meta data Standardization, enrichment, Cross-referencing, Re-evaluation Portal Allianz SE Compliance Finance Legal Allianz Insurance OE s AGI Accounting Risk controlling Anzahl verfügbarer Reporte ca. 300 Anzahl Formsmasken ca. 200 Nutzer ca Accounting figures (General ledger) Positionen Änderungen Market data Manuelle Sektorisierung (Securities) Neubewertung (Securities) 25 Mio p.m. Companies (Issuer) > Wertpapiere (Securities) ca p.m p.m p.m. Re-calculation, Risk figures (e.g. duration) Performance attribution, VaR, Reporte / Auswertungen Retail Fixed Income PM Positionsbasierte Bewertung Institutional Equity PM Transaktionsbasierte Bewertung Factsheets Risiko Reporte Benutzer Corporate Services p.m. 800 p.m p.m. Third party p.m. ca.1500 Copyright IDS 4/25/2008 7

8 Herausforderungen der IDS-Migrationsprojekte Ausgangslage alte HDS (24 TB) wäre Ende 2007 komplett voll gewesen Häufige Systemausfälle Server bis 1,5 fach überlastet Unterstützung Jahresabschluss Allianz SE in Gefahr Anforderungen allgemein Hochverfügbarkeit / Ausfallsicherheit Skalierbarkeit / Flexibilität / Time-to-Market Verbesserung Performanz und Wartbarkeit weltweite Intranet- und Internet-Präsenz Verbesserung des Service für interne Kunden Schaffung von Grundlagen zur Betreuung von weiteren Drittkunden Anforderungen an DB-Migration Aufbau einer zukunftsträchtigen Architektur Ausrichtung auf starkes Datenwachstum Darstellung asiatischer Zeichen (z.b. für Factsheets) Zeit für technische Migration der Datenbanken max. 48h Copyright IDS 4/25/2008 8

9 Übersicht über die IDS-IT-Projekte 2007 IDS-Projekte Infrastruktur-Projekt (IDS/AGIS) O10M (Oracle-Datenbanken) OAS (Oracle Application Server) AS (Appliktions-Server) Cronus (Marktdaten) 12 Server (104 CPU) 10 Server (48 CPU) 5 Server (32 CPU) 12 Server (52 CPU) 4 TB Daten 1 TB Daten 2 TB Daten 9 TB Daten 1500 Kunden 1500 Kunden 500 Kunden 700 Kunden 22 Datenbanken 3 DB & 3 LDAP 18 Applikationen 6 Portale & 24 Appls. 5 Apaches & Internet 200 Forms 300 Reports Copyright IDS 4/25/2008 9

10 IDS-Hardware-Infrastruktur von 2002 bis 2007 Produktion Systemintegration Entwicklung Data Warehouse Applikationen 8 CPU 32 GB Cluster 8 CPU 32 GB 4 CPU 8 GB Cluster 4 CPU 8 GB E CPU 4 GB Cronus 8 CPU 32 GB 4 CPU 8 GB Web.- und Appl.- Server 4 CPU 8 GB zwei Webswitche 4 CPU 8 GB Socrates 4 CPU 8 GB Socks Proxy V120 1 CPU 1 GB SUN-Server-Typ Anz. Proz. /Proz.-Typ RAM Direct Attached Storage SUN-HDS StorEdge GB Cache 24 TB SUN-HDS StorEdge GB Cache 24 TB Copyright IDS 4/25/

11 IDS-Hardware-Infrastruktur seit Ende 2007 (Auszug) Data Warehouse Applikationen V490 4 DC 32 GB Produktion RAC V890 8 DC 64 GB V490 4 DC 32 GB Systemintegration RAC 8 CPU 32 GB Entwicklung RAC 4 CPU 8 GB Cronus 8 DC 64 GB Cluster 8 DC 32 GB Cluster 4 DC 8 GB Web.- und Appl.- Server V490 4 DC 32 GB Cluster V440 4 DC 16 GB Cluster 4 SC 8GB Socrates 4 CPU 8 GB Socks Proxy V120 1 CPU 1 GB V490 4 DC 32GB SUN-Server-Typ Anz. Proz. /Proz.-Typ RAM IDS SAN SUN-HDS StorEdge GB Cache 50 TB netto Oracle- ASM SUN-HDS StorEdge GB Cache 50 TB netto Copyright IDS 4/25/

12 Umsetzung Migration Datenbank-Infrastruktur - Teil 1 Suche der richtigen Partner für die Projektumsetzung ASIC - Allianz Shared Infrastructure Services GmbH - München Installation und Konfiguration Hardware und Software Betrieb der RAC-Umgebung TietoEnator Deutschland GmbH - Eschborn und ISE - Information Systems Engineering GmbH Gräfenberg im Auftrag von Oracle Deutschland GmbH - Oracle Consultung München technische Beratung während des Projektes Implementierung und Umsetzung der 10g Migration mit IDS (Definition Vorgehensweise, Einrichtung Oracle, Zeichensatzanalyse, Steuerlogik, Export/Import) technische Begleitung auch nach Durchführung des Projektes Performanceanalysen vor und nach Migration Copyright IDS 4/25/

13 Umsetzung Migration Datenbank-Infrastruktur - Teil 2 Aufbau, Anschluß und Konfiguration HDS-Boxen, Switche, DB-Server (RAC) Synchronisation alte auf neue HDS-Boxen inkl. Abschalten alter HDS-Boxen Auswahl des Migrationsverfahrens Umstellung der Oracle-Datenverwaltung von Filesystem auf ASM Export/Import (alte DB / neue DB ) Entscheidung kleinere DB s sowie ReadOnly Schemata vorab zu migrieren Migration aller PC-Clients auf 10g ( ) Zeichensatz auf WE8MSWIN1252 gesetzt (für Europa) Analyse des Zeichensatzes Zeichensatzanalyse + Auswertung Konvertierung WE8ISO8859P1 AL32UTF8 möglich Festlegung der Instanzverteilung jeweils eine Instance jeder DB auf jedem Knoten eingerichtet nur insgesamt 2 Instanzen hochgefahren große DB s auf starke Knoten Copyright IDS 4/25/

14 Datenbank- / Instanzverteilung Alte Produktion DWH-DB 2,3 TB ca Tabellen Cluster Version WE8ISO8859P1 TOPAS-DB 700 GB Dokumenten-DB 300 MB Repository-DB 200MB Neue Produktion DWH-DB TOPAS-DB DWH-DB TOPAS-DB Dokumenten-DB Portal Repository-DB IDS-Repository MIS-DB MIS-Datamart Betrieb-DB RMAN-Katalog GridControl Web-DB OAS-Repository Dokumenten-DB Portal Repository-DB IDS-Repository MIS-DB MIS-Datamart Betrieb-DB RMAN-Katalog GridControl Web-DB OAS-Repository SUN V890 8 DC, 64GB RAC - Version CPU 07/2007 AL32UTF8 SUN V490 4 DC, 32GB Copyright IDS 4/25/

15 Umsetzung Migration Datenbank-Infrastruktur - Teil 3 Export/Import der kleineren Datenbanken sowie Read Only Schemata Klassischer Export/Import via Exportfile Klassischer Export/Import für beide großen DB s nicht machbar weil: Netzwerk nur 100MBit Durchsatz Export/Import ca. 10MByte/sec ca. 3 Tage Export Oracle-Exports nicht parallelisierbar Lösung - Durchsatzerhöhung Dedizierte GB-LAN Verbindung zwischen HDS und alter Hardware implementiert Shared Filesystem zwischen alten Servern (nur schreibender Zugriff) und neuen Servern (nur lesender Zugriff) Parallelisierung des Export/Import durch Scripte Export und Import arbeiten quasi parallel weitere Herausforderungen starkes Wachstum der Produktions-DB s (150GB/Monat) Verschiebung kritisch alte Server durch Anzahl gleichzeitiger Exports nicht überlasten Tests notwendig gleichmäßige Auslastung der Import Nodes Verteilung über Dateigrößen Copyright IDS 4/25/

16 Umsetzung Migration Datenbank-Infrastruktur - Teil 4 Export Export via Shellscript gesteuert Export mit altem Zeichensatz durchgeführt Tabelle/Partitionen/Subpartitionen als kleinste Export-Einheiten Export via gzip-pipe komprimiert auf NFS-Filesystem abgelegt Export und Import wurden gleichzeitig gestartet Steuerung der Verarbeitung durch Programmlogik Kontrolle durch Log- und Fehlerdateien Import Einstellung des alten ISO-Zeichensatz in Shell-Umgebung neuen DB s in NOARCHIVELOG-, Restricted-Modus + diverse init.ora-parameter JOB s deaktivieren Import der Benutzer Import der Tabellenstruktur mit deaktivierten constraints Umstellung der Zeichensatzsemantik von BYTE auf CHAR Import der Daten Paralleles Erstellen der Indizes Aktivieren der constraints Copyright IDS 4/25/

17 Umsetzung Migration Datenbank-Infrastruktur - Teil 5 Alte Produktion Neue Produktion Export mit WE8ISO8859P1 Import mit WE8ISO8859P1 DWH-DB WE8ISO8859P1 HDS StorEdge NFS Mounts DWH-DB AL32UTF8 ca Tabellen 5000 Export-Files (inkl. Sub-/Partitionen) gzip-pipe Instance 1 Instance 2 Instance 3 Instance 4 DWH-DB AL32UTF8 DWH-DB-neu Topas-DB-neu AL32UTF8 DWH-DB AL32UTF8 Topas-DB WE8ISO8859P1 DWH-DB-alt Topas-DB 1GBit-Anbindung Topas-DB-alt WE8ISO8859P1 1GBit-Anbindung AL32UTF8 Copyright IDS 4/25/

18 Umsetzung Migration Datenbank-Infrastruktur - Teil 6 Einspielen von Statistiken Verwendung der auf dem Testsystem vorab erzeugten Statistken Nachfahren der restlichen Statistiken Test auf Vollständigkeit und Konsistenz vorbereitete Abgleichscripte für Anzahl Objekte, Zeilen Stichprobenartige Prüfung der Daten (3-10% der Gesamt-Datenmenge) Technische und fachliche Freigabe + Produktionsanlauf Copyright IDS 4/25/

19 Zeitlicher Ablauf des Projektes Zeitlicher Ablauf Beginn Vorarbeiten (Strategie etc.) Beginn des Projektes Februar 2007 Fertigstellung Hard/Software August 2007 Beginn Tests September 2007 (6 Wochenenden) Migration November 2007 (2 Wochenenden) GoLive (Anforderung: Freitag 15:00 Uhr Montag 09:00 Uhr) Ende aller Exports: 15 h Ende aller Imports: 27 h Ende Abarbeitung aller Testscripte: 8 h Ende der technischen und fachlichen Abnahme: 8 h Vollständige Produktion (Nachfahren Jobs etc.): 8 h DB-Abgleich auf Integrations- und Testumgebung: 3 Tage später (Dauer je12h) Copyright IDS 4/25/

20 Probleme während der Testmigrationen Export Überlastung der alten Server durch zu viele gleichzeitige Exports Stabilität Netzwerk / NFS-Mounts Trigger fehlten im Exportfile, wenn Tabelle umbenannt wurde (Bug) Import Semantic-Umstellung geht nicht für Tabellen mit VARCHAR-Partition-Key s manuell anlegen MV s wurden nicht gefüllt manueller rebuilt nötig Dateninhalte von IOT s wurden nicht vollständig übernommen Spalten mit inkorrekten Default Datums-Formaten DDL schlägt fehl Dauer für Erstellung Segment-Statistiken in den Tests zu lang Export der Statistiken aus Testmigrationsumgebung Import während Go-Live Copyright IDS 4/25/

21 Vielen Dank für Ihre Aufmerksamkeit. Oracle Deutschland GmbH Consulting Services Riesstrasse München Telefon: +49 (0) Telefax: +49 (0) ISE Information Systems Engineering GmbH Gewerbepark Hüll Gräfenberg Telefon: +49 (0) Telefax: +49 (0) info@ise-informatik.de IDS GmbH Analysis and Reporting Services Königinstrasse München Telefon: +49 (0) Telefax: +49 (0)