Code-Migration als Alternative zu Neuentwicklung und Einsatz von Produkten

Transkript

1 Code-Migration als Alternative zu Neuentwicklung und Einsatz von Produkten SET 2009 Andreas Schweizer, ELCA Informatik AG Agenda Einführung Projekt 15 Unisys DSLs 15 Offshoring, Tests, Performance, Fragerunde 1 ELCA ASR

2 ELCA Portrait ELCA ist eines der grössten unabhängigen Softwareentwicklungs- und System-integrationsunternehmen der Schweiz. Wir entwickeln, integrieren, betreiben und warten IT Lösungen basierend auf kunden-individuellen Anforderungen oder als Standardlösungen. Gegründet 1968 Mitarbeiter Niederlassungen Umsatz > 500 Mitarbeitende Lausanne (Hauptsitz), Zürich, Genf, Bern, London, Paris, Madrid, Ho Chi Minh City (Vietnam) CHF 71 Millionen, seit 20 Jahren stets positive Ergebnisse Qualitätsstandards ISO 9001 seit 1993 Auszeichnungen CMMI Level 3 seit ELCA ASR Einführung Schlüsselapplikationen Steueramt Aargau UNISYS STAR STAG DBSN Neuentwicklung Migration Microsoft / Intel STAR3 STAG3/DBSN3 QUST3 DEC VAX/VMS QUST Terminal-Emulation (80 x 24 Zeichen) Ca LoC DELTA-Code COBOL / DELTA / OS 2200 ECL Betriebssystem UNISYS OS2200 Datenbank DMS/1100 Online-Betrieb (135 Screens), Batches, Interfaces Neuentwicklung BEADMIN3 ZEDA3 ELDOMA / KENDOX.NET Smart Client Ca LoC (total ) C# Betriebssystem MS Windows Datenbank MS SQL Server Screens ähnlich wie früher Prozesse können beibehalten werden natürliche Personen (Steuervolumen 2006: 2.67 Mia. CHF) Mitarbeiter in 229 Gemeinden, 215 Mitarbeiter beim Steueramt in 8 Sektionen 3 ELCA ASR

3 Einführung Migrationsprojekt 4 ELCA ASR Einführung Indikatoren für Migration Indikatoren für eine technische 1:1-Migration Fachliche Anforderungen werden erfüllt Ende des Lebenszyklus ist erreicht Keine passende Standardlösung (Anforderungen, Systemlandschaft) Gute Code-Qualität und -Struktur Gewisse Grösse und Komplexität des Systems Kunde kann Testfälle aufbauen und sich am Testing beteiligen Zu migrierendes System steht als Referenz zur Verfügung Zu Beginn des Projekts kann ein Code Freeze durchgeführt werden 5 ELCA ASR

4 Einführung Qualität Vorteile (+) Risiko für Fehler in den Businessabläufen stark verringert Steigerung der Wartbarkeit durch Code- Bereinigung und neue Abstraktionen Vor- und Nachteile Migration Nachteile ( ) Architektur und Code-Struktur nahe am alten System Motivation der Entwickler schwierig für on-shore 1:1-Migration Kosten Weniger Kundenbelastung während Spezifikation, Entwicklung, Einführung Viel günstiger als Neuentwicklung dank Wiederverwendung Bietet sich für offshoring-szenario an 6 ELCA ASR Einführung Projektablauf PoC Migration Neue Funktionen Integration, Pilot ~60% des Aufwandes Voranalyse Schulung Total ~25 PJ Personen ELCA ASR

5 Einführung COBOL / DELTA COBOL Finanzbranche, Administration Gartner, 1997: 90% aller Finanztransaktionen, 75% aller Business-Datenverarbeitung heute Steueramt Aargau: Etwa ab Anfang 80er-Jahre, COBOL-74 Wenig strukturierte Programmierung, sehr verbos, mächtige Datenstrukturen DELTA Deutsche Firma DELTA-SPP ab 1976 Code-Generierung, Automatisierung, Modernisierung DELTA/SPP: DELTA/MACRO: DELTA/REPORT: DELTA/GRU: DELTA/FILE: Strukturierte Programmierung (Loops, Select-Case, If-Then-Else,...) Makros für Modularität und Code Re-use Reporting Gruppenbruch-Verarbeitung Datei-Zugriff DB-Zugriff 8 ELCA ASR Einführung Beispiel DELTA/SPP, Loop DELTA COBOL (expandiert) DELTA/SPP-Prozessor, Code-Expansion 9 ELCA ASR

6 Einführung DELTA Beispiel DELTA/MACRO, Code re-use COBOL DELTA/MACRO-Prozessor, Code-Expansion Migriere nicht expandierten COBOL-Code, sondern originalen DELTA-Code! Kontrollstrukturen (Loops, IF-THEN-ELSE,...) bleiben erhalten Variablen- / Prozedurnamen bleiben erhalten High level-abstraktionen (Makros, Module, Screens) bleiben erhalten Verhindern von Code-Duplikation Cookbook mit Migrations-Vorschriften zur Sicherstellung einheitlicher Migration 10 ELCA ASR Agenda Einführung Projekt 15 Unisys DSLs 15 Offshoring, Tests, Performance, Fragerunde 11 ELCA ASR

7 UNISYS DSLs (implementiert über Fluent APIs) DELTA.NET / C# 12 ELCA ASR UNISYS DSLs Erste DSL: COBOL-Datentypen Bsp Einfache Ganzzahlvariable C/D C# Bsp Zahlen mit Nachkommastellen und Formatierung C/D C# Bsp Schachtelungen und Array-Strukturen C/D C# 13 ELCA ASR

8 UNISYS DSLs Erste DSL: COBOL-Datentypen Semantische Unterschiede, Abfederung mit einer DSL Kontrolle über den Wertebereich, Verhalten bei Overflow / Rundung /... Arithmetische Operationen (COMPUTE, DIVIDE, ADD,...) Textformatierung Bestandteil der Variablen-Definition Zusätzliche Prüfungen gegenüber früher Schreiben ausserhalb Array-Grenzen: alt OK, neu FEHLER Logging bei unerlaubten Zuweisungen, unerwarteten Werten etc. Programmbibliothek mit eigenen Datentypen (PIC Variablen) 14 ELCA ASR UNISYS DSLs Zweite DSL: Reporting 350 verschiedene Reports Briefe Veranlagungen, Rechnungen Mahnungen, Betreibungen ESR, ESR+, ASR Statistiken, Listen Schnittstellen... textbasiert viele bestehende Formulare 15 ELCA ASR

9 UNISYS DSLs Zweite DSL: Reporting DELTA Eine C#-Klasse pro Report-Makro.NET / C# Factory-Methoden für die Generierung der Report-Zeilen Reportstruktur und Formatierung wird 1:1 übernommen Integration mit übrigen DSLs 16 ELCA ASR UNISYS DSLs Dritte DSL: Datenbankzugriff UNISYS DMS/1100 Microsoft SQL Server 2005 Netzwerk-Datenbank Sehr schnelle sequentielle Abarbeitung (FETCH FIRST, NEXT, PRIOR, LAST) Set-basiert Huber Meier Rüegg... Zingg Huber Zingg Rüegg Meier Relationale Datenbank Sehr schneller Direktzugriff, aber Records nicht verkettet PK/FK Rüegg 2008 Rüegg 2009 Rüegg Per default nicht sortiert SELECT TOP(1) FROM... WHERE X > x0 ORDER BY X ASC Performance-Problem beim sequentiellen Durchlesen! 17 ELCA ASR

10 UNISYS DSLs Dritte DSL: Datenbankzugriff DELTA.NET, C# Verwende SQL Server wie eine Netzwerk-Datenbank Mapping Netzwerk-Datenbank auf SQL transparent für Businesscode Library zur Nachbildung der Operationen (FETCH, MODIFY, STORE) Caching für Performance-Verbesserungen: Kritische Programme als Stored Procs nach Migration neu umgesetzt SELECT TOP(1000) FROM... WHERE X > x0 ORDER BY X ASC 18 ELCA ASR Agenda Einführung Projekt 15 Unisys DSLs 15 Offshoring, Tests, Performance, Fragerunde 19 ELCA ASR

11 Offshoring Zusammenarbeit CH - VN Initialer Proof-of-Concept in der Schweiz (CH) Grosser Teil der CobolDelta-Library bereits aufgebaut Projektplanung, Vorgehen, Metriken und Schätzungen anhand der Erfahrungen aus dem Proof-of-Concept Schulungsunterlagen (z.b. Migration Cookbook) erstellt, Schulung des Migrations-Teams zu Projektbeginn 1:1-Migration der Businesslogik in Vietnam (VN) Bereitstellung Testfälle und alter Sourcecode in CH Support für Migration in CH ( , Wiki / FAQ, Migration Cookbook) Aufzeichnung Systemtests in VN Lieferpaket VN CH etwa alle 1..2 Monate, FAT und Fehlererfassung in CH (Gnats), Korrektur in VN Systemtests und Abnahme durch den Kunden Support des Kunden für alten Source-Code, UNISYS- / COBOL- / DELTA-Fragen 20 ELCA ASR Entwicklungsprozess, Testing Umsetzung mittels iterativem Vorgehen Aufteilung in überschaubare Teile (DB-Migration, fachliche Module, Batch, Interfaces) Jede Iteration liefert ein lauffähiges System mit wachsendem Umfang Checkpunkt nach jeder Iteration Ziele erreicht? Anpassungen der Planung notwendig? Prioritäten / Ziele der Folgeiteration anpassen? Auftraggeber für Tests und Abnahme in den Prozess eingebunden, Auslastung konstant Parallelisierung dank mehrerer Entwicklungsteams Qualitätssicherung durch automatisierte Tests Entwicklung des n-ten Fachmoduls kann Einflüsse auf vorgängige Module haben Automatisierung der Tests nach Abnahme zur Sicherstellung der Qualität 21 ELCA ASR

12 Performance Architektur vorher......und nachher (vereinfacht!) Gemeinde-Netzwerk Gemeinde-Netzwerk User PC User PC Terminal Emulation Citrix client Kantons-Netzwerk Kantons-Netzwerk DMZ Citrix Server-Farm Unisys Mainframe Smart Smart Client Client Smart Smart Client Client STAG DBSN STAG STAR DMS/1100 Network DB Load Balancing App Server 1 App Server 2 STAG/DBSN STAG/DBSN STAR STAR Kantons-Netzwerk Intranet DB Server Mirror STAG/ DBSN STAR STAG/ DBSN STAR 22 ELCA ASR Performance Herausforderungen für ein performantes System Aufteilung in viele beteiligte Systeme und Prozesse Paradigmenwechsel bei der Datenbank (Netzwerk-DB vs. relationale DB) Every problem can be solved by adding a layer of abstraction, every performance problem can be solved by removing a layer of abstraction Picture Framework, jede Variable besteht aus 3..5 Objekt-Instanzen Report Framework, jede Report-Zeile besteht aus 2..3 Objekt-Instanzen Datenbank-Layer, jeder Fetch / Store / Modify geht durch 3..4 Methodenaufrufe Erste Performance-Tests Batch-Verarbeitungen mit Produktivdaten: ~1 Woche Verarbeitungsdauer gegenüber ~6 Stunden auf Unisys! Massnahmen zur Performance-Verbesserung Optimierung der Hot Spots in den DSL -Funktionen Pre-load und Caching von Daten aus der DB Minimierung der Netzwerk-Roundtrips Zugriff von STAG/DBSN auf STAR-Adressdaten über Views statt Web Services Separates Deployment der Applikation auf dem DB-Server für Batch-Verarbeitungen Onlinetransaktionen <1s Antwortzeit, Batchverarbeitungen fast so schnell wie früher 23 ELCA ASR

13 Besten Dank für Ihre Aufmerksamkeit! Kontaktadresse für weitere Informationen: Andreas Schweizer Dipl. Informatik-Ing. ETH Steinstrasse 21 Postfach CH-8036 Zürich Tel. +41 (0) Lausanne Zürich Bern Genf London Paris Ho Chi Minh City