Datenidentifikation und -synchronisation: Grundlage zur Erfüllung der Qualitätsanforderungen beim Datenaustausch zwischen Systemen Jürg Simonett Luzern, 26. März 2015
Datenaustausch zwischen Systemen Synchronisation von Daten Was ist was? Was passt wie zusammen? Wie findet man dies heraus? Wie geht man vor? 2
Inhalt Migration Integration - Synchronisation Abgrenzung: Datensynchronisation auf verschiedenen Ebenen Daten und Datenstrukturen passen nicht zusammen Transformation der Datenstrukturen Erfolgsfaktor: Nutzung von Fachwissen, Einbezug der Fachexperten in den Prozess Anwendung: Integration von Patientendaten im Kantonsspital Baselland Schlussbemerkungen 3
Prüfen Korrigieren Datenbank Synchronisieren Datenbank Integrieren Integrieren Migrieren Ziel- Datenbank 4
Synchronisation bei der 3-Ebenen Architektur z.b.: E-Mail Standards, z.b.: HL7 Master Data Management, MPI 5
Vorteile der Synchronisation auf Datenebene Einheitliche Stammdaten Vereinfachte Stammdatenpflege Reduktion der Widersprüche zwischen den Daten Vereinfachung in den Applikationen Stichwort: Einfachheit Feststellung: Projekte zur Synchronisation und Integration von Daten werden im Rahmen eines grösseren Projekts in Angriff genommen. 6
Welche Schwierigkeiten treten auf? Daten und Datenstrukturen passen nicht zusammen Was passt wie zusammen? Keine gemeinsamen Identifikationsschlüssel Was ist was? Welches Objekt ist welches Objekt? 7
Kiste: Datenstruktur des Zielsystems passt passt passt nicht passt nicht Klötzchen: Daten des andern 8 Systems
Transformationsregeln Möglichkeiten zur Auswahl für das grüne Fünfeck und den roten Zylinder: 1. Zersägen, damit es in ein Loch passt (Transformation der Daten) 2. Neues Loch bohren (Datenstruktur erweitern) 3. Weglassen (nicht integrieren) Wer soll das entscheiden? 9
Entscheidender Erfolgsfaktor für jedes Datensynchronisationsprojekt: Gezielter Einbezug des Fachwissens der Fachexperten 10
Die Aufgabe kann nicht immer von Informatikern gelöst werden auch wenn es um Java geht Java 11
Einbezug der Fachexperten Geograph Programmierer Kaffee Experte 12
Zusammenführen der Patientendaten des Kantonsspitals Baselland Auftrag: Erstellen einer zentralen Patientendatenbank aus drei Datenbanken Herausforderung: Dieselbe Person kann in mehreren Spitalsystemen und mehrfach erfasst sein Erfassungsfehler à Bereinigung der Patientendaten Nur wirklich zusammenpassende Patienten dürfen zusammengelegt werden à Null-Toleranz-Grenze 13
Vorgehen 1. Analyse und Aufbereitung der Daten 2. Einbezug der Verantwortlichen: Festlegen der Integrationsregeln des Kantonsspitals Baselland 3. Programmierung der Regeln und automatisches Zusammenführen von Duplikaten 4. Behandlung von fehlerhaften, nicht automatisch interpretierbaren Datensätzen 14
Analyse Datenmenge 15
Analyse: Geburtsdatum Trotz der sehr geringen Wahrscheinlichkeit: es gibt Doppelgänger! 16
Analyse Verlässlichkeit Geschlecht Vorname Männlich Weiblich Adriano 130 3 Alexandra 5 844 Alexis 26 3 Andrea 194 1 872 Angela 4 867 Bettina 6 502 Bruno 1 864 9 Caroline 4 782 à offensichtliche Eingabefehler à Geschlecht für Duplikatsuche ist nicht absolut verlässlich 17
Analyse Verlässlichkeit Beruf Schreibweisen Anl. + App. Bauer Anl.- und Apparatebauer Anl.Ap.Bau. Anlag. + Apparatebauer Anlag. u. App. Bauer Anlage & Apparatbauer Anlage + Apparatebauer Anlage App.Bau Anlage Apparatebauer Anlage und Aparatebauer Anlage und Apparatebauer Anlage/Apparatebauer Anlageapparatebauer Anlage-Apparatebauer Anlageapparatebauer/Taxifahrer Person ändert Beruf im Verlauf seines Lebens Beruf ist ein Freitextfeld à automatischer Abgleich fast unmöglich à nur im manuellen Abgleich relevant 18
Festlegung der Regeln mit den Verantwortlichen Automatisch wird bereinigt, wenn Name Vorname Geburtstag ähnlich sind UND mindestens 1 weitere Information genau übereinstimmt Strasse Telefonnummer Sozialversicherungs- /AHV-Nummer 19
Demo Interaktive Bereinigung der Daten Verfälschte Daten des Kantonsspitals Baselland Realisierung mit dem Data AppKit der CrowTen 20
21
Benutzeroberfläche für die interaktive Identifikation 22
Zusammenfassung 1. Datensynchronisation ist nicht allein nur eine Aufgabe für Informatiker. Sie liefern die Werkzeuge und Methoden. 2. Die verantwortlichen Fachexperten müssen ihr Fachwissen einbringen. 3. Es bleibt immer ein mehr oder weniger grosser Aufwand für die manuelle Bearbeitung der Daten 23
Schlussbemerkung Es ist nicht immer einfach, den Aufwand für ein Migrations-, Integrations- oder Synchronisationsprojekt abzuschätzen. In diesem Fall ist es sinnvoll, mit einem Vorprojekt zur Analyse der Daten zu starten. 24
Crow Ten Information Engineering AG Binzmühlestrasse 97 CH-8050 Zürich +41 (0) 44 315 90 30 juerg.simonett@crow-ten.ch edith.chevrier@crow-ten.ch www.crow-ten.ch 25