Stochastisches Matchen. Klaus Pommerening IMBEI Oberseminar Medizin-Informatik

Transkript

1 Stochastisches Matchen Klaus Pommerening IMBEI Oberseminar Medizin-Informatik

2 Entscheidungssituation Y = M U disjunkte Zerlegung γ Beobachtungsfunktion Γ Merkmalsraum τ Entscheidungsfunktion E = {ja, unentschieden, nein} Alle Mengen endlich. Aufgabe: Finde τ so, dass möglichst τ(γ(y)) = ja, wenn y M, τ(γ(y)) = nein, wenn y U. ja [Entscheidung zwischen M und U aufgrund der Beobachtung γ(y).] τ Beobachtungsdaten c = γ(y) unentschieden Entscheidungsfunktion nein

3 Beispiel (GPOH-PID-Dienst) Pflichtdaten (Name, Vorname, Geburtsdatum), optionale Daten (z. B. Wohnort). Entscheidungssituation z. B. S 0 X * O 0 : unsichere Daten (S 0 ), Prüfung auf Übereinstimmung oder Ähnlichkeit (X * ), ohne optionale Daten (O 0 ). Mögliche Ergebnisse passen zwei Datensätze? ja = Pflichtdaten stimmen exakt überein, unentschieden = Pflichtdaten ähnlich (i. w. Phonetik), nein = Pflichtdaten nicht ähnlich.

4 Entscheidungsfehler Fehler 1. Art (falsches Ja): y U mit τ(γ(y)) = ja. Fehlerrate 1. Art: α(τ) = P(ja U) = Σ c Γ u(c) δ τ(c),ja Gewichtsfaktor u(c) = P(c U). Fehler 2. Art (falsches Nein): y M mit τ(γ(y)) = nein. Fehlerrate 2. Art: α(τ) = P(nein M) = Σ c Γ m(c) δ τ(c),nein Gewichtsfaktor m(c) = P(c M). Unentschiedenheitsrate: η(τ) = P(un.) = Σ c Γ n(c) δ τ(c),un. Gewichtsfaktor n(c) = P(c).

5 Optimierungsziel γ τ Y Γ E Finde eine Entscheidungsfunktion τ, die bei gegebenen Schranken für die Fehlerraten 1. und 2. Art die Unentschiedenheitsrate minimiert. [Andere Optimierungsziele denkbar. Bsp. statistische Testsituation: Minimiere Fehlerrate 2. Art bei Schranke für Fehlerrate 1. Art und Unentschiedenheitsrate 0.]

6 Randomisierte Entscheidungen Stochastische Entscheidungsfunktion: τ: Γ [0,1]³ mit τ 1 + τ 2 + τ 3 = 1 konstant. τ 1 (c) = P(ja c) τ 2 (c) = P(unentschieden c) (0,0,1) nein τ 3 (c) = P(nein c) (0,1,0) unentschieden (1,0,0) ja

7 Fehlerraten Unentschiedenheitsrate: η(τ) = P(un.) = Σ c Γ P(c) P(un. c) = Σ c Γ n(c) τ 2 (c) Fehlerrate 1. Art: α(τ) = P(ja U) = Σ c Γ P(c U) P(ja c) = Σ c Γ u(c) τ 1 (c) Fehlerrate 2. Art: β(τ) = P(nein M) = Σ c Γ P(c M) P(nein c) = Σ c Γ m(c) τ 3 (c)

8 Schwellenwert-Verfahren γ τ Y Γ E (Score) T [-, ] τ(c) = (p,1-p,0) τ(c) = (0,1-q,q)

9 Die Gewichtsfunktion Das (i. w.) optimale stochastische Entscheidungsverfahren ist das Schwellenwert-Verfahren zur Gewichtsfunktion w := log m/u : Γ [-, ] D. h. w(c) = log P(c M) P(c U) (»Odds«). Falls Γ = Γ 1 Γ K (direktes Produkt, Gruppen unabhängiger Merkmale), wird die Gewichtsfunktion entsprechend additiv zerlegt.

10 Das Match-Problem Grundmenge Z (gedachte Population). Teilmengen A, B Z (mögliche Überschneidung). M = {(a,b) A B a = b} (»Matches«), U = {(a,b) A B a b} (»unpassende Paare«). Y = A B = M U (disjunkt). Datenerzeugende Prozesse (fehlerbehaftet) α: A X, β: B X. Entscheidungsproblem = Match-Problem.

11 Die Match-Situation Z A B Vergleichsfunktion δ: X X Γ. α β X X δ w [-, ] τ Γ [0,1]³ (z. B. Γ = X X, δ = identische Abb. oder Γ = {gleich, ungleich}). Beobachtungsfunktion γ = δ (α,β): A Β Γ. Homonymfehler = Fehler 1. Art, Synonymfehler = Fehler 2. Art.

12 Bestimmung der Gewichte (für jeweils unabhängige Merkmalsblöcke) Im allgemeinen nicht verfügbar, bestenfalls schätzbar. Beispiel: Komponente X des Merkmalsraums mit bekannten Wahrscheinlichkeiten p(x), x X, für das Vorkommen in Z, A, B, A B. Zwei typische Fälle: Prüfung auf Übereinstimmung: Γ = {gleich, ungleich}. Prüfung anhand der Werte: Γ = X X.

13 Prüfung auf Übereinstimmung u(gleich) = P(α(a) = β(b) a A, b B, a b) = Σ x X P(a b, α(a) = x, β(b) = x) Σ x X p(x)² u(ungleich) 1 - Σ x X p(x)² m(gleich) = P(α(a) = β(b) a A B) (1 - ε A )(1 - ε B ) [Eingabefehler, klein] m(ungleich) ε A + ε B - ε A ε B Zähler: Eingabefehler Nenner: Wahrscheinlichkeiten Achtung: Änderungen (z. B. im Namen) unter»eingabefehler«

14 Beispiele X gleichverteilt mit n = #X, ε = ε A = ε B. w(gleich) log n(1-2ε) (linear in log n) w(ungleich) log [2nε/(n-1)] (von n unabhängig) Beispiel 1: X = {, }, n = 2, ε = 5% w(gleich) log w(ungleich) log Beispiel 2: X = {Jan,..., Dez}, n = 12, ε = 5% w(gleich) log w(ungleich) log

15 Ohne Beweis: Prüfung anhand der Werte w(x,x) log w(x,x') log 1 - ε A + ε B p(x) p(x)ε B + p(x')ε A (n-1)p(x)p(x') für x x' Bei Gleichverteilung: w(x,x) = w(gleich) w(x,x') = w(ungleich) D. h. keine Änderung durch Berücksichtung der Werte.

16 Beispiel: Merkmal mit zwei Ausprägungen X = {x,x'}, p(x) = q, p(x') = 1-q z. B. ε = 10%, q = 1/4 w(gleich) log w(ungleich) log w(x,x) log [erhöht!] w(x',x') log [erniedrigt!] w(x,x') log

17 Typische Merkmale I Geschlecht: 2 Ausprägungen (ohne fehlende Werte), gleichverteilt: Unterscheidung gleich/ungleich reicht, zu schätzender Parameter nur ε. Geburtsmonat: analog mit n = 12. Geburtsjahr: nicht gleichverteilt: Verteilung und Fehlerraten zu schätzen. Vorname:»leicht«abhängig von Name und Geburtsjahr.

18 Typische Merkmale II Name: komplexes Modell für Beobachtungsfunktion Merkmalsraum X = Zeichenketten der Länge N. 1. Schritt: Normalisierung Name (N 1, N 2, N 3 ). 2. Schritt: Phonetik Ph K (Köln), Ph H (Hannover). Γ = X 10. γ(name, Name') = (N 1,N 2,N 3,Ph K (Name), Ph H (Name), N 1 ',...). Unterschiedliche Gewichte für Gleichheit, Ähnlichkeit in einem oder beiden phonetischen Codes.

19 Algorithmus Deterministische Vorentscheidung ( Blockbildung ) Stochastische Entscheidungen einbetten Gruppen unabhängiger Variablen definieren Welches Prüfverfahren für welche Merkmale? Komplizierte Merkmale: Namen,... - wie behandeln? Eingabefehler woher schätzen? Startwerte, dynamisches Update? Wahrscheinlichkeiten aus Datenbank schätzen! Startwerte? Dynamisches Update!

20 Fragen Passt die Theorie auf das Szenario: Jeweils 1 neuer Fall wird mit der Datenbank abgeglichen und ggf. neu hinzugefügt? Besondere Behandlung fehlender Werte? Wie geht man mit echten Homonymen um? Wie wirkt sich eine Fehlschätzung der Eingabefehlerraten aus?

21 Weiterführende Probleme I Optimierung des algorithmischen Ablaufs des Match- Verfahrens Optimierung abhängig von der Vergleichsfunktion? Stabilität des Verfahrens bei Schwankungen der geschätzten Parameter? Geht Optimalität verloren? Folgen der Verletzung von Unabhängigkeitsannahmen? Adjustierung der Gewichte genetischer Algorithmus? Wahl und Adjustierung der Schwellenwerte? Optimierung des Match-Verfahrens nach anderen Kriterien? (Z. B. Minimierung der HFR, Balance zwischen HFR/SFR?

22 Weiterführende Probleme II Andere Ansätze für das Match-Verfahren? Varianten? (Literatur!) Testweiser Parallelbetrieb von stochastischem und deterministischen Matchen mit Vergleich der Ergebnisse.