Roman Firstein. Maximum Entropy Markov Models for Information Extraction and Segmentation

Transkript

1 Maximum Entropy Markov Models (MEMM) for Information Extraction and Segmentation Roman Firstein Maximum Entropy Markov Models for Information Extraction and Segmentation

2 Vortrag - Vorwort - Modell - (Maximale) Entropie am Beispiel der Urne - Binäres Feature - Bedingte Entropie - Maximale Entropie für unseres Modell Maximum Entropy Markov Models for Information Extraction and Segmentation 1

3 Vorwort (1) Worum geht es überhaupt?! Gegeben: - Menge O und S von Objekten (disjunkt) - W keitsraum als Teilmenge der Relationen s 1,...,s j,o 1,...,o j j - Stichprobe O S o 1,...,o n s 1,...,s n Gesucht: - Wahrscheinlichkeitsfunktion P s i,o i, 1 i j, so dass s 1,...,s j,o 1,...,o j maximal ist Maximum Entropy Markov Models for Information Extraction and Segmentation 2

4 Vorwort (2) Beispiele S 1. Rolle Erkennung: Person Organisation 0,9 0,1 Roman O 2. Übersetzung aus dem englischen: an bis mit S Zahlen sind die Wahscheinlickeiten P s,o 0,3 0,2 0,5 by O Maximum Entropy Markov Models for Information Extraction and Segmentation 3

5 Das NEUE Modell (MEMM) Zustand hängt jetzt von der Beobachtung und von dem vorherigen Zustand ab Vorteil: bei der Übersetzung kann man auch gucken wie das vorherige Wort übersetzt wurde Maximum Entropy Markov Models for Information Extraction and Segmentation 22 4

6 Das NEUE Modell (MEMM) Zustand- Beobachtung Übergangsfunktion s s o P s s,o P s s,o unterteilen wir in S Funktionen P s s o Maximum Entropy Markov Models for Information Extraction and Segmentation 22 5

7 Entropie Frage: Wenn man die Verteilungen in der Urne nicht kennt, bei welcher der beiden Urnen wird die Überraschung größer? Entropie H einer Wahrscheinlichkeitsverteilung X: Maß für die Unvorhersagbarkeit eines Ereignisses. H X = {rot,blau} i=1 p i log 2 p i H X = 0,6log 2 0,6 0,4log 2 0,4 0,97 H X = log 2 1 =0 Bei der (möglichst) Gleichverteilung wird die maximale Entropie erreicht!!! Maximum Entropy Markov Models for Information Extraction and Segmentation 22 6

8 Maximale Entropie Gegeben: Die Urne enthält 5 Kugeln (rote und blaue). Die Anzahl der Kugeln sei bekannt, aber der jeweiligen Farben nicht. Ziel: nach 2 Ziehungen die Verteilung der Kugeln abzuschätzen. Stichprobe Beobachtung: die Urne enthält mindestens eine rote und eine blaue Kugel Maximum Entropy Markov Models for Information Extraction and Segmentation 22 7

9 Maximale Entropie Über diese drei Kandidaten keine Information H X 0,72 Verteilungen, die mit der Stichprobe vereinbart sind H X 0,72 H X 0,97 H X 0,97 H X = {rot,blau} i =1 p i log 2 p i Maximum Entropy Markov Models for Information Extraction and Segmentation 22 8

10 Maximale Entropie Über diese drei Kandidaten keine Information Schätzen wir die Verteilung in der Urne so ab, dass die Entropie H maximal wird. (möglichst) Gleichverteilung oder Verteilungen mit der maximalen Entropie Maximum Entropy Markov Models for Information Extraction and Segmentation 22 9

11 Maximale Entropie Wie sieht die Verteilung aus, wenn 2 roten Kugeln gezogen wurden Wieder (möglichst) Gleichverteilung oder Verteilungen mit der maximalen Entropie Maximum Entropy Markov Models for Information Extraction and Segmentation 22 10

12 Maximale Entropie Wie sieht die Verteilung aus, wenn 4 roten Kugeln gezogen wurden Wieder (möglichst) Gleichverteilung H X 0,72 H X =0 maximale Entropie keine maximale Entropie Maximum Entropy Markov Models for Information Extraction and Segmentation 22 11

13 Analogie mit der Urne und zurück zum MEMM Die Urne enthält Relationen der Form s j, o j j STICHPROBE Zuordnung per Hand ausgeführt s 1,...,s n s 1,...,s m s 1,...,s k, o 1,...,o n, o 1,...,o m, o 1,...,o k da man hier eine s -Folge und eine o -Folge hat, geht es hier um eine bedingte Entropie Maximum Entropy Markov Models for Information Extraction and Segmentation 12

14 Das binäre Feature Stichprobe durch Charakteristische Funktion f kodieren, die einer Beobachtung 1 oder 0 zuordnet: b,s =a f b, s o t,s t = { 1, falls b o t ist true und s=s t 0, sonst } Binäres Features b Gewollter Zustand s Aktuelle Beobachtung o t Möglicher aktueller Zustand s t Maximum Entropy Markov Models for Information Extraction and Segmentation 13

15 Beispiel O={she,is,by,me}und S={sie,ist,bei,mit,mir } Stichprobe:...she is by me......sie ist mit mir......she is by me......sie ist bei mir......she is by me......sie ist bei mir......she is by me......sie ist mit mir......she is by me......sie ist bei mir... f b=das Wort ist by, s=mit o t,s t = { 1, falls o t =by und die Übersetzung von s t ist mit 0, sonst } f b=das Wort ist by, s=bei o t,s t = { 1, falls o t =by und die Übersetzung von s t ist bei 0, sonst } f b=das Wort ist she, s=sie o t,s t = { 1, falls o t =she und die Übersetzung von s t ist sie 0, sonst } Maximum Entropy Markov Models for Information Extraction and Segmentation 14

16 Bedingte Entropie H s X = S P s s o log 2 P s s o bei gegebenem o Ziel: Maximierung dieser Funktion unter den Nebenbedienungen: 1= S P s s o s, bei gegebenem o f a o,s k = S f a o, s P s s o s,s k,a bei gegebenem o Vollständig bzgl. P Vollständig bzgl. f a LAGRANGE Maximum Entropy Markov Models for Information Extraction and Segmentation 15

17 Lagrangesche Multiplikatorenmethode zur Maximierung einer Funktion unter Nebenbedingungen L s,p s = S P s s o log 2 P s s o a a S f a o,s P s s o f a o,s k H s 0 Erste Ableitung nach P bilden und gleich Null setzen: L s,p s = P s s o 1 log 2P s s o a f a o, s P s s o =0 S Ohne Zwischenschritte P s s o = s exp a 1 a f a o,s exp a a f a o,s Maximum Entropy Markov Models for Information Extraction and Segmentation 16

18 Verteilung mit der maximalen Entropie (Ohne Beweis): P s s o = 1 Z o,s exp a a f a o,s Exponentielle Darstellung der W keit Normalisierung, damit die Summe gleich 1 wird Lagrange - Multiplikator, der mit dem GIS Verfahren berechnet wird Z o, s = s exp a a f a o, s Maximum Entropy Markov Models for Information Extraction and Segmentation 17

19 Die Abschätzung der Zustandsfolge aus der Beobauchtungsfolge(1) Läuft analog wie bei einem HMM: t 1 s = max s S { t s P s s o t 1 } wobei t s : Wahrscheinlichste Zustandsfolge bis zum o t endet im s Maximum Entropy Markov Models for Information Extraction and Segmentation 18

20 Die Abschätzung der Zustandsfolge aus der Beobauchtungsfolge(2) t 1 s = max s S { t s P s s o t 1 } s s s o t o t 1 Viterbi Algorithmus für die Abschätzung der wahrscheinlichsten Zustandsfolge aus der Beobauchtungsfolge Maximum Entropy Markov Models for Information Extraction and Segmentation 19

21 Viterbi Algorithmus t 1 s = max s S { t s P s s o t 1 } s 3 s 2 s 1 Zeitachse Maximum Entropy Markov Models for Information Extraction and Segmentation 20

22 Viterbi Algorithmus t 1 s = max s S { t s P s s o t 1 } s 3 s 2 s 1 1 s 1 = max s S { 0 s P s s 1 o 1 } Zeitachse Maximum Entropy Markov Models for Information Extraction and Segmentation 22 21

23 Viterbi Algorithmus t 1 s = max s S { t s P s s o t 1 } s 3 s 2 s 1 1 s 2 = max s S { 0 s P s s 2 o 1 } Zeitachse Maximum Entropy Markov Models for Information Extraction and Segmentation 22

24 Viterbi Algorithmus t 1 s = max s S { t s P s s o t 1 } s 3 s 2 s 1 1 s 3 = max s S { 0 s P s s 3 o 1 } Zeitachse Maximum Entropy Markov Models for Information Extraction and Segmentation 22 23

25 Viterbi Algorithmus t 1 s = max s S { t s P s s o t 1 } s 3 s 2 s 1 3 s 2 = max s S { 2 s P s s 2 o 3 } Zeitachse Maximum Entropy Markov Models for Information Extraction and Segmentation 22 24

26 Viterbi Algorithmus t 1 s = max s S { t s P s s o t 1 } s 3 s 2 s 1 Zeitachse Maximum Entropy Markov Models for Information Extraction and Segmentation 22 25

27 Viterbi Algorithmus t 1 s = max s S { t s P s s o t 1 } s 3 s 2 s 1 Zeitachse Maximum Entropy Markov Models for Information Extraction and Segmentation 22 26

28 Wie gut ist MEMM? Ist schon viel besser als das HMM. Mögliche Verbesserung vom MEMM: - jedes Element in der Zustandsfolge sollte von der kompletten Beobachtungsfolge abhängen. Conditional Random Fields (nächster Vortrag) Maximum Entropy Markov Models for Information Extraction and Segmentation 27