Statistische Methoden in der Sprachverarbeitung

Größe: px

Ab Seite anzeigen:

Download "Statistische Methoden in der Sprachverarbeitung"

Lena Boer
vor 6 Jahren
Abrufe

1 ' Statistische Methoden in der Sprachverarbeitung Gerhard Jäger 7. Mai 22 Inforationstheorie Der Entropiebegriff Entropie: Chaos, Unordung, Nicht-Vorhersagbarkeit,... Begriff kot ursprünglich aus der Physik: Entropie wird nur geringer wenn Energie zugeführt wird Maß der Ungewissheit: geringe Entropie bedeutet geringe Unsicherheit und ugekehrt hohe Entropie bedeutet hohe Überraschung je überraschender das Ergebnis eines Experientes ist, desto überraschter sind wir Die Forel Sei die Verteilung der Zufallsvariablen Entropie von ( ): Erwartungswert des negativen Logarithus der Wahrscheinlichkeit Einheit: Bit Konventionen: Wenn nicht explizit anders angegeben, benutzen wir den binären Logarithus ( ) "#$ Notationsvarianten: (' %& )& " ) 1

2 l g h j O, k Beispiele Extree Bernoulli-Verteilung, basiert auf fairer Münze * + -,. "/ ( * 7 8 * 7 :9; 1 Augenzahl bei fairen Würfel < = ( *EFAB HG I JG I > "K LE#MN Unfaire Münze: -,. / HH )& S Wenn für ein ^]Z L6,, dann Keine Überraschung _ 1T 1 VUWX Y,. S %& $ > 6@@AB = 7POQR keine Inforation keine oberste Schranke, aber a`bdcfejc V, E ZH\[ 7 %& "/ A#,. DC Wenn alle Eleentarereignisse gleich wahrscheinlich sind, ist die Vorhersagbarkeit a geringsten Kodierungs-Interpretation der Entropie iniale durchschnittliche Zahl von Bits, die nötig sind, u eine Botschaft (Zeichenkette, Sequenz, Serie,...) zu kodieren (wobei jedes Eleent Resultat eines Zufallsprozesses it Verteilung ist) ]1 Beispiel: 4 Sybole gihsjbk %& Wahrscheinlichkeiten $ 1, l Negative binäre Logarithen: $, l /,., l /,. A: 1 Bit, C: 2 Bit, G: 3 Bit, T: 3 Bit 2

3 j v l v Entropie no px 7 A,q9; Ars9t,u 7 9t 7 9t T 9;, 7T T A.vw9;,. A.v Mögliche Kodierung in binäre Alphabet: A: ; C: 1; G: 1; T: 11 gewichtete durchschnittliche Kode-Länge: 2 (x ) Besserer Kode: A: 1; C: 1; G: ; T: 1 gewichtete durchschnittliche Kode-Länge: 1 A,L9; Ars9; Optialer Kode: Kodelänge für Sybol yz{} ~u,. A.vw9t Wy" > A.vJN, 7T Perplexität: Motivation Gleichverteilung: bei 2 gleichwahrscheinlichen Ergebnissen: bei 32 gleichwahrscheinlichen Ergebnissen: %& {, %& bei 4.3 Milliarden gleichwahrscheinlichen Ergebnissen: %& M v Perplexität Wenn Ergebnissen nicht gleichwahrscheinlich sind: 32 Eleentarereignisse, 2 davon gleichwahrscheinlich, Rest unöglich: )& 6, Gibt es eine Möglichkeit, den Grad der Unsicherheit/Inforationsgehalt für Zufallsvariable zu vergleichen, wenn die zugrundeliegenden Ereignisräue unterschiedlich groß sind Perplexität )& Pƒ" 3

4 j D.h. wir sind wieder bei 32 (für 32 gleichwahrscheinliche Ergebnisse), 2 für Münzwurf usw. intuitiv leichter vorstellbar: )& /ˆ bedeutet, dass so gut vorhersagbar ist wie ein Experient it ˆ gleichwahrscheinlichen Ausgängen Je ehr eine Verteilung von der Gleichverteilung abweicht, desto geringer sind Entropie und Perplexität Geeinsae und bedingte Entropie Zwei Zufallsvariable: und Geeinsae Entropie: (Paare von - und -Werten werden als ein Ereignis betrachtet) Š\ ( "6 >Œ XŠ>Ž< naup XŠ>Ž< Bedingte Entropie: * c { Œ XŠ\Ž Au: *ŽXc Alternative Definition: = c Eigenschaften der Entropie * c K Z - Œ X *ŽXc *ŽXc Œ Ž c X *ŽXc Œ XŠ\Ž< Ž c Entropie ist nicht-negative a K Beweis: `K für i^`, ist nicht-negativ, also ist : nicht-positiv Sue nicht-positiver Werte ist nicht-positiv 4

5 ž Negation eines nicht-positiven Wertes ist nicht-positiv Kettenregel (analog zu Wahrscheinlichkeiten; statt Multiplikation aber Addition) Š " icf :9 * (, und Š " = c :9 Bedingte Entropie ist besser Š J a` p9, da * c a` ^Š ( Relative Entropie und geeinsae Inforation = J = "Š> = J (Gleichheit wenn und stochastisch unabhängig sind) Effiziente Kodierung eines stocahstischen Prozesses setzt Kenntnis seiner Wahrscheinlichkeitsverteilung voraus Annahe falscher Verteilung führt zu Verschwendung von Bits Relative Entropie zweier Verteilungen und š isst die iniale durchschnittliche Anzahl von verschwendeten Bits, wenn an einen Prozess it Verteilung auf der Basis von š kodiert Definition 1 (Relative Entropie) Die relative Entropie (oder der Kullback-Leibler-Abstand) zwischen zwei Wahrscheinlichkeitsfunktionen und š ist definiert als )nœ š Relative Entropie ist ier nicht-negativ %5œ š S gdw. ŸSš š š Kann als Abstand zwischen zwei Verteilungen aufgefasst werden Aber Vorsicht: Die relative Entropie (i Unterschied zu Abstand i geoetrischen Sinn) ist nicht ier syetrisch erfüllt die Dreiecksungleichung nicht 5

6 ž Œ Geeinsae Inforation und sind stochastisch abhängig _ enthält Inforation über (und ugekehrt) diese Inforation kann bei siultaner Kodierung von und genutzt werden bei fälschlicher Annahe von stochastischer Unabhängigkeit werden Bits verschwendet Geeinsae Inforation von und ist denach die relative Entropie zwischen der tatsächlichen geeinsaen Verteilung von und und ihrer geeinsaen Verteilung unter Annahe ihrer stochastischen Unabhängigkeit Definition 2 (Geeinsae Inforation) oũ J X XŠ\Ž \Œ X XŠ\Ž X X *Ž % XŠ\Ž.œ X X *Ž > ^Š ( u H X = ( = J Verhältnis von Entropie und geeinsaer Inforation Theore 1 3U> * J 5 p9 = U> H(X,Y) cf = c = J n ^Š ( H(X Y) I(X;Y) H(Y X) H(X) H(Y) 6

Hausaufgaben Das Morsealphabet kodiert Buchstaben des lateinischen Alphabets i Binärkode (der Einfachheit halber ignorieren wir das Leerzeichen zwischen den kodierten Buchstaben).

7 Hausaufgaben Das Morsealphabet kodiert Buchstaben des lateinischen Alphabets i Binärkode (der Einfachheit halber ignorieren wir das Leerzeichen zwischen den kodierten Buchstaben). In deutschen Texten sind die einzelnen Buchstaben folgenderaßen verteilt: 1. E 17.4% 14. M 2.53% 2. N 9.78% 15. O 2.51% 3. I 7.55% 16. B 1.89% 4. S 7.27% 17. W 1.89% 5. R 7.% 18. F 1.66% 6. A 6.51% 19. K 1.21% 7. T 6.15% 2. Z 1.13% 8. D 5.8% 21. P.79% 9. H 4.76% 22. V.67% 1. U 4.35% 23. J.27% 11. L 3.44% 24. Y.4% 12. C 3.6% 25. X.3% 13. G 3.1% 26. Q.2% 1. Was ist die Entropie eines Buchstabens in eine deutschen Text, wenn an Groß-/Kleinschreibung, Interpunktion und Leerzeichen ignoriert und die Wahrscheinlichkeit eines Buchstaben it seiner relativen Häufigkeit gleichsetzt 2. Was ist die erwartete Länge des Kodes eines deutschen Buchstaben i Morsealphabet 3. Was ist die erwartete Länge des Kodes eines deutschen Buchstaben i ASCII-Code 4. (freiwillig) Benutzen Sie ein Kopriierungsprogra wie gzip und einen selbstgewählten deutschen Text 1, u eine obere Schranke für die tatsächliche Entropie eines Buchstaben i Deutschen zu eritteln. 1 Zu Beispiel das Negra-Corpus; zugänglich von /hoe/jaeger/negra/negra-corpus.sent auf de Institutsserver 7

Ähnliche Dokumente

Mathematische Grundlagen III

Mathematische Grundlagen III Informationstheorie Prof Dr. Matthew Crocker Universität des Saarlandes 22. Juni 205 Matthew Crocker (UdS) Mathe III 22. Juni 205 / 43 Informationstheorie Entropie (H) Wie