Exkurs: Entropie in der Wahrscheinlichkeitstheorie

Transkript

1 Exkurs: Entrope n der Wahrschenlchketstheore a) Physk/Thermodynamk: S = k B ln(w) mt W=Anzahl glech-wahrschenlcher Möglchketen (Mkrozustände) a) Informatonstheore: Shannon (1948) Entrope wobe p = f /N und M H p log 2 ( p N M f ) Web-ressource: Wkpeda; explzt für Bologen geschreben, mt Erklärungen zu Logarthmen usw. Ncht m KSV 134

2 De Enhet der Informaton n der Informatonstheore st 1 bt. mt 6 bt Informaton kann man zwschen 64 Möglchketen unterscheden. Mt anderen Worten, unsere Unwssenhet beträgt 6 bt. Allgemen: wenn es M glech-wahrschenlche Möglchketen gbt, so braucht man log 2 (M) bt Informaton, oder man hat ene Unwssenhet von log 2 (M) bt. Unwssen = log 2 (M)= - log 2 (M -1 ) = - log 2 (1/M) = - log 2 (p) wenn p=1/m glechwahrschenlch 135

3 Ncht glechwahrschenlch: Unwssen()= u = - log 2 (p ) Motvaton für Shannon s Formel: -jedes Symbol kommt n Male vor, -das mttlere Unwssen H st M M M N n u N M Wegen u = - log 2 (p ) st H p ( p ) H n u n log 2 (C.E. Shannon: A Mathematcal Theory of Communcaton. Bell System Tech. J. 27, , ; ) M M n p u 136

4 "You should call t 'entropy' and for two reasons: frst, the functon s already n use n thermodynamcs under that name; second, and more mportantly, most people don't know what entropy really s, and f you use the word 'entropy' you wll wn every tme!" - von Neumanns Rat an Shannon, we er de Funkton - p log(p ) nennen soll. Entrope st negatve Informaton, also Unscherhet / Unwssen 137

5 De Funkton -p*log 2 (p)

6 Münze: Berechnung von H p * log 2 (p) - (1-p) * log 2 (1-p) (p * log 2 (p) + (1-p) * log 2 (1-p)) = - p log 2 (p ) 139

7 a) de Entrope st größer oder glech Null b) den höchsten Zahlenwert hat de Entrope, wenn alle Wahrschenlchketen p glech snd. Deser höchste Wert st allgemen (mt k=zahl der Möglchketen, p=1/k deren WS): H= - k 1/k log 2 (1/k) = log 2 (k). c) de maxmale Entrope wächst mt der Zahl der Symbole bzw Eregnsse (folgt drekt aus H max =log 2 (N) ) d) de klenste Entrope st H=0, wenn en Eregns scher st (p=1 oder p=0, dann st das Gegeneregns scher). Das passert, wenn entweder Kopf oder Zahl scher st. Be ener klenen Entrope enthält der Informatonstext Redundanzen oder statstsche Regelmäßgketen. 140

8 Anwendung der Entrope: 1) Varabltätsmaß "Velfalt" Da de absolute Anzahl der Arten je nach Lebensraum varert, hat man Maßzahlen engeführt, de unabhängg von der Absolutzahl, der so genannten Abundanz, snd und somt zum Verglech der Velfalt zwschen den Lebensräumen denen. Es seen N de Anzahl aller Indvduen, f de Anzahl der Indvduen von Spezes und k de Gesamtzahl der Spezes. Dann defnert man: Dverstät H Achtung: KSV verwendet ln! H 1, k p p ) p f N ln( mt wobe von 1 bs k geht 141

9 De maxmale Dverstät (be Glechvertelung aller Arten) dvergert allerdngs mt k: H max = ln(k) Deswegen normert man H mt desem Maxmalwert, um en relatves Maß zu bekommen, de so genannte Evenness (n KSV Eveness) E E H H H k durch de Normerung st E en Wert zwschen 0 und 1 max ln 142

10 Komponenten-Säulen/Balkendagramm 143

11 2) Varabltätsmaß + Optmerung desselben: Bespele aus dem Berech Sequenzalgnment her wrd als "Logo"-Größe H max -H verwendet! 144

12 Mart et al., Scence 306, 1930 (2004) Targetng Malara Vrulence 145

13 146

14 147

15 3) Maxmerung der Entrope snnvoll wenn p unbekannt; aber Nebenbedngungen vorgegeben Bespel: Würfel mt gegebener mttlerer Augenzahl X X = 3.5 (wahrschenlchstes Ergebns st Glechvertelung aller Augenzahlen) X = 4.5 (Wahrschenlchketsvertelung st ncht endeutg, aber: wahrschenlchste Vertelung der p kann durch Maxmerung der Entrope gefunden werden) Prmärlteratur: Gull, SF and Danel, GJ, 1978, Image reconstructon from ncomplete and nosy data: Nature, v. 272, p

16 Vorstellung: Affen werfen Bälle n Körbe; es entstehen Wahrschenlchketsvertelungen - deses Experment wrd (theoretsch) mal wederholt - nur dejengen Expermente werden gewertet, de mt den Nebenbedngungen überenstmmen - de dann am häufgsten vorkommende (also de wahrschenlchste!) Wahrschenlchketsvertelung hat de höchste Entrope (de Umkehrung glt auch) 149

17 Zusammenfassung: warum st de Entrope wchtg? - 1) wchtge Rolle n Wahrschenlchketstheore und hren Anwendungen: Maßzahl für Varabltät (Unwssen) auch be Nomnaldaten - 2) Optmerung, nämlch Mnmerung des Unwssens bzw Maxmerung der (addtven!) Informaton zur Bestmmung von Parametern, de gegebene Daten am besten erklären. Bespel: relatve Poston (=Algnment) von Protensequenzen - 3) wenn p ncht bekannt, kann man de wahrschenlchsten p durch Maxmerung der Entrope unter Nebenbedngungen bestmmen. Das Resultat der Maxmerung unter den Nebenbedngungen st de wahrschenlchste/häufgste/vorurtelsfreeste Wahrschenlchketsvertelung. Dese Anwendung exstert erst set den 80er Jahren des letzten Jahrhunderts! Bespel: Wahrschenlchketsvertelung der Augenzahlen enes Würfel 150

18 Zusammenfassung: Lageparameter (L), Varabltätsparameter (V) be monovarablen/ monovaraten Vertelungen Skalennveau zugehörge Daten Maßzahlen und Tests Nomnal-Skala Häufgketen L: Modalwert(e) V: Entrope Ordnal-Skala Rangplätze L: Medan, Quantle, V: V, I 50 Intervall-Skala Messwerte L: arthm. Mttel V: Varanz (Std.abw.) Verhältns-Skala Messwerte L: geom./harm. Mttel V: cv sehe auch: KSV Kaptel