Was hat Entropie mit Information zu tun? Peter C. Hägele

Transkript

1 Was hat Entrope mt Informaton zu tun? Peter C. Hägele 1 Entrope n der Statstschen Thermodynamk Was sagt de Statstsche Thermodynamk über de Entrope von Systemen m Glechgewcht aus (sehe z.b. [Re75], [Kt01])? Man unterschedet be enem System Makrozustände und Mkrozustände (rchtger wäre: Makro- und Mkrobeschrebung). En Makrozustand st durch wenge Parameter (Zustandsvarable) charaktersert (Druck, Volumen, Temperatur u.a.), de man messen bzw. vorgeben kann. En Mkrozustand st durch de detallerte Angabe aller Orts- und Impulskoordnaten der Telchen bzw. durch de vollständge Charakterserung des (fast) statonären Quantenzustandes bestmmt. En System hat m Allgemenen ene unvorstellbar große Zahl von möglchen Mkrozuständen. En bestmmter Makrozustand wrd nun durch ene m Allgemenen mmer noch sehr große Zahl von Mkrozuständen realsert. Dese Zahl nennt man Komplexonenzahl (oder etwas rreführend thermodynamsche Wahrschenlchket). Während ener Messung des Makrozustandes durchläuft das System de velen, den Makrozustand realserenden Mkrozustände. De ermttelte Messgröße st also en zetlcher Mttelwert. Für den weteren Aufbau der Theore müssen nun Postulate engeführt werden, welche de telwese Unkenntns über das System formuleren. Nach Gbbs bldet man gedanklch en Ensemble von sehr velen, makroskopsch glech präparerten Systemen und postulert: 1. Zur Berechnung ener makroskopschen Größe (Messwert) kann der zetlche Mttelwert durch enen Mttelwert über de Systeme (Ensemblemttelwert) gebldet werden. 2. In enem Ensemble aus (thermsch) solerten Systemen snd alle Mkrozustände () glechwahrschenlch (für alle glt p = p = const.). Dese Postulate snd letztlch durch den Erfolg der Theore gerechtfertgt. Ene wesentlche Aufgabe der Theore st es, de Wahrschenlchketen der Mkrozustände anderer Systemtypen zu berechnen. So ergbt sch für den wchtgen Fall (geschlossener) Systeme m Wärmekontakt mt ener Umgebung konstanter Temperatur T de fundamental wchtge Boltzmann-Vertelung: p = e E k B T e E k B T (E : Energen des Systems; k B : Boltzmann-Konstante) Kennt man de p, so lassen sch Mttelwerte von Messgrößen berechnen. Durch Verglech mt Bezehungen der phänomenologschen Thermodynamk ergbt sch für den Mttelwert der Entrope folgender Mttelwert: S = k B lnp = k B p lnp 1

2 Dese Formel verenfacht sch für (thermsch) solerte Systeme, be denen also alle p glech snd (p = p = 1 K mt = 1,...,K) zu S = k B lnk In enem solerten System st de Entrope also (bs auf de Boltzmann-Konstante) der Logarthmus der Zahl der möglchen Mkrozustände, de enen Makrozustand realseren. Möglch heßt: verträglch mt der festgelegten Gesamtenerge und Stoffmenge. Je größer K und damt auch de Entrope st, desto wahrschenlcher legt der zugehörge Makrozustand vor: Bem ständgen Durchspelen aller (glechwahrschenlchen) Mkrozustände kommt derjenge Makrozustand mt dem größten K am häufgsten vor, er st am wahrschenlchsten. Be realen Systemen mt velen Telchen st m Glechgewcht das Maxmum von K extrem scharf ausgeprägt, so dass praktsch fast alle Mkrozustände zu demselben Makrozustand (dem Glechgewchtszustand) gehören. Klene Abwechungen vom Glechgewcht (Schwankungen, Fluktuatonen) snd aber möglch. De statstsche Thermodynamk schwächt den Satz von der Entropezunahme (Spezalfall des 2. Hauptsatzes) ab, er glt nur m statstschen Mttel: En abgeschlossenes System negt dazu, den wahrschenlchsten Zustand (und damt en Maxmum der Entrope) anzunehmen. 2 Informaton De statstsche Interpretaton des Entropebegrffs verknüpft Entrope und Wahrschenlchket: En makroskopscher Zustand hoher Entrope hat ene höhere Wahrschenlchket als en Zustand nedrger Entrope. Als Veranschaulchung deses Sachverhaltes wrd häufg angeführt, dass zunehmende Entrope zunehmende Unordnung bedeute. Dese Zuordnung st aber unpräzse und glt keneswegs allgemen. Ene präzse und durchaus anschaulche Verknüpfung st hngegen mt dem Begrff der Informaton möglch. Informaton spelt heutzutage n der Nachrchtentechnk, der Entschedungs- und Lerntheore, der Psychologe, der Bologe, der Mathematk und ncht zuletzt n der statstschen Physk ene wchtge Rolle. Deser Begrff wurde m Rahmen ener Kommunkatonstheore von Shannon und Weaver quantfzert (sehe z.b. [Pet67]). Im Hnblck auf technsche Anwendungen be der Übertragung von Nachrchtenflüssen werden her Probleme der Coderung, Redundanz, Übertragungsgenaugket, Kanalkapaztät usw. untersucht. In der Umgangssprache steht mest der Aspekt der Bedeutung ( semantsche Ebene ) und des Zwecks ( pragmatsche Ebene ) ener Nachrcht m Vordergrund. In der Shannonschen Informatonstheore wrd dagegen der Begrff Informaton auf den Aspekt des Neugketswertes oder Überraschungswertes ener Nachrcht engeengt. Deser Aspekt st allen mt der Entrttswahrschenlchket ( statstsche Ebene ) verknüpft und ncht etwa mt Bedeutungen, de vom Empfänger ener Nachrcht begemessen werden. We kann man den Vorgang des Würfelns oder des Münzwerfens, das Scheßen auf ene Schebe, we kann man ene Nachrchtenquelle, ene poltsche Wahl, en physkalsches 2

3 Abbldung 1: Sender-Empfänger-Schema Experment unter dem enhetlchen Geschtspunkt der Informatonsübermttlung beschreben? Man geht dazu von folgender dealserten Stuaton aus (vgl. Abb. 1): En Sender übermttelt ene Folge von Zechen (oder Eregnssen) a 1, a 2,...,a n aus enem Vorrat von n Zechen, de mt den Wahrschenlchketen p 1, p 2,...,p n auftreten, über enen Kanal (Übertragungsmedum) an enen Empfänger. Man sprcht auch von enem endlchen Zufallsexperment und charaktersert es durch de Paare {(a 1, p 1 ), (a 2, p 2 ),...,(a n, p n )}. Für de Wahrschenlchketen p glt we üblch 0 p 1 und n p = 1. Damt st de Stuaton auf de mathematsche Wahrschenlchketstheore abgebldet. Der Empfänger muss dese Wahrschenlchketen kennen. De Zechenfolge wrd für de Übertragung vom Sender codert und dann vom Empfänger decodert. Sprachlche Laute (Schallwellen) müssen z. B. n elektromagnetsche Wellen umgesetzt und dann weder n Schall zurückverwandelt werden. De Übertragung st. a. Störungen ausgesetzt, welche de Informaton verändern. We lässt sch nun en wahrschenlchketstheoretsches Maß der übertragenen Informaton angeben? Vor dem Auftreten enes Zechens besteht ene Ungewsshet; sen Auftreten hat enen Überraschungswert und st n desem Snne ene Informaton für den Empfänger. Welche Menge an Ungewsshet wrd durch das tatsächlche Auftreten des Zechens besetgt? Lässt man sch von den umgangssprachlchen Begrffen leten, dann könnte man für en Zechen a das Maß 1/p ansetzen: Je gernger de Wahrschenlchket des Auftretens, desto größer der Überraschungswert, der Neugketswert 1, de Informaton. Für den Aufbau ener Informatonstheore erwest sch aber folgende Defnton als zweckmäßger (z. B. wrd dann für mehrere unabhängge Zechen de Informaton addtv): Der Neugketswert enes enzelnen Zechens a aus n möglchen Zechen st =1 H (n) = log 1 p = log p. Wenn von den Zechen enes mt Scherhet entrtt (Wahrschenlchket 1), so wrd der Neugketswert 0. Sehr selten vorkommende Zechen haben dagegen enen entsprechend hohen Neugketswert. Be Foldgen von Zechen begnügt man sch mest mt dem Mttelwert (dem Erwartungswert) der enzelnen H (n), also mt der mttleren Informaton. Gemäß der Regel für de 1 Mt dem Begrff Neugketswert soll ncht gesagt sen, dass Informaton neu entsteht. Be der Shannon- Weaverschen Informatonstheore geht es um de Übertragung von Informaton. 3

4 Mttelwertbldung ergbt sch H (n) (p 1, p 2,...,p n ) = n =1 p H (n) = n p log p. =1 Deses wchtge Maß wurde von Shannon und Weaver engeführt und wegen sener formalen Überenstmmung mt der Entrope der Statstschen Thermodynamk als Entrope bezechnet. Zur klaren Unterschedung soll her von Informatonsentrope gesprochen werden. 2 Da man snnvollerwese nur das Entreten künftger Eregnsse mt Wahrschenlchketen charakterseren kann (vergangene Eregnsse legen ja fest!), st auch de Informatonsentrope ncht en Maß für ene vorhandene (aktuelle), sondern für ene künftge Informaton. Se st en Maß dessen, was man durch das Entreffen des Zechens (oder: nach Ausführen enes Experments) erfahren kann; se st Maß für ene besetgbare Ungewsshet, se st potentelle Informaton H p, ncht aktuelle Informaton H a (C. F. v. Wezsäcker). De Stuaton st besonders überschtlch m Falle enes Zufallsexpermentes mt nur zwe Eregnssen, welche de Wahrschenlchketen p und 1 p haben. Her ergbt sch de Informatonsentrope zu H (2) = p log p (1 p)log(1 p). Des wrd n Abb. 2 verdeutlcht. Für p = 1 2 (z. B. Wurf ener dealen Münze) wrd H(2) = 1 bt und st maxmal. Im Fall Abbldung 2: Informatonsentrope enes Zufallsexpermentes mt zwe Ausgängen der Glechwahrschenlchket der Ausgänge wrd durch das Entreten des Eregnsses de maxmale Unscherhet besetgt, de potentelle Informaton st am größten. Der Zusammenhang zwschen potenteller und aktueller Informaton st: H p (2) = log 2 H a (2) und allgemen H p (n) = log n H a (n). 2 Der Zahlenwert der Informatonentrope hängt von der gewählten Bass des Logarthmus ab. De Maßenhet st 1. Wählt man spezell den Logarthmus zur Bass 2 (bnärer Logarthmus, lb oder ld), so fügt man zur Klarhet an de so gewonnenen Zahlenwerte de Pseudomaßenhet bt an. 4

5 Treten alle n möglchen Eregnsse mt derselben Wahrschenlchket auf, so st (für alle ) p = 1 n, und de Informatonsentrope verenfacht sch zu H(n) ( 1 n, 1 n,..., 1 n ) = log n. Dese Größe wrd auch Entschedungsgehalt genannt. Gemessen n bt st se de Mndestanzahl von ja/nen-entschedungen n enem Frage-Antwort-Spel zur Besetgung ener Unscherhet. Ene Nachrcht bestehe z. B. m Aufleuchten ener Anzegelampe n enem quadratschen Feld von 16 Lampen, welche alle mt derselben Wahrschenlchket aufleuchten können (vgl. Abb. 3). We groß st der Entschedungsgehalt? Nach Defnton ergbt sch H (16) = lb16 bt = 4 bt. Das Feld mt der leuchtenden Lampe kann durch (mnmal) ver ja/nen-antworten auf Alternatvfragen (Rechts oder lnks? Oben oder unten?) lokalsert werden. Abbldung 3: Entschedungsgehalt bem Aufleuchten ener Lampe (von 16) 3 Entrope und Informaton Betrachtet man nun den Ausdruck für de thermodynamsche Entrope, so fällt sofort de wetgehende formale Überenstmmung mt der potentellen (ncht der aktuellen) Informaton auf: thermodynamsche Entrope S = k B p lnp Informatonsentrope I pot = p lbp Eben wegen deser Überenstmmung hat Shannon sen Informatonsmaß als Entrope bezechnet. Kann man nun also Entrope und Informaton (bs auf den Proportonaltätsfaktor) enfach glechsetzen? Dazu muss man de Bedeutung der p betrachten: In der thermodynamschen Entrope snd de p Wahrschenlchketen von Mkrozuständen, genauer: De Wahrschenlchketsvertelung der Energezustände enes materellen Systems. Be der Informatonsentrope bedeuten dese p dagegen de Entrttswahrschenlchketen belebger, nhaltlch ncht spezfzerter Eregnsse. Sowet dese Eregnsse ncht den mechanschen Grundgesetzen gehorchen, braucht de Informatonsentrope auch ncht dem 2. Hauptsatz zu genügen! De Informatonsentrope (und der damt festgelegte Informatonsbegrff) st also allgemener als de thermodynamsche Entrope. Erst wenn man de p m Snne der statstschen 5

6 Thermodynamk festlegt, kann man glechsetzen: S = k B ln2 I pot Für Entrope- und Informatonsänderungen glt S = k B ln2 I pot und S = k B ln2 I akt. Damt st nun ene nformatonstheoretsche Interpretaton der thermodynamschen Entrope möglch: De Entrope msst de potentelle Informaton des Expermentators. Se msst, we vel derjenge, der den Makrozustand kennt, noch wssen könnte, wenn er auch den Mkrozustand kennen lernte (C. F. v. Wezsäcker, [We74, Lyr02]). Be zunehmender Entrope nmmt dejenge Menge an Wssen zu, de der Kenner des jewelgen Makrozustandes ncht hat, aber durch Messung des jewelgen Mkrozustandes (prnzpell) gewnnen könnte. Oft sprcht man auch von Entropezunahme = Informatonsabnahme. Her st de aktuelle Informaton gement! De Verwechslung von aktueller und potenteller Informaton hat set Brlloun enge Verwrrung und Vorzechen-Unklarheten n der Lteratur gestftet. Der Satz von der Entropezunahme lautet n nformatonstheoretscher Formulerung: Mt fortschretender Zet wrd mt überwegender Wahrschenlchket de aktuelle Informaton des zu deser Zet vorlegenden Makrozustandes abnehmen, sene potentelle Informaton zunehmen. Solche Formulerungen klngen recht subjektvstsch. C. F. v. Wezsäcker hat aber klargestellt, dass der Informatonsbegrff n objektver Wese subjektbezogen st. Er schrebt [We72]: Der Informatonsbegrff st nämlch etwas, was sch auf en wssendes Subjekt bezeht, auf de Fragen, de deses Subjekt hat, auf de Antworten, de es dafür gewnnt, aber er st n objektver Wese subjektbezogen, und für alle Subjekte, de dasselbe Wssen oder deselben Methoden haben, Wssen zu erwerben, st auch das Resultat dasselbe, und deses st der objektve Gehalt. Verson:

7 Lteratur [Kt01] Kttel, Ch., Krömer, H.: Thermodynamk. Oldenbourg [Lyr02] [Pet67] [Re75] [We72] [We74] Lyre, H.: Informatonstheore. Ene phlosophsch-naturwssenschaftlche Enführung. UTB München: Wlhelm Fnk Verlag (En sehr empfehlendswerter Überblck!)) Peters, J.: Enführung n de allgemene Informatonstheore. Berln, Hedelberg, New York: Sprnger Ref, F.: Grundlagen der Physkalschen Statstk und Physk der Wärme. (Hrsg. v. W. Muschk). Berln, New York: de Gruyter v. Wezsäcker, C. F.: Vorberetete Dskussonsbemerkung. Nova Acta Leopoldna 37/1 (206), 503. Lepzg: Joh. Ambrosus Barth v. Wezsäcker, C. F.: Evoluton und Entropewachstum. In: E. v. Wezsäcker (Hrsg.): Offene Systeme I. Beträge zur Zetstruktur von Informaton, Entrope und Evoluton. Stuttgart: Klett Ergänzende und weterführende Lteratur: Hägele, P. C.: Strukturbldung, Evoluton und de Hauptsätze der Thermodynamk. In: Gutsche, E., Hägele, P. C., Hafner, H. (Hrsg.): Zur Dskusson um Schöpfung und Evoluton. Geschtspunkte und Materalen zum Gespräch. Marburg: SMD 1998 (4. Aufl.). Kornwachs, K., Jacoby, K. (Ed.): Informaton. New Questons to a Multdscplnary Concept. Berln: Akademe Verlag