Informationstheorie und Codierung

Transkript

1 Informationstheorie und Codierung x B D A C G F H E Fachbereich 2 Lothar Klaas Studiengang Elektrotechnik / Nachrichten- und Kommunikationstechnik

2 2 Inhaltsverzeichnis Seite Literatur 4 Nomenklatur 6 Teil : Informationstheorie IT Information und Entropie gedächtnisloser Quellen IT2. Das Quellencodierungstheorem IT5 2 Gedächtnisbehaftete Einzelquellen IT9 2. Markov-Prozesse. Ordnung IT9 2.2 Markov-Prozesse 2. und höherer Ordnung IT3 2.3 Verbundene und bedingte Entropie IT4 2.4 Entropie eines Markov-Prozesses. Ordnung IT7 3 Der gestörte Nachrichtenkanal IT9 3. Der gestörte diskrete gedächtnislose Kanal IT2 3.2 Definition und Berechnung der Kanalkapazität IT Das Kanalcodierungstheorem IT24 Teil 2 : Quellencodierung Q Einführung Q2 2 Redundanzreduktion in der Nachricht selbst Q2 2. Lauflängencodierung (RLE) Q2 2.2 Huffman-Codierung Q2 2.3 Arithmetische Codierung Q5 2.4 Der LZW-Algorithmus Q9 2.5 Move To Front Coding Q 2.6 Das Verfahren von Burrows und Wheeler Q 2.7 Die Differenzcodierung Q2 3 Transformationscodierung Q3 3. Einleitung Q3 3.2 Die eindimensionale DFT Q4 3.3 Die eindimensionale DCT Q5 3.4 Die zweidimensionale DCT Q8 4 Subband-Codierung Q23 4. Das Abtasttheorem für Bandpasssignale Q Up- und Downsampler Q Abtastratenwandler mit Polyphasenfilter Q Das Zweikanal QMF-Filter Q3 4.5 Orthogonale Zweikanal-PR-Filter Q Filterbänke mit Baumstruktur Q Parallele Filterbänke Q Gleichförmige DFT-Filterbänke Q Cosinus-modulierte Filterbänke Q42 Seite 5 Beispiele 5. Der JPEG-Kompressionsstandard für ruhende Bilder Q Der MP3-Kompressionsstandard für Audiosignale Q AAC, SBR, MP3Pro und AACPlus Q5 Teil 3 : Kanalcodierung K Einführung K2 2 Korrekturmöglichkeiten von Blockcodes K4 2. Definitionen K4 2.2 Schranken der Fehlererkennung und -korrektur K4 3 Lineare systematische Blockcodes K6 3. Beispiel eines linearen systematischen Blockcodes K7 3.2 Codierung mit Generator- und Prüfmatrix K8 3.3 Decodierung und Fehlerkorrektur K9 3.4 Mindestdistanz und Fehlerwahrscheinlichkeit linearer Blockcodes K2 3.5 Modifikation von Codes K4 3.6 Einige spezielle lineare systematische Blockcodes K Der -Bit-Paritätscode K Der n-bit-wiederholungscode K Der Hamming-Code K Der Golay-Code K6 4 Binäre zyklische Codes K8 4. Unsystematische Codierung eines zyklischen Codes K9 4.2 Systematische Codierung eines zyklischen Codes K9 4.3 Generator- und Prüfmatrix zyklischer Codes K2 4.4 Coder für zyklische Codes K Decoder für zyklische Codes K Decodierung mit Syndromtabelle K Der Meggit-Decoder K Der Error-Trapping-Decoder K3 5 Binäre BCH-Codes K33 5. Definition der BCH-Codes mit Hilfe der Kreisteilungsklassen K Definition der BCH-Codes mit Hilfe der DFT K Algebraische Decodierung von BCH-Codes K Der Berlekamp-Massey-Algorithmus K4

3 3 Seite 6 Reed-Solomon Codes K4 6. Der Forney-Algorithmus K43 7 Einige spezielle zyklische Codes K45 8 Faltungscodes K47 8. Einführung K Klassifizierung und Beschreibung von Faltungscodern K5 8.3 Generatormatrix terminierter Faltungscodes K Distanzeigenschaften von Faltungscodes K Der Soft Decision Viterbi-Decoder K Punktierung von Faltungscodes K Tabelle optimaler /n Faltungscodes K57 9 Verkettete Codes K59 9. Interleaver K Produktcodes K6 9.3 Turbocodes K6. Beispiele K63. Punktierter Faltungscode für DRM K63.2 Seriell verkettete Codes im Standard- GSM-Netz K64.3 Turbo-Code bei der GSM- Erweiterung EDGE K66.4 Seriell verketteter RS-Code bei der Audio-CD K66.5 FEC bei digitalen Pagern K68.6 QR-Codes K69 Anhang Anhang A: Algebra A : Gruppen, Ringe, Körper A2 : Vektorräume auf Galoisfeldern A3 : Polynome über dem GF(2) A4 : Erweiterungsfelder GF(2 w ) A5 : Diskrete Fouriertransformation im Galoisfeld Anhang B : Zusammenhang zwischen dem Fehlerlage polynom und der Syndrommatrix bei BCH- und RS-Codes Anhang C : Zusammenhang zwischen dem Fehler wert polynom, dem Fehlerlageund dem Syndrom polynom Anhang D : Kanalmodelle und ML-Decodierung D : Der symmetrische Binärkanal D2 : Der AWGN-Kanal Seite A A4 A7 A9 A3 A6 A8 A9 A9 A2 Anhang E : Bildabtastung, Farbdarstellung und Sinnesphysiologie A24 E : Das zweidimensionale Abtasttheorem A24 E2 : Farbdarstellung A28 E2. Das menschliche Sehen A28 E2.2 Farbräume A3 E3 : Das menschliche Hören A37 Anhang F : Die Jensen'sche Ungleichung A46 Prof. Dr. L. Klaas Arbeitsgebiet Nachrichtentechnik Fachhochschule Bingen Berlinstraße 9 D-554 Bingen klaas@fh-bingen.de Bearbeitungsstand:

4 4 Literatur [] Bronstein : Taschenbuch der Mathematik. Verlag Harry Deutsch, 25 [2] Rechenberg, P. ; Pomberger, G. : Informatik-Handbuch. Hanser 999 [3] Shannon, C. E. : A Mathematical Theory of Communication. Bell System Technical Journal 948 [4] Shannon, C. E. ; Weaver, W. : The Mathematical Theory of Communication.University of Illinois Press 949 / 998 [5] Shannon, C. E. : Communication in the Presence of Noise. Proceeedings of the I. R. E. /949 [6] Ash, R.. : Information Theory. Dover 965 /99 [7] Khinchin, A. I. : Mathematical Foundations of Information Theory. Dover 957 [8] Wiener, N. : Cybernetics. MIT Press 948 / 965 [9] Lyre. H. : Informationstheorie. UTB 22 [] Klimant, H. ; Piotraschke, R. ; Schönfeld, D. : Informations- und Kodierungstheorie. Teubner 26 [] Werner, M. : Information und Codierung. Vieweg 22 [2] Neubauer, A. : Informationstheorie und Quellencodierung. Schlembach 26 [3] Weinrichter, H. ; Hlawatsch, F.: Stochastische Grundlagen nachrichtentechnischer Signale Springer 99 [4] Salomon, D. : Variable-length Codes for Data Transmission. Springer 27 [5] Sayood, K. : Introduction to Data Compression. Morgan Kaufmann 25 [6] Salomon, D. : Data Compression. Springer 24 [7] Strutz, T. : Bilddatenkompression. Vieweg 25 [8] Artamonow, I: D. : Optische Täuschungen. Harry Deutsch 26 [9] Zölzer, U. : Digitale Audiosignalverarbeitung. Teubner 25 [2] Bossert, M. : Kanalcodierung. Teubner 998 [2] Lin, S. ; Costello, D. J. : Error Control Coding. Pearson 24 [22] Morelos-Zaragoza, R. H. : The Art of Error Correcting Coding. Wiley 25 [23] Sweeney, P. : Codierung zur Fehlererkennung und Fehlerkorrektur. Hanser 992 [24] Tzschach, H. ; Haßlinger, G. : Codes für den störungssicheren Datentransfer. Oldenbourg 993 [25] Lindner, J. : Informationsübertragung. Springer 25 [26] Blahut, R. E. : Algebraic Codes for Data Transmission. Cambride Univ. Press 26 [27] Torrieri, D. : Principles of Spread-Spectrum Systems. Springer 24 [28] Proakis, J. G. ; Salehi, M. : Grundlagen der Kommunikationstechnik. Pearson 24 [29] Bäni, W. : Wavelets. Oldenbourg 22 [3] Sklar, B. : Digital Communications. Prentice Hall 2 [3] Macwilliams, F., Sloane, N. : The Theory of Error- Correcting Codes. North-Holland 977 [32] Elia, M. : Algebraic Decoding of the (23,2,7) Golay-Code. IEEE Trans. Inf. Theory, IT33, No., Jan 987 [33] Blaum, M., Bruck, J. : Decoding the Golay Code with Venn Diagramms. IEEE Trans. Inf. Theory, IT36, No.4, July 99 [34] Blahut, R. E. : Algebraic Codes on Lines, Planes and Curves. Cambride University Press 28 [35] MacKay, D. J. C. : Information Theory, Inference and Learning Algorithms. Cambride University Press 28 [36] Yeung, R. W. : Information Theory and Network Coding. Springer 28

5 5 [37] Cover, Th. M. ; Joy, A. Th. : Elements of Information Theory. Wiley 26 [38] Digital Radio Mondiale. ETSI ES298, 24 [39] Kottkamp, M. : EDGE Evolution Technology Introduction. Appl. Note MA29, Rohde & Schwarz, 3/28 [4] 3GPP Multiplexing and Channel Coding ETSI TS Version 8.5., 3/29 [4] Hoeve, H. ; Timmermans, J. ; Vries, L. B. : Error correction and concealment in the compact disc system. Philips Techn. Rev. 6/982 [42] Driessen, L. M. ; Vries, L. B. : Performance calculations of the Compact Disc error correcting code on a memoryless channel. 4th Int. Conf. on Video and Data recording, Southampton 982, IERE Conf. Proc. No. 54 [43] Friesecke, A. : Die Audio Enzyklopädie. Saur 27 [44] Forney, J. D. : Concatenated Codes. MIT Press Research Monograph 37, 966 [45] Berrou, C. ; Glavieux, A. ; Thitimajshima, P. : Near Shannon Limit Error-Correcting Coding and Decoding: "Turbo Codes". IEEE Proc. ICC 93 Geneva, May 993 [46] Berrou, C. ; Glavieux, A. : Near Optimum Error Correcting Coding: "Turbo Codes". IEEE Trans. Comm. vol. 44,, Oct. 996 [47] Kupfmüller, K. : Die Entropie der deutschen Sprache. FTZ 7, Juni 954 [48] Huffman, D. : A Method for the Construction of Minimum Redundancy Codes. Proceedings of the IRE 4 (9) [49] Gilbert, E. N. ; Moore, E.F. : Variable Length Binary Encodings. BSTJ 38, 959 [5] Ziv, J. ; Lempel, A. : A Universal Algorithm for Sequential Data Compression. IEEE Transactions on Information Theory IT-23(3), 977 [5] Ziv, J. ; Lempel, A. : Compression of Individual Sequences via Variable-Rate Coding. IEEE Transactions on Information Theory IT-24(5), 978 [52] Welch, T. A. : A Technique for High-Performance Data Compression. IEEE Computer 7(6) 984 [53] Burrows, M. ; Wheeler, D. J. : A Block-Sorting Lossless Data Compression Algorithm. Digital Systems Research Center Report 24 Palo Alto, Ca., 5/994 [54] Digital Compression and Coding of Continuous- Tone Still Immages, Requirements and Guidelines. CCITT Recommendation T.8, 9/992 [55] Hamilton, E. : JPEG File Interchange Format V.2, C-Cube Microsystems 9/992 [56] Peterson, D. P. ; Middleton, D. : Sampling and Reconstruction of Wave-Number-Limited Functions in n-dimensional Euclidean Spaces. Information and Control 5, 962 [57] Klaas, L. : Beitrag zur optimalen Abtastung reeller Funktionen in der euklidischen Ebene. AEÜ 39, 985 [58] Impulse Physik, Klasse 8-, Klett 23 [59] Theile, R. : Fernsehtechnik, Springer 973 [6] Morgenstern, B. : Farbfernsehtechnik, Teubner 983 [6] Mc Adam, D. L. : Visual sensitivities to color differences in daylight, Journal of the Optical Society of America (32) 942 [62] Rec. UIT-R BT.6-6 : Studio Encoding Parameters of Digital Television for Standard 4:3 and Wide Screen 6:9 Aspect Ratios [63] Rec. UIT-R BT.79-4 : Parameter Values for the HDTV Standards for Production and International Programme Exchange [64] Vaidyanathan, P. P. : Multirate Systems and Filter Banks. Prentice Hall 993 [65] Kammeyer, K. D., Kroschel, K. : Digitale Signalverarbeitung. Teubner 998 [66] Jovanovic-Dolecek, G. : Multirate Systems: Design and Applications. Idea Group Pub. 22 [67] Redakteure/Bilder/gesundheitslexikon/56677.jpg [68] Zurmühl, R. : Matrizen. Springer 964 [69] Söderström, T. :Discrete-Time Stochastic Systems. Springer 22 [7] Schulz, G. : Grenzwertsätze für die Wahrscheinlich keiten verketteter Ereignisse. Deutsche Mathematik, Bd., 936, S

6 6 [7] Johnson, S. J. : Iterative Error Correction. Cambride University Press 2 [72] Rinne, H. : Taschenbuch der Statistik. Verlag Harry Deutsch 28 [73] Hänsler, E. : Statistische Signale. Springer 2 [74] Hänsler, E. : Grundlagen der Theorie statistischer Signale. Springer 983 [75] Wunsch, G. ; Schreiber, H. : Stochastische Systeme. Springer 26 [76] Shannon, C. E. :Ein Aus. Brinkmann und Bose 2 (Deutsche Übersetzung div. Aufsätze) [77] Kammeyer, K.-D. : Nachrichtenübertragung. Vieweg und Teubner 28 [78] Hellbrück, J. ; Ellermeier, W. : Hören. Hogrefe 24 [79] Everest, F. A. ; Pohlmann, K. C. : Master Handbook of Acoustics. McGraw Hill 29 [8] Brandenburg, K. : MP3 and AAC explained. AES 7th Conference on High Quality Audio Coding [8] Jensen, J. L. W. V. : Sur les fonctions convexes et les inégalités entre les valeurs moyennes. Acta Mathematica 3, 96 [82] Beckenbach, E. F. : Convex Functions. Bulletin of the American Mathematical Society, Vol. 54, No. 5, 948 [83] Fastl, H. ; Zwicker, E. : Psychoacoustics. Springer Series in Information Sciences, Band 22, 27 [84] Sobotta, J. : Atlas der Anatomie des Menschen. Urban & Schwarzenberg, 988 [85] Vorländer, M.. Auralization. Springer 2 [86] Coding of Moving Pictures and Associated Audio for Digital Storage Media at up about,5mbit/s Part 3. ISO/IEC 72-3, /99 [87] Information Technology-Generic Coding of Moving Pictures and Associated Audio: Audio. ISO/IEC 388-3, /994 [88] Information Technology-Generic Coding of Moving Pictures and Associated Audio Information - Part7: Advanced Audio Coding (AAC). ISO/IEC 388-7, /24 [89] Raissi, R. : The Theory behind MP3. [9] Brandenburg, K. ; Popp, H. : An Introduction to MPEG Layer - 3. EBU Technical Review 6/2 [9] Jacaba, J. S. : Audio Compression Using Modified Discrete Cosine Transform : The MP3 - Coding Standard. Bachelor Thesis, Diliman University, Quezon City, Phlippines, 2 [92] Ekstrand, P. : Bandwidth Extension of Audio Signals by Spectral Band Replication. Proc.. Benelux Workshop on Model based Processing of Audio, Leuven, Belgium 22 [93] Liljeryd, L. ; Ekstrand, P. ; Henn, L. ; Kjörling, H. : Source Coding Enhancement using Spektral Band Replication. US Patent B, 24 [94] Vetterli, M. : A Theory of Multirate Filter Banks. IEEE Trans. on ASSP, Vol. 35, 3, 987 [95] Swaminathan, K. ; Vaidyanathan, P. P. : Theory and Design of Uniform DFT, Parallel, Quadrature Mirror Filter Banks. IEEE Trans. on CAS, Vol. 33, 2, 986 [96] Cruz-Roldan, F. ; Amo-Lopez, P. ; Martin- Martin, P. ; Lopez-Ferreras, F. : Alternating Analysis and Synthesis Filters: A New Pseudo- QMF Bank. Digital Signal Processing, 2 [97] Vaidyanathan, P. P. : Multirate Digital Filters, Filter Banks, Polyphase Networks, and Applications: A Tutorial. Proc. of the IEEE, 78, /99 [98] Peterson, W.W. :Encoding and Error-Correction Procedures for the Bose-Chaudhuri-Codes. IRE Trans. on Inform. Theory, IT-6, 96 [99] Gorenstein, D. C. : Zierler, N. : A Class of Error- Correcting Codes in p m Symbols. Journal of the Society of Industrial and Applied Mathematics, vol. 9, 96 [] Chien, R. T. : Cyclic Decoding Procedures for Bose-Chaudhuri-Hocquenghem Codes. IRE Trans. on Inform. Theory, IT-, 964 [] Bose, R. C. ; Ray-Chaudhuri, D. K. : On a Class of Error-Correcting Binary Group Codes. Information and Control, vol. 3, 96 [2] Hocquenghem, A. : Codes Correcteurs d'erreurs. Chiffres, vol. 2, 959 [3] Reed, I. S. ; Solomon, G. : Polynomial Codes over Certain Finite Fields. Journal of the Society of Industrial and Applied Mathematics, vol. 8, 96 [4] Forney, G. D. : On Decoding BCH-Codes. IEEE Trans. on Information Theory., IT-, 965

7 7 [5] Richardson, T. ; Urbanke, R. : Modern Coding Theory. Cambride University Press 28 [6] Schlegel, Ch. B. ; Pérez, L. C. : Trellis and Turbo Coding. IEEE Press, Wiley Interscience 24 [7] Bossert, M. : Einführung in die Nachrichtentechnik. Oldenbourg 22 [8] Friedrichs, B. : Kanalcodierung. Springer 22 [9] Gallager, R. G. : A simple Derivation of the Coding Theorem and some Applications. IEEE Trans. on Inf. Theory, IT, 965 [] Information technology - Automatic identification and data capture techniques. QR - Code bar code symbology specification. ISO/IEC 84, 25

8 8 Nomenklatur Abkürzungen: ARQ AWGN BCH BMA BSC CD CIRC COFDM DAB DCT DFT DRM EDGE EFM ETSI FAC FEC GSM LSD MAP MLD PDF PGZ RS (B)SC SISO UMTS Mathematische Zeichensetzung: Automatic Repeat Request Additive White Gaussian Noise Bose Chauduri Hocquenghem Berlekamp-Massey-Algorithmus Binary Symmetric Channel Compact Disc Cross Interleaved RS-Code Coded Orthogonal Frequency Multiplex Digital Audio Broadcast Diskrete Cosinustransformation Diskrete Fouriertransformation Digital Radio Mondiale Enhanced Data Rates for GSM Evolution Eight to Fourteen Modulation European Telecommunications Standards Institute Fast Access Channel Forward Error Correction Global System for Mobile Communications Leistungsspektraldichte Maximum aposteriori Probability Maximum Likelihood Decoder Wahrscheinlichkeitsdichtefunktion Peterson Gorenstein Zierler Reed Solomon (Binary) Symmetric Channel Soft-Input Soft-Output Universal Mobile Telecommunications System a; A(z) INFO-Vektor (-Polynom) a DFT von a A(z) Polynom mit Koeffizienten a i A(x) Gewichtsverteilungsfunktion (K53) b; B(z) Redundanzvektor (-polynom) B e Beeinflussungslänge eines Faltungscoders C Codemenge C C Kanalkapazität C r Coderate d(x) Mindestdistanz eines Codes D(x,x 2 ) Distanz zweier Codewörter d f minimale freie Distanz (Faltungscode) D Verzögerungs- (Delay-) operator D E euklidische Distanz E B Energie pro Bit E k kk Einheitsmatrix f; F(z) Fehlervektor (-polynom) G, G(z) Generatormatrix (-polynom) G, g Impulsantwort eines Faltungscoders H Entropie H Prüfmatrix I (T) (Trans-) Information k Anzahl der Infostellen k s Anzahl der Infosymbole L i Länge des i-ten Codeworts m Anzahl der Redundanzstellen m s Anzahl der Redundanzsymbole M Menge allgemein N Menge der natürlichen Zahlen n Codelänge (Bits) n s Codelänge (Symbole) N LSD von weißem Rauschen P; p Wahrscheinlichkeit, p auch Primzahl P(z) primitives Polynom p C Kanalmatrix R C Redundanz des Codes R Q Redundanz der Quelle s; S(z) Syndromvektor (-polynom) im Zeitbereich s; S(z) Syndromvektor (-polynom) im Frequenzbereich S Syndrommatrix im Frequenzbereich S p Gedächtnis eines Faltungscoders t Anzahl der korrierbaren Fehler V Teilmatrix von G w(x) Mindestgewicht eines Codes W(x i ) Gewicht eines Codeworts X () (z) X(z), um eine Stelle zyklisch nach links verschoben x; X(z) Codevektor (-polynom) y; Y(z) Empfangsvektor (-polynom) z Variable aus dem GF(q) oder kompl- Variable der z-transformation Primitives Element aus GF(2 w ) i Minimalpolynom (z) Fehlerwertvektor, (-polynom) i Koeffizienten von (z) (z) Fehlerlagevektor, (-polynom) i Koeffizienten von (z) oder Eigenwerte einer Matrix i Fehlerwerte zyklische Faltung Addition im GF(2) û Multiplikation im GF(2) x kleinste ganze Zahl x x größte ganze Zahl x für i j ij für i j Kroneckersymbol

9 IT Teil Informationstheorie

10 IT2 Information und Entropie gedächtnisloser Quellen "Information" gilt heute neben "Energie" als eine grundlegende Voraussetzung für das Funktionieren moderner Industriegesellschaften. Bereits die griechische Philosophie des Altertums beschäftigte sich mit den beiden grund legenden Fragen des Begriffs "Information": Wie kann man Information definieren und wie kann man sie messen? Information ist heute ein Begriff, der aus drei "Di mensionen" besteht [4, 9], die interaktiv zusammenwirken: -Die Syntax ist der Begriff für einzelne Informationseinheiten und bezeichnet auch deren Abhängigkeiten untereinander. Die Syntax eines Texts besteht z. B. aus 26 Buchstaben und zehn Zahlen. - Die Semantik ist der Begriff für die Bedeutung einer Menge von Syntaxeinheiten, die in einer Sprache nicht unbedingt eindeutig sein muss. So hat die Aneinanderreihung der vier Syntaxeinheiten B-an-k in der deutschen Sprache völlig verschiedene Bedeutungen. - Die Pragmatik bezeichnet die Wirkung einer Menge von Syntaxeinheiten beim Empfänger. Die gleiche Semantik, auch wenn sie eindeutig ist, kann beim Empfänger zu unterschiedlichen Wirkungen führen, weil sie z. B. aufgrund von Vorkenntnissen unterschiedlich interpretiert wird. Die Technik klammert die Dimensionen Semantik und Pragmatik völlig aus, sie begreift sich also nur als Dienst leister zum Transport von Syntax. Allenfalls die Se mantik spielt in der Technik bei Texterkennungsprogrammen oder der Irrelevanzreduktion eine gewisse Rolle. Das heißt nicht, dass der reine Transport von Syn tax keine Auswirkungen auf Semantik und Prag matik hätte. Aufgabe der Technik ist der fehlerfreie Trans port möglichst vieler Syntaxelemente pro Zeiteinheit von der Quelle zur Senke. Die se Zielstellungen führen bereits bei der Dimension Syn tax zu den eingangs erwähnten Fragestellungen: Was ist Information (in der Syntax!) und wie kann man sie messen? Ein Meilenstein in der Beantwortung dieser Frage war die Veröffentlichung von Shannon [3] im Jahr 948. Shannon trennte sehr präzise den Begriff Nach richt von dem Begriff Information, ohne seine Schluss folgerungen in Codierungsanleitungen umzu set zen, sie wurden erst später geliefert. Nachricht ist seit die ser Veröffentlichung die Syntax, die von einer Quel le gelie fert wird, sie muss nicht unbedingt Information bein hal ten. Information ist nach Shannon nur der Teil der Nach richt, der den Wissenstand des Empfängers erhö hen kann. Das "kann" steht in diesem Satz deshalb, weil die Dimensionen Semantik und Pragmatik eine mög liche Erhöhung des Wissenstandes des Empfängers ver hin dern können, dies in der Technik aber keine Berück sichtigung findet. Der Wissensstand eines Empfängers kann aber mit steigender Auftrittswahrscheinlichkeit einer Nachricht immer weniger erhöht werden, Information ist damit umgekehrt abhängig von der Wahrschein lichkeit des Auf tretens einer Nachricht. In der deutschen Sprache folgt auf das Syntaxelement "q" immer das Syntaxelement "u", die bedingte Wahrscheinlichkeit des Auftretens von "u" nach "q", P(u q), ist also. Dieses "u" kann damit den Wissensstand des Empfängers nicht erhöhen, man kann es demnach auch weglassen, um so eine höhere Anzahl von Syntaxelementen pro Zeiteinheit zu übertragen. Es soll nicht unerwähnt bleiben, dass die durch die grundlegenden Arbeiten von Shannon und die Fortschritte der Halbleitertechnik heute mögliche hohe Rate der Übertragung von Syntaxelementen pro Zeiteinheit bei einer ganzheitlichen Betrachtung von Information, also unter Einbeziehung der Semantik und der Pragmatik, wieder zu der grundlegenden Fragestellung "Was ist Information?" zurückführt, weil offensichtlich immer mehr an Information auch zu immer weniger Infor mation führen kann. Die Frage also, ob Information den Wissenstand eines Empfängers auch erniedigen kann, ist allerdings eine philosophische Frage, die inzwischen aber auch in der Technik, z. B. im Hinblick auf "Power Point" Präsentationen, diskutiert wird. Wir betrachten eine Quelle mit einem endlichen Zeichen vorrat von N Zeichen, die Quelle generiere die Zeichen statistisch unabhängig voneinander. Die Menge der Zeichen sei durch den Vektor q mit den Zeichen q i repräsentiert. q ( q, q 2, q 3,... q N ) (.) Dies können z. B. die Zahlen eines Würfels (N=6), ein Alphabet (N=26) oder auch nur die Zeichen und (N=2) bei einer ja-nein Entscheidung sein. Man spricht in diesem Fall von einer diskreten, gedächtnislosen Quelle. Die Komponenten P(i) des Vektors P seien die Auftrittswahrscheinlichkeiten der einzelnen Zeichen. N P [ P(), P(2),... P(N)], P(i) i (.2) Dann wird für eine Definition der Information oder des Informationsgehalts eines Zeichen gefordert, dass folgen de Axiome erfüllt sind:. Die Information ist eine stetige Funktion der Wahrscheinlichkeit des Auftretens des Zeichens. 2. Die Information ist immer positiv. Sie ist Null, wenn die Auftrittswahrscheinlichkeit beträgt, und sie steigt mit fallender Auftrittswahrscheinlichkeit Claude E. Shannon, amerik. Mathematiker, 96-2

11 3. Der Informationsgehalt zweier statistisch unab hängiger Zeichen I(q i,q j ) muss gleich der Summe des Informationsgehalts der einzelnen Zeichen sein. I(q i,q j ) = I(q i ) + I(q j ) (.3) 4. Der Informationsgehalt eines Zeichens, das (wie bei einer statistisch unabhängingen - (ja-nein)- Quelle) die Auftrittswahrscheinlichkeit /2 hat, soll sein. Die einzige Funktion, die diese Bedingungen erfüllt, ist: I(q i ) log 2 ( P(i) ) log 2 P(i) [bitzeichen] (.4) Insbesondere ist das Axiom 3 erfüllt, da die Verbundwahrscheinlichkeit zweier beliebiger statistisch unabhän giger Zeichen durch die Produkte der Einzelwahrscheinlichkeiten gegeben ist. P(ij) = P(i) P(j) I(q i,q j ) = log 2 P(ij) = log 2 [P(i) P(j)] I(q i,q j ) = log 2 P(i) log 2 P(j) = I(q i )+I(q j ) (.5) Bild. zeigt die Funktion nach Gl..4. Man beachte, dass die Information eines Zeichens mit der Auftrittswahrscheinlichkeit Null unendlich groß ist. IT3 Bei gleichverteilter Auftrittswahrscheinlichkeit der Zeichen einer Quelle ist die Information eines Zeichens gleich der Anzahl der ja-nein-entscheidungen (Bits), die benötigt werden, um ein Zeichen zu codieren. æ Beispiel: Der Zeichenvorrat bestehe aus den Zahlen bis 7, die Auftrittswahrscheinlichkeit aller Zeichen sei gleich und beträgt damit /8. Der Infor ma tionsgehalt eines Zeichens beträgt damit 3 bit/zeichen und ist für alle Zeichen gleich. Die Auswahl eines beliebigen Zeichens aus einer Menge von 8 Zeichen, die mit gleicher Wahrscheinlichkeit auftreten, lässt sich mit log 2 (8) = 3 Binärentscheidungen durchführen. Die Auswahl eines Zeichens kann mit Hilfe des in Bild.2 dargestellten Codebaumes verdeutlicht werden. Zeichen q i Entscheidung Bild.2: Entscheidung mittels Codebaum ø Sind die Auftrittswahrscheinlichkeiten der Zeichen einer Quelle nicht gleichverteilt, interessiert weniger der Informationsgehalt eines einzelnen Zeichens, als der line are Mittelwert des Informationsgehalts aller Zei chen, also der Informationsgehalt der Quelle, den man mit Entropie bezeichnet. Es gilt: H(q) I(q i ) N P(i) I( q i ) i (.6) Bild.: Information eines Zeichens æ Beispiel: Wir betrachten einen "korrekten" Würfel mit den Zahlen bis 6 und den gleichverteilten Auftrittswahrscheinlichkeiten P(i)=/6. Der Informations gehalt jeder Zahl beträgt dann I(q i )=log 2 (/6) =2,58 bit. Ist der Würfel so "gezinkt", dass auf der gegenüberliegenden Seite der "6" wieder eine "6" anstelle der "" aufgedruckt ist, beträgt die Auftrittswahrscheinlichkeit der "6" /3 und ihr Informationsgehalt,58 bit. Der Infor mationsgehalt der anderen vier Zahlen errechnet sich wie beim "korrekten" Würfel zu 2,58bit. ø N H(q) P(i) log 2 bit. (.7) P(i) i Gl..7 ist die wichtigste Gleichung der Informationstheorie. Die Entropie ist positiv und besitzt ein Maximum, wenn die Auftrittswahrscheinlichkeiten der Zeichen gleichverteilt sind. Es gilt: H(q) H mit H H(q) P(i)N log 2 N max[h(q)] (.8) (.9)

12 Beweis: Mit Gl..7 gilt: N H(q) P (i) ln P(i) ln 2 H(P) i Wegen P(i) muss H(q) immer positiv sein. Es ist zu beweisen, dass grad P [H(P)]= für P(i)=/N und die Hess'sche Matrix H P negativ definit ist. grad P [H(P)] ln 2 Damit muss für alle i gelten: ln P() : ln P(i) : IT4 zwischen H und H(q) nennt man Redundanz der Quelle R Q (nicht zu verwechseln mit der später zu definierenden Redundanz eines Codes). R Q H H(q) (.) æ Beispiel: Wir betrachten eine binäre Quelle mit den Zeichen und (N=2), die Auftrittswahr scheinlichkeit der sei P(), die Auftrittswahr scheinlichkeit der sei P() = P(). Dann gilt für die Entropie nach (.7): H(q) [ P()] log 2 ( P() ) P() log 2 P() Da die Summe der Wahrscheinlichkeiten ist, ist die Entropie nur von der einen Variablen P() abhängig. ln P(i) = Alle P(i) müssen also identisch sein, die Normierung N P(i) i liefert P(i) N. Die Hess'sche Matrix enthält nur in der Diagonalen die von Null verschiedenen negativen Koeffizienten: P(i) ln 2 Damit ist die Hess'sche Matrix negativ definit, es handelt sich also um ein Maximum. q.e.d Die Entropie wird auch als "Unsicherheit" bezeichnet, der Begriff ist im Sinne einer Zufallsvariablen die Unsicherheit eines eintreffenden Ereignisses. Bei einem "korrekten" Würfel ist die Unsicherheit maximal, d. h 2,58. Bei einem Würfel, bei dem zweimal die Zahl "6" aufgedruckt ist, ist die Unsicherheit über das Ergebnis geringer, sie beträgt 2,25. Die Entropie gibt die mittlere Anzahl von Ent scheidungen an, mit der ein Zeichen einer Quelle dekodiert werden kann, wenn die Auftrittswahr scheinlichkeiten aller Zeichen bekannt sind. Das Maximum der Entropie H wird auch als Entscheidungsgehalt der Quelle be zeichnet. Die Differenz Bild.3: Entropie einer Binärquelle H(q) ist in Bild.3 dargestellt, für P() =,5 erreicht H(q) sein Maximum H. Für P() = bzw P() = wird H(q) =, es wird dann keine Information mehr über tragen. Für P() =,9 z. B. ist der Informationsgehalt der Quelle sehr viel niedriger, als dies mit einer gleich ver teilten - - Folge der Fall wäre. In diesem Fall werden sehr viel mehr - Zeichen als - Zeichen übertragen. Die mittlere Anzahl von not wendigen Entscheidungen zur Dekodierung eines Zeichens ist kleiner, und es stellt sich die Frage nach der optimalen Codierung der Quelle. Die bloße Übertragung der Zeichen selbst führt zu einer Ent scheidung pro Zeichen und ist bei P() =,9 nicht optimal; die in der Quelle enthaltene Redundanz (überflüssige Nachricht) wird dann bei der Quellen codierung nicht ausgenutzt. ø Eine Redundanz größer Null gibt umgekehrt auch die Information an, die mit dem gleichen Zeichensatz mehr übertragen werden könnte, wenn die Auftrittswahrschein lichkeiten der Zeichen gleichverteilt wären.

13 æ Beispiel: Tabelle. gibt die Auftrittswahrscheinlichkeiten der Buchstaben in der deutschen Sprache und den daraus berechneten Informationsgehalt jedes Zeichens an [47]. Umlaute sowie Groß- und Kleinschreibung sind nicht gesondert berücksichtigt. Man beachte dabei, dass es sich bei Sprache allerdings nicht um eine statistisch unabhängige Quelle handelt. Buchstabe q i P(i) P(i)I(q i ) Morsezeichen e,669,43 n,992,33 (7) i,782,287 (3) s,678,263 (4) t,674,262 (2) r,654,257 (8) a,65,256 (5) d,54,228 h,46,88 u,37,76 g,365,74 m,3,52 c,287,46 l,283,46 b,257,36 o,229,25 (6) f,24,4 k,88,8 w,4,86 v,7,7 z,,67 p,94,63 j,9,7 q,7,7 y,3,4 x,2,3 Tab..: Auftrittswahrscheinlichkeiten und Information der Buchstaben der deutschen Sprache Bei gleicher Auftrittswahrscheinlichkeit aller Zeichen benötigt man 5 Bit für die Codierung von 26 Zeichen. Die Entropie nach Tab.. errechnet sich jedoch zu H(q) = 4,97 bit, im Mittel sind also nur ca. 4 Bit zur Codierung not wendig. Ein erster Schritt in diese Richtung war das Mor sealpha bet, das die beiden häufigsten Buchstaben der eng lischen Sprache mit nur einem "Bit" überträgt. In der letzten Spalte ist in Tab.. die Reihenfolge der Auftritts wahrscheinlichkeiten der 8 häufigsten Buchsta ben der englischen Sprache eingetragen. Man erkennt, dass das Morsealphabet das Konzept der "Lauflängen co dierung", das häufig auftretenden Zeichen kürzere Co deworte als anderen zuordnet, nicht konsequent um setzt Samuel Morse, amerik. Erfinder, IT5 So wird das gegenüber dem Zeichen "a" häufiger auftretende Zeichen "s" mit einem "Bit" mehr codiert. ø. Das Quellencodierungstheorem In der Übertragungs- und Speichertechnik werden auschließ lich Binärzeichen verwandt. Weist man nun jedem Zeichen qi des Alphabets q ein binäres Wort der Länge Li zu, das durch den Vektor a i = (a i, a i2, a i3,...a ili ) ; i N ; a ij ist oder (.) gekennzeichnet ist, dann besteht die Aufgabe der Quellen codierung darin, einen opti malen Code bei ge ge bener Auftrittswahrschein lichkeit der Zeichen einer Quelle so zu finden, dass die mittlere Codewortlänge minimal wird. Gibt der Vektor L = [L(), L(2),...L(N)] (.2) die Länge des Codeworts für jedes Zeichen q i an, so ist die mittlere Codewortlänge der lineare Mittelwert aller Codewortlängen. N L P(i) L(i) (.3) i Werden für die unterschiedlichen Zeichen verschiedene binäre Codewortlängen zugelassen, können die Codewörter auf der Empfangsseite eindeutig erkannt werden, wenn kein Wort mit dem Anfang eines anderen über einstimmt. Man bezeichnet diese Eigen schaft eines Codes als Präfix-Eigenschaft. Das Morsealphabet besitzt diese Eigenschaft nicht, deshalb ist dort eine Trennung zwischen den Zeichen notwendig, das Morsealphabet besteht also nicht aus Bits. Shannon bewies, dass für jede ge dächtnislose Quelle mit endlichem Alphabet eine Binärcodierung mit Präfix-Eigenschaft gefunden wer den kann, deren mittlere Codewortlänge der Unglei chung H(q) L H(q) (.4) genügt Beweis: Der Beweis benötigt die sogenannte Kraft- McMillan Ungleichung, N 2 L(i) i (.5) deren Gültigkeit sich an dem Codebaum in Bild.4 leicht zeigen lässt.

14 Jeder Knoten in dem Codebaum repräsentiert ein mögliches Codewort für das Zeichen q i mit der von der Spitze bis zum Knoten des Baums zu verfolgenden Bitkom bination. q i IT6 Rechnet man den Zweierlogarithmus in Gl.(.9) in den natürlichen Logarithmus um N P(i) ln ( 2L(i) P(i) ) i und benutzt die Abschätzung x x ln x, (.2) ln (x) x, (.2) L(i)= L(i)=2 L(i)=3 L(i)=4 L(i)=L max erhält man: Bild.4: Zum Beweis der Kraft-McMillan-Ungleichung Wird nun z. B. der Code des blau markierten Knotens () mit L(i)=2 als Codewort für das Zeichen q i verwandt, blockiert er wegen der geforderten Präfix- Eigenschaft zwei Codewörter mit L(i)=3, vier Codewörter mit L(i) = 4, usw., die in Bild.4 rot markiert sind. Allgemein wer den bei der Wahl eines Codeworts der Länge L(i) in der letzten Ebene 2 L maxl(i) (.6) Codewörter blockiert. Sollen N Zeichen codiert werden, muss die Anzahl der blockierten Codewörter in der letzten Ebene kleiner oder gleich der Anzahl der zur Verfügung stehenden Codewörter dieser Ebene sein. N 2 L maxl(i) L 2 max i (.7) Aus dieser Gleichung folgt direkt die Kraft-McMillan- Ungleichung. Codes mit Präfix-Eigenschaft sind eine Untermenge der ohne Trennzeichen decodierbaren Codes, man kann zeigen, dass diese Ungleichung für alle ohne Trenn zeichen decodierbaren Codes gilt. Zu beweisen ist nun in Gl. (.4) zunächst die linke Seite. Mit Gl.(.7) und (.3) erhält man: H(q) L N N P(i) log 2 P(i) P(i) log 2 (2 L(i) ) i i N P(i) log 2 ( 2L(i) P(i) ) i (.8) (.9) N P(i) ( 2L(i) ) P(i) i N 2 L(i) i N P(i) i (.22) Damit ist die linke Seite von Gl. (.4) bewiesen. An dieser Stelle ist anzumerken, dass das Gleich heitszeichen (und damit H(q) = L) in Gl. (.9) nur dann gelten kann, wenn (s. Anhang F) P(i) 2 L(i) L(i) log 2 P(i) i (.23) gilt, wenn also die Auftrittswahrscheinlichkeiten der Zeichen sämtlich ganzzahligen Zweierpotenzen entsprechen. Da P(i) eine vorgegebene reelle, L(i) jedoch immer eine ganze Zahl ist, kann man diese Gleichung in der Regel nicht er füllen. Die Länge des Codes für ein einzelnes Zeichen wird also in den Grenzen log 2 P(i) L(i) log 2 P(i) (.24) liegen. Nach Multiplikation beider Seiten des rechten Teils der Gleichung mit P(i) P(i) L(i) P(i) log 2 P(i) P(i) und Summation über i N N N P(i) L(i) P(i) log 2 P(i) P(i) i i i ergibt sich wegen Gl. (.2) : L H(q) (.25) (.26) (.27) q.e.d

15 Mit R C wird die Redundanz eines Codes be zeichnet, es gilt R C L H(q). (.28) Shannon hat allerdings keine Vorschrift zur Kon struktion eines optimalen Codes nach Gl. (.4) angegeben, erst Huffman veröffentliche 952 ein optimales rekursives Verfahren zur Konstruktion eines Codes, dessen mittlere Codewortlänge die Gl. (.4) einhält. Dieses Ver fahren wird im Teil 2 dieses Skripts (Quellencodierung) behandelt. Shannon bewies darüber hinaus, dass sich die durch Gl. (.28) in Verbindung mit Gl.(.4) gegebene Redundanz eines Codes bei beliebiger Verteilung der Auftritts wahrscheinlichkeiten der Zeichen durch höheren Codierungsaufwand beliebig verkleinern lässt. Diese Aussage ist heute als Quellencodierungstheorem bekannt. Bildet man aus dem Alphabet nach Gl. (.) "Superzeichen" durch Zusammenfassung von K Zeichen, entsteht ein neues Alphabet q [K] (q [K], q[k] 2, q[k] 3...q[K] M ) mit (.29) M = N K (.3) Zeichen. Wir definieren entsprechend Gl. (.2 ;.4) die Wahrscheinlichkeit des Auftretens eines Superzeichens P [K] [(P [K] (), P [K] (2),...P [K] (M)] ; und seinen Informationsgehalt: I(q [K] i ) log 2 P [K] (i) Ordnet man nun jedem Superzeichen Wort der Länge L [k] (i) zu, a [K] i (a [K] i, a[k] i2, a[k] i3...a[k] il [K] i M P [K] (i) i (.3) (.32) q [K] i ein binäres ) ; a [K] ij oder, (.33) IT7 Unter diesen Voraussetzungen gilt dann das Quellen codierungstheorem: H(q) L H(q) K (.36) Beweis: Für den in Gl. (.29) bis (.35) konstruierten Code mit Superzeichen muss zunächst die Gl. (.4) gelten: H(q [K] ) L [K] H(q [K] ) Dabei ist H(q [K] M ) P [K] (i) log 2 P [K] (i) i (.37) (.38) Zur bessern Übersicht sei der Beweis hier nur für K = 2 fortgeführt, für K > 2 gilt eine äquivalente Argumentation. Sind die Zeichen des Originalalphabets q statistisch unabhängig, gilt : P [2] (i) P(j)P(m) ; i N 2 j N m N Man erhält dann mit Gl. (.38): N N H(q [2] ) { P(j) P(m) log 2 [P(j) P(m)] } j m N N H(q [2] ) { [P(j) P(m) log 2 P(j) P(j) P(m)log 2 P(m)]} j m N N N N P(j) P(m) log 2 P(j) P(j) P(m)log 2 P(m) j m j m N N N N P(j) P(m) log 2 P(j) P(j) P(m) log 2 P(m) m j j m N N N N P(m) P(j) log 2 P(j) P(j) P(m) log 2 P(m) m j j m H(q) H(q) (.39) (.4) dann enthält der Vektor L [K] [L [K] (), L [K] (2),...L [K] (M)] (.34) Die Entropie H(q) des Originalalphabets q ist von j und m unabhängig, so dass sie aus den beiden Summen ausgeklammert werden kann. die Codewortlängen des binären Codes aller Super zeichen, und die mittlere Codewortlänge zur Übertragung der Superzeichen errechnet sich zu L [K] M P [K] (i) L [K] (i) i. (.35) H(q [2] N ) H(q) P(j) j N H(q) P(m) m 2 H(q) (.4)

16 IT8 Allgemein erhält man: H(q [K] ) K H(q) Eingesetzt in Gl. (.37) ergibt sich K H(q) L [K] K H(q) und nach Division durch K H(q) L[K] K H(q) K (.42), (.43). (.44) L [K] ist die mittlere Codewortlänge eines Superzeichens, das aus K Zeichen des Originalalphabets besteht. L [K] /K ist daher die mittlere Codewortlänge, die man für ein einziges Zeichen des Originalalphabets q unter den genannten Voraussetzungen benötigt. Damit ergibt sich das Quellencodierungstheorem nach Gl. (.36). q.e.d Die Verringerung der Redundanz des Codes gegenüber Gl. (.4) durch Bildung von Superzeichen bringt allerdings auch Nachteile mit sich. Man benötigt für diese Codierung zusätzlichen Speicherplatz und führt damit eine zusätzliche Übertragungsverzögerung ein, was in vie len Fällen unerwünscht ist. Darüber hinaus ist anzumerken, dass die Zusammenfassung von Zeichen zu Superzeichen nicht in jedem Fall Vorteile bringen muss, da die Gl. (.4) und (.36) nur Schranken angeben. Bei einer gegebenen Wahrschein lichkeitsverteilung der Zeichen des Originalalpha bets kann die Coderedundanz für einen optimalen Code so klein sein, dass sich durch die Bildung von Superzeichen für dessen optimalen Code kaum Vorteile ergeben. æ Beispiel: Wir betrachten ein Alphabet mit den vier Zeichen A, B, C und D, die Auftrittswahr schein lichkeiten der Zeichen sind der folgenden Tabelle zu entnehmen. In der Tabelle ist daneben die Entropie des Alpha bets sowie die mittlere Codewortlänge eines optimalen Huffman-Codes angegeben, die Konstuk tionsvorschrift dieses Codes wird in Teil 2 dieser Vorlesung behandelt. Wegen der großen Unterschiede in den Auftrittswahrscheinlichkeiten der Zeichen lässt sich das Alphabet im Mittel mit nur,6 Bit pro Zeichen übertragen, bei gleichverteilter Wahrschein lichkeit benötigte man 2 Bit. Es gilt die Gl. (.4):,622,6,622 Die Coderedundanz nach Gl. (.28) beträgt: R C = L H(q) =,5388 q i P(i) P(i) log 2 P(i) Code L(i) A,9,368 B,4,858 2 C,4,858 3 D,2,29 3 H(q) =,622 L =,6 Bildet man aus diesem Alphabet ein neues Alphabet durch Zusammenfassung von zwei Zeichen, entstehen 4 2 Superzeichen, deren Auftrittswahrscheinlichkeiten in der folgenden Tabelle unter der Bedingung angegeben sind, dass die Zeichen des Originalalphabets statistisch unabhängig auftreten. q [2] i P [2] (i) P [2] (i) log 2 P [2] (i) Code L [2] (i) AA,8,2462 BA,36,727 4 CA,36,727 4 DA,8,43 4 AB,36,727 3 BB,6,49 7 CB,6,49 7 DB,8,82 8 AC,36,727 3 BC,6,49 8 CC,6,49 8 DC,8,82 9 AD,8,43 5 BD,8,82 9 CD,8,82 9 DD,4,45 9 H(q [2] ) =,2424 L [2] =,5556 Es gilt mit Gl. (.4): H(q [2] ) =,2424 L [2] =,5556 2,2424 Mit Gl. (.36) gilt:,622 L[2] 2,778,22 Die Redundanz des Codes beträgt jetzt: R C =,778,622 =,568 Sie ist also wesentlich geringer als bei dem optimalen Code des Originalalphabets, da jetzt im Mittel nur,778 Bit pro Einzelzeichen für die Übertragung benötigt werden, obwohl der Code bis zu neunstellige Binärwörter

17 IT9 enthält. Der Gewinn ist bei dieser Wahrscheinlichkeitsverteilung in erster Linie auf die Tatsache zurückzuführen, dass das häufig vorkommende Superzeichen "AA" mit nur einem Bit übertragen werden kann, während diese Zeichenfolge beim ersten Code immer zwei Bits benötigt. s s s s Zustände ø 2 Gedächtnisbehaftete Einzelquellen Bisher sind wir davon ausgegangen, dass die Zeichen einer Quelle statistisch unabhängig ausgegeben werden. Die in Nachrichtenkanälen zu übertragenden Zeichen repräsentieren jedoch häufig Sprache oder Bilder, aufein anderfolgende Zeichen solcher Quellen sind keineswegs statistisch unabhängig. Solche Quellen lassen sich durch sogenannte Markov -Prozesse modellieren, die im Folgenden behandelt werden 2 Zeit n 2. Markov-Prozesse. Ordnung Wir betrachten eine Anordnung entsprechend Bild 2., in der ein Ball (blau markiert) durch N=4 Kanäle fällt, die den Zuständen s bis s 4 zugeordnet sind. Die Ka nä le sind in äquidistanten Abständen unterbrochen, in die sen Bereichen befinden sich Stifte (schwarz mar kiert), die den Ball ablenken, so dass er anschließend in einen ande ren Kanal gelangen kann. Zu den diskreten Zeitpunkten n befindet sich der Ball in irgendeinem der N Zustände (Kanäle), es wird dann ein dem Zustand eindeutig zugeordnetes Zeichen (zum Beispiel A, B, C, D) ausge geben. Die Ablenkung des Balls durch die Stifte ist in der Regel nicht eindeutig und kann nur durch die Angabe von Wahr scheinlichkeiten beschrie ben werden, so dass die abge gebene Zeichenfolge sto chastisch ist. Man bezeichnet eine solche Anordnung als zeit- und wertdiskreten Markov-Prozess, die von dem Prozess abgegebene Zeichen folge als Markov-Kette. Wir definieren mit P n (j) (2.) die Wahrscheinlichkeit, dass sich der Ball zum Zeitpunkt n im Zustand s j befindet. Diese Wahrscheinlichkeiten lassen sich durch einen Zeilenvektor mit N Komponenten angeben, im Fall von Bild 2. sei dieser Vektor mit P n [ P n () P n (2) P n (3) P n (4)] (2.2) angegeben. Ein solcher Vektor kann auch für n= mehrere von verschiedene Komponenten haben, d. h. der Prozess muss nicht in einem eindeutig definierten Zustand beginnen Andrei Andrejewitsch Markov, russ. Math., Bild 2.: Markov-Prozess Wir definieren mit P n2,n (j i) ; n 2 n (2.3) die bedingte Wahrscheinlichkeit, dass der Ball zum Zeitpunkt n 2 den Zustand s j einnimmt, wenn er sich zum Zeitpunkt n im Zustand i befand. Ein Markov-Prozess heißt homogen, wenn die in Gl. (2.3) angegebene bedingte Wahrscheinlichkeit nur von der Zeitdifferenz n 2 n, nicht jedoch von der Wahl des Absolutzeitpunkts n 2 abhängt. Wir betrachten hier nur homogene Markov-Prozesse. Wir definieren mit P n2,n (ji) P n,n 2 (ij) ; n n 2 (2.4) die verbundene Wahrscheinlichkeit, dass sich der Ball zum Zeitpunkt n 2 im Zustand s j befindet und sich zum Zeitpunkt n im Zustand i befand. Wenn für die bedingte Wahrscheinlichkeit zweier aufeinanderfolgender Zeitpunkte P n,n (j i) P n,n,m (j ik) ; m n k (2.5) gilt, spricht man von einem Markov-Prozess. Ordnung. Die nach Gl (2.5) gegebene bedingte Wahrschein lichkeit ist damit nur vom vorherigen Zustand, nicht jedoch von den Zuständen der Zeitpunkte kleiner n abhängig. Man sagt auch, dass die bedingte Wahrscheinlichkeit nur ein um eine Zeitdifferenz zurückliegendes Gedächtnis besitzt, d. h. man kann die Wahrschein lichkeit eines Zustands zum Zeitpunkt n angeben, wenn der Zustand zum Zeitpunkt n bekannt ist.

18 IT Da diese bedingte Wahrscheinlichkeit in einem homogenen Markov-Prozess unabhängig von n ist, schreiben wir verkürzt: P n,n (j i) P(j i) (2.6) Diese Wahrscheinlichkeiten werden auch Übergangswahrscheinlichkeiten genannt, ihre Anzahl beträgt N 2. Das Verhalten eines Markov-Prozesses.Ordnung kann in Form eines Zustandsgraphen angegeben werden, wobei die Zahlen an den Richtungspfeilen von einem in den an deren Zustand die Übergangswahrscheinlichkeiten sind. æ Beispiel: Der Prozess nach Bild 2. sei ein Markov- Prozess. Ordnung mit folgenden Übergangswahrschein lich keiten: P( ) 2 P( 2) 3 P( 3) P( 4) P(2 ) 2 P(2 2) 3 P(2 3) 3 P(2 4) Â Die Kugel muss sich zum Zeitpunkt n in irgendeinem der N Zustände befinden. N P n (j) j n (2.8) Â Wenn die Kugel sich zum Zeitpunkt n im Zustand s i befand, muss sie sich zum Zeitpunkt n in irgendeinem Zustand befinden. N P(j i) n & i j (2.9) Â Die Summe der Verbundwahrscheinlichkeiten zweier verschiedener beliebiger Zeitpunkte muss sein, da irgendeine Kombination aufgetreten sein muss. N N P (ji) ; n n 2 j i n2,n (2.) P(3 ) P(3 2) 3 P(3 3) 3 P(3 4) 2 P(4 ) P(4 2) P(4 3) 3 P(4 4) 2 (2.7) Â Die Wahrscheinlichkeit, dass sich die Kugel zum Zeitpunkt n im Zustand s j befindet, ist gleich der Summe der Verbundwahrscheinlichkeiten des Zustands s j mit allen Zuständen zum Zeitpunkt n. Dann kann das Verhalten des Prozesses durch den in Bild 2.2 angegebenen Zustandsgraphen beschrieben werden. P n (j) N P n,n (ji) i (2.) /2 /2 Â Aufgrund der Definition der bedingten Wahrschein lichkeit, s s4 P(j i) P n,n (j i) P n,n (ji) P n (i), (2.2) /2 /3 /3 /3 /2 kann die Wahrscheinlichkeit des Auftretens des Zustands s j zum Zeitpunkt n nach Gl. (2.) auch durch die Über gangswahrscheinlichkeiten und die Zustandswahrscheinlichkeiten zum Zeitpunkt n ausgedrückt werden. /3 s2 s3 /3 /3 Bild 2.2 : Zustandsgraph eines Markov-Prozesses ø Für die oben definierten Wahrscheinlichkeiten gelten allgemein bei N Zuständen folgende Eigenschaften: N P n (j) P n (i) P(j i) i (2.3) Definiert man nun eine NN Übergangsmatrix p, die alle Übergangswahrscheinlichkeiten in folgender Form enthält, P( ) P( 2) p : P( N) P(2 ) P(2 2) : P(2 N).... :.. P(N ) P(N 2) : P(N N), (2.4)

19 dann kann Gl. (2.3) mit Hilfe der Definition Gl. (2.2) in kompakter Form geschrieben werden. P n P n p Sukzessives Einsetzen beginnend mit P P p liefert dann die wichtige Beziehung: (2.5) (2.6) P n P p n (2.7) Ein homogener Markov-Prozess erster Ordnung ist durch die Angabe der Anfangswahrscheinlichkeiten der Zustände und der Übergangsmatrix vollständig bestimmt. IT Ein Markov-Prozess heißt determinert, wenn die Übergangsmatrix in jeder Zeile nur eine (einzige) enthält. Determinierte Markov-Prozesse geben perio dische Markov-Ketten aus. Ein Markov-Prozess heißt zerfallend, wenn man von einem Zustand auch nach beliebig vielen Schritten nicht mehr in alle anderen Zustände gelangen kann. Der Zustands graph besteht dann aus Teilmengen von Zuständen, die nur in sich selbst mit Pfeilen (mit Übergangswahrscheinlichkeiten größer Null) verbunden sind. Determinierte und zerfallende Markov-Prozesse werden hier nicht weiter behandelt. Ein Markov-Prozess heißt stationär, wenn die Wahrschein lichkeitsverteilung der Zustände für alle Zeitpunkte gleich, also unabhängig von n ist. Mit P n P n P muss mit Gl. (2.4) dann gelten: (2.23) (2.8) P P p (2.24) Der Zustandsgraph alleine charakterisiert einen Markov-Prozess also nur unvollständig, wenn nicht ein später noch zu definierender Sonderfall vorliegt. æ Beispiel: Der Prozess nach Bild 2. habe nach Gl. (2.7) folgende Übergangsmatrix: 2 3 p (2.9) Es seien die Wahrscheinlichkeiten der Startpositionen gleichverteilt, d. h. P [ ]. (2.2) Dann ist die Wahrscheinlichkeit der Lage der Kugel in den Positionen s bis s 4 nach drei Schritten durch P 3 P p 3 [,22,2998,2998,22] (2.2) gegeben, und man erhält nach unendlich vielen Schritten als Grenzwert: P lim P p n [,2,3,3,2] n (2.22) Auch bei einem anderen Vektor P landet die Kugel nach unendlich vielen Schritten mit der in Gl. (2.22) angegebenen Wahrscheinlichkeits ver teilung in den vier verschiedenen Schächten, weil p n in diesem Beispiel einen eindeutigen Grenzwert besitzt. ø P muss damit ein Eigenvektor der Übergangsmatrix p für den Eigenwert i = sein, außerdem muss p die Beding ung Gl. (2.8) einhalten. Man kann zeigen [69], dass eine Übergangsmatrix wegen der Bedingung Gl. (2.9) mindestens einen Eigenwert i = besitzt. Ein sta tio närer Markov-Prozess ist durch seine Übergangs ma trix alleine vollständig bestimmt, weil sich der Anfangs vektor unter der Annahme der Stationarität aus der Übergangsmatrix eindeutig berechnen lässt. æ Beispiel: Die in Gl. (2.9) angegebene Übergangsmatrix besitzt die Eigenwerte 2,7287 3,2287 4,667 (2.25) Der einzige Eigenvektor, der bei = die Gl. (2.8) einhält, lautet: P [,2,3,3,2] (2.26) Startet also der Prozess bei dieser Übergangsmatrix mit dieser Wahrscheinlichkeitsverteilung, ändert sich diese nicht in den folgenden Schritten. ø Ein Markov-Prozess heißt weiß, wenn zeitlich aufeinanderfolgende Zustände statistisch unabhängig eingenommen werden. Eine statistische Unabhängigkeit ist

20 be kannt lich gegeben, wenn die verbundene Wahrschein lichkeit gleich dem Produkt der Wahrschein lichkeiten der Einzelereignisse ist, also IT2 gilt. Da P und P nicht von n abhängig sind, muss dann p n gegen eine konstante Matrix konvergieren, P n,n (ji) P n (j) P n (i) (2.27) lim n p n p const., (2.36) gilt. In einem homogenen Prozess setzt dies auch Stationarität voraus. Eingesetzt in Gl. (2.2) folgt dann P(j i) P n (j) P(j), (2.28) d. h. die Übergangsmatrix enthält als Zeilen den immer gleichen Vektor P. P P p w : P (2.29) æ Beispiel: Der Prozess nach Bild 2. habe folgende Übergangsmatrix:,2,2 p w,2,2,3,3,3,3,3,3,3,3,2,2,2,2 (2.3) Dann handelt es sich um die Übergangsmatrix eines weißen Markov-Prozesses. Gl. (2.7), die hier wiederholt sei, P n P p n w liefert wegen N P (j) j und P w p n w, (2.3) (2.32) (2.33) bei beliebigem Vektor P in jedem Schritt den immer gleichen Vektor P n P [,2,3,3,2] ø (2.34) Ein Markov-Prozess heißt regulär, wenn der Prozess gegen einen stationären Zustand konvergiert, d. h. wenn lim P n P lim P p n n n (2.35) und wegen Gl. (2.5) muss bei n P P p (2.37) gelten. P muss also ein Eigenvektor für den Eigenwert i = der Matrix sein, gegen die p n konvergiert. Es stellt sich nun die Frage, unter welchen Umständen die Übergangsmatrix gegen eine konstante Matrix und die linke Seite von Gl. (2.7) dann bei n gegen einen konstanten Vektor P konvergieren. Die folgenden Ausführungen sollen hier nicht bewiesen werden, für die Beweise sei auf die Literatur [68, 69, 7] verwiesen. Wie bereits erwähnt, besitzt die Übergangsmatrix mindes tens einen Eigenwert i =. Man kann zeigen, dass alle Eigenwerte betragsmäßig gleich oder kleiner sind. Besitzt p die Eigenwerte i, dann besitzt p n die Eigenwerte n i und die gleichen Eigenvektoren wie p. Auf der Basis dieser Aussagen lässt sich der folgende Satz beweisen: Besitzt die Übergangsmatrix p nur einen einzigen Eigenwert =, dann konvergiert p n bei n gegen eine Matrix p = p w eines weißen Markov-Prozesses. Die Zeilen der Matrix p enthalten alle den Grenzwert des Wahrscheinlichkeitsvektors P der Zustände. (2.38) æ Beispiel: Die Übergangsmatrix Gl. (2.9) besitzt nach Gl. (2.25) nur einen einzigen Eigenwert bei. Die n-te Potenz dieser Matrix konvergiert bei n gegen die Matrix Gl. (2.3), p w p, und es gilt Gl. (2.37) mit P nach Gl. (2.34). Die Matrix Gl. (2.3) besitzt einen Eigenwert bei und drei Eigenwerte bei. ø Da mit Gl. (2.7) auch P n P m p nm (2.39) gilt, folgt daraus, dass zwei zeitlich um (nm) diffe rierende Zustände in einem regulären Markov-Pro zess statis tisch unabhängig sind, wenn die Zeitdifferenz ge nügend groß ist.