Codes on Graphs: Normal Realizations

Transkript

1 Codes on Graphs: Normal Realizations Autor: G. David Forney, Jr. Seminarvortrag von Madeleine Leidheiser und Melanie Reuter

2 Inhaltsverzeichnis Einführung Motivation Einleitung Graphendarstellungen Trellis Factor Graph Normal Graph Algorithmus Cut-Set Bound Sum-Product Algorithmus Belief-Propagation

3 Einführung Graphendarstellungen Algorithmus Motivation Motivation Einleitung Ausgangspunkt: Senden von codierten (binären) Nachrichten über einen Kanal, dabei können die Nachrichten beschädigt werden Algorithmus zur Fehlerbehebung beim Decodieren

4 Einführung Graphendarstellungen Algorithmus Einleitung Motivation Einleitung Definition: Eine generalized state realization besteht aus symbolvariables, state-variables und constraints. Darstellung für einen Code

5 Einführung Graphendarstellungen Algorithmus Einleitung Motivation Einleitung Beispiel: (8,4,4) Hamming Code, allg.: (n, k, d) Code n = 8 Länge der Codewörter/ Anzahl der symbol variables k = 4 Anzahl der information Bits d = 4 Hamming Distanz

6 Einführung Graphendarstellungen Algorithmus Einleitung Motivation Einleitung 4 constraints: ergeben die parity-check Matrix H y y 2 y 3 y 4 = y 2 y 4 y 5 y 7 = y 3 y 4 y 5 y 6 = y 5 y 6 y 7 y 8 = H =

7 Einführung Graphendarstellungen Algorithmus Einleitung Motivation Einleitung Decodierung: parity-check Matrix H wissen: gültige Codewörter erfüllen H y = Codierung: generator Matrix G Generierung von gültigen Codewörtern: y = u T G In unserem Beispiel: y F 2 8 und u F 2 4

8 Einführung Graphendarstellungen Algorithmus Einleitung Motivation Einleitung allgemein gilt: hier: der (8,4,4) Code ist selbst-dual G=H G = G T H = Die 4 Zeilen werden Generatoren genannt. Jede Linearkombination erzeugt ein zulässiges Codewort.

9 Einführung Graphendarstellungen Algorithmus Einleitung Motivation Einleitung Definition: span eines Codewortes = Intervall vom ersten bis zum letzten Eintrag in der Matrix, der ungleich ist. minimum-span generator Matrix = Menge von k linear unabhängiger Generatoren mit kürzest möglicher effektiver Länge (=> trellis-oriented generator Matrix)

10 Einführung Graphendarstellungen Algorithmus Einleitung Motivation Einleitung Theorem: Eine Menge von k linear unabhängiger generators ist eine minimum-span generator Matrix genau dann, wenn die Start- und Endzeiten aller spans unterschiedlich sind.

11 Einführung Graphendarstellungen Algorithmus Einleitung Motivation Einleitung G ist bereits eine minimum-span generator Matrix Nebenstehende Matrix ist keine solche Matrix G = G ' =

12 Trellis Einführung Graphendarstellungen Algorithmus Trellis Factor Graph Normal Graph

13 Einführung Graphendarstellungen Algorithmus Trellis Trellis Factor Graph Normal Graph y y 2 y 3 y 4 =

14 Einführung Graphendarstellungen Algorithmus Trellis Trellis Factor Graph Normal Graph,,,,,, y y 2 y 3 y 4 = y 2 y 4 y 5 y 7 = y 3 y 4 y 5 y 6 = y 5 y 6 y 7 y 8 =

15 Einführung Graphendarstellungen Algorithmus Trellis Trellis Factor Graph Normal Graph y y 2 y 3 y 4 = y 2 y 4 y 5 y 7 = y 3 y 4 y 5 y 6 = y 5 y 6 y 7 y 8 =

16 Trellis Einführung Graphendarstellungen Algorithmus Trellis Factor Graph Normal Graph

17 Einführung Graphendarstellungen Algorithmus Trellis Trellis Factor Graph Normal Graph

18 Einführung Graphendarstellungen Algorithmus Factor Graph Trellis Factor Graph Normal Graph u u2 u3 u4 C C C C C C C C y y2 y3 y4 y5 Y6 y7 y8 C C C C C C C C y y2 y3 y4 y5 Y6 y7 y8 C C C C C C C C

19 Einführung Graphendarstellungen Algorithmus Normal Graph Trellis Factor Graph Normal Graph Definition: Ein normal Graph ist ein Graph, in dem jede symbol variable Grad und jede state variable Grad 2 hat. Symbol variables werden durch einen dongle dargestellt, state variables als Kanten.

20 Einführung Graphendarstellungen Algorithmus Normal Graph Trellis Factor Graph Normal Graph C C C C C C C C

21 Einführung Graphendarstellungen Algorithmus Cut-Set Bound Cut-Set Bound Sum-Product Algorithmus Belief Propagation Y P ={y, y 2, y 3, y 4 } Y F ={y 5, y 6, y 7, y 8 } CP CF Entfernen einer Kante teilt Graphen in Past und Future auf Y P : symbol variables von Past Y F :symbol variables von Future C P : constraints von Past C F : constraints von Future

22 Einführung Graphendarstellungen Algorithmus Cut-Set Bound Cut-Set Bound Sum-Product Algorithmus Belief Propagation s j Für einen Wert der state variable besteht die Menge der mit s j konsistenten Codewörter aus Y ( ) Ps j Y F ( s j ) Y P Y F CP CF

23 Einführung Graphendarstellungen Algorithmus Cut-Set Bound Cut-Set Bound Sum-Product Algorithmus Belief Propagation Definition: Cut Set: Minimale Menge von Kanten, die einen Graph in zwei unverbundene Untergraphen aufteilt. Lemma: Ein Graph ist kreisfrei jede Kante ist ein Cut set

24 Einführung Graphendarstellungen Algorithmus Cut-Set Bound Cut-Set Bound Sum-Product Algorithmus Belief Propagation Theorem: Cut-set-bound Gegeben sei eine graphische kreisfreie Realisierung eines Codes C und ein cut-set X, dann ist die Größe des Alphabets (hier (,) ) von unten begrenzt durch die minimal state space n size eines trellis an der selben Trennstelle.

25 Einführung Graphendarstellungen Algorithmus Cut-Set Bound Cut-Set Bound Sum-Product Algorithmus Belief Propagation C C C C C C C C Die Komplexität kreisfreier Graphen ist von unten beschränkt.

26 Einführung Graphendarstellungen Algorithmus Cut-Set Bound Cut-Set Bound Sum-Product Algorithmus Belief Propagation (24,2,8) Golay Code = =6

27 Sum-Product Algorithmus Einführung Graphendarstellungen Algorithmus Cut-Set Bound Sum-Product Algorithmus Entwickeln den Algorithmus auf einem kreisfreien normal graph als APP (= a posteriori probability) Decodierung.

28 Sum-Product Algorithmus Notationen: Einführung Graphendarstellungen Algorithmus Cut-Set Bound Sum-Product Algorithmus Menge der symbol variables: {Y i, i I } erhaltenes Wort: r = {r i, i I } Codewort: y = {y i, i I }

29 Sum-Product Algorithmus Einführung Graphendarstellungen Algorithmus Cut-Set Bound Sum-Product Algorithmus likelihood Vektoren, wobei das Alphabet von Y i ist {{p r i y i, y i i },i I } i likelihood des Codewortes y: pr y = i I p r i y i (komponentenweises Produkt) APPs {p y r, y C } Teilmenge der Codewörter, in denen die symbol variable den Wert y i i annimmt: C i y i Y i

30 Sum-Product Algorithmus Einführung Graphendarstellungen Algorithmus Annahme: gleichwahrscheinliche Codewörter Cut-Set Bound Sum-Product Algorithmus Bayes Gesetz p y r = p r y p y p r pr y, y C

31 Sum-Product Algorithmus APP Vektor Einführung Graphendarstellungen Algorithmus Cut-Set Bound Sum-Product Algorithmus py i = y i r= y Ci y i p y r y Ci y i p r y = y Ci y i i I pr i y i, y i i

32 Sum-Product Algorithmus Einführung Graphendarstellungen Algorithmus Cut-Set Bound Sum-Product Algorithmus Belief Propagation Genauso für states: C j s j Teilmenge der Codewörter, die konsistent sind mit der state variable j, die den Wert s j aus dem Alphabet S j annimmt. p j = s j r y C j s j i I p r i y i, s j S j

33 Sum-Product Algorithmus Einführung Graphendarstellungen Algorithmus Cut-Set Bound Sum-Product Algorithmus Belief Propagation Es gibt zwei grundlegende Regeln für den Algorithmus:. Past-future decomposition rule 2. Sum-product update rule

34 Sum-Product Algorithmus Past future decomposition rule: C j s j = Y P s j Y F s j Einführung Graphendarstellungen Algorithmus Cut-Set Bound Sum-Product Algorithmus Belief Propagation Cartesian-product distributive law: Für X, Y disjunkte, diskrete Mengen und f(x) und g(y) zwei Funktionen, die auf X und Y definiert sind, gilt: x, y X Y f xg y = x X f x y Y g y

35 Sum-Product Algorithmus Einführung Graphendarstellungen Algorithmus Cut-Set Bound Sum-Product Algorithmus Belief Propagation Past future decomposition rule für state variables: p j = s j r y F Y F s j i I F p r i y i y P Y F s j i I P pr i y i p j =s j r P p j =s j r F

36 Sum-Product Algorithmus Einführung Graphendarstellungen Algorithmus Cut-Set Bound Sum-Product Algorithmus Belief Propagation Past future decomposition rule für symbol variables: py i = y i r pr i y i y Ci y i i i p r i y i p y i r i p y i r i i

37 Sum-Product Algorithmus Beispiel: Einführung Graphendarstellungen Algorithmus Cut-Set Bound Sum-Product Algorithmus Belief Propagation p y i = p i p y i = q i Normalerweise: i p i oderq i Wahrscheinlichkeit für ein erhaltenes Codewort y Ci y i i p i oder q i Wahrscheinlichkeit für alle Codewörter, die an Stelle i den Wert y i annehmen

38 Sum-Product Algorithmus Einführung Graphendarstellungen Algorithmus Cut-Set Bound Sum-Product Algorithmus Belief Propagation Y,...,4 Past state Y 5,...,8 Future p... p 8 p... p 4 q 5... q 8 q... q 4 p 5... p 8 q... q 8

39 Sum-Product Algorithmus Mit der past-future decomposition rule: Einführung Graphendarstellungen Algorithmus Cut-Set Bound Sum-Product Algorithmus Belief Propagation p p 2 p 3 p 4 q q 2 q 3 q 4 p 5 p 6 p 7 p 8 q 5 q 6 q 7 q 8 Reduzierung auf 6 Multiplikationen und 2 Additionen

40 Sum-Product Algorithmus Sum-product update rule: Einführung Graphendarstellungen Algorithmus Cut-Set Bound Sum-Product Algorithmus Belief Propagation p j =s j r P = Ck s j j K jk p j =s j r P j

41 Sum-Product Algorithmus Der Algorithmus: Einführung Graphendarstellungen Algorithmus Cut-Set Bound Sum-Product Algorithmus Belief Propagation pro Kante 2 APP Vektoren für past und future. nach sum-product update rule Berechnen jeder Nachricht an allen Kanten 2 Nachrichten: alle APPs können mit der Past-future decomposition rule berechnet werden

42 Sum-Product Algorithmus Einführung Graphendarstellungen Algorithmus Cut-Set Bound Sum-Product Algorithmus Belief Propagation BCJR Algorithmus: (Bahl-Cocke-Jelinek-Raviv) läuft auf einem chain-graph of a trellis Y Y Y 2 Y 3 Y 4 Y 5 C ε ι α C ε ι α 2 C 2 ε 2 ι 2 α 3 C 3 ε 3 ι 3 α 4 C 4 ε 4 ι 4 α 5 ι 5 C 5 ε 5 β β 2 β 3 β 4 β 5 Berechnung von α, β, ε mit sum-product update rule Berechnung der APP Vektoren: komponentenweise Multiplikation der ι und ε nach der past-future decomposition rule

43 Einführung Graphendarstellungen Algorithmus Tanner Graph Cut-Set Bound Sum-Product Algorithmus Belief Propagation

44 Belief Propagation Einführung Graphendarstellungen Algorithmus Cut-Set Bound Sum-Product Algorithmus Belief Propagation = = = = = = = =

45 Belief Propagation Einführung Graphendarstellungen Algorithmus Cut-Set Bound Sum-Product Algorithmus Belief Propagation y y y2 y y + p i =P y i = r q i =P y i = r y2 p p p q p p q q P y 2 = r= p p q q P y 2 = r= p q q p

46 Belief Propagation Einführung Graphendarstellungen Algorithmus Cut-Set Bound Sum-Product Algorithmus Belief Propagation y =ln p q y =ln p q y 2 =ln p p q q p q q p Zur besseren Lesbarkeit definieren wir: y := x y := y y 2 :=z z =ln p q p q p q p q =ln p q p q p p q q =ln e x e y e x e y

47 Belief Propagation Einführung Graphendarstellungen Algorithmus Cut-Set Bound Sum-Product Algorithmus Belief Propagation ln e x e y e x e y x =ln e 2 e y x y 2 e 2 2 e x y x y e 2 e 2 =ln cosh x y 2 cosh x y 2 =ln cosh x 2 cosh y 2 sinh x 2 sinh y 2 cosh x 2 cosh y 2 sinh x 2 sinh y 2

48 Belief Propagation Einführung Graphendarstellungen Algorithmus Cut-Set Bound Sum-Product Algorithmus Belief Propagation ln sinh x 2 sinh y 2 / cosh x 2 cosh y 2 sinh x 2 sinh y 2 / cosh x 2 cosh y 2 =ln tanh x 2 tanh y 2 tanh x 2 tanh y 2

49 Belief Propagation Einführung Graphendarstellungen Algorithmus Cut-Set Bound Sum-Product Algorithmus Belief Propagation ln tanh x 2 tanh y 2 tanh x 2 tanh y 2 z =2artanh tanh x 2 tanh y 2

50 Belief Propagation Einführung Graphendarstellungen Algorithmus Cut-Set Bound Sum-Product Algorithmus Belief Propagation = = = = = = = =

51 Vielen Dank für die Aufmerksamkeit!