Algorithmen zur optimalen Quantisierung von Signalen

Transkript

1 Algorithmen zur optimalen Quantisierung von Signalen Flavius Guiaş Universität Dortmund Habilitationsvortrag,

2 INHALT 1 Mathematische Grundlagen 2 Ein effizienter Algorithmus für die skalare Quantisierung (X. Wu, 1991) Flavius Guiaş (Universität Dortmund) Algorithmen zur optimalen Quantisierung von Signalen Habilitationsvortrag, / 18

3 BEGRIFFE Signal: W Maß P auf R d (bzw. ZV X mit Verteilung P, oder Dichtefunktion f von P). Quantisierung: Darstellung (Codierung) des Signals durch eine endliche Menge von Quantisierungslevel (Codewörter) c = {y 1,..., y n } R d (Codebuch). n-quantisierer: eine Borel-messbare Abbildung q : R d R d mit q(r d ) n (q F n ). Zellen: S i = q 1 ({y i }) d.h. x S i q(x) = y i (Partition von R d ). Quantisierungsfehler: D(q) = E[d(X, q(x)] = d eine Abstandsfunktion auf R d und ZV X P. n i=1 S i d(x, y i )dp(x), mit häufige Wahl: d(x, y) = x y r mit Norm auf R d, r 1 Parameter. speziell: d(x, y) = x y 2 ( : euklidischer Abstand) Flavius Guiaş (Universität Dortmund) Algorithmen zur optimalen Quantisierung von Signalen Habilitationsvortrag, / 18

4 Historische Beispiele 1898: W.F.Sheppard: On the calculation of the most probable values of frequency constants for data arranged according to equidistant divisions of a scale f(x)=e x2 / Histogramme Flavius Guiaş (Universität Dortmund) Algorithmen zur optimalen Quantisierung von Signalen Habilitationsvortrag, / 18

5 Informationstheorie Oliver, Pierce, Shannon (1948): PCM (pulse-code modulation) akustische Signale 1 Tiefpass-Filter (f s /2) 2 Sampling mit Frequenz f s 3 Quantisierung der Amplituden (A/D-Konversion) 4 Bit-Darstellung: -feste Rate: R = log n -variable Rate (Huffman-Codierung) 5 Übertragung des digitalisierten Signals 6 Dekodierung (D/A-Konversion) d > 1: Vektorquantisierung Shannon (1949,1959): source coding theory Zerlegung des akustischen Signals in d aufeinanderfolgende Blöcke gleichzeitige Quantisierung über R d Flavius Guiaş (Universität Dortmund) Algorithmen zur optimalen Quantisierung von Signalen Habilitationsvortrag, / 18

6 Optimales Codebuch Lösung des Minimierungsproblems inf D(q) = inf E[d(X, q(x))], q F n q F n X P. Flavius Guiaş (Universität Dortmund) Algorithmen zur optimalen Quantisierung von Signalen Habilitationsvortrag, / 18

7 Ein allgemeiner Algorithmus 1 START: beliebiger Quantisierer q 0 mit Codebuch c 0 = {x 1,..., x n }. 2 optimale Partition für gegebenes Codebuch: Voronoi-Diagramm: S i {x R d : d(x, x i ) d(x, x j ), j i}. -definiere q 1 (x) = n x i 1 Si (x). i=1 Flavius Guiaş (Universität Dortmund) Algorithmen zur optimalen Quantisierung von Signalen Habilitationsvortrag, / 18

8 Ein allgemeiner Algorithmus 3 optimales Codebuch für gegebene Partition: -gegeben: S i = q 1 1 ({x i}) -ersetze x i durch y i definiert durch: E[d(X, y i ) X S i ] = min y E[d(X, y) X S i ] y i : Zentroid für S i. n -definiere q 2 (x) = y i 1 Si (x). i=1 Beispiel: d(x, y) = x y 2, (Massenzentrum) y i = S i xdp(x) P(S i ) = E[X X S i ]. Flavius Guiaş (Universität Dortmund) Algorithmen zur optimalen Quantisierung von Signalen Habilitationsvortrag, / 18

9 Ein allgemeiner Algorithmus Abstiegsalgorithmus: alterniere Schritte 1. und 2. Abbruch: falls D(q i ) D(q i+1 ) < εd(q i ). Algorithmus von Lloyd -S.P.Lloyd (1957), d = 1, x y 2 -H.Steinhaus (1956), d = 3, x y 2. Flavius Guiaş (Universität Dortmund) Algorithmen zur optimalen Quantisierung von Signalen Habilitationsvortrag, / 18

10 Konvergenz? notwendige Bedingungen zur (lokalen) Optimalität: 1 Partition optimal zum Codebuch 2 Codebuch optimal zur Partition i.a. nicht hinreichend: Gegenbeispiel: Lloyd (1982). Flavius Guiaş (Universität Dortmund) Algorithmen zur optimalen Quantisierung von Signalen Habilitationsvortrag, / 18

11 Konvergenz? falls P diskretes W Maß : (1) und (2) sind hinreichend zur lokalen Optimalität. weitere notwendige Bedingung: P( S i S j ) = 0 für i j. d.h. wenn Konvergenz, dann evtl. gegen ein lokales Minimum (möglicherweise schlecht!) Flavius Guiaş (Universität Dortmund) Algorithmen zur optimalen Quantisierung von Signalen Habilitationsvortrag, / 18

12 Ansätze simulated annealing (stochastische Relaxation) neues Codebuch + zufälliges Rauschen mit E[ ] = 0. Metropolis-Methode: falls Fehler kleiner, akzeptiere die neue Konfiguration, sonst akzeptiere mit W keit e β D, β = T 1. T : Temperatur (Varianz des Rauschens) verringert im Laufe der Simulation fuzzy-clustering (für diskrete W Maße) genetische Algorithmen neuronale Netze prädiktive Verfahren (mit Gedächtnis): für Folgen von Input-Vektoren (z.b. Videosignale) Prädiktor: Xn = φ( X n 1 ˆ,..., X n m) ˆ Input-Vektor: X n Fehler: X n X q n =: e n = ê n (quantisiert) setze ˆX n = X n + ê n. Flavius Guiaş (Universität Dortmund) Algorithmen zur optimalen Quantisierung von Signalen Habilitationsvortrag, / 18

13 Reduktion der Komplexität Ansätze für die Struktur des Codebuchs (z.b. Gitter) Baum-Strukturierung: schrittweise Eliminierung der ungeeigneten Kandidaten y i in der Berechnung von min j d(x, y j ). Minimiere eine Kombination zwischen Fehlermaß und Kostenfunktion (Komplexitätskosten) Flavius Guiaş (Universität Dortmund) Algorithmen zur optimalen Quantisierung von Signalen Habilitationsvortrag, / 18

14 Mathematische Grundlagen (Graf & Luschgy : Foundations of Quantization for Probability Distributions (2000)) Annahme: d(x, y) = x y r mit Norm auf R d, r 1. Definiere ψ r : R d R, ψ r (a) = E[ X a r ] (konvex). Sei C r (P) = {y : ψ r (y) min} (Zentroide) Falls ψ r strikt konvex C r (P) = 1 (Eindeutigkeit) Hinreichende Bedingungen für strikte Konvexität: r > 1 und ( strikt konvex oder P(S(a, b)) < 1 a, b) (S(a, b) := {x : x a = x b }) r = 1, strikt konvex und P(L) < 1, L R d (Gerade) x + ty x Sei + (x, y) = lim (Richtungsableitung) t 0 + t falls diff bar auf R d \ {0} ( glatt ): (x) (Gradient in x 0). Flavius Guiaş (Universität Dortmund) Algorithmen zur optimalen Quantisierung von Signalen Habilitationsvortrag, / 18

15 1. Äquivalenz n-quantisierungsproblem n-zentren-problem V n,r (P) := inf q F n E[ X q(x) r ] = inf c n E[min a c X a r ] c = {a 1,... a n } ψ n,r (a 1,... a n ) = E[ min 1 i n X a i r ]. n > 1: mehrere Zentren i.a. ψ n,r nicht konvex. Flavius Guiaş (Universität Dortmund) Algorithmen zur optimalen Quantisierung von Signalen Habilitationsvortrag, / 18

16 2. Äquivalenz n-quantisierungsproblem beste Approximation von P durch ein diskretes W Maß mit n Trägerpunkte Abstandsbegriff: V n,r (P) = inf Q P n ρ r r(p, Q) ( ρ r (P 1, P 2 ) = inf x y r dµ(x, y) µ R d R d für P 1, P 2 Borel W Maße auf R d mit x r dp i (x) < ) 1/r wobei µ Borel W Maß auf R d R d mit Marginalien P 1 und P 2 : µ(a R d ) = P 1 (A), µ(r d B) = P 2 (B). Flavius Guiaş (Universität Dortmund) Algorithmen zur optimalen Quantisierung von Signalen Habilitationsvortrag, / 18

17 High resolution theory Theorem (Zador, u.a.) Für Q r ([0, 1] d ) := inf n 1 nr/d V n,r (U([0, 1] d )) gilt Q r ([0, 1] d ) > 0 und, falls E[ X r+δ ] < für ein δ > 0 und dp = fdλ d, r = 2, = : lim n nr/d V n,r (P) = Q r ([0, 1] d ) f L d/d+r. n 2/d V n,r (U([0, 1] d )) = n 2/d n i=1 n = n (λ 2/d d (S i ) (d+2)/d i=1 n = n 2/d M(S i, y i ) λ d (S i ) (d+2)/d i=1 S i x y i 2 dx S i x y i 2 dx ) λ d (S i ) (d+2)/d Flavius Guiaş (Universität Dortmund) Algorithmen zur optimalen Quantisierung von Signalen Habilitationsvortrag, / 18

18 High resolution theory M(S i, y i ): Trägheitsmoment. falls n und alle Zellen kongruent ( S): Gersho s Vermutung (1979): Q 2 ([0, 1] d ) n 2/d n M(S) n (d+2)/d = M(S). das inf wird erreicht falls alle Zellen kongruent zu einer Zelle sind, welche R d tesseliert. Diese Tesselation ist eine Voronoi-Partition entsprechend zu einem Gitter. d = 2: wahr (L.Fejes Toth (1959)) Hexagone d = 3 (?) bestes Gitter: kubisches Gitter, Tesselation durch Oktahedren numerische Experimente: Du& Wang (2005) Flavius Guiaş (Universität Dortmund) Algorithmen zur optimalen Quantisierung von Signalen Habilitationsvortrag, / 18