Mathematische Methoden der graphischen Datenverarbeitung

Transkript

1 Teil I: Aufgaben der Bildverarbeitung: Komprimierung (compression); Mathematische Methoden der graphischen Datenverarbeitung PD Dr.(USA) Maria Charina Originalbild, 30Kbt Komprimiertes Bild, 7Kbt Teil I: Aufgaben der Bildverarbeitung: Entrauschen (denoising). Teil II: Interpolation und Approximation in den Anwendungen Modellierung und Animation: durch Veränderung von Parametern wird eine Kurve oder Fläche erzeugt, die die gewünschte Form hat.

2 Teil I: Bildkompression mit JPEG und JPEG000 Ablauf der JPEG Kompression: JPEG (Joint Photographic Experts Group) wurde 99 entwickelt und hat sich im Internet als Bildstandard durchgesetzt. Ursprüngliche Datei.bmp Schwerpunkte: hohe Kompressionsrate; hohe Geschwindigkeit zum Kodieren und Dekodieren. Komprimierte Datei.jpg. Bilddarstellungen. Motivation Kriterium für die Qualität eines Bildes ist die menschliche Wahrnehmung des Bildes (menschliches Auge).. Schwarz-weiße Bilder Definition: Ein Bild ist eine N N Matrix B = (B[i, j]) mit ganzzahligen Einträgen (Pixeln) B[i, j] {0,...,55}. 8 Bit-Farbtiefe: Millionen schwarz-weiße Rezeptoren, 00 Grautöne 6 Millionen farbige Rezeptoren: rot, grün, blau. Ein 3 3 Bild benötigt 04 8Bit =: kbyte

3 .3 Farbbilde.3. RGB Farbraum (Komputermonitoren) Definition: Ein Bild ist eine N N 3 Matrix B = (B[i, j, k]) mit ganzzahligen Einträgen (Pixeln) B[i, j, k] {0,...,55}..3. YUV Farbraum (PAL System) Y Luminanz (Helligkeit) U und V Chrominanzen (Farbigkeit) mit Y U V = } {{ } reguläre Matrix R G B 0 Y 55.8 U V Pixel[i, j] = Schwarz+B[i, j, ] Rot+B[i, j, ] Gr ün+b[i, j, 3] Blau..3.3 YCbCr Farbraum (digitales Fernsehen).. JPEG: Farbmodelländerung Y Luminanz (Helligkeit) Cb und Cr skalierte Chrominanzen (Farbigkeit) mit Y Cb Cr = } {{ } reguläre Matrix R G B 0 Y Cb Cr 7.5 } {{ } Datei.bmp gespeichert als }{{} RGB Farbraum oder äquivalent }{{} YCbCr Farbraum

4 .. JPEG: Blockeinteilung.3. JPEG: Subsampling } {{ } Datei.bmp gespeichert als }{{} RGB Farbraum oder äquivalent }{{} YCbCr Farbraum Daten können um einen Faktor reduziert werden (verlustbehaftete Kompression).5. JPEG: -dim Diskrete Cosinus Transformation.4. JPEG: Indexverschiebung R G B Y Cb Cr { 8,...,7} vorzeichenlose Bit vorzeichenbehaftete Bit Verlustbehaftet aber keine Kompression. a) N N DCT Basisbilder; b)-d) zusammengeführte N N DCT Blöcke. (N = 8)

5 Beispiel: JPEG: -dim DCT via -dim DCT C Block (C Block) C T Block nach DCT: Separierbarkeitseigenschaft der -dim DCT.5. (i) -dim DCT ist nicht symmetrisch, denn für N = 8 gilt.5. JPEG: Eigenschaften der -dim DCT: (i) -dim DCT ist nicht symmetrisch; (ii) -dim DCT ist eine unitäre Transformation; (iii) Rechenaufwand: O(N ). Kann aber mit Hilfe der schnellen Fourier Transformation in O(N log N) berechnet werden; (iv) -dim DCT ist eine Rotation in R N ; (v) -dim DCT ist eine der Techniken zur Dekorrelation. mit C = 8 a b c d d c b a a b b a a b b a b d a c c a d b c a d b b d a c b a a b b a a b d c b a a b c d a = cos π 6 a = cos π b = cos 3π 6 b = cos 6π 6 c = cos 5π 6 d = cos 7π 6

6 .5. (iii) inverse DCT (IDCT) Beispiel: ( DCT : ˆB = C B C T = C 3 4 IDCT : B = 5 ( ) ( ) ( C T 5 = 0 ) ( ). ).5.(iii) Sei N = l, l N. [ ˆx F k + j N ] = ) ( ) ) ((F N x gerade [k] + ( ) j e iπk N F N x ungerade [k] N j = 0, und k = 0,..., N Rechenaufwand: R(N) = R(N/) + Induktiv: R(N) = m R( l m ) + m l+, }{{} N + }{{} N Additionen Multiplikationen m =,...,l. Ist die Rekonstruktion von B immer möglich? Für m = l: R(N) = l R() + l l+ = N(R() + log N) = O(N log N)..5. (iii) schnelle Fourier Transformation (FFT) für N = 8.5. (iii) DFT und DCT W N := e πi N, k = 0,...,7. Gibbs Phänomen, Unstetigkeit der periodischen Fortsetzung

7 .5. (iii) Energieerhaltung.5. (v) Beispiel (Erwartungswert): Würfel wurden 400 mal zusammen geworfen Seien x R N und A R N N, A T A = AA T = E. Dann gilt Beweis: Sei y = A x. N A x = k=0 A x = x. y [k] = y T y = x T A T Ax = x. Unitäre Transformationen ändern die Länge (Energieinhalt) eines Vektors nicht. Ω := {(, ); (, );...,(6, 6)}..5. (v) Beispiel (Erwartungswert):.5. (v) Beispiel (Erwartungswert): jedem Ereignis wird die Augensumme zugeordnet Zufallsvariable X : Ω {, 3, 4, 5, 6, 7, 8, 9, 0,, } =: Ω. Mittelwert: x = x Ω x relative Häufigkeit(x) = 7.6

8 .5. (v) Beispiel (Erwartungswert):.5. (v) Beispiel (Kovarianz+Korrelationskoeffizient): Y.5 Y X X Maximale Streuung ist Maximale Streuung ist 4 Erwartungswert E(X) ist die Verallgemeinerung des x: E(X) = x Ω x P(X = x) = 7 Cov(X, Y) = E(X Y) = / Cov(X, Y) = / Kor(X, Y) = Kor(X, Y) = (v) Beispiel (Kovarianz+Korrelationskoeffizient): Y X Y X.5..(v) Beispiel (Cov(X, X ) = 0 X, X stoch. unabh.) Gegeben: Y, Y : Ω {0, } stoch. unabh., P(Y i = 0) = P(Y i = ) = 0.5 gemeinsame WV: P(Y = k, Y = j) = 0.5, k, j = 0, Dann gilt aber Cov(Y + Y, Y Y ) = 0 unkorelliert, Maximale Streuung ist Maximale Streuung ist 4 Cov(X, Y) = E(X Y) = / Cov(X, Y) = P(Y + Y = 0, Y Y = 0) P(Y + Y = 0) P(Y Y = 0), d.h. Y + Y und Y Y sind nicht stoch. unabh. Kor(X, Y) = Kor(X, Y) = 0.707

9 .5. (v): Seien X ein N Markov, stationäres, stoch. Feld und K R N N unitär mit K T Cov(X) K = diag([λ,...,λ N ])..6. JPEG: Quantisierung (verlustbehaftet) Resultat: Unter allen unitären Transformationen Y = A T X verteilt die Karhunen-Loeve-Transformation Y = K T X am meinsten Information auf ersten m Koeffizienten von Y, denn max A T A=E m ( A T Cov(X)A ) [k, k] k=0 m max A=[a,...a N ] a k T a l =0,k l k=0 ( m a k k=0 ( A T Cov(X)A ) [k, k] und ak T a k = m ak T Cov(X)a k + k=0 λ k ( a T k a k ) Damit A = [k,...,k m, a m+,...,a N ], K = [k,...,k N ], da Cov(X)a k = λ k a k, k = 0,...,m. ) = 0, k = 0,...,m. m =,...,N ist beliebig A = K..6. JPEG: Quantisierung ˆB quantisiert [i, j] = sgn(ˆb[i, j]) ˆB[i, j], 0 i, j 7. Q[i, j].6. JPEG: Quantisierung Qualitätsstufen nehmen von links nach rechts ab. Beachte: Multipliziere komponentweise mit Q vor IDCT!

10 .6. JPEG: Quantisierung Zig Zag Scan von DCT Koeffizienten:.7. JPEG: Kodierung Gegeben: Info-Quelle (ZVe) X : Ω Ω = {s,...,s n } mit WV ( P(X = sj ), s j Ω ) j=,...,n. Kodealphabet Σ = {σ,...,σ m } Ziel: Ersetze die Symbole s jk in der Nachricht s j s j... s jk, s jk Ω, durch Kodewörte k(s i ) M>0Σ M, i =,...,n, so dass die erwartete Kodewortlänge n Länge(k(s i )) P(X = s i ) min! i=.7. JPEG: Kodierung Definition: Ein Kode ist das Bild der Abbildung K = {k(s ),...,k(s n )} k : Ω M>0Σ M. Definition: Ein eindeutig dekodierbarer Kode K heißt optimal für eine Info-Quelle X, falls n Länge(k(s i )) P(X = s i ) min! i=.7. JPEG: Kodierung Beispiel (Kode mit fester Bitbreite vs. Huffman Kode): Seien 3 Bitbreite Länge Huffman Länge A B C D E X f : {A, B, C, D, E} {3} X H : {A, B, C, D, E} {, 3} mit P(X H = ) = /5 und P(X H = 3) = 4/5. Dann gilt E(X f ) = 3, E(X H ) =.6 Mit P(X H = ) = 5/39 und P(X H = 3) = 4/39 gilt E(X f ) = 3, E(X H ).3

11 .7. JPEG: Kodierung Beispiel (Kode mit fester Bitbreite vs. Huffman Kode): 3 Bitbreite Länge Huffman Länge A B C D E JPEG: Kodierung Binärbaum: Gesendete Teilnachricht 0 AE? Huffman Kode ist präfixfrei unmittelbar decodierbar..7. JPEG: Kodierung.7. JPEG: Kodierung Konstruktion eines Huffman Baums für Zeichen A B C D E Häufigkeit

12 Huffman Baum pflanzen:. Erzeuge eine nach Wahrscheinlichkeiten sortierte Liste von Bäumen mit jeweils nur einem Knoten (Symbol und seine Wahrscheinlichkeit).. Entferne die letzten beiden Bäume und hänge sie unter eine gemeinsame Wurzel, die die Summe der Wahrscheinlichkeiten ihrer Kinder speichert. Sortiere die Liste von Bäumen um. 3. Wiederhole Schritt., bis nur ein Baum in der Liste enthalten ist. Dieser ist der Huffman Baum. Huffman-Kode erzeugen:. Von der Wurzel ausgehend, für alle eindeutigen Wege, Kode:=leerer String. wenn ein linker Teilbaum beschritten wird, schreibe eine hinter den bisherigen Kode 3. wenn ein rechter Teilbaum beschritten wird, schreibe eine 0 hinter den bisherigen Kode 4. Wiederhole Schritt. oder 3., bis ein Blatt (Symbol) erreicht wird. Schreibe den gefundenen Kode in die Kodetabelle an die Position des jeweiligen Symbols. Huffman-Kodierung: Eigenschaften eines binären, präfixfreien, optimalen Kodes K := { k(s ),... k(s n )}, oder äquivalent Baumes G:. Erzeuge eine Tabelle mit allen im Originaltext vorhandenen Symbolen und deren Wahrscheinlichkeiten. Pflanze den Huffman Baum und erzeuge daraus eine Kodetabelle 3. Durchlaufe den Text und ersetze jedes Symbol mit dem entsprechenden Kode Dekodieren: Kodetabelle. Alle Symbole s j sind Blätter.. G ist vollständig. 3. Seltene Symbole sind tiefer in G als Häufige. 4. Die zwei seltensten Symbole sind Geschwister, d.h. s i, s j : P(X = s i ), P(X = s j ) c(s i ) = u... u M 0 c(s j ) = u... u M, u l {0, }. min P(X = s l) l {,...,n}\{i,j}

13 Satz: Der Huffman-Kode K mit dem Huffman-Baum G ist optimal für jede Info-Quelle X. Beweis: I.A. Ω = {s, s }. Dann ist K = {0, } optimal, da nur Bit pro Symbol benötigt wird. I.S. Sei K nicht optimal. Dann existiert ein binär, präfixfreier, optimaler Kode K mit dem Baum G, so dass n Länge( k(s i )) P(X = s i ) < i= n Länge(k(s i )) P(X = s i ). K optimal seltenste Symbole s j, s j Ω sind Geschwister mit dem Vater v, d.h. i= k(s j ) = k(v)0 und k(s j ) = k(v). Daraus folgt für D = {,...,n} \ {j, j } n Länge( k(s i )) P(X = s i ) Länge( k(s i )) P(X = s i ) = i= i D [ ] + Länge( k(v)) + [P(X = s j ) + P(X = s j ) ] = }{{} =:P(X=v) Länge( k(s i )) P(X = s i ) + P(X = v) < i (Ω {v})\j,j n Länge(k(s Ë i )) P(X = s i ) = i= i (Ω Ë {v})\{j,j } Länge(k(s i )) P(X = s i ) + P(X = v) Widerspruch zur Induktionsvoraussetzung. Beachte: H-Kode ist optimal, nur falls P(X = s j ) = l j, l j N. Arithmetische Codierung: 3. JPEG versus JPEG000. Ausgangsintervall [0, ). Ordne jedem Symbol eines Textes ein Subintervall des Ausgangsintervalls zu, dessen Größe der Wahrscheinlichkeit des Symbols entspricht. Das Subintervall, das dem nächsten Symbol des Textes entspricht, wird zum Ausgangsintervall. 4. Sind noch weitere Symbole zu codieren, dann wiederhole Schritt, sonst zum Schritt Der Code ist eine beliebige Zahl aus dem letzten Ausgangsintervall. Dekodieren: Code und die Anzahl der Textsymbole Original JPEG 9: JPEG000 50: JPEG000 Vorteile: gute Qualität für Kompressionsraten bis : 65

14 Ablauf der JPEG000 Kompression: Zeit Frequenz Ebene: Abtastraten, N = 4, Ursprüngliche Datei.bmp Komprimierte Datei.jp JPEG000 Vorteile: keine Blockeinteilung keine Blockartefakte DCT cos (k + )πj N Wavelet Transformation j ψ( j n kn) -dim Haar Transformation, N=8: -dim Haar Transformation, N=8. Zerlegung V 3 = V W entspricht Matrix Multiplikation mit W =

15 -dim Haar Transformation, N=8. V 3 = V W W entspricht Matrix Multiplikation mit -dim Haar Transformation, N=8. V 3 = V 0 W 0 W W entspricht Matrix Multiplikation mit W W = W 0 W W = dim DWT, N = M : Teilbände Beispiel: Wavelet Arten Haar Daubechies JPEG000 Vorteile: kompakter Träger keine Blockeinteilung Haar Transformation, N = 8: L := H := und L = Bild L T und H = Bild H T

16 -dim DWT, N = M : Teilbände -dim Wavelet Transformation: iteratives Verfahren Haar Transformation, N = 8: LL = L Bild L T HL = L Bild H T Original Iteration Iteration LH = H Bild L T LH = H Bild H T. -dim Wavelet Transformation: schnelle Implementierung -dim DWT: Teilband Quantisierung und -Codierung Beispiel: Quantisierungsmatrix, N = 8, Q = JPEG000 Vorteile: Rechenaufwand O(N) Jedes Teilband ist ein Bild, das separat behandelt wird.

17 -dim DWT: Teilband Quantisierung und -Codierung -dim DWT: Teilband Quantisierung und -Codierung JPEG000 Vorteile: Nachladen der Bilddaten JPEG000 Vorteile: qualitativ hervorgehobene Bildbereiche JPEG000 Nachteile: Qualitätseinbußen bei Kompressionsraten größer : 65; geringe Verbreitung und Unterstützung.