Echtzeit Videoverarbeitung

Transkript

1 Transformation Marcus Barkowsky Seite 1

2 Überblick Allgemeines Aufgabe Länge der Transformation Arten von Transformationen Trigonometrische Transformationen Sub Band Zerlegung Wavelets Fraktale Vektor Quantisierer Schnelle Algorithmen Diskrete Fourier Transformation Diskrete Cosinus Transformation D DCT Seite

3 Eigenschaften von Transformationen Aufgabengebiete: Bildcodierung Energiekompaktierung bzw. Dekorrelation Repräsentation des Signals mit möglichst wenig Redundanz Möglichst wenig Koeffizienten ungleich 0 Staffelung der Signifikanz der Koeffizienten Analysevorstufe Eingangssignal in gewünschte Repräsentation bringen, z.b. Fourier Transformation für Frequenzraumanalyse/bearbeitung Splines für zeitkontinuierliche Analysen Abhängigkeit von der Signalstatistik: Explizit: Transformations Vorschrift ist signalabhängig z.b. Karhunen Loève Transformation (KLT) Implizit: Transformation ist nur für bestimmte Signalarten geeignet z.b. Diskrete Cosinus Transformation (DCT) Seite 3

4 Anwendungsgebiete Bildcodierung Bildanalyse Fourier Transformation Frequenzraum Analysen Objekterkennung mit Kreuzkorrelation Robuste Lagemessung Skalierungsmessung Seite 4

5 Länge der Transformationsbasisfunktionen Große Ausdehnung (Ganzbildtransformation) Detaillierte Auflösung im transformierten Raum, z.b. viele Frequenzlinien, dadurch gute Selektionseigenschaften, z.b. Bandpaß Sehr viele Koeffizienten nahe 0 Hohe Rechenzeitanforderungen Kleine Ausdehnung (Blocktransformation) Gute örtliche Lokalisierungseigenschaften Signifikanz einzelner Koeffizienten sehr gut feststellbar Region of Interest Bearbeitung möglich, z.b. unterschiedlich starke Quantisierung der Blöcke Nur Blöcke mit hoher Aktivität enthalten viele Koeffizienten ungleich 0 Blockkantenproblematik Seite 5

6 Beispiel DCT DC DC DC DC DC DC DC DC 14 4 Original 4x4 Block DCT Gruppierung 4x4 Block DCT x8 Block DCT x Block DCT 3x3 Block DCT 64x64 Block DCT Seite 6

7 Beispiel DCT Ganzbild DCT Auswahl der Tiefpaß Koeffizienten 4x4 Block DCT Auswahl der Tiefpaß Koeffizienten Seite 7

8 Transformationsklassen (Auswahl) Subband Zerlegung Wavelet Fraktale 1 dimensional dimensional Vektorquantisierer Trigonometrische Transformationen Diskrete Fourier Transformation (DFT) Diskrete Hartley Transformation (DHT) Diskrete Sinus Transformation (DST) Diskrete Cosinus Transformation (DCT) Seite 8

9 Subband Zerlegung Beispiel: f n n 1 f f n n 1 f n f n n 1 f Problem: Auswahl der Filterfunktionen zur exakten Rekonstruktion ohne Aliasing, z.b. mittels Quadratur Spiegel Filtern (QMF) Seite 9

10 Kaskadierte Subband Zerlegung 1 f 1 f 1 f 1 f In dieser Form: Oktavbandzerlegung f f f f Seite 10

11 Wavelet Meist Oktavbandzerlegung mit speziellen Filterfunktionen Optional bei erhöhter Aktivität in Hochpaßanteilen weitere Zerlegung Verwendung spezieller Verfahren zur Gruppierung der Koeffizienten (z.b. Zero Tree) Erweiterung auf zeitliche Komponente möglich (z.b. 3DSLCCA 3D significance linked connected component analysis) x: Tiefpaß y: Tiefpaß x: Hochpaß y: Tiefpaß x: Tiefpaß y: Hochpaß x: Hochpaß y: Hochpaß 1. Zerlegungsschritt Vollständige Zerlegung Optionale HP Zerlegung Seite 11

12 Fraktale Verfahren Idee: Auffinden von Selbstähnlichkeit im Bild meist aus einem unterabgetasteten Bild Ziel: möglichst kleine Auswahl unterschiedlicher Signalformen Eindimensional: Reduktion des D Bildes auf 1D, z.b. mittels Hilbert Kurve Aufteilung des Signals in einzelne Abschnitte und Auffinden von Ähnlichkeiten, Skalierung und Streckung u.ä. möglich Seite 1

13 Fraktale Verfahren Zweidimensional: Auffinden gleicher Bildbereiche Freiheitsgrade: Helligkeit, Kontrast,... Drehung, Skalierung, affine Transformation Optional: Zwischen En und Decoder vereinbarter, fester Mustervorrat Beispiel vom Institut Eurecom (Frankreich) Seite 13

14 Vektorquantisierer Idee: Die Menge aller Muster, aus denen ein Bild zusammengesetzt wird, ist begrenzt Ziel: Aus einem festgelegten Mustervorrat diejenigen auswählen, die das Bild am besten approximieren Beispiel: Ansatz von Strathclyde (H.6L) Auszug aus dem Mustervorrat für 3x3 (generiert durch neuronales Netz) Seite 14

15 Strathclyde Compression Transform (SCT) Verfahren: Letztes Bild als Startwert verwenden Successive Überlagerung (Collage) der im Mustervorrat vorhandenen Muster oder von Bildteilen aus vergangenen Bildern Überlagerung Überlagerung Bild n 1 Schritt 1 Schritt... Bild n Einschränkungen: Mustervorrat enthält quadratische Blöcke der Größe 3x3, x und 8x8 Falls notwendig, wird an kritischen Stellen die Differenz Wavelet codiert (nur bei Bitraten >18kBit/s) Besonderheit: Es wird nicht zwingend der Bereich mit der größten Abweichung verbessert, sondern das hinzugefügte Muster soll die Gesamtbildqualität (PSNR) am stärksten verbessern. Seite 15

16 Trigonometrische Transformationen Aufbau für diskrete Werte mit Transformationsfunktion t(x,n) 1D: F x = N1 N c x n=0 t n,x f n N1 f x = c n t 1 n=0 n,x F n mit: c n = 1 für n=0 1 sonst Anmerkung: Bei der inversen Transformation werden meist Indizes vertauscht und c(n) muß in der Summe berücksichtigt werden! Seite

17 Trigonometrische Transformationen D: F x 1,x = 4 N 1 1 c x N 1 N 1 c x n 1 =0 N 1 n =0 t n 1,x 1 t n,x f n 1,n N 1 1 N 1 f x 1,x = c n 1 c n t 1 n 1,x 1 t 1 n,x F n 1,n n 1 =0 n =0 mit: c n = 1 für n=0 1 sonst Seite 17

18 Funktionen für trigonometrische Transformationen Diskrete Fourier Transformation (DFT) t n,x =e π i x n π i x n N t 1 n,x =e N mit i =1 Diskrete Hartley Transformation (DHT) t n,x =cos π x n N sin π x n N t 1 n,x = t x,n Diskrete Sinus Transformation (DST) x n1 π t n,x =sin N t 1 n,x = t x,n Diskrete Cosinus Transformation (DCT) t n,x =cos x n1 π N t 1 n,x = t x,n Seite 18

19 Visualisierung der inversen Transformation IDCT = Basisfunktionen Koeffizienten gewichtete Basisfunktionen Seite 19

20 Successiver Aufbau mittels Basisfunktionen 1 Koeffizient x Koeffizienten = = 3x3 Koeffizienten = 8x8 Koeffizienten = Seite 0

21 Schnelle Algorithmen DFT Zerlegung nach Danielson Lanczos und Cooley Tukey DCT Chen 1977 Verfeinerungen Tran: Lifting Steps 1999 Tran: Multiplierless DCT D DCT Seite 1

22 Diskrete Fourier Transformation N1 πi k j N F k = e f j j=0 N 1 π i k j N F k = e j=0 N 1 π i k j1 N f j e j=0 j gerade j ungerade f j1 N 1 π i k j N F k = e j=0 N 1 π i k j π i k N f j e e N f j1 j=0 N 1 π i k j N F k = e f j j=0 e πi k DFT der Länge N/ Konstante DFT der Länge N/ über alle j gerade über j ungerade N N 1 πi k j e N f j1 j=0 Seite

23 Diskrete Fourier Transformation 1x DFT N=8 A8 A7 A6 A5 A4 A3 A A1 A4 B4 A3 B3 A B A1 B1 x DFT N=4 e o e o e o e o Aufspaltung in odd (o) und even(e) A B C D A1 B1 C1 D1 4x DFT N= ee oe eo oo ee oe eo oo Aufspaltung der Einzel DFTs 8x DFT N=1 eee oee eoe ooe eeo oeo eoo ooo 1D DFT: Funktionswert= transformierter Wert Koeffizienten sind in dieser Ordnung Wenn die Bits von hinten nach vorn gelesen werden, ist die Reihenfol korrekt A A1 C C1 B B1 D D1 Umsortierung vor der Transformation 4x DFT N= H T H T H T H T A4 A3 A A1 B4 B3 B B1 x DFT N=4 HH HT TH TT HH HT TH TT. A8 A7 A6 A5 A4 A3 A A1 ergibt korrekte Reihenfolge nach der 1x DFT N=8 HHH HHT HTH HTT THH THT TTH TTT Transformation Seite 3

24 Fast Fourier Transformation (FFT) Vorteil: Reduktion von N Operationen auf N log N Beispiel N=56: Von auf 048 Faktor 3 N=65536: Faktor 4096 Konstanten müssen nur einmal berechnet werden für jedes N Ausgangspunkt für viele weitere Algorithmen Nachteil: Nur sinnvoll anwendbar für N= x Seite 4

25 DCT nach Chen Formeldarstellung für 8x8: F x = N1 N c x cos n=0 n1 x π N f n Matrixdarstellung für 8x8: 1 cos π cos π 8 cos 3π 1 cos 5π cos 3π 8 cos 7π 1 cos 3π cos 3π 8 cos 9π 1 cos 15π cos 9π 8 cos 1π 1 cos 5π cos 5π 8 cos 15π 1 cos 5π cos 15π 8 cos 35π 1 cos 7π cos 7π 8 cos 1π 1 cos 35π cos 1π 8 cos 49π 1 cos 9π cos 9π 8 cos 7π 1 cos 45π cos 7π 8 cos 63π 1 cos 11π cos 11π 8 cos 33π 1 cos 55π cos 33π 8 cos 77π 1 cos 13π cos 13π 8 cos 39π 1 cos 65π cos 39π 8 cos 91π 1 cos 15π cos 15π 8 cos 45π 1 cos 75π cos 45π 8 cos 105π x 1 x x 3 x 4 x 5 x 6 x 7 x 8 = X 1 X X 3 X 4 X 5 X 6 X 7 X 8 Seite 5

26 DCT nach Chen Aufgabe: Vereinfachung der Matrix Verfahren: Aufspaltung der Matrix in schwach besetzte Teilmatrizen Ansatz: λ x =cos x π λ 4 λ 4 λ 4 λ 4 λ 4 λ 4 λ 4 λ 4 λ 1 λ 3 λ 5 λ 7 λ 9 λ 11 λ 13 λ 15 λ λ 6 λ 10 λ 14 λ 18 λ λ 6 λ 30 λ 3 λ 9 λ 15 λ 1 λ 7 λ 33 λ 39 λ 45 λ 4 λ 1 λ 0 λ 8 λ 36 λ 44 λ 5 λ 60 λ 5 λ 15 λ 5 λ 35 λ 45 λ 55 λ 65 λ 75 λ 6 λ 18 λ 30 λ 4 λ 54 λ 66 λ 78 λ 90 λ 7 λ 1 λ 35 λ 49 λ 63 λ 77 λ 91 λ 105 Seite 6

27 DCT nach Chen mit cos πx =cos x folgt: λ 3x =λ x dann cos πx =cos x folgt: λ 3x =λ x und cos πx =cos πx folgt:λ x =λ x λ 4 λ 4 λ 4 λ 4 λ 4 λ 4 λ 4 λ 4 λ 1 λ 3 λ 5 λ 7 λ 7 λ 5 λ 3 λ 1 λ λ 6 λ 6 λ λ λ 6 λ 6 λ λ 3 λ 7 λ 1 λ 5 λ 5 λ 1 λ 7 λ 3 λ 4 λ 4 λ 4 λ 4 λ 4 λ 4 λ 4 λ 4 λ 5 λ 1 λ 7 λ 3 λ 3 λ 7 λ 1 λ 5 λ 6 λ λ λ 6 λ 6 λ λ λ 6 λ 7 λ 5 λ 3 λ 1 λ 1 λ 3 λ 5 λ 7 Deutliche Symmetrie ist erkennbar, daher Faktorisierung mit einer entsprechenden Matrix Seite 7

28 DCT nach Chen λ 4 λ 4 λ 4 λ 4 λ 4 λ 4 λ 4 λ 4 λ 1 λ 3 λ 5 λ 7 λ 7 λ 5 λ 3 λ 1 λ λ 6 λ 6 λ λ λ 6 λ 6 λ λ 3 λ 7 λ 1 λ 5 λ 5 λ 1 λ 7 λ 3 λ 4 λ 4 λ 4 λ 4 λ 4 λ 4 λ 4 λ 4 λ 5 λ 1 λ 7 λ 3 λ 3 λ 7 λ 1 λ 5 λ 6 λ λ λ 6 λ 6 λ λ λ 6 λ 7 λ 5 λ 3 λ 1 λ 1 λ 3 λ 5 λ 7 = λ 4 λ 4 λ 4 λ 4 λ 4 λ 4 λ 4 λ 4 λ 4 λ 4 λ 4 λ 4 λ 4 λ 4 λ 4 λ 4 λ λ 6 λ 6 λ λ λ 6 λ 6 λ λ 6 λ λ λ 6 λ 6 λ λ λ 6 λ 1 λ 3 λ 5 λ 7 λ 7 λ 5 λ 3 λ 1 λ 5 λ 1 λ 7 λ 3 λ 3 λ 7 λ 1 λ 5 λ 3 λ 7 λ 1 λ 5 λ 5 λ 1 λ 7 λ 3 λ 7 λ 5 λ 3 λ 1 λ 1 λ 3 λ 5 λ 7 = λ 4 λ 4 λ 4 λ λ 4 λ 4 λ 4 λ λ λ 6 λ 6 λ λ 6 λ λ λ λ 7 λ 5 λ 3 λ λ 3 λ 7 λ 1 λ λ 5 λ 1 λ 7 λ λ 1 λ 3 λ 5 λ x4 DCT bitreversed Rekursion Seite 8

29 DCT nach Chen λ 7 λ 5 λ 3 λ 1 λ 3 λ 7 λ 1 λ 5 λ 5 λ 1 λ 7 λ 3 λ 1 λ 3 λ 5 λ 7 = λ 7 λ 7 λ 1 λ 1 λ 3 λ 3 λ 5 λ 5 λ 5 λ 5 λ 3 λ 3 λ 1 λ 1 λ 7 λ λ 4 λ λ 4 λ = λ λ 1 0 λ 3 λ λ 5 λ 3 0 λ λ λ 4 λ λ 4 λ Seite 9

30 DCT nach Chen λ 4 λ 4 λ 4 λ λ 4 λ 4 λ 4 λ λ λ 6 λ 6 λ λ 6 λ λ λ λ 7 λ 5 λ 3 λ λ 3 λ 7 λ 1 λ λ 5 λ 1 λ 7 λ λ 1 λ 3 λ 5 λ λ 7 λ 5 λ 3 λ 1 λ 3 λ 7 λ 1 λ 5 λ 5 λ 1 λ 7 λ 3 λ 1 λ 3 λ 5 λ 7 = λ λ 1 0 λ 3 λ λ 5 λ 3 0 λ λ λ 4 λ λ 4 λ x 1 x x 3 x 4 x 5 x 6 x X 1 X X 3 X 4 X 5 X 6 X 7 a b c 7 a+b a+( 1)b c λ 7 6 Additionen/Subtraktionen und 0 Multiplikationen Seite 30

31 Umwandlung der Rotationsblöcke x 1 r 11 y 1 x 1 k 1 y 1 r 1 p u x 1 r r 1 y x 1 k y Givens Rotation Lifting Step mit: p = r 1 r 11 u = r 11 r 1 r 11 r r 1 r 1 k 1 = r 11 k = r 11 r r 1 r 1 r 11 Vorteil: Neue Koeffizienten, die besser approximiert werden können Beispiel: für: r 11 = cosα r 1 = sin α r 1 = sin α r = cosα folgt: p= tan α u= sin α cosα k 1 = cosα k = 1 cosα Seite 31

32 Multiplierless DCT Idee: Annäherung der Multiplikations Koeffizienten durch einfach realisierbare Brüche z Methode: Brüche als dyadische Brüche umformen: Ansatz: Multiplikation mit konstanter Größe läßt sich in Shifts und Additionen aufteilen, z.b. x 15= x 111b= x«3 x«x«1 x oder einfach: x 15= x 1 = x«4 x Weiterer Vorteil: exakte Rekonstruktion möglich, da Koeffizienten stets Integer Werte darstellen und IDCT rückwärts durchlaufene DCT ist n Seite 3

33 Flow Graph einer Multiplierless DCT. Config p1 u1 p u p3 u3 p4 u4 p5 Shifts Adds MSE 1 1/ 1/ 1 1/ 1/4 1/4 1/ 3/4 1/ E 3 1/ 3/8 7/8 1/ 3/ 1/4 7/ 3/4 3/ E /3 11/3 11/ 15/3 3/ 3/ 13/3 11/ 13/ E 5 Seite 33

34 D DCT Allgemein: y=a x x=a 1 y mit: dim y =N,dim x =N,dim A =N xn DCT ist allerdings orhonormal und separierbar, daher: y =A x A T mit: dim y =NxN,dim x =NxN,dim A =NxN und A=A A Fazit: Reduktion der Komplexität von O(N 4 ) auf O(N ) durch Zerlegung in Spalten und Zeilentransformation Weitere Vereinfachung möglich: statt N eindimensionaler DCTs nur N eindimensionale DCTs Seite 34

35 Signalgraph für 4x4 DCT aus 4 1D DCTs ẋ 00 x 11 x x 33 x 03 x 1 x 1 x 30 x 01 x 10 x 3 x 3 x 0 x 13 x 0 x 31 1 D DCT 1 D DCT 1 D DCT 1 D DCT y 00 y 10 y 0 y 30 y 11 y 01 y 33 y 3 y y 1 y 0 y 3 y 13 y 03 y 31 y 1 Multiplikation mit 1/ Seite 35