Bildverarbeitung Herbstsemester. Wavelet-Transformation

Transkript

1 Bildverarbeitung Herbstsemester Herbstsemester Wavelet-Transformation

2 Inhalt Probleme der Fourier-Analysis Übergang zur Wavelet-Transformation Kontinuierliche Wavelet-Transformation (CWT) Diskrete Wavelet-Transformation (DWT) Schnelle DWT (FWT) PGF als Beispiel für die Bildkompression Wie ist PGF aufgebaut? Wie schneidet PGF ab? PGF im Einsatz FHNW bveri HS - Prof. Dr. C. Stamm

3 Lernziele Sie kennen die Probleme der Fourier-Analyse und den gedanklichen Übergang zur Wavelet- Transformation. Sie verstehen die schnelle, diskrete Wavelet- Transformation (FWT) und deren zweidimensionale Anwendung auf Bilder. Sie kennen die Prozesskette und die einzelnen Schritte eines modernen Bildformates für verlustlose und verlustbehaftete Bildkompression. FHNW bveri HS - Prof. Dr. C. Stamm 3

4 Motivation FHNW bveri HS - Prof. Dr. C. Stamm 4

5 Problematik der FT (D) cos( t) + cos( t) Hz Hz FHNW bveri HS - Prof. Dr. C. Stamm 5

6 Problematik der FT (D) örtliche Lokalisierung der auftretenden Frequenzen ist anhand des Frequenzspektrums nicht möglich Beispiel die zwei schrägen Balken im Mauerwerk finden ihren deutlichen Niederschlag im Frequenzspektrum die zwei schrägen Linien im Spektrum geben aber nur die Richtung der beiden Balken wieder sie sagen aber nichts über die genaue Position der beiden Balken aus FHNW bveri HS - Prof. Dr. C. Stamm 6

7 Erhöhung der Lokalität Windowed Fourier Transform (WFT) das Bild wird in einzelne, disjunkte Fenster aufgeteilt für jedes Fenster wird eine separate FT durchgeführt Vorteile Lokalisierung bezüglich Fenster, aber nicht innerhalb des Fensters je kleiner die Fenster, desto besser die Lokalisierung Nachteile kleine Fenster erfassen nur hohe Frequenzen tiefe Frequenzen werden ungenügend erkannt je grösser das Fenster, desto aufschlussreicher das Frequenzspektrum FHNW bveri HS - Prof. Dr. C. Stamm 7

8 Übergang zu Wavelets Windowed Fourier Transform starre Frequenz-Zeit-Auflösung (Bild links; Achtung das Bild bezieht sich auf eine eindimensionale WFT) Wavelet Transform hohe Frequenzauflösung bei tiefen Frequenzen, aber geringe zeitliche Lokalisierung geringe Frequenzauflösung bei hohen Frequenzen, aber gute zeitliche Lokalisierung FHNW bveri HS - Prof. Dr. C. Stamm 8

9 Einsatz der WT Datenverdichtung Bilder: JPEG, PGF, MPEG-4 Audio Multi Resolution Models Daten in verschiedenen Auflösungsstufen zur Verfügung stellen alle Auflösungsstufen in einem kompakten Format zusammenhalten keine disjunkten Datensätze, sondern alle Daten werden benötigt, um die höchste Auflösungsstufe zu rekonstruieren FHNW bveri HS - Prof. Dr. C. Stamm 9

10 Multi Resolution Models FHNW bveri HS - Prof. Dr. C. Stamm

11 Idee der Bildpyramide FHNW bveri HS - Prof. Dr. C. Stamm

12 Umsetzung der Pyramide FHNW bveri HS - Prof. Dr. C. Stamm

13 Mathe-Exkurs L -Norm (auch L -Norm) L geht auf franz. Mathematiker Lebesgue zurück l -Norm ist eine Vektornorm L -Norm ist eine Norm für Funktionen (x) x x x x n ( ) x x n k dx x k basierend auf dem Skalarprodukt FHNW bveri HS - Prof. Dr. C. Stamm f ( x) g( x) f ( x) g( x) dx 3

14 Wavelets die kleinen Wellen Mother Wavelet und Wavelet-Familien Mother Wavelet: Basis-Wavelet durch Skalierung (a > ) und Verschiebung (b) kann aus einem Basis-Wavelet eine ganze Wavelet-Familie erzeugt werden a, b ( x) a x b a Anforderungen an Mother Wavelets L, (x) = L -Norm muss gleich sein ( x) dx oder F( )() Mittelwert ist FHNW bveri HS - Prof. Dr. C. Stamm 4

15 Bekannte Mother Wavelets Haar Daubechies 4 Daubechies Wavelet Wavelet Wavelet Filtergalerie im Web FHNW bveri HS - Prof. Dr. C. Stamm 5

16 Bsp: Wavelet-Familie FHNW bveri HS - Prof. Dr. C. Stamm 6

17 Geschichtlicher Abriss ab 9 Vorläufer von Wavelets aber ohne wohlklingende Namen 6er Jahre Nachteile der WFT sind bekannt Wavelet-ähnliche Ansätze werden verwendet z.b. Jean Morlet, Geophysiker, Einsatz in Erdölerkundung frühe 8er Jahre zahlreiche mathematische Arbeiten sind bekannt Begriff Wavelet ist noch nicht verbreitet 986 Ingrid Daubechies (Belgierin) konstruiert erstmals orthogonale Wavelets mit kompaktem Träger mit Hilfe eines Iterationsverfahrens 989 wichtige Arbeit von Stéphane Mallat zur Theorie der Mehrfachauflösung mit der Formulierung der schnellen Wavelet- Transformation (FWT) FHNW bveri HS - Prof. Dr. C. Stamm 7

18 CWT a, b CWT Grundidee der Continuous Wavelet Transform Ausgangssignal f(x) wähle beliebiges Wavelet berechne Skalarprodukt von a,b mit f(x) für alle möglichen Paare von a und b die berechneten Werte sind die Wavelet-Koeffizienten CWT a,b Vorwärtstransformation ( f ) f ( x) a, b f ( x) a, Rücktransformation (Rekonstruktion) dadb f ( x) CWT a, b( f ) a, b CWTa, b( f ) a, b( x) a R R b ( x) dx FHNW bveri HS - Prof. Dr. C. Stamm 8

19 Grafische Anschauung FHNW bveri HS - Prof. Dr. C. Stamm 9

20 CWT, DWT und FWT Problem der CWT es gibt unendliche viele Parameterpaare (a,b) es ist unklar, welche Parameterpaare (a,b) erforderlich sind, um eine vollständige Rekonstruktion zu ermöglichen Lösungsansatz DWT üblicherweise sind diskrete Signale mit begrenzter Abtastung gegeben für diskrete Signale muss eine endliche Zahl von Parameterpaaren (a,b) ausreichen, so dass eine Rücktransformation ohne Verlust möglich ist Discrete Wavelet Transform (DWT) Durchbruch: FWT Multiresolution Analysis führte zum Algorithmus der schnellen DWT Fast Wavelet Transform (FWT) FHNW bveri HS - Prof. Dr. C. Stamm

21 FWT mit Haar-Wavelets Ausgangssignal diskretes Signal bestehend aus beispielsweise 8 Werten Wavelet-Familie Haar Wavelet unterschiedlich skaliert und verschoben (siehe Bild) Anwendung Durchschnittsberechnung mit Haar (Amplitude: /8) Detailberechnungen mit den restlichen Wavelets FHNW bveri HS - Prof. Dr. C. Stamm

22 FWT Beispiel Input A B C D E F G H Detail A/ - B/ B/ - A/ C/ - D/ D/ - C/ E/ - F/ F/ - E/ G/ - H/ H/ - G/ Durchschnitt Detail AB := A/ + B/ AB/ - CD/ CD := C/ + D/ CD/ - AB/ EF := E/ + F/ EF/ - GH/ GH := G/ + H/ GH/ - EF/ Durchschnitt Detail 3 ABCD := AB/ + CD/ ABCD/ - EFGH/ EFGH := EF/ + GH/ EFGH/ - ABCD/ Durchschnitt 3 ABCD/ + EFGH/ Rekonstruktion Details + Durchschnitt 3 Input Detail Durchschnitt Detail Durchschnitt Detail 3 Durchschnitt Rekonstruktion FHNW bveri HS - Prof. Dr. C. Stamm 3

23 FWT als Filteroperation Betrachtungsweise Haar und Haar skaliert auf ein Intervall der Länge Amplitude von Haar wird zu ½ (nicht normalisiert) Amplituden von Haar werden zu ½ und ½ (nicht normalisiert) Schreibweise als Filterkoeffizienten Haar = [ ½, ½ ] =: low (Skalierungsfunktion, Tiefpass) Haar = [ ½, ½ ] =: high (Waveletfunktion, Hochpass) Anwendung. Ausgangssignal jeweils mit low und high falten. Schritt mit dem zuvor skalierten (low) Signal wiederholen FHNW bveri HS - Prof. Dr. C. Stamm 4

24 Rücktransformation Generelle Rekonstruktion des Ausgangssignals im Wesentlichen wieder ein Skalarprodukt mit einem Wavelet Analyse- und Synthese-Wavelet müssen nicht identisch sein bei der FWT Verwendung eines Synthese-Filterpaares, passend zum Analyse-Filterpaar und Anwendung der Faltung Beispiel: linkes Haar-Synthesefilter = [, ] rechtes Haar-Synthesefilter = [, ] FHNW bveri HS - Prof. Dr. C. Stamm 5

25 FWT Filterbank Bi-orthogonale Filterbank (h L, h H ): Filterpaar der Vorwärtstransformation (Low, High) (g L, g R ): Filterpaar der Rückwärtstransformation (Left, Right) Rücktransformationsfilter können aus der Vorwärtstransformationsfilter abgeleitet werden Beispiel Daubechies 5/3, bi-orthogonal [PGF, JPEG] h g h L L L g R 4 und h g H,,6,, h,, H,, g,,6,, R L 4 FHNW bveri HS - Prof. Dr. C. Stamm 6

26 7 Daubechies 5/3 Transformationsmatrizen für Signalvektor der Länge Vorwärtstransformation Rücktransformation FHNW bveri HS - Prof. Dr. C. Stamm

27 FWT in zwei Dimensionen Grundidee wie bei der DFT wird für mehrere Dimensionen auf die eindimensionale Transformation zurückgegriffen Filterpaare müssen auch normalisiert sein ( L -Norm = ) Standard Dekomposition mehrstufige FWT für jede Zeile eines Bildes mehrstufige FWT für jede Spalte des zeilentransformierten Bildes Nicht-Standard Dekomposition Filterschritt für jede Zeile eines Bildes durchführen Filterschritt für jede Spalte des zeilentransformierten Bildes vier Qudranten entstehen: LL, HL, LH, HH rekursiv den Quadranten LL wieder filtern FHNW bveri HS - Prof. Dr. C. Stamm 8

28 D-FWT: Dekompositionen Standard-Decomposition Non Standard-Decomposition FHNW bveri HS - Prof. Dr. C. Stamm 9

29 PGF als Beispiel Progressive Graphics File (PGF) bestens geeignet für natürliche Bilder PGF JPEG JK PNG GIF natürliches Bild künstliches Bild FHNW bveri HS - Prof. Dr. C. Stamm 3

30 FHNW bveri HS - Prof. Dr. C. Stamm 3

31 Features Datenkompression verlustlos: sehr hohe Kompressionsrate verlustbehaftet: sehr gute Bildqualität/Kompressionsrate Progressivität kontinuierlicher Datenstrom erlaubt schrittweise Erhöhung der Auflösung verschiedene Farbmodi Modus Bits max. Kanalbreite: 3 Bit sehr schnelles Codec symmetrisches Codec nur Integer-Arithmetik geeignet für HW-Umsetzung Bitmap Grayscale 8/6/3 RGB /6/4/48 RGBA 3 CMYK 3/64 L*a*b* 3/64 FHNW bveri HS - Prof. Dr. C. Stamm 3

32 Wie ist PGF aufgebaut? originial image color transform (RGB to YUV) DWT quantization encoding encoded image reconstructed image inv. color transform (YUV to RGB) inverse DWT dequanti - zation decoding Originalbild Farbtransformation Diskrete Quantisierung Codierung Komprimiertes Wavelet-Transformation PGF-Bild Beispiele Ziel Reduktion möglichst Informationskonzentration Bitmap, möglichst gute der Graustufenbild, Anzahl kompakte Redundanz Qualität unterschiedlicher bei Speicherung innerhalb maximaler RGB, auf einen RGBA, eines Codierungsgeschwindigkeit Wavelet-Koeffizienten Kanal Datei CMYK, Kanals L*a*b* und Erzeugung Beispiele von (einziger und RGB Koeffizienten minimaler RLE, nach Ort, Huffman, wo YUV Dateigrösse Verlust mit (je LZW kleinem nach entsteht) Originalbild) Absolutwert FHNW bveri HS - Prof. Dr. C. Stamm 33

33 Farbtransformation Separation von Helligkeits- und Farbinformation schafft Voraussetzung für stärkere Quantisierung bei den Farbkanälen U und V RGB R: ~ 3% G: ~ 4% B: ~ 3% YUV FHNW bveri HS - Prof. Dr. C. Stamm Y: ~ 9% U: ~ 5% V: ~ 5% 34

34 Bilddaten-Dekorrelation Ausgangslage Innerhalb eines Farbkanals gibt es noch weitere Redundanz (z.b. Flächen mit gleicher Farbe) Ziel Reduktion der Redundanz Ansatz Transformation vom Bild- in den Frequenzraum DCT (discrete cosine transform) schnell, einfach Blockbildung Einsatz in JPEG und MPEG DWT (discrete wavelet transform) schnell, einfach keine Blockbildung verlustlose Integer-Arithmetik möglich Einsatz in PGF, JPEG, MPEG-4 FHNW bveri HS - Prof. Dr. C. Stamm 35

35 DWT 5/3 Wavelet Filterbank L 4,,6,, H,4, kann ganzzahlig implementiert werden, obwohl Faktor vorkommt Normalisierung der Filterkoeffizienten ist relativ kurz (kleine Anzahl von Filterkoeffizienten) effizientere Implementierung längere Filter sind oft besser gehört zu den besten Filtern für Bildverarbeitung Integer-Implementierung mit Erhaltung der Genauigkeit 4 FHNW bveri HS - Prof. Dr. C. Stamm 37

36 Zweidimensionale DWT FHNW bveri HS - Prof. Dr. C. Stamm 38

37 D-DWT 4-stufig FHNW bveri HS - Prof. Dr. C. Stamm Lena 39

38 DWT: Energieverdichtung Histogramme Lena Original nach dreistufiger DWT FHNW bveri HS - Prof. Dr. C. Stamm 4

39 Quantisierung Ziele möglichst kleine Anzahl von unterschiedlichen Wavelet- Koeffizienten Koeffizienten mit kleinen Absolutwerten (viele Nullen) Ansatz Zusammenfassen von ähnlich grossen Wavelet- Koeffizienten in Gruppen Quantisierung anstatt des Wertes eines Wavelet-Koeffizienten wird seine Gruppennummer abgespeichert für jede Gruppe muss die Spannweite abgespeichert werden Quantisierungstabelle je Grösser die Spannweite einer Gruppe, desto grösser der Informationsverlust ohne Quantisierung kein Informationsverlust FHNW bveri HS - Prof. Dr. C. Stamm 4

40 Skalare Quantisierung Grundschema uniform: die Spannweiten aller Gruppen sind gleich lang (Zweierpotenzen) keine Quantisierungstabelle notwendig sehr einfach, alle Koeffizienten durch die Spannweite dividieren dead zone grösseres Intervall um Null herum, in welchem alle Koeffizienten auf Null gesetzt werden die meisten Wavelet-Koeffizienten sind um Null herum sehr grosse Gruppe mit wenig Informationsverlust FHNW bveri HS - Prof. Dr. C. Stamm 4

41 Progressive Kodierung Ziele eingebundener Bitstrom (sequentielles Lesen des kodierten Bitstromes erlaubt progressives Erhöhen der Bildauflösung) schnelles, progressives Kodierungsschema gute Komprimierungsrate Ansatz Wavelet-Koeffizienten getrennt nach Level abspeichern Umordnen der Wavelet-Koeffizienten, so dass Koeffizienten mit ähnlich grossem Absolutwert nahe beieinander liegen Bit-Plane-Kodierung mit adaptivem RLE (wir nur verwendet, wenn er effektiv was bringt) FHNW bveri HS - Prof. Dr. C. Stamm 43

42 Dateistruktur PGF Header Grösse in Pixel Anzahl Kanäle Farbmodus pro Level die Länge (jeder Level der Pyramide separat) Dateistruktur (eingebundener Bitstrom) codierte Wavelet- Koeffizienten für jeden Farbkanal des entsprechenden Levels FHNW bveri HS - Prof. Dr. C. Stamm 44

43 Umordnen der Koeffizienten Idee Koeffizienten in den zusammengehörigen LH- und HL- Subbands an der gleichen Bildposition ähnlich gross 3 LL LH HL HH HL LH 43 HH LH HL 8 HH FHNW bveri HS - Prof. Dr. C. Stamm 45

44 46 Bitplane-Kodierung Verfahren umgeordnete, quantisierte Absolutwerte der Koeffizienten werden in Makroblöcke gleicher Länge aufgeteilt pro Makroblock Bitplane-Kodierung anwenden Aufteilung in und Verfeinerungsbits signifikante Bits enthalten sehr lange Folgen von Nullen und werden deshalb adaptiv lauflängenkodiert MSB LSB FHNW bveri HS - Prof. Dr. C. Stamm

45 Lauflängenkodierung (RLE) Annahme lange Sequenzen von Nullen statisches Verfahren Codewort Inputsequenz k Nullen n n < n < k Nullen gefolgt von einer, positives Vorzeichen an der Stelle i < n < k Nullen gefolgt von einer, negatives Vorzeichen an der Stelle i n wird mit k Bits abgespeichert FHNW bveri HS - Prof. Dr. C. Stamm 47

46 Adaptives RLE Problem der bestmögliche Wert für k hängt vom Input ab wird k zu gross gewählt, so werden zu viele Bits verwendet, um n abzuspeichern schlechte Effizienz wird k zu klein gewählt, so werden zu viele Codeworte erzeugt schlechte Effizienz Ansatz (adaptiv) k nach jedem Codewort anpassen k mit initialisieren nach einem Codewort : k++ nach einem andern Codewort: k-- (k > ) FHNW bveri HS - Prof. Dr. C. Stamm 48

47 Wie schneidet PGF ab? Testbilder ersten acht Bilder des Kodak-Testsets natürliche Farbbilder (5 x 768 Pixels) Plattform Dell Dimension 45, Intel Pentium 4,.4 GHz GByte RAM Windows XP Konkurrenz verlustlos verlustbehaftet WinZip 8. JPEG 6b (IJG.org) TIFF-LZW JPEG (J.org) PNG.. JPEG-LS. JPEG (J.org) FHNW bveri HS - Prof. Dr. C. Stamm 49

48 ratio, time [s] Verlustlose Codierung WinZip PNG JPEG-LS PGF JK J.org..5. ratio encoding decoding FHNW bveri HS - Prof. Dr. C. Stamm 5

49 PSNR Verlustbehaftet 55 5 PSNR log n n p i q i i 55 JK J.org PGF JPEG Ratio FHNW bveri HS - Prof. Dr. C. Stamm 5

50 Seconds Seconds Verlustbehaftet Encoding Time JK J.org PGF JPEG Decoding Time Ratio FHNW bveri HS - Prof. Dr. C. Stamm 5

51 PGF im Einsatz Verfügbarkeit Konsolenapplikation zu Testzwecken (PC) xeraina Image Viewer Codec (PC, Mac, Linux) unter Erweiterung PGFext für riesige Bilder auf Externspeicher Zusätzliche Infos FHNW bveri HS - Prof. Dr. C. Stamm 53