Computergrafik 2: Filtern im Frequenzraum

Transkript

1 Computergrafik 2: Filtern im Frequenzraum Prof. Dr. Michael Rohs, Dipl.-Inform. Sven Kratz MHCI Lab, LMU München Folien teilweise von Andreas Butz, sowie von Klaus D. Tönnies (Grundlagen der Bildverarbeitung. Pearson Studium, 2005)

2 Themen heute Korrelation im Frequenzraum Finden von Templates Filtern im Frequenzraum Bandreject/Bandpass-Filter Notch-Filter, optimale Notch-Filter Dekonvolution inverses Filtern Wiener Filter Transformation und Interpolation Rauschunterdrückung mit Ähnlichkeitsfilter Computergrafik 2 SS2011 2

3 KORRELATION IM FREQUENZRAUM Computergrafik 2 SS2011 3

4 Korrelation im Ortsraum Ähnlichkeiten zwischen Bild und Modell feststellen Modell (Template) im Bild suchen R. C. Gonzalez & R. E. Woods, Digital Image Processing Computergrafik 2 SS2011 4

5 Korrelation im Ortsraum Ähnlichkeitsmaß (normalisierter) Korrelationskoeffizient Mittelwerte subtrahiert und Varianzen normiert Kleineres Bild pixelweise über größeres Bild verschieben und Korrelationskoeffizient ausrechnen (f = Bild, m = Modell/Template, (x,y) = Suchposition) cc f,m (x, y) = # % $ a " a " s=!a t=!b!1) cc f,m (x, y) )1 b " s=!a t=!b b " ( m(s,t)! m) f (x + s, y + t)! f (x + s, y + t) ( ) ( m(s,t)! m) 2 &# a b (%" " f (x + s, y + t)! f (x + s, y + t) ' $ s=!a t=!b ( ) 2 & ( ' Computergrafik 2 SS2011 5

6 Korrelation im Frequenzraum Subtrahiere Mittelwerte von f und g (bzw. m) Ähnlichkeitsmaß: Korrelationskoeffizient cc f,g cc f,g =! f,g! f, f!! g,g =! f,g! f 2!! g 2! f,g = 1 MN cc f,g (x, y) $ M"1 N"1 ## s=0 t=0 ( f (s,t)" f (s,t)) g(s,t)" g(s,t) 1 MN! f 2!! g 2 M"1 N"1 ## s=0 t=0 ( ) ( f (x + s, y + t)" f (x + s, y + t) ) m(s,t)" m ( ) M"1 N"1 ## = k f (x + s, y + t)! m(s,t) s=0 t=0 Korrelationsfunktion FT ([ f! g](x, y) ) = F(u, v)!g " (u, v) Korrelation G konjugiert Computergrafik 2 SS2011 6

7 Korrelation im Frequenzraum Statt Korrelation im Ortsraum nun Multiplikation mit konjugiert komplexem Modell im Frequenzraum f (x, y)! h(x, y) = " f (m, n) # h(x + m, y + n) $ F(u, v)# H m=0" % (u, v) n=0 Vorgehen M!1 1. Mittelwerte abziehen 2. Padding im Ortsraum auf 2M, 2N 3. Multiplikation mit (-1) x+y 4. DFT 5. Multiplikation mit H* im Frequenzraum 6. inverse DFT, Realteil 7. Multiplikation mit (-1) x+y 8. Padding entfernen N! F H* 4. 5., R. C. Gonzalez & R. E. Woods, Digital Image Processing Computergrafik 2 SS2011 7

8 Korrelation im Frequenzraum Computergrafik 2 SS2011 8

9 Computergrafik 2 SS2011 9

10 Computergrafik 2 SS

11 Korrelation im Frequenzraum Computergrafik 2 SS

12 grau kursiv match, falls Teile vorhanden Computergrafik 2 SS

13 Grenzen des Korrelations-Matching Abhängigkeit von Skalierung Rotation Perspektive später in der Vorlesung leistungsfähigere Verfahren Computergrafik 2 SS

14 Bandreject/Bandpass-Filter Notch-Filter Computergrafik 2 SS

15 Bandreject-Filter Nützlich, wenn Sörungen in einem bestimmten Frequenzband konzentriert sind Selektive Bandreject-Filter können solche Störungen reduzieren R. C. Gonzalez & R. E. Woods, Digital Image Processing Computergrafik 2 SS

16 Bandreject/Bandpass-Filter Bandreject-Filter Ideal Butterworth Gauß Bandpass-Filter H BP H ( u, v) = # % $ % & 0, falls D 0! W 2 " D " D 0 + W 2 1, sonst 1 H(u, v) = ' DW 1+ ) D 2 2 (! D 0 *, + 2n ' ' H(u, v) =1! exp! D2 2! D 0 * ) ), ( ( DW + ( u, v) =1! H ( BR u, v) 2 *, + Gauß- Bandreject- Filter Gauß- Bandpass- Filter R. C. Gonzalez & R. E. Woods, Digital Image Processing Computergrafik 2 SS

17 Beispiel: Artefakte entfernen Bandreject-Filter R. C. Gonzalez & R. E. Woods, Digital Image Processing Computergrafik 2 SS

18 Beispiel: Artefakte entfernen Bandpassfilter isoliert Artefakt Bandpass-Filter R. C. Gonzalez & R. E. Woods, Digital Image Processing Computergrafik 2 SS

19 Notch-Filter Filtert in einer bestimmten Umgebung Symmetrisch zum Ursprung R. C. Gonzalez & R. E. Woods, Digital Image Processing Computergrafik 2 SS

20 Notch-Filter Filtert in einer bestimmten Umgebung (u 0,v 0 ) Müssen symmetrisch zum Ursprung sein wenn Zentrum (u 0,v 0 ), dann auch auch (-u 0,-v 0 ) sonst verändert sich die Phase Gebildet aus Produkt von Hochpass-Filtern H NR ( u, v) = H ( k u, v)! H "k u, v wobei H k (u,v) und H -k (u,v) ihre Zentren bei (u k,v k ) bzw. (-u k,-v k ) haben; Distanzen relativ zu diesen Zentren Notch-Pass-Filter H NP Q # k=1 u, v ( ) =1! H NR u, v ( ) ( ) Computergrafik 2 SS

21 Beispiel: Reduzierung Moiré-Muster R. C. Gonzalez & R. E. Woods, Digital Image Processing Computergrafik 2 SS

22 Beispiel: Reduzierung Interferenzmuster R. C. Gonzalez & R. E. Woods, Digital Image Processing Computergrafik 2 SS

23 Beispiel: Reduzierung Interferenzmuster Notch-Pass-Filter isoliert Interferenzmuster R. C. Gonzalez & R. E. Woods, Digital Image Processing Computergrafik 2 SS

24 RESTAURATION LINEARER BILDSTÖRUNGEN Computergrafik 2 SS

25 Beispiel I: Bewegungsunschärfe Über einen Zeitraum Δt wird ein Objektpunkt p auf immer andere Punkte auf dem CCD-Chip abgebildet. Bei unbewegter Kamera sei die Bildhelligkeit des abgebildeten Punkts h. Dann ist sie bei bewegter Kamera h/δs, wobei Δs die zurückgelegte Strecke ist. Wenn Δs für alle Punkte gleich ist, dann lässt sich die Veränderung durch eine Faltung beschreiben. K. D. Tönnies, Grundlagen der Bildverarbeitung Computergrafik 2 SS

26 Bewegungsunschärfe Faltungskern ist eine Funktion w mit # % 1 t < "s w( t! cos!,t!sin!) = $ "s 2 % & 0 sonst Der Winkel α gibt die Bewegungsrichtung an. Die Strecke PΔs gibt die Strecke an, um die sich der Punkt bewegt hat: P!s K. D. Tönnies, Grundlagen der Bildverarbeitung Computergrafik 2 SS

27 Bewegungsunschärfe = * Gestörtes Bild Original Faltungskern K. D. Tönnies, Grundlagen der Bildverarbeitung Computergrafik 2 SS

28 Repräsentation linearer Störungen Jede verschiebungsinvariante lineare Operation wird vollständig durch die Faltungsfunktion beschrieben. Die Faltungsfunktion beschreibt die Operation für beliebige Bilder Die Faltungsfunktion kann als Resultat der Veränderung eines Punkts erzeugt werden Punktantwort = Point Spread Function (PSF) K. D. Tönnies, Grundlagen der Bildverarbeitung Computergrafik 2 SS

29 Beispiel II: Fokussierungsunschärfe Maß der Unschärfe hängt vom Punktabstand z, der Brennweite der Linse f und der Kammerkonstante f k ab. Linsengesetz: Größe des Unschärfekreises: Unschärfe kann durch Aufnahme eines punktförmigen Testobjekts angenähert werden. K. D. Tönnies, Grundlagen der Bildverarbeitung Computergrafik 2 SS

30 Fokussierungsunschärfe Wie kann die Störung rückgängig gemacht werden? Computergrafik 2 SS

31 Bildrestauration Ziel: Korrektur des Bildsignals um bekannte und unbekannte Störungen Annahme: Störung kann durch einen verschiebungsinvarianten linearen Operator h beschrieben werden g(x,y) à (Störung durch PSF h) à g'(x,y) g'(x,y) = [h*g] (x,y) PSF beschreibt die Störung à Wie kann die PSF bestimmt werden? Computergrafik 2 SS

32 Gesucht: PSF K. D. Tönnies, Grundlagen der Bildverarbeitung Computergrafik 2 SS

33 PSF von Testbildern Annahme: Störung konstant und Testaufnahme möglich Durch die Aufnahme eines punktförmigen Objekts kann ein δ-impuls approximiert werden Aufnahme ist eine Näherung für die PSF Computergrafik 2 SS

34 PSF aus dem aufgenommenen Bild Falls Testaufnahme nicht möglich: Näherungsweise Bestimmung der PSF durch Betrachtung von Punkten oder Linien im gestörten Bild Computergrafik 2 SS

35 Kanten Die meisten Bilder weisen wenige Linien oder Punkte auf, aber Kanten können in fast jedem Bild gefunden werden. Computergrafik 2 SS

36 1D-Kanten Die Stärke einer Kante hängt von der Steigung der Funktion ab: Betrag der ersten Ableitung bestimmen Für diskrete Funktionen: Ableitung wird durch Differenz angenähert Computergrafik 2 SS

37 Kanten im 2D-Raum: Gradienten Gradient im kontinuierlichen Raum (x,y): Vektor der partiellen Ableitungen der Bildfunktion in x- und y-richtung: (f(x,y)) = ( f/ x f/ y) Approximation des Gradienten: Differential wird durch Differenz approximiert: Die Länge des Gradienten ist sein Betrag G(f) oder näherungsweise Gx + Gy. Computergrafik 2 SS

38 Elemente des Gradienten Betrag: sqrt(g x 2 + G y2 ) Richtung: tan -1 (G y / G x ) Computergrafik 2 SS

39 PSF aus Kanten PSF kann aus dem Verlauf einer als ideal angenommenen Kante approximiert werden Computergrafik 2 SS

40 Invertierung der Störung Überführung der Repräsentation in den Frequenzraum: G'(u,v) = FT[g'(m,n)] = FT[[h*g](m,n)] = H(u,v) G(u,v) Invertierung: g(m,n) = FT -1 [G'(u,v)/H(u,v)] ß Inverse Filterung Computergrafik 2 SS

41 Inverse Filterung Vollständige Rückgewinnung der Information aus den gestörten Daten FT -1 ( / )= Computergrafik 2 SS

42 Bewegungsunschärfe PSF FT(PSF) Computergrafik 2 SS

43 Bewegungsunschärfe Resultat der inversen Filterung FT -1 [FT(g )(u,v)/ft(psf)(u,v)] Computergrafik 2 SS

44 Numerische Probleme bei der inversen Filterung g = h* f ( m, n) = Problem: Nullstellen von H Treten auf, falls h als Matrix nicht den vollen Rang hat Auch kleine Werte von H sind numerisch schon ein Problem Deswegen in der Praxis: F ( u v) f (, v) ( u, v) FT 1 (, v) ( ) u, v G u H G u H ( u, v) > H min, = H 0 sonst Computergrafik 2 SS

45 Rauschen Problem: Inverse Filterung geht von idealen (ungestörten) Daten aus aber: Bilddaten enthalten Rauschen inverse Filterung verstärkt Rauschen extrem mit steigender Frequenz: (weißes) Rauschen bleibt, Signal- Amplitude nimmt schnell ab, Rauschanteil wird höher g(m, n) = f (m, n)* h(m, n)+!(m, n) G(u, v) = F(u, v)! H(u, v)+ N(u, v) " G(u, v) H(u, v) = F(u, v)+ N(u, v) H(u, v) ad-hoc Lösung: hohe Frequenzen ausschließen Computergrafik 2 SS

46 Rauschen G(u, v) = F(u, v)! H(u, v)+ N(u, v) " G(u, v) H(u, v) = F(u, v)+ N(u, v) H(u, v) PSF: H(u, v) inv. PSF: 1 H(u, v) Computergrafik 2 SS

47 Rauschen Invertierung bei Rauschen oft nicht möglich Computergrafik 2 SS

48 Abschneiden hoher Frequenzen komplettes Filter cut-off-radius: 40 unscharfes Bild cut-off-radius:70 cut-off-radius:85 R. C. Gonzalez & R. E. Woods, Digital Image Processing Computergrafik 2 SS

49 Gewichtete inverse Filterung Gewichtung der inversen Filterung mit der Amplitude der Störungsfunktion im Verhältnis zur mittleren Amplitude des Signals H 1 ( u, v) H ( u, v) A N Amplitude der PSF A N mittlere Amplitude der Rauschens Gewichtungsfaktor Problem: Gewichtung nimmt keine Rücksicht auf die Signalstärke von F Falls Amplitude von F hoch, kann Abschwächung kleiner, d.h. Gewicht größer sein Computergrafik 2 SS

50 Wiener Filter Minimierung des Fehlers zwischen Originalbild f und Schätzer ˆf führt zu ˆF(u, v) = X(u, v)!g(u, v) X(u, v) = 1 H u, v ( ) H ( u, v) 2 ( ) 2 + S! ( u, v) S f ( u, v) H u, v = 1 H u, v ( ) H ( u, v) 2 ( ) 2 + N ( u, v ) 2 F ( u, v) 2 H u, v S η und S f sind die Spektren (Quadrate der Amplituden) des Rauschens bzw. der ungestörten Funktion S η = 0 (ungestört) è perfekte inverse Filterung Wiener Filter dämpft Frequenzen abhängig von SNR Computergrafik 2 SS

51 heuristisches Wiener Filter Leider ist S η in der Praxis meist unbekannt ˆf Lösung: Konstante K: heuristisches Wiener Filter ˆF K (u, v) = X K (u, v)!g(u, v) X K (u, v) = 1 H u, v ( ) H ( u, v) 2 H u, v ( ) 2 + K Computergrafik 2 SS

52 Computergrafik 2 SS

53 Computergrafik 2 SS

54 TRANSFORMATION UND INTERPOLATION Computergrafik 2 SS

55 Transformation und Interpolation Die Transformationen Translation, Rotation und Skalierung sind auf reellen Zahlen definiert Digitale Bilder haben einen ganzzahligen Definitionsbereich Nach Transformation ist eine Interpolation notwendig Computergrafik 2 SS

56 Interpolation Konstante Interpolation (Wert des nächsten Nachbarpixels) Lineare Interpolation Interpolation durch Polynome höheren Grades Interpolation im Frequenzraum Computergrafik 2 SS

57 Konstante Interpolation Computergrafik 2 SS

58 Bilineare Interpolation Computergrafik 2 SS

59 Polynome höheren Grades Interpolation der Bildfunktion durch mehr als 2 Stützpunkte Polynom n-ten Grades interpoliert n+1 Punkte Die Bildfunktion wird besser angenähert, wenn mehr Terme der Taylor-Approximation berücksichtigt werden. Ableitungen für Taylor-Reihe durch Differenzen angenähert Grad des Polynoms ist ein Kompromiss zwischen steigender Anzahl berücksichtigter Terme der Taylor-Reihe steigender Ungenauigkeit der geschätzten Ableitungen bilinear bikubisch Computergrafik 2 SS

60 RAUSCHUNTERDRÜCKUNG MIT ÄHNLICHKEITSFILTER Computergrafik 2 SS

61 Nicht-lokale Mittelwertbildung Mehrere verrauschte Bilder einer statischen Szene Rauschen hat Mittelwert 0 Mittelwert bilden Figures from: Shahar Kovalsky, Alon Faktor: A Tour of Image Denoising, Slides Computergrafik 2 SS

62 Nicht-lokale Mittelwertbildung Redundanz in natürlichen Bildern ausnutzen Figures from: Shahar Kovalsky, Alon Faktor: A Tour of Image Denoising, Slides Computergrafik 2 SS

63 Buades, Coll, Morel: Gewichteter Mittelwert durch Selbst-Ähnlichkeit Verrauschtes Bild: v = { v(i) i! I}, v(i) = u(i)+ n(i) Nicht-lokaler Mittelwert: " j!i NL[v](i) = w(i, j)v( j) Gewichtsfunktion w(i, j) = 1 " Z(i) exp! v(n 2 i)! v(n j ) % $ 2,a ' $ h 2 ' # & " Z(i) = exp! v(n )! v(n ) 2 % $ i j 2,a ' ( $ h 2 ' j # & Figures from: Shahar Kovalsky, Alon Faktor: A Tour of Image Denoising, Slides Computergrafik 2 SS