Bildverarbeitung 4 - Filterung

Transkript

1 Bildverarbeitun 4 - Filterun Frühjahrssemester 5 ETH Zürich Jan Dirk Wener und Michal Havlena ETH Zürich, Institut für Geodäsie und Photorammetrie (mit Material von Uwe Sörel, Friedrich Fraundorfer, Stefan Roth und Bildmaterial aus dem Internet)

2 Themen heute Faltun & Eienschaften linearer Filter Tiefpassfilter Hochpassfilter Nicht-lineare Filter Filterun

3 Lokale Filteroperationen Punktoperatoren berücksichtien nur den aktuellen Pielwert und lobale Transformationen verwenden das esamte Bild. Lokale Filteroperationen beziehen die Nachbarwerte in der Umebun eines Piels mit ein für die Bestimmun des neuen Grauwerts. Die Nachbarschaft wird über eine Filtermaske (window, kernel) definiert, die schrittweise über das Bild eschoben wird. Jeweils wird der Wert eines Piels im Erebnisbild bestimmt, meist das Piel in der Mitte der Maske. Oriinal Filtermaske Bild Filterun 3

4 Tpen lokaler Filter Lineare Filter Lineare diitale Filter h(,) führen Faltunsoperationen auf dem Bild (,) durch. Die Koeffizienten der Filtermatri stellen dabei Gewichte dar, mit denen die jeweilien Piel multipliziert werden, bevor die Summe ebildet wird. Bei homoenen Filtern sind die Koeffizienten konstant, unabhäni vom Bildort (Verschiebunsinvarianz) Nichtlineare Filter, z.b.: Ranordnunsfilter (Medianfilter etc.) Morpholoische Filter Diffusionsfilter Filterun 4

5 Eienschaften der Faltun (convolution) Bild Filter Faltunsoperator skalare Multiplikation Skalierunsfaktor Bilder und Filter lassen sich vor der Filteroperation beliebi linear kombinieren! Aber: Vorsicht im Diitalen ween Rundunseffekten und Rauslaufen aus Wertebereich Filterun 5

6 Einsatz linearer lokaler Filter Beispiele für tpische Anwendunen linearer lokaler Filter Glättun Hervorheben von auffällien Punkten und Kanten Punktoperationen (Schwellwerte, Historammebnun etc.) können das nicht leisten, da lokaler Kontet notwendi ist! Oriinal elättet Gradientenbild (Kanten) Filterun 6

7 Faltun Im Unterschied zur Korrelation erfolt eine Spieelun (in der Prais werden die Filterkoeffizienten espieelt). Für smmetrische Filter sind Faltun und Korrelation identisch. Faltun ist linear, weil die Werte (,) eine lineare Funktion der Werte (,) sind. ), ( ), ( ), ( ), ( ), ( ), ( ), ( j i h j i j i h j i h i i j j i i j j 7 Filterun

8 Faltun Im Unterschied zur Korrelation erfolt eine Spieelun (in der Prais werden die Filterkoeffizienten espieelt). Für smmetrische Filter sind Faltun und Korrelation identisch. Faltun ist linear, weil die Werte (,) eine lineare Funktion der Werte (,) sind. (, ) (, ) h(, ) i j i j ( i, j) h( i, j) i j i j ( i, j) h( i, j) D-Beispiel: () 3 4 h() h h h Faltun: h() spieeln, schrittweise verschieben und jeweilies Resultat berechnen h h h 3 4 Filterun 8

9 Beispiele für D-Faltun Verzöerun um zwei Einheiten: h h *h Filterun 9

10 Beispiele für D-Faltun Verzöerun um zwei Einheiten: h h *h Identität plus Verzöerun um fünf Einheiten: h 3 4 h *h Filterun

11 Beispiele für Faltun (smmetrische Filter) alle Koeffizienten = : h 3 4 *h Filterun

12 Beispiele für Faltun (smmetrische Filter) alle Koeffizienten = : h 3 4 *h 3 Filterun

13 Beispiele für Faltun (smmetrische Filter) alle Koeffizienten = : h 3 4 *h 3 6 Filterun 3

14 Beispiele für Faltun (smmetrische Filter) alle Koeffizienten = : h 3 4 *h 3 6 Filterun 4

15 Beispiele für Faltun (smmetrische Filter) alle Koeffizienten = : h 3 4 *h 3 6 Filterun 5

16 Beispiele für Faltun (smmetrische Filter) alle Koeffizienten = : h 3 4 *h Filterun 6

17 Beispiele für Faltun (smmetrische Filter) alle Koeffizienten = : h 3 4 *h Filterun 7

18 Beispiele für Faltun (smmetrische Filter) alle Koeffizienten = : h 3 4 *h Filterun 8

19 Beispiele für Faltun (smmetrische Filter) alle Koeffizienten = : n h m 3 4 Verbreiterun: Sinalläne n Filterläne m Erebnisläne: m + n - *h Filterun 9

20 Lineare Filter in D In der Bildverarbeitun sind die Filtermasken zweidimensional: meist quadratisch mit unerader Pielanzahl (33, 55, 77, ) Die Maske wird schrittweise über das Bild (,) eschoben für das im Einansbild (,) in der Mitte unter der Maske lieende Piel wird der Wert im Ausansbild (,) berechnet für jedes Piel (,) im Ausansbild wird die Faltun durcheführt! Filterun

21 Lineare Filter in D In der Bildverarbeitun sind die Filtermasken zweidimensional: meist quadratisch mit unerader Pielanzahl (33, 55, 77, ) Die Maske wird schrittweise über das Bild (,) eschoben für das im Einansbild (,) in der Mitte unter der Maske lieende Piel wird der Wert im Ausansbild (,) berechnet für jedes Piel (,) im Ausansbild wird die Faltun durcheführt!. Multiplikation pro Piel h Faltunsoperator (, ) (, ) h(, ) i j i j ( i, Faltun mit 33-Maske j) h( i, j) Filterun

22 Lineare Filter in D In der Bildverarbeitun sind die Filtermasken zweidimensional: meist quadratisch mit unerader Pielanzahl (33, 55, 77, ) Die Maske wird schrittweise über das Bild (,) eschoben für das im Einansbild (,) in der Mitte unter der Maske lieende Piel wird der Wert im Ausansbild (,) berechnet für jedes Piel (,) im Ausansbild wird die Faltun durcheführt!. Multiplikation pro Piel h. Summe aller Produkte Faltunsoperator (, ) (, ) h(, ) i j i j ( i, Faltun mit 33-Maske j) h( i, j) Filterun

23 Randbereich des Bildes In den Randbereichen rat die Maske h über das Bild hinaus Lösunsmölichkeiten z.b.: (Rand) = (Rand), (Rand) =, fortsetzen (z.b. Spieelun) Filterun 3

24 Themen heute Faltun & Eienschaften linearer Filter Tiefpassfilter Hochpassfilter Nicht-lineare Filter Filterun 4

25 Tiefpassfilter Tiefpassfilter dämpfen die hochfrequenten Teile des Bildinhaltes. visueller Eindruck des Bildes wird weicher, Grauwert-Kanten werden verwischt, Details und Rauschen werden abeschwächt, Achtun: In homoenen Bereichen haben Glättunsfilter keine Auswirkun. Oriinal Nach Glättun Filterun 5

26 6 Mittelwertfilter (mean, averae, bo filter) Filterun Der einfachste Glättunsfilter ist der Mittelwertfilter, Rechteckfilter, Oder auch Bofilter mit einer 3 3 Filtermaske. ), ( 9 ), ( 9 ), ( i i j j j i h h

27 Mittelwertfilter (mean, averae, bo filter) Der einfachste Glättunsfilter ist der Mittelwertfilter, Rechteckfilter, Oder auch Bofilter mit einer 3 3 Filtermaske. h(, ) 9 (, ) h 9 i j i j ( i, j) (93,5) ( 93,5) Filterun 7

28 Mittelwertfilter Faltun mit: Filterun 8

29 Mittelwertfilter Faltun mit: (Annahme: periodische Fortsetzun über Rand) Verschleifun der Grauwerte im Überansbereich (Kante) Filterun 9

30 Mittelwertfilter Periodische Störun mit einer Wellenläne von 3 Pieln (Annahme: periodische Fortsetzun über Rand) Filterun 3

31 Mittelwertfilter Periodische Störun mit einer Wellenläne von 3 Pieln (Annahme: periodische Fortsetzun über Rand) Filterun 3

32 Mittelwertfilter Periodisches Muster mit einer Wellenläne von Pieln Filterun 3

33 Mittelwertfilter Periodisches Muster mit einer Wellenläne von Pieln Unvollständie Eliminierun des Musters, ledilich Abschwächun des Sinals Filterun 33

34 Berechnunsaufwand der Faltun Direkte Berechnun eines beliebien Filters Maske der Größe n h n h, für jedes Piel n h Multiplikationen n h - Additionen quadratischer Anstie des Aufwands a a a a a a a a a Multiplikationen sind aufwendier (Kaskade von Additionen) mölichst vermeiden Separierbare Filter Assoziativesetzes: (, ) h(, ) (, ) h( ) h( ) linearer Anstie mit n h n h Multiplikationen n h - Additionen a a a a a a a a a a a a a a a Filterun 34

35 Berechnunsaufwand für den Mittelwertfilter I 9 Direkte Berechnun des Mittelwertfilters ünstie Auswirkunen der Einsen: Nur eine Multiplikation (Division durch Normierunsfaktor) n h - Additionen Der Mittelwertfilter ist separierbar Linearer Anstie mit n h Division 4 Additionen (n h -) Vorehen: erst in einer Dimension Falten, auf Erebnis zweite D-Faltun anwenden Filterun

36 Berechnunsaufwand für den Mittelwertfilter II Zahlenbeispiel. Faltun zeilenweise (93,4) (93,5) (93,6) Die Zeilensummen werden für 3 Piel verwendet Additionen pro Piel Filterun 36

37 Berechnunsaufwand für den Mittelwertfilter II Zahlenbeispiel. Faltun zeilenweise (93,4) (93,5) (93,6) 7 5 Die Zeilensummen werden für 3 Piel verwendet Additionen pro Piel. Faltun spaltenweise ( Additionen + Division pro Piel) ( 93,5) Um Rundunsfehler klein zu halten, sollte die Division zuletzt erfolen Filterun 37

38 Mittelwertfilter auf Farbbildern Glättun aller HSI-Kanäle separat verändert die Farbe deshalb: nur Glättun des Intensitätskanals oder Glättun aller RGB-Kanäle separat 38 Filterun 38

39 Nachteile des Mittelwertfilters Rechteckfilter sind keine idealen Tiefpassfilter: Übertraunsfunktion Der Mittelwertfilter ist rotationsvariant - unleichmäßie Unterdrückun hochfrequenter Bildanteile - Richtunsabhänikeit im Ortsfrequenzraum - Zusätzliche Störunen können verursacht werden Filterun 39

40 Verleich von Mittelwert- und Gaußoperator Ortsbereich Frequenzbereich Mittelwertoperator Nachteile: rotationsvariant, unterdrückt nicht alle hohen Frequenzanteile Vorteil: Implementierun per interal imaes mölich (schnell) G Gaußoperator (, ) e Vorteile: rotationsinvariant, unterdrückt alle hohen Frequenzanteile Nachteil: nur in Näherunsform diskret implementierbar Binomialfilter 4 Filterun 4

41 Binomialfilter Eienschaften: Diskrete Approimation des Gaußfilters D-Filter: separierbar in zwei D-Funktionen Rekursive Implementierun mölich D-Binomialkoeffizenten ehen aus dem Pascalschen Dreieck hervor b b, 6 4 Pascalsches Dreieck b 4 b 4, Filterun 4

42 b 4,4 Separierbarkeit des Binomialfilters Analo zu Mittelwertfilter: Abesehen von Normierunsfaktor keine Multiplikationen erforderlich, sondern nur noch Additionen Filterun 4

43 6 4 6 b Filterun 43 Separierbarkeit des Binomialfilters: Zahlenbeispiel 33

44 6 4 6 b.5 745) ( Filterun 44 Separierbarkeit des Binomialfilters: Zahlenbeispiel 33

45 6 4 6 b.5 745) ( Filterun 45 Separierbarkeit des Binomialfilters: Zahlenbeispiel 33

46 6 4 6 b.5 745) ( Filterun 46 Separierbarkeit des Binomialfilters: Zahlenbeispiel 33

47 6 4 6 b.5 745) ( Filterun 47 Separierbarkeit des Binomialfilters: Zahlenbeispiel 33

48 Binomialfilter: verschiedene Simas oriinal sima = sima = sima =3 Filterun 48

49 Themen heute Faltun & Eienschaften linearer Filter Tiefpassfilter Hochpassfilter Nicht-lineare Filter Filterun 49

50 Hochpassfilter Unterdrückun des Gleichanteils (homoene Bereiche werden nicht etrahiert hohe Frequenzen passieren Filter) Summe der Koeffizienten = Null feine Bilddetails werden hervorehoben Grauwertüberane (Kanten) werden verstärkt bzw. etrahiert Kantendetektoren sind tpische Hochpassfilter Filterun 5

51 Kantendetektion Grauwerte Kante = starke eradlinie Änderun des Grauwerts () erste Ableitun zweite Ableitun Filterun 5

52 Kantendetektion Grauwerte erste Ableitun zweite Ableitun Kante = starke eradlinie Änderun des Grauwerts () Gradientenoperator:. Ableitun () Suche nach Maima Filterun 5

53 Kantendetektion Grauwerte erste Ableitun zweite Ableitun Kante = starke eradlinie Änderun des Grauwerts () Gradientenoperator:. Ableitun () Suche nach Maima Laplace-Operator:. Ableitun () Suche nach Nulldurchan (Wendepunkt) Filterun 53

54 Gradienten-basierte Kantendetektion Diskrete Approimation des Gradienten durch Differenzbildun Damit das Erebnis aufs Raster fällt, Differenz der Nachbarpiel nehmen f () f () f () f ( ) f ( ) f ( ).5 f ( ) f ( ) f ( ) - + Filterun 54

55 Kantendetektion: Prewitt-Operator Differenzbildunen sind anfälli für Rauschen im Bild, deshalb Nutzun rößerer Filtermasken wie hier beim Prewitt-Operator: 6 h PREWITT _ 6 h PREWITT _ ) ( ) (.5 ) ( f f f.5 h.5 h ( ) (.5 ) ( f f f Filterun 55

56 Prewitt-Operator (-Richtun) Die vertikale Kante liet hier auf einem Zwischenitterplatz. Der Operator liefert eine zwei Piel breite Linie, je ein Piel links und rechts von der Kante mit jeweils dem halben Gradienten h PREWITT _ Filterun 56

57 Prewitt-Operator (-Richtun) h PREWITT _ Richtunsoperatoren heben diejenien Strukturen hervor, die in Arbeitsrichtun verlaufen, alle anderen werden kaum oder ar nicht detektiert. Filterun 57

58 Sobel-Operator bessere Robustheit bezülich Rauschen durch unterschiedliche Gewichte der einzelnen Differenzen Der Filter nach Sobel verwendet die b - Binomialkoeffizenten 8 h SOBEL _ 8 h SOBEL _ Filterun 58 Pascalsches Dreieck

59 Sobel-Operator: Betra und Richtun des Gradienten SOBEL _ SOBEL _ MAG SOBEL _ MAG SOBEL _ SOBEL _ SOBEL _ Filterun 59

60 Sobel-Operator: Betra und Richtun des Gradienten SOBEL _ SOBEL _ MAG SOBEL _ MAG SOBEL _ SOBEL _ SOBEL _ DIR arctan SOBEL _ SOBEL _ SOBEL _ SOBEL _ DIR Filterun 6

61 Laplace-Operator Alternative zu den Gradientenfiltern (. Ableitun) Suche nach den Wendepunkten der Funktion Nulldurchäne der zweiten Ableitun f () f () f () Filterun 6

62 Laplace-Operator Der Laplace-Operator berechnet die Summe der zweiten partiellen Ableitun einer kontinuierlichen skalaren Funktion (,) für die beiden Variablen und : ), ( ), ( ), ( Als diskrete Realisierun der. Ableitun wird die Differenz der Differenz benachbarter Piel pro Zeile und Spalte bestimmt: ), ( ), ( ), ( ), ( ), ( ), ( ), ( ) ( ), ( ), ( ) ( ), ( ), ( ), ( Filterun 6

63 Laplace-Operator 4 h 8 h Neben den erwünschten Kanten wird auch Rauschen hervorehoben Laplace-Filter ist sehr rauschanfälli Filterun 63 4 h h h Filtermasken in - und -Richtun können addiert werden

64 Laplace-Operator, Bildschärfun h 6 8 h Bild wird durch abeschwächten Laplace-Anteil eschärft. Oriinalbild Bild + Laplace = Schärfun nach Filterun mit h nach Filterun mit h Filterun 64

65 Themen heute Faltun & Eienschaften linearer Filter Tiefpassfilter Hochpassfilter Nicht-lineare Filter Filterun 65

66 Nachteile linearer Glättunsfilter Verschleifun von Kanten und Linien Salz-und-Pfeffer-Rauschen nach Mittelwertfilter Salz-und-Pfeffer- Rauschen wird nicht beseitit Filterun 66

67 Ranordnunsoperatoren Innerhalb einer Filtermaske werden die Grauwerte von niedri zu hoch sortiert oder umekehrt. Der neue Grauwert wird aufrund der Grauwertabfole innerhalb der Filtermaske bestimmt. keine neuen Werte (keine Rundun) Filter ist nichtlinear, nicht kommutativ, nicht assoziativ Ranfole: {3, 6,, 3, 36, 39, 57, 69, 96} niedrister Ran mittlerer Ran höchster Ran Filtermaske Bild Filterun 67

68 Ranordnunsoperatoren Die Auswahl des Rans (Stelle an der der Grauwert entnommen wird) hänt vom Filterzweck ab: Minimum-Filter: niedrister Ran niedrister Ran Ranfole: {3, 6,, 3, 36, 39, 57, 69, 96} Minimum Filterun 68

69 Ranordnunsoperatoren Die Auswahl des Rans (Stelle an der der Grauwert entnommen wird) hänt vom Filterzweck ab: Minimum-Filter: niedrister Ran Median-Filter: mittlerer Ran niedrister Ran mittlerer Ran Ranfole: {3, 6,, 3, 36, 39, 57, 69, 96} Minimum Median Filterun 69

70 Ranordnunsoperatoren Die Auswahl des Rans (Stelle an der der Grauwert entnommen wird) hänt vom Filterzweck ab: Minimum-Filter: niedrister Ran Median-Filter: mittlerer Ran Maimum-Filter: höchster Ran niedrister Ran mittlerer Ran höchster Ran Ranfole: {3, 6,, 3, 36, 39, 57, 69, 96} Minimum Median Maimum Filterun 7

71 Minimum-/Maimum-Filter Oriinalbild Minimum-Filterun (55 ) Maimum-Filterun (55) Filterun 7

72 Median-Filter Beseitiun von isolierten Störpieln (so. Salz-und-Pfeffer-Rauschen) Glättun bei leichzeitier Erhaltun der Kanten Einansbild mit Salz-und-Pfeffer-Rauschen Median-Filterun (33) Filterun 7

73 Verleich: Mittelwert- und Median-Filter Oriinalbild Medianfilterun (33) Differenzbild (Oriinal- Erebnis) Oriinalbild + Salz-und-Pfeffer Mittelwertfilter (33) Differenzbild (Oriinal- Erebnis) Filterun 73

74 Verleich: Mittelwert- und Median-Filter Einansbild mit Salz-und-Pfeffer-Rauschen Mittelwert-Filterun Median-Filterun Filterun 74

75 Median-Filter Medianfilter mit rößeren Masken werden auch allemein zur Glättun verwendet: je rößer die Stichprobe (Filtermaske), desto eher entspricht Median dem Mittelwert Details verschwinden (z.b. 3 Piel dicke Linie bei 77 Fenster) Oriinal Mittelwert 77 Median 77 Artefakt an Ecke Filterun 75

76 Gestutzter Mittelwert-Filter (trimmed mean filter) Kombination aus linearem Filter und Ranordnunsoperator macht den Mittelwert-Filter robuster een Ausreißer Prozessierunsabfole:. Ordne die Grauwerte der Filtermaske der Grösse nach. Lösche die kleinsten und rössten Grauwerte 3. Bestimme den Mittelwert der übrien Grauwerte Beispiel: 33 Filtermaske (insesamt 9 Grauwerte) mit der Grösse nach sortierten Grauwerten Abschneiden der zwei rössten und der zwei kleinsten Grauwerte und Mittelun der übrien Grauwerte Filterun 76

77 Gestutzter Mittelwert-Filter (trimmed mean filter) Die Anzahl der zu stutzenden/zu vernachlässienden Werte hänt von der Zahl der Ausreisser ab je mehr Ausreisser im Bild, desto mehr Stellen müssen estutzt werden Beispiel: die zwei kleinsten zu löschenden Räne Mittelwert der mittleren Räne die zwei rößten zu löschenden Räne Ranfole: {3, 6,, 3, 36, 39, 57, 69, 96} estutzter Mittelwert Filterun 77