Technische Universität München. Fakultät für Informatik

Transkript

1 Technische Universität München Fakultät für Informatik Forschungs- und Lehreinheit Informatik IX Thema: Filterung im Bildraum: Konvolution Proseminar: Grundlagen Bildverstehen/Bildgestaltung Jonas Zaddach Betreuer: Suat Gedikli Abgabetermin: 23. Januar 2007

2 Einleitung Bildtransformationen sind heute alltäglich. Fast jeder Mensch besitzt eine Digitalkamera, mit der er fotografiert. Schon in der Kamera werden die aufgenommenen Bilder verändert, Farben werden angepasst und Hintergrundrauschen des CCD-Sensors aus dem Bild entfernt. Am Computer sind weitere Verbesserungen möglich, wie das Entfernen von Dunst. Wenn das Bild dann gespeichert wird, kommen Bildtransformationen zum Einsatz, um die Daten zuerst in eine effiziente Form zu bringen, in der sie dann gut komprimiert werden können. Durch Entfernung redundanter Bildelemente, wie minimale Farbunterschiede, die für den Betrachter nicht wahrzunehmen sind, kann ebenfalls Speicherplatz eingespart werden. Will man im Urlaub ein Panorama aufnehmen, hat jedoch kein Weitwinkelobjektiv zur Hand, hilft die sogenannte Stich-Funktion des Fotoapparates weiter. Sie entfernt mittels Bildtransformationen die perspektivische Verzerrung der Einzelaufnahmen und erlaubt es so, ein Bild aus mehreren nebeneinander liegenden Bildern zu rekonstruieren. Transformationen sind in vielen Bereichen der Bildverarbeitung wichtig. Im Folgenden sollen die Grundlagen für Bildtransformationen skizziert werden. Abbildung 1: Ungefilterte Bilder Abbildung 2: Bilder nach Bildverbesserung

3 Praktische Anwendung Filterung im Bildraum Betrachtung des Bildes als Signal In vielen Anwendungen des täglichen Lebens wird ein Bild als elektrisches Signal übertragen. Einige der zahllosen Anwendungen sind über Funk gesendete Fernsehsignale, vom Sensor einer Digitalkamera abgegriffene Bilder und Kernspintomograph-Aufnahmen. In der Elektrotechnik arbeitet man schon lange mit Signalen und hat bereits mathematische Formalismen eingeführt, um Signale und Signaltransformationen zu beschreiben. Dieses bereits gewonnene Wissen lässt sich auch für die Verarbeitung von Bildsignalen nutzen. Bild als zweidimensionales Signal Ein Signal ist eine zeitabhängige Größe, es ordnet jedem Zeitpunkt einen Wert zu. Signale in der Analogtechnik sind kontinuierlich, in der Digitaltechnik, wie sie im Computer verwendet wird, sind sie diskret. Dem Signal kann eine Funktion zugeordnet werden, die zu jedem Zeitpunkt den Signalpegel zurück gibt. Ein Bild lässt sich auf viele verschiedene Arten in ein Signal zerlegen. Es liegt nahe, ein zweidimensionales Signal für das Bild zu verwenden, da dies meist in Pixel zerlegt wird, die über ihre x- und y-koordinaten eindeutig gekennzeichnet sind. Jedoch muss die Aufteilung nicht in Pixel erfolgen. Einige mögliche Darstellungen für ein Bild sind: Koordinate x,koordinate y Rotwert r,grünwert g, Blauwert b x, y,r, g,b R Das Signal ist von den Koordinaten abhängig. Jedem Tupel (x,y) wird eindeutig ein RGB- Wert zugeordnet. Im Gegensatz zu einem Signal in der Elektrotechnik ist das Signal nicht anhängig von der Zeit, da ein Bild zu jedem Zeitpunkt gleich ist. In einem Video wäre das Signal auch noch von der Zeit abhängig, dann gäbe es drei Eingabeparameter, denen eindeutig Signalpegel zugeordnet werden. Koordinate x,koordinate y Luminanz Y,Chrominanz Rot U, BlauV x, y,y,u,v R Auch hier ist das Signal von den Koordinaten abhängig. Diesen wird aber nicht eine RGB- Farbe, sondern eine Farbe bestehend aus Luminanz (Helligkeit) und Chrominanz (Farbwert bestehend aus zwei Komponenten: Unterschied von Rot zur Luminanz und Unterschied von Blau zur Luminanz) zugeordnet. Diese Signalform ist dann günstig, wenn man geringe Farbunterschiede filtern will, da der Mensch sehr empfindlich auf Helligkeitsunterschiede reagiert, jedoch nicht so stark auf Farbunterschiede. Daher muss die Auflösung der Chrominanz nicht so hoch sein wie die der Luminanz, wodurch Speicher gespart werden kann. F DCKomponente u, ACKomponente v c u,v R ;c C Im Frequenzraum (Darstellung des Bildes nach der Fouriertransformation) wird jeder Frequenz eine Phase und eine Amplitude zugeordnet. Diese Parameter sind nicht intuitiv verständlich. Trotzdem ist diese Signalrepräsentation sinnvoll, da sich viele Bildtransformationen auf diese Funktion einfacher ausführen lassen als in den oberen beiden Darstellungen. Zum Beispiel Drehungen und Konvolutionen sind im Frequenzraum einfacher zu beschreiben als im Bildraum. Natürlich gibt es noch viel mehr mögliche Repräsentationen für ein Bild. Für jeden Zweck muss man eine angemessene Darstellung des Bildes wählen, damit Transformationen einfach formuliert werden können. Wählt man eine ungünstige Darstellung, kann es unmöglich sein eine Transforma-

4 tion für das Bild zu finden. Signalfilterung Es gibt unterschiedliche Klassen von Filtern. Die Klassen unterscheiden sich in der Komplexität und der Mächtigkeit der Operationen. Punktfilter ändern genau einen Pixel. Damit ist es unter anderem möglich, Helligkeit und Kontrast des Bildes anzupassen. Komplexere Bildverbesserungen wie Rauschentfernung sind mit diesem Filter nicht möglich. Lineare Filter gehen von einem Pixel im Bild aus, ändern aber mehrere Pixel im gefilterten Bild. Das Ergebnis ist nicht abhängig davon wo der Pixel im Bild gewählt wird, sondern nur von der Helligkeit des gewählten Pixels. Daher eignen sich Lineare Filter gut zur Beschreibung von Effekten, die ortsunabhängig sind, wie zum Beispiel Unschärfe. Lokale Einflüsse wie Belichtungsunterschiede können jedoch nicht ausgedrückt werden. Nichtlineare Filter transformieren mehrere Pixel zu mehreren Pixeln im Ergebnisbild. Wie ein Pixel abgebildet wird hängt von den Pixeln ab, die ihn umgeben. Daher können örtliche Veränderungen im Bild mit nichtlinearen Filtern beschreiben werden. Dies ist beispielsweise notwendig, um lokale Helligkeitsunterschiede aus einem Bild zu filtern, wie sie bei kurzen Belichtungszeiten durch den Vorhang im Fotoapparat entstehen. Die dunklen Ränder, die kürzer als die Bildmitte belichtet wurden, müssen dann aufgehellt werden. Man sollte im Kopf behalten, dass die Filterung um so zeitaufwendiger wird, je komplexer der Filter ist. Punktfilter arbeiten wesentlich schneller als Lineare Filter oder Nichtlineare Filter. Deswegen ist es für die Geschwindigkeit der Filterung besser, einen einfachen Filter zu verwenden, wenn das möglich ist. Im Folgenden werden mit der Konvolution die Klasse der linearen Filter erklärt. Was ist Konvolution? Konvolution Eine Konvolution oder Faltung bezeichnet eine lineare Transformation einer Funktion. Durch diese wird eine Funktion auf eine neue Funktion abgebildet: f f '. Mathematisch ist die Konvolution (symbolisiert durch * ) von zwei Funktionen f und g folgendermaßen definiert: g f m,n = g i, j f m i,n j d n d m Im Falle von diskreten Funktionen f und g vereinfacht sich die Konvolution zu: g f m, n = g p,q m p,n q p D q D wobei D=D f D g. D f und D g sind die Definitionsbereiche der diskreten Funktionen f und g. Dadurch können auch Werte, für die kein Funktionswert definiert ist, in eine Funktion eingesetzt werden. Deshalb muss eine Vereinbarung getroffen werden, wie mit solchen Stellen umgegangen werden soll. Dies wird später noch diskutiert. Abbildung der Signalfunktion Die Konvolution lässt sich nun zur Beschreibung von Transformation der Signalfunktion nutzen. Die ursprüngliche Signalfunktion wird durch die Faltung auf eine neue Signalfunktion abgebildet. Damit ist es möglich, Operationen auf ein Bild zu beschreiben. Die diskrete Form der Konvolution erlaubt es, auch auf nicht-kontinuierlichen Daten, wie sie auf

5 dem Computer im Regelfall vorliegen, zu arbeiten. Eigenschaften der Konvolution Die Konvolution erfüllt eine Reihe mathematischer Eigenschaften: Kommutativität: f g m,n = g f m,n Assoziativität: f g h m,n = f g h m,n Durch die Assoziativität ist es möglich, mehrere verkettete Transformationen zu einer zusammenzufassen und diese dann auf mehrere Bilder anzuwenden. So können einige Transformationen eingespart werden. Neutrales Element: f = f Die δ-funktion ist das neutrale Element der Konvolution. Die δ-funktion ist definiert als: x ={ 0 x 0 x=0 }, x dx=1 Eine explizite Definition gibt es nicht. Auf R ist die δ-funktion nicht als Funktion vorhanden, dort wird sie als Distribution bezeichnet. Darstellung als Matrix: Diskrete Funktionen können auch als Vektoren dargestellt werden, indem alle Funktionswerte hintereinander in einen Vektor geschrieben werden. Das ist nützlich, da die Konvolution dann als Matrixmultiplikation auf diesen Vektor ausgedrückt werden kann. Als Ergebnis der Operation erhält man wieder einen Vektor, der die transformierte Signalfunktion darstellt. Umkehrbarkeit: Die Konvolution ist nicht zwangsläufig umkehrbar. Wenn die Determinante der zur Faltung gehörigen Matrix Null ist (also die Matrix nicht invertierbar ist), kann die Konvolution nicht umgekehrt werden. Allerdings ist der Rang der Matrix in der Regel hoch, da die Komponenten stark variieren. Dadurch ist auch die Determinante der Matrix selten Null. Faltungstheorem: F f g = 2 F f F g Nachdem man die Funktionen fouriertransformiert hat, kann die Faltung durch die Multiplikation einfacher ausgeführt werden. Jetzt muss nur noch jede Komponente der Signalfunktion (das entspricht jedem Pixel im Bild) mit jeder Komponente der Abbildungsfunktion multipliziert werden, wodurch sich der Aufwand von O(n²) auf O(n) reduziert (n ist die Anzahl der Pixel im Bild). Die Fouriertransformation selbst hat Laufzeitkosten O n log n, der Gesamtaufwand ist mit O n log n also geringer, als wenn die Faltung direkt ausgerechnet würde. Performanz Die Konvolution ist als Operation teuer gegenüber Operationen auf einzelne Pixel. Wenn man für eine Operation auf einen Pixel die Kosten O(1) annimmt, so sind die Kosten für die Manipulation eines Bildes O(n), wobei n die Anzahl der Pixel im Bild ist. Bei der Konvolution dagegen wird jeder Pixel des Bildes mit jedem Koeffizienten der Abbildungsfunktion multipliziert, die Laufzeit ist also O(n²). Selbst in optimierter Form kann der Aufwand nicht unter O n log n gedrückt werden.

6 Bildränder An den Bildrändern muss eine Vereinbarung getroffen werden, wie die Bildfunktion und die Transformationsfunktion fortgesetzt werden. Das Beispiel (Abbildung 3) wurde mit einer Abbildungsfunktion gefaltet, die Bildunschärfe simuliert. Die Ränder werden je nach Methode unterschiedlich fortgesetzt: Abbildung 3: Ausgangsbild Sowohl Bildfunktion als auch Faltungsfunktion sind außerhalb eines bestimmten Radius um ihren Kern 0 (siehe Abbildung 4). Bei der Faltung wird der Radius des Kerns kleiner. An Stellen, die vorher definiert waren ist der Funktionswert jetzt 0. Dadurch ergibt sich ein schwarzer Trauerrand um das Bild. Deswegen muss man bei dieser Methode das Bild nach der Transformation zuschneiden, um den Rand zu entfernen. Abbildung 4: Mit 0 fortgesetzt An Stellen wo die Faltung nicht definiert ist, setzt man diese mit der Bildfunktion fort (Abbildung 5). Das gibt ein besseres Ergebnis, als wenn diese Werte einfach auf 0 gesetzt werden. Allerdings fällt immer noch ein starker Unterschied zwischen dem gewollt unscharfen Bereich in der Mitte und dem ungewollt scharfen Randbereich auf. Abbildung 6: Periodisch fortgesetzt Abbildung 5: Mit Bildfunktion fortgesetzt Eine weitere Lösung ist es, die Bildfunktion außerhalb ihres Definitionsbereiches periodisch fortzusetzen (Abbildung 6). Dadurch fällt der Unterschied zwischen dem Rand und der Bildmitte kaum noch auf. Das Gute an dieser Lösung ist, dass man die periodische Fortsetzung automatisch erhält, wenn man die Konvolution im Frequenzraum (nach einer Fouriertransformation) ausführt. Man braucht den Bildrand also nicht als Spezialfall zu behandeln, wie es bei den vorherigen beiden Lösungen der Fall war.

7 Punktantwort Experimentelle Ermittlung der Konvolutionsfunktion Die Punktantwort gibt an, wie ein Punkt des ursprünglichen Bildes nach der Transformation aussieht. Es wird davon ausgegangen, dass das Bild nur aus einem infinitesimal kleinen Punkt mit Helligkeit 1 besteht. Im normalen diskreten Fall heißt das, dass der Punkt genau ein Pixel groß ist. Auf diesen Punkt wird nun die Transformation ausgeführt. Das resultierende Bild visualisiert, wie der Punkt nach der Transformation im Bild verteilt ist. Abbildung 8: Ursprüngliches Bild Abbildung 7: Transformiertes Bild Abbildung 9: Punktantwort: x-, y- Achse geben Koordinaten des Punktes an, z-achse ist Intensität Experimentelle Ermittlung Für die experimentelle Ermittlung der Punktantwort gibt es mehrere Möglichkeiten: Aufnahme eines Prüfbildes: Vor oder nach der Aufnahme des Bildes wird unter gleichen Bedingungen ein Prüfbild aufgenommen (Abbildung 10). Das Prüfbild sollte dabei nur einen Punkt enthalten, der bei ruhender Kamera im Idealfall auf genau einen Pixel des Kamerasensors abgebildet wird. In diesem Bild entspricht die Helligkeit des Punktes der Summe aller Punkthelligkeiten, da allen anderen Pixel, die nicht zu dem Punkt gehören, idealerweise schwarz sind und somit den Wert 0 haben.

8 Abbildung 10: Auswirkung der Punktantwort Bild ohne Unschärfe Mit der Kamera aufgenommener Punkt Mit der Kamera aufgenommenes unscharfes Bild Wird nun der Punkt aufgenommen, ist er durch die zu messende Operation (z.b. Unschärfe) verschmiert. Aus diesem verschmierten Bild kann jetzt die Umkehrfunktion der Operation folgendermaßen berechnet werden: f g= f ' f g g= f g g= f ' g= f f Bild g Operation auf Bild f' Bild nach Operation g Umkehroperation δ Delta-Funktion Die Identität der Konvolution; Es gilt f = f Die Umkehrfunktion direkt zu finden ist meistens nahezu unmöglich. Glücklicherweise wird dies durch die Fouriertransformation bedeutend einfacher: F g g =F F g F g =1 F g = 1 F g Der Bruch bedeutet, dass man anstelle der Koeffizienten der Fouriertransformierten von g deren Kehrwerte ( 1/Koeffizient ) nimmt. Wenn es eine Umkehrfunktion g zur Funktion g gibt, ist sie nun einfach zu finden. Allerdings muss es nicht immer eine Umkehrfunktion der Operation geben! Wenn Koeffizienten der Fouriertransformierten von g Null sind, kann die Umkehrfunktion nicht existieren.

9 Abbildung 12: Unscharfes Ausgangsbild F(Bild) F(PSF) Abbildung 11: Punktantwort F -1 ( / )= Ermittlung aus dem Bild: Meist ist es nicht möglich, die Punktantwort durch ein zusätzliches Bild zu messen. Wenn nur ein bereits aufgenommenes Bild vorliegt, muss versucht werden die Punktantwort aus dem Bild zu bestimmen. Dazu sucht man Kanten im Bild. Die Kantensuche an sich ist nicht einfach; es muss erst einmal algorithmisch festgelegt werden, was Kanten sind. Eine brauchbare Definition für Kanten sind abrupte Farbübergänge. Diese können gefunden werden, indem man den Betrag des Gradienten G betrachtet. G f x, y = f x f y f x, y Abbildung 13: scharfes Ergebnis Der Gradient ist im Prinzip die Ableitung der Fläche. Die Länge des Gradientenvektors gibt an, wie stark die größte Steigung ist, während die Richtung die Richtung der stärksten Steigung angibt. Je größer der Betrag, also die Länge des Vektors ist, desto eher liegt an der Stelle im Bild eine Kante vor. Dann nimmt man an, dass an diesen Stellen ideale Kanten vorliegen. Durch den Vergleich der verzerrten Kante im Bild mit einer idealen geraden Linie bekommt man die Verschmierung der Kante. Aus diesem Vergleich kann man dann auf die Punktantwort rückschließen.

10 Abbildung 14: Unscharfes Ausgangsbild Abbildung 15: Vollständig rekonstruiertes Bild Annahme einer Kante im Bild => PSF lässt sich ermitteln Aus PSF lässt sich scharfes Bild rekonstruieren Abbildung 16: Gemessene Punktantwort Fazit Die Darstellung des Bildes als Signal vereinfacht das Filtern, da bereits viel Fachwissen über die Filterung von Signalen bekannt ist. Man kann das bestehende Wissen auf die Bildverarbeitung anwenden, um dort zu filtern. Besonders die Umwandlung des Bildsignals vereinfacht Filteroperationen, zum Beispiel durch die Umwandlung in den Frequenzraum, wo Drehungen einfach beschrieben werden können. Die Signaldarstellung des Bildes lässt sich mit verschiedenen Filteroperationen transformieren. Mit Punkttransformationen lassen sich sehr eingeschränkte Filterungen vornehmen. Die linearen Operationen sind mächtiger, können aber keine lokalen Filterungen im Bild beschreiben; dies ist mit den nichtlinearen Filterungen möglich. Je mächtiger die Klasse ist, desto aufwendiger wird allerdings die Filterung; Punktoperationen sind noch in Echtzeit möglich, lineare Operationen sind in Echtzeit schon sehr schwer zu implementieren. Nichtlineare Filterungen sind aufwendig und benötigen deswegen viel Zeit pro Bild. In diesem Text wurde die Klasse der linearen Operationen erklärt. Für diese Klasse bietet sich die Konvolution als Beschreibung der Operation an. Sie kann als Matrixmultiplikation gesehen werden und bietet damit eine mathematische Formulierung der Filterung. Durch die Transformation der Konvolution in den Frequenzraum kann die Faltung effizient ausgeführt werden, da die Fouriertransformation in Hardware wie in Software bereits implementiert ist. Die Punktantwort ist eine Möglichkeit, die Faltungsfunktion eines Bildes experimentell zu bestimmen. Mit einem Kontrollbild, welches aus genau einem hellen Punkt besteht, lässt sich ausmessen, wie das Bild durch die Filteroperation verändert wird. Selbst ohne Kontrollbild kann man das Bild noch rekonstruieren, indem man Annahmen über den Inhalt macht. Ist zum Beispiel eine Kante im Bild vorhanden, kann man eine verwischte Kante mit einer idealen Kante vergleichen und daraus die Punktantwort ermitteln.

11 In den meisten Fällen ist die Konvolution umkehrbar. Diese Eigenschaft ist sehr nützlich, da man dadurch Störungen aus dem Bild heraus filtern kann, wenn die Störung bekannt ist. Ist zum Beispiel die Punktantwort eines unscharfen Fotos bekannt, kann man daraus die Konvolution bestimmen, diese umkehren und auf das unscharfe Bild anwenden, um ein scharfes Bild zu erhalten. Literatur: Klaus D. Tönnies, Grundlagen der Bildverarbeitung, Pearson Studium, München, 2005, 4. Auflage, Seite Deutsche Wikipedia, Stichwort Konvolution, , Klaus D. Tönnies, Vorlesungsfolien zur Vorlesung Grundlagen der Bildverarbeitung, Sommersemester 2006, Universität Magdeburg, Abbildungsverzeichnis Bilder: Abbildung 1: Ungefilterte Bilder...2 Abbildung 2: Bilder nach Bildverbesserung...2 Abbildung 3: Ausgangsbild...5 Abbildung 4: Mit 0 fortgesetzt...5 Abbildung 5: Mit Bildfunktion fortgesetzt...6 Abbildung 6: Periodisch fortgesetzt...6 Abbildung 7: Transformiertes Bild...7 Abbildung 8: Ursprüngliches Bild...7 Abbildung 9: Point Spread Function: x-, y- Achse geben Koordinaten des Punktes an, z-achse ist Intensität...7 Abbildung 10: Auswirkung der Punktantwort...7 Abbildung 11: Punktantwort...8 Abbildung 12: Unscharfes Ausgangsbild...8 Abbildung 13: scharfes Ergebnis...8 Abbildung 14: Unscharfes Ausgangsbild...9 Abbildung 15: Vollständig rekonstruiertes Bild...9 Abbildung 16: Gemessene Punktantwort...9 Abbildung 1-9, 11-16: Klaus D. Tönnies, Vorlesungsfolien zur Vorlesung Grundlagen der Bildverarbeitung, Sommersemester 2006, Universität Magdeburg, Abbildung 10: Klaus D. Tönnies, Grundlagen der Bildverarbeitung, Pearson Studium, 2005, 4. Auflage, Seite 54