Regularisierung in Bildrekonstruktion und Bildrestaurierung Ulli Wölfel 15. Februar 2002 1 Einleitung Gegeben seien Daten g(x, y), die Störungen enthalten. Gesucht ist das (unbekannte) Originalbild ohne Störungen. Dabei wird ein Störungsmodell verwendet, mit dem man versucht, die Störungen zu beschreiben: g i = g(x i, y i ) = h i (x, y )f(x, y )dx dy, 1 i N g (1) mit h(x, y) = Kern das Störungssystems (Point Spread Function). Wir betrachten hier einen Gauß-blur als PSF, der zudem separabel ist, d.h. die Funktion h(x, y) läßt sich als Produkt zweier Funktionen h 1 (x) und h 2 (x) darstellen: h(x, y) = e (x2 +y 2 )/σ = e x2 /σ e y2 /σ. Das gesuchte Bild f(x, y) läßt sich als gewichtete Summe von N g Basisfunktionen Φ j (x, y), j = 1,..., N g schreiben: N f f(x, y) = f j Φ j (x, y). (2) j=1 Beispielsweise kann man die f j als die Werte einer N M(N f = NM) Matrix ansehen. Setzt man nun (2) in (1) ein, so erhält man: N f f j j=1 h i (x, y )Φ j (x, y)dx dy, 1 i N g, 1 j N f. (3) Obige Gleichung läßt sich auch als Matrixgleichung schreiben, wobei H eine N g N f Matrix ist: g = Hf. In der Praxis kommt oft noch ein Vektor q hinzu, der zusätzliche Störungen darstellt: g = Hf + q. 1
2 Least - Squares und Generalized Solution Das zu lösende Lineare Gleichungssystem ist schlecht konditioniert, so daß wir als ersten Ansatz folgende Methode verwenden: Least-Squares (Methode der kleinsten Quadrate) wobei ˆf LS = arg min f g Hf 2 2 (4) z 2 2 = i z 2 i die euklidische Norm bezeichnet. Hat H vollen (Zeilen-) Rang, so ist dim(kern(h)) = 0 und wir erhalten die Normalengleichungen: (H T H) ˆf LS = H T g. (5) Ist dim(kern(h)) < 0, so ist die Lösung nicht eindeutig, und wir suchen unter den kleinsten Quadraten die Lösung mit der kleinsten Norm (Generalized Solution): ˆf + = arg min f 2 subject to min g Hf 2. (6) f Probleme der Generalized Solution: Bildbereiche, die in Kern(H) liegen, werden nicht rekonstruiert, auch wenn gute Schätzungen möglich sind. Die Generalized Solution ist instabil in dem Sinne, daß kleine Veränderungen der Daten zu großen Änderungen in der Lösung führen. Ursache hierfür sind kleine Singulärwerte und hochfrequente Singulärvektoren. 3 SVD - Singular Value Decomposition Die SVD ist ein wichtiges Werkzeug zur Untersuchung von Problemen der Linearen Algebra und insbesondere von (6). Definition 3.1. (Singulärwerte) Sei A eine N g N f Matrix mit Rang r, dann heißen die positiven Wurzeln d ν = λ ν (ν = 1, 2,..., r) aus den Eigenwerten der positiv semidefiniten Matrix Matrix A T A Singulärwerte von A. Definition 3.2. (Singulärvektoren) Sei A eine N g N f Matrix, dann heißen die Eigenvektoren der Matrix AA T Linkssingulärvektoren und die Eigenvektoren der Matrix A T A Rechtssingulärvektoren. 2
Definition 3.3. (Singulärwertzerlegung) Sei H eine N g N f Matrix, dann ist p H = USV T = σ k u k vk T die SVD von H, wobei U eine unitäre (d.h. U T U = E) N g N g Matrix (deren Spalten u i die Linkssingulärvektoren sind), V eine unitäre N f N f Matrix (deren Spalten v i die Rechtssingulärvektoren sind) und S eine N g N f Diagonalmatrix mit den Singulärwerten auf der Hauptdiagonalen (und Nullen sonst) ist. Die Menge der Tripel (, u i, v i ) mit 1 i p heißt das Singulärsystem von H. Satz 3.1. Sei H eine N g N f Matrix, p = min(n g, N f ), und r der Rang von H, so gilt... σ r > σ r+1 =... = σ p = 0. Beweis. Die Anzahl der von Null verschiedenen Elemente einer Diagonalmatrix ist gleich ihrem Rang. Da in der Zerlegung H = USV T die Matrizen U und V vollen Rang haben, ist rang(h) = rang(s) = r und damit sind alle Singulärwerte mit i > r Null. Satz 3.2. Mit der SVD läßt sich die Generalized Solution (6) wie folgt ausdrücken: ˆf + u T i = g v i. Beweis. k=1 Hf g 2 2 = U T Hf U T g 2 2 = (U T HV )V T f U T g 2 2 = SV T f U T g 2 2 = Sα U T g 2 2 mit α = V T f bzw. V α = f = m ( α i u T i g) 2 + (u T i g) 2 jetzt wähle αi = ut i g/, i = 1,..., r. ( αi u T i g) = 0 ist Lösung für beliebige α r+1,..., α n i=r+1 f = V [α 1,..., α r, α r+1,..., α m ] T = ˆf + = V [α1,..., αr, 0,..., 0] T hat kleinste 2-Norm. u T i g v i 3
4 Direkte Regularisierungsverfahren 4.1 TSVD (Truncated SVD) Die Stabilitätsprobleme der Generalized Solution stammen von der großen Verstärkung des Noise - Terms durch kleine Singulärwerte. Aus dieser Beobachtung läßt sich leicht folgende Lösung ableiten: Definition 4.1. TSVD (Truncated SVD) mit und ˆf T SV D (α) = w i,α = { 1 i k(α) 0 i > k(α) k(α) = α 1. w i,α u T i g v i (7) Da bei dieser Methode ab einem bestimmten i die Singulärwerte einfach auf Null gesetzt werden, gehen Bildkomponenten, die nicht in den Daten beobachtet werden können, nicht in die Lösung ein (wie auch schon in der Generalized Solution). Die TSVD kann auch folgendermaßen interpretiert werden: Die Matrix H wird durch eine besser konditionierte Matrix H k mit (vermindertem) Rang k ersetzt: ˆf T SV D (α) = argmin f 2 subject to min g H k f 2. 4.2 Tikhonov Regularisierung Bei diesem weit verbreiteten Verfahren besteht die Hauptidee darin, Vorwissen über das Bild durch einen zusätzlichen Term direkt einfließen zu lassen. Definition 4.2. Tikhonov Regularisierung ˆf T ik (α) = arg min f g Hf 2 2 + α 2 Lf 2 2. (8) α ist der Regularisierungsparameter, der die Balancierung (Gewichtung) zwischen den beiden Termen regelt. Lemma 4.1. Der Minimierer von (8) ist die Lösung der folgenden Normalengleichungen: (H T H + α 2 L T L) ˆf T ik (α) = H T g. (9) Beweis. Zunächst formen wir den Ausdruck um: g Hf 2 2 + α 2 Lf 2 2 g T g 2f T H T g + f T H T Hf + α 2 f T L T Lf 4
Leiten ihn nach f ab: und bestimmen das Minimum: f = 2H T Hf 2H T g + 2α 2 L T Lf (H T H + α 2 L T L)f = H T g Satz 4.1. Zu (9) existiert eine Lösung und ist eindeutig, wenn Kern(H) und Kern(L) verschieden sind. Wir betrachten zwei Fälle: 1. L = E In diesem Fall messen wir die Größe oder Energie von f; damit verhindern wir, daß die Pixelwerte von f zu groß werden. α kontrolliert in diesem Fall das Verhältnis zwischen Datentreue und der Energie der Lösung. Benutzen wir die SVD, so läßt sich (9) in diesem Fall auch folgendermaßen ausdrücken ( in Analogie zu (7) ): mit ˆf T ik (α) = w i,α = w i,α u T i g v i (10) σ2 i σ 2 i + α2. In diesem Fall ( L = E ) ist Tikhonov ähnlich wie TSVD und rekonstruiert ebenfalls keine Bildkomponenten, die nicht aus den Daten hervorgehen. 2. L E L wird normalerweise als Ableitung oder Gradient gewählt, um durch Lf die Rauhheit zu messen. Damit erhalten wir Lösungen, bei denen die hochfrequente Energie abgeschwächt ist, und gleichzeitig ein geglättetes Bild. Es kann gezeigt werden, daß in diesem Fall ( L E ) auch nicht in den Daten vorhandene Bildteile rekonstruiert werden (Extrapolation). 4.3 Weitere Regularisierungsverfahren Es existieren eine Reihe weiterer Regularisierungsverfahren, darunter Abwandlungen der hier behandelten, von denen besonders die Total Least Squares - Methode, bei der H und g durch Ĥ und ĝ so angenähert werden, daß Ĥf = ĝ eine Lösung hat, aufgrund der guten Ergebnisse recht beliebt ist. 5
5 Effiziente Implementierung Da bereits bei einem Bild mit 256 x 256 Pixeln die Matrix H, die die PSF beschreibt, 4294967296 Elemente enthält, ist die Durchführung einer SVD auf normaler Hardware nicht ohne weiteres möglich, so daß sowohl beim Speicherplatzbedarf als auch bei der Laufzeit auf Effizienz geachtet werden muß. Ein Gedanke hierbei ist es, die SVD der PSF-Matrix nicht direkt abzuspeichern, sondern nur die gerade benötigten Spalten der SVD zu berechnen. Da die Matrix H eine Block-Toeplitz-Struktur aufweist und die blur-funktion separabel ist, läßt sich die SVD von H folgendermaßen zerlegen: Satz 5.1. Seien H 1, H 2 Toeplitz-Matrizen der separierten blur Funktion. Dann gilt: H = H 1 H 2, wobei das Kronecker-Produkt bezeichnet. Nun kann die SVD von H1 und H2 (die nur noch so groß wie das Bild selbst sind) ausgerechnet werden, und wir erhalten die SVD von H: H = H 1 H 2 = (U 1 S 1 V1 T ) (U 2 S 2 V2 T ) = (U 1 U 2 )(S 1 S 2 )(V1 T V2 T ) = USV T. Beispielprogramme in Matlab sind unter der Adresse http://www.informatik.mu-luebeck.de/ woelfel/hauptseminar/bildverarbeitung/ zu finden Literatur [1] David Bau, III, Lloyd N. Trefethen: Numerical Linear Algebra, SIAM, 1997, 26-36. [2] Al Bovik: Handbook of Image and Video Processing, Academic Press, 2000, 141-159. [3] Rafael C. Gonzalez, Richard E. Woods: Digital Image Processing, Addison Wesley, 1993, 254-268. [4] Per Christian Hansen: Regularization Tools, 1998. 6