Image Mosaicing. Michael Koop Hans-Ulrich Klein. Sommersemester ImageMosaicing

Transkript

1 Image Mosaicing Michael Koop Hans-Ulrich Klein Sommersemester 2004 ImageMosaicing

2 Vortragsinhalt 1. Einführung 2. Vorgehensweise zur Erstellung von Mosaikbildern 3. Zylindrische Panoramabilder 4. Feature-basierte Mosaikbilder ImageMosaicing 1

3 1. Einsatz von Mosaikbildern In der Wissenschaft werden aus vielen einzelnen Bildern ein hochauflösendes Bild erzeugt. Zur Veranschaulichung der Umgebung werden zylindrische Panoramabilder verwendet. Endurance Crater, Mars, aufgenommen am von Opportunity. 360 Grad Panorama neben dem Krater Bonneville, aufgenommen ImageMosaicing 2

4 Einsatz von Mosaikbildern Mosaikbilder ermöglichen Kompression und Indizierung von Videos ImageMosaicing 3

5 Einsatz von Mosaikbildern Als Environment Maps werden Mosaikbilder für viele Einsatzgebiete genutzt Simulatoren 3D Spiele ImageMosaicing 4

6 Einsatz von Mosaikbildern... und natürlich von Photographen für weitwinklige Aufnahmen. ImageMosaicing 5

7 2. Vorgehensweise zur Erstellung von Mosaikbildern Die verschiedenen Verfahren zur Erstellung von Mosaikbildern müssen dieselben grundlegenden Probleme lösen und besitzen daher einen ähnlichen Ablauf: 1. Vorverarbeitung 2. Bildregistrierung 3. Behandlung der Bildübergänge ImageMosaicing 6

8 Vorverarbeitung Vorverarbeitung der Quellbilder mit Verfahren der Bildverarbeitung (z.b. schlechte Belichtung Histogrammausgleich) Auswahl überlappender Bilder zur Registrierung bei zylindrischen oder sphärischen Panoramabildern: Projektion auf ein geometrisches Objekt ImageMosaicing 7

9 Bildregistrierung Problem: Finde die Koordinatentransformation f, welche die Punkte des Bildes G optimal auf die Punkte des Bildes F abbildet. Beim Erstellen von Mosaikbildern ist f optimal, wenn f die Differenz zwischen F und G minimiert. Ein mögliches Differenzmaß ist die L 2 -Norm: L 2 ( f ) = ( y )1 (F(x,y) G( f (x,y))) 2 2 x Kameramodell beschränkt den Suchraum intensitäten-basierte und feature-basierte Algorithmen ImageMosaicing 8

10 Bildübergänge Welchen Wert erhält der Pixel P im Mosaikbild, wenn an der Stelle P mehr als ein Quellbild registriert ist? einfaches Übereinanderlegen führt zu sichtbaren Diskontinuitäten der Intensitätswerte an den Grenzen der Quellbilder Idee: Alle an der Stelle P registrierten Quellbilder mit unterschiedlichen Gewichten einfließen lassen, so dass kontinuierliche Bildübergänge entstehen ImageMosaicing 9

11 3. Zylindrische Panoramabilder Zylindrische Panoramabilder können eine Sicht darstellen und werden daher in der Computergrafik oft als Environment Maps verwendet. Aufgrund des restriktiven Kameramodells sind sie relativ leicht zu erstellen: 1. Projektion auf einen Zylinder 2. Registrierung durch Translation 3. Zusammenfügen der Bilder ImageMosaicing 10

12 Zylindrische Projektion θ = arctan X Z υ = Y X 2 + Z 2 ImageMosaicing 11

13 Zylindrische Projektion unter Verwendung der Brennweite P B = (x h x,y h y, f ) = ( f X/Z, fy /Z, f ) ImageMosaicing 12

14 Zylindrische Koordinaten Bild-Koordinaten Damit die transformierten Bilder leicht gespeichert und weiterverarbeitet werden können, werden sie in einer Ebene ausgerollt. x = θ y = υ ImageMosaicing 13

15 Implementierung der Zylindrischen Projektion Brennweite f in Pixeln muss bekannt sein Auflösung der Bilder sollte beibehalten werden Radius = f setzen Interpolation Ursprung des Bildkoordinatensystems beachten ImageMosaicing 14

16 Bildregistrierung nach Lucas und Kanade F(x), G(x) h G(x) F(x) G F x F (x) h F(x + h) F(x) h G(x) F(x) F (x) F(x + h) F(x) + hf (x) = G(x) F(x) h (F (x) 0) (h 0) ImageMosaicing 15

17 Der Registrierungsalgorithmus im eindimensionalen Fall Ziel: Minimierung der Fehlerfunktion E E = (F(x + h) G(x)) 2 x (F(x) + hf (x) G(x)) 2 x 0 = E h h x (F(x) + hf (x) G(x)) 2 = 2F (x)(f(x) + hf (x) G(x)) x h x F (x)(g(x) F(x)) x F (x) 2 ImageMosaicing 16

18 Der Registrierungsalgorithmus im eindimensionalen Fall Schätze h iterativ und verwende die k-te Schätzung, um die k + 1-te Schätzung zu verbessern. h 0 = 0 h k+1 = h k + x F (x + h k )(G(x) F(x + h k )) x F (x + h k ) 2 ImageMosaicing 17

19 Der Registrierungsalgorithmus im zweidimensionalen Fall Der Algorithmus lässt sich direkt auf den zweidimensionalen Fall übertragen. Mit h = (h x,h y ) T und = ( x 1, x 2 ) ergibt sich: E = (F(x + h) G(x)) 2 (F(x) + F h G(x)) 2 x x 0 = E h h (F(x) + F h G(x)) 2 x [ ] 1 [ ] h F T F F T (G(x) F(x)) x x ImageMosaicing 18

20 Probleme und Verbesserungen lokale Minima Vorregistrierung nötig Eine oder beide partiellen Ableitungen haben an jedem Pixel den Wert 0. beschränkt auf Translation Erweiterungen existieren Iteration konvergiert schneller mit geschickter Gewichtung der einzelnen Schätzungen ImageMosaicing 19

21 Implementierung 1. Eingabe: Zwei zu registrierende Bilder F und G + eine initiale Schätzung der Verschiebung h (besser: hierarchisches Verfahren z.b. nach Bergen et. al) 2. Konvertierung zu Grauwertbildern 3. Gauss-Glättung (Wahl von σ?) 4. Berechnung der partiellen Ableitungsbilder F x und F y mit Sobel-Masken 5. Durchführung der vorgstellten Iteration zur Schätzung von h mit der Abbruchbedingung h i h i 1 < S ImageMosaicing 20

22 Implementierung h pre = (420; 6) T h opt = (428; 1) T σ = 2 S = 0,2 Iteration h T i (h i h i 1 ) T 0 (1, 537; 1, 430) - 1 (3, 236; 2, 948) (1, 699; 1, 518) 2 (5, 038; 4, 299) (1, 802; 1, 351) 3 (6, 589; 5, 116) (1, 551; 0, 817) 4 (7, 482; 5, 376) (0, 893; 0, 260) 5 (7, 919; 5, 437) (0, 437; 0, 061) 6 (8, 052; 5, 419) (0, 133; 0, 018) ImageMosaicing 21

23 Behandlung der Bildübergänge Weise dem Mosaikbild I M an der Stelle (x,y) das gewichtete Mittel der an der Stelle (x,y) registrierten Quellbilder I i zu: I M (x,y) = m i=0 w i (x,y)i i (x,y) m i=0 w i (x,y) w i (x,y) = 1, i, (x,y) führt nur bei gleichmäßiger Beleuchtung und präziser Registrierung zu guten Ergebnissen besser: w i (x,y) = w ix (x)w iy (y) Wobei w ix (x) und w iy (y) zwei Dreiecksfunktionen mit dem Wert 0 am rechten und linken Bildrand bzw. oberen und unteren Bildrand sind. Je näher ein Pixel am Bildrand liegt, desto schwächer wird er gewichtet. ImageMosaicing 22

24 Beispielbilder ImageMosaicing 23

25 4. Feature-basierte Mosaikbilder Bildregistrierung anhand einzelner Merkmale Ziel: Transformation von Bildern in das Koordinatensystem eines Basisbildes Bestimmung der Transformationsmatrix durch Bildmerkmale Einsatz für Mosaikbilder von planen Szenen 3D Szenen nur beschränkt behandelbar ImageMosaicing 24

26 Perspektivische Verzerrung Bei der Photographie einer Ebene aus verschiedenen Winkeln entstehen perspektivische Verzerrungen Eigenschaften einer perspektivischen Verzerrung: eigentlich parallele Geraden treffen sich in einem Fluchtpunkt nahe Objekte erscheinen größer als entferte Objekte Punkte die vor einer persp. Verzerrung auf einer Geraden lagen befinden sich danach immer noch auf einer Geraden Eine perspektivische (Rück)-Transformation kann durch eine Matrixmultiplikation realisiert werden. Diese soll bestimmt werden. ImageMosaicing 25

27 Homogene Koordinaten Die Transformation soll durch eine Matrixmultiplikation realisiert werden. Dazu werden die kartesischen Koordinaten um eine Dimension erweitert. Ein 2D Punkt (P) wird durch drei Koordinaten (P ) beschrieben : P = ( x y ) P = xz yz z Im allgemeinen wird z = 1 gewählt. ImageMosaicing 26

28 Bestimmung der Transformationsmatrix Eine Matrix zur perspektivischen Transformation hat folgende Gestalt: M = m 00 m 01 m 01 m 10 m 11 m 12 m 20 m 21 m 22 Wobei nur die ersten acht Parameter entscheident sind. Der neunte Parameter ergibt sich, da die Multiplikation der Transformationsmatrix mit einem Skalar die selbe Transformation beschreibt. Die Parameter werden meist so gewählt, dass m 22 = 1 gilt. ImageMosaicing 27

29 Bestimmung der Transformationsmatrix Die acht Parameter der Transformationsmatrix sollen gefunden werden. Dies kann durch vier korrespondierende Punkte geschehen: Jeder Punkt hat zwei Freiheitsgerade, die x-koordinate und die y-koordinate. Es muss gelten, dass die Koordinaten eines Punktes im zu registrierendem Bild multipliziert mit der Transformationsmatrix die Koordinaten des korrespondierenden Punktes im Basisbild ergibt: x z y z z = m 00 m 01 m 02 m 10 m 11 m 12 m 20 m 21 1 x y 1 Oder in nicht-homogenen Koordinaten: x = m 00x + m 01 y + m 02 m 20 x + m 21 y + 1 y = m 10x + m 11 y + m 12 m 20 x + m 21 y + 1 ImageMosaicing 28

30 Bestimmung der Transformationsmatrix Mit einigen Umformaungen ergibt sich: x = m 00 x + m 01 y + m 02 m 20 xx m 21 yx y = m 10 x + m 11 y + m 12 m 20 xy m 21 yy Nach dem Hinzufügen einiger fetter Nullen : x = m 00 x + m 01 y + m m m m 12 m 20 xx m 21 yx y = 0 m m m 02 + m 10 x + m 11 y + m 12 m 20 xy m 21 yy ImageMosaicing 29

31 Bestimmung der Transformationsmatrix Dies kann man jetzt wieder als lineares Gleichungssystem schreiben. x 1 y x 1 x 1 x 1 y x 1 y 1 1 x 1 y 1 y 1 y 1 x 2 y x 2 x 2 x 2 y x 2 y 2 1 x 2 y 2 y 2 y 2 x 3 y x 3 x 3 x 3 y x 3 y 3 1 x 3 y 3 y 3 y 3 x 4 y x 4 x 4 x 4 y x 4 y 4 1 x 4 y 4 y 4 y 4 a b c d e f g h = x 1 y 1 x 2 y 2 x 3 y 3 x 4 y 4 Dieses Gleichungssystem kann gelöst werden und ergibt dann die acht gesuchten Parameter. ImageMosaicing 30

32 Probleme Es dürfen keine drei Punkte auf einer Geraden liegen Die meisten Verfahren zur Merkmalsextraktion werden mehr als vier Punkte pro Bild ergeben. (Dazu später mehr) ImageMosaicing 31

33 Vorgehensweise bei mehr als vier Punkten Wenn im Basisbild n 1 Punkte gefunden wurden und im zu registrierendem Bild n 2 Punkte, dann können mit dem eben vorgestellten Verfahren 4! ( )( n1 n2 4 Transformationsmatritzen gefunden werden. Jede 4-elementige Teilmenge der Punkte im Basisbild bestimmt mit jeder 4-elementigen Teilmenge der Punkte im zu registrierendem Bild eine Transformationsmatrix (durch weitere Annahmen kann diese Anzahl reduziert werden). Vorgehensweise: Berechnung und Bewertung aller möglichen Transformationen. Die Beste wird dann genutzt. 4 ) ImageMosaicing 32

34 Bewertung einer Transformationsmatrix für jede Transformationsmatrix H i : 1. berechne für jeden detektierten Punkt im zu registrierendem Bild mittels H i dessen transformierten Koordinaten 2. berechne für jeden detektierten Punkt ein Korrelationsmaß/ eine Bewertung zwischen den Intensitätswert des Punktes im zu registrierendem Bild und dem Intensitätswert des Punktes mir den berechneten Koordinaten im Basisbild 3. berechne die Summe über alle Punkte von diesem Maß Die beste Transformation ist diejenige mit der größten Korrelation, bzw. kleinstem Abstand. (z.b. quadratischer Abstand, Earth Mover...) ImageMosaicing 33

35 Weitere Möglichkeit bei 4 oder mehr Punkten Eine zweite Möglichkeit mit mehr als vier detektierten Merkmalen umzugehen nutzt einen ähnlichen Ansatz wie zur Bewertung oben: Die Parameter der Transformation werden gleichzeitig geschätzt. Dazu wird ein Fehlerterm aufgestellt, der minimiert werden muss. min n i=1 mit ε i = (x i x i) 2 + (y i y i) 2 wobei n die Anzahl der detektierten Punkte ist, x i der durch x = m 00x + m 01 y + m 02 y = m 10x + m 11 y + m 12 m 20 x + m 21 y + 1 m 20 x + m 21 y + 1 bestimmte Punkt und x i der detektierte Punkt im zu registrierenden Bild. Zur Lösung dieser Minimierung wird ein iteratives Verfahren vorgeschlagen, der Levenberg-Marquardt Algorithmus. ε 2 i ImageMosaicing 34

36 Beispielbilder ImageMosaicing 35

37 Merkmalextraktion Bestimmung von interessanten Punkten weit verbreitetes Problem in der Bildanalyse gut geeignet sind Ecken, da diese translationsinvariant sind manuelle Eingabe bspw. Algorithmus SUSAN ImageMosaicing 36

38 manuelle Eingabe einfach zu realisieren sofort klar welche Punkte korrespondieren in unserer Implementierung genutzt ImageMosaicing 37

39 Smallest Univalue Segment Assimilating Nucleus Idee: Vergleich jeden Pixel mit seinen Nachbarpixeln und bestimme dabei die Anzahl der Pixel mit einer ähnlichem Intensität An einer Ecke sind die wenigsten Nachbarpixel dem gerade betrachtetem Pixel ähnlich. ImageMosaicing 38

40 Smallest Univalue Segment Assimilating Nucleus Berechne für jeden Nucleus mit jedem benachbarten Pixel einen Vergleichswert c(p act, p 0 ) = { 1 wenn I(pact ) I(p 0 ) t 0 wenn I(p act ) I(p 0 ) t addiere diese Vergleichswerte für jeden Nucleus zu n(p 0 ) Bestimme eine Eckenstärke R(p 0 ) = { g n(p0 ) wenn n(p 0 ) g 0 wenn n(p 0 ) g Je kleiner n(p 0 ), umso größer die Eckenstärke. Schwellwert g bestimmt die Eckenform und ist bei Ecken < n max 2, ImageMosaicing 39

41 SUSAN Verbesserungen durch andere Vergleichswertberechnung wirkliche Betrachtung von Regionen Es gibt eine Vielzahl von weiteren Methoden zur Merkmalsextraktion. ImageMosaicing 40