Übersich der Vorlesng 1. Einührng 2. Bilderarbeing 3. Morphologische Operaionen 4. Bildsegmenierng 5. Mermale on Objeen 6. Klassiiaion 7. Dreidimensionale Bildinerpreaion 8. Bewegngsanalse as Bildolgen 9. PCA Hapomponenenanalse 10.ICA Independen Componen Analsis Unabhängigeisanalse
8 Bewegngsanalse 8.1 Einleing 8.2 Loale Verschiebngseoren 8.3 Opischer Flss
8.1 Einleing
Begrie berachen Bewegngen Translaion Roaion on ormesen Objeen dnamische Szenen mi eser Kameraposiion aber ach saische Szenen mi beweglicher Kamera Bildolge: 0 1 2 K Bilder werden in onsanen Zeiabsänden agenommen: δ cons o: δ cons = 1
Projeion on Bewegngen * P = z P = z * Rämliche Bewegng eines Pnes Bewegng des projizieren Pnes in der Bildebene Projeionsar: Parallelprojeion oder Zenralprojeion * = = z = z z Z = 000 Bildebene: z = = = z * = 0 z z Z = 00 Bildebene: z = 0
8.2 Loale Verschiebngseoren
Bewegng bei Zenralprojeion aeinanderolgende Bilder: 1 = 01 K 1
Loale Verschiebngseoren = δcons = 01K d * * = Pne Pal cons = δ ξ ψ T Repräsenier in der Bildebene die 3D - Bewegng eschwindigei in - bzw. -Richng in der Bildebene
Bemerngen In der Bildebene wird also eine beliebige 3D-Bewegng zwischen 2 Bildanahmen approimai drch loale Verschiebngseoren beschrieben. Eine Menge solcher loaler Verschiebngseoren ür einen esen Zeipn deinier ein loales Verschiebngseld in der Bildebene. Es is einem Bildpaar nd 1 zgeordne. Zr approimaien Berechnng loaler Verschiebngselder benz man den opischen Flss.
Beispiele Translaion in der Bildebene Translaion senrech zr Bildebene on der Kamera weg Roaion m eine Achse senrech zr Bildebene
Korrespondenzproblem Loale Verschiebngseorelder önnen as Bildolgen berechne werden wenn einzelne Oberlächenpne eindeig in der Bildolge erolg werden önnen. Korrespondenzproblem Die Verolgng einzelner Oberlächenpne is nich einach. Objee önnen erschwinden bzw. wieder aachen.
Aperrproblem Blendenproblem Ein loal beschräner Asschni einer Bildolge lieer o einen Anhalspn oder nr nzreichende Inormaion über die saindende Bewegng
Beispiel Bewegng bei einer periodischen Srr z.b. horizonales ier. Eine Verschiebng m ein Vielaches der Maschenweie is nich erennbar solange man nr einen Asschni des Objees sieh.
Beispiel Nr die horizonale Bewegng der Kane is essellbar. Eine eriale Verschiebng is nich z ermieln. Es gib also nendlich iele loale Verschiebngseoren die alle on einem Pn der Kane z einem beliebigen anderen Pn der erschobenen Kane ühren önnen. An einer Ece is eine eindeige Besimmng des loalen Verschiebngseldes möglich.
8.3 Opischer Flss opical low
8.3.1 Vorbemerngen
Vorbemerngen Repräsenier den Verla der Änderngen on Bildirradianzen raweren on Bild z Bild 1 einer Bildolge. Uner der Annahme dass die Änderng der rawere drch relaie oder absole Objebewegngen errsach wird is der opische Flss eine Approimaion des loalen Verschiebngseldes. ann deshalb zr approimaien Berechnng loaler Verschiebngselder benz werden Kann aber nich generell mi einem Feld loaler Verschiebngen ideniizier werden: eine or einer Kamera roierende Kgel mi onsaner Oberlächenbeschaenhei ein opischer Flss aber Bewegng also loales Verschiebngseld es sehende Kgel nd sich ändernde Licherhälnisse opischer Flss ür die Kgel aber eine Bewegng Deshalb is die Berechnng loaler Verschiebngselder drch den opischen Flss nr ner besimmen Annahmen möglich.
Bezeichnngen - rawer des Bildes im Pn der Bildebene = 012 K = δ cons Wir erwenden nn ach ür die Bildebene die Koordinaen nd anselle on nd. Eine Disreisierng werden wir ers späer berachen.
Opischer Flss Veoreld: = T mi: δ cons = opischer Flss des Bildpaares 1 charaerisier den Verla der Änderngen on raweren on Bild z Bild 1
Opischer Flss nd loale Verschiebngseoren der opische Flss soll der loalen Verschiebng ensprechen = d d * * = Pne Pal cons = δ ξ ψ T =ξ δ cons =ψ δ cons Bewegngsree des opischen Flsses.
8.3.2 Horn Schnc Verahren
Horn Schnc Bedingng e = δ δ δ δ δ δ 1 cons = = = = δ δ δ δ e = 0 sezen: cons = δ = 0 e = 0
Horn Schnc Bedingng = 0 = T = = gegeben gesch Die Horn Schnc Bedingng schrän die möglichen Were des opischen Flsses nr a eine erade der -Ebene ein. Dies is gerade das Aperrproblem. es
lahei des Veoreldes 2 2 2 2 Asgehend on der Fessellng dass benachbare Oberlächenpne eines sich bewegenden Objees in ewa dieselben loalen Verschiebngseoren besizen ann als globale Annahme die lahei des Veoreldes des opischen Flsses geroen werden. min 2 2 2 2 = Ω dd F g nahe bei Nll Menge der Bildpne ür die der opische Flss z berechnen is
Fehler bezüglich der üligei der Horn Schnc Bedingng Ω = min 2 dd F h =
esamehler Variaionsrechnng disree Ieraion min 2 2 2 2 = Ω dd F g Ω = min 2 dd F h min = F F F h g λ Wichngsparameer: 10 z.b: 0 = λ λ Lösngsmöglicheien:
8.3.3 Lösng mi Hile der Variaionsrechnng
Lösng mi Hile der Variaionsrechnng Fnional Ω dd = 0 d d d d = 0 d d d d nowendige Bedingngen ür ein schwaches relaies Eremm Eler leichngen:
Lösng mi Hile der Variaionsrechnng = 0 d d d d = 0 d d d d 2 2 2 2 2 = λ 2 = λ = 2 = 2 d d = 2 d d = 2
Lösng mi Hile der Variaionsrechnng = 0 d d d d 2 = λ = 2 = 2 d d = 2 d d = 2 2 2 2 2 = = λ 2 = λ Laplace Operaor
Lösng mi Hile der Variaionsrechnng d d d d = 0 2 = λ Diese pariellen ellipischen Dierenialgleichngen 2.Ordnng önnen drch nmerische Ieraionserahren gelös werden. Drch die Vorgabe on Randwerbedingngen ür nd ann die Lösngsmannigaligei eingeschrän werden.
8.3.4 Lösng mi disreer Ieraion
Lösng mi disreer Ieraion Für die disree Ieraion werden die Bildpne nr in ganzzahligen Koordinaen nd ür ganzzahlige Zeipne = 0 1 2 berache. i j 0 i I 1 0 j J 1 laheisehler: Die ersen Ableingen sind hier drch einache Dierenzen on Fnionsweren in benachbaren Bildpnen approimier. Für Randpne sind spezielle Feslegngen z reen.
Lösng mi disreer Ieraion Fehler der Horn-Schnc-Bedingng: Der z minimierende esamehler ergib sich z Dabei is es. Z besimmen sind die 2 I J Unbeannen i j i j so dass minimal wird. = 1 10 0 J j I i h g j i j i λ
Lösng mi disreer Ieraion
Lösng mi disreer Ieraion
Lösng mi disreer Ieraion
Lösng mi disreer Ieraion
Lösng mi disreer Ieraion Allerdings sind in dieser Lösng die Were in den Pnen i j on den Weren in der 4-Nachbarscha on i j abhängig. Die Lösngen önnen aber in den erschiedenen Bildpnen nich gleichzeiig berechne werden. Deshalb wird ein ieraies Verahren benz.
Lösng mi disreer Ieraion
Berechnng der Ableingen
Berechnng der Ableingen Randpne mss man gesonder behandeln
8.3.5 Algorihms zr Berechnng des opischen Flsses
Algorihms