Strukturelle Modelle in der Bildverarbeitung MinSum Probleme LP-Relaxation

Transkript

1 Stutuelle Modelle in de Bildveabeitung MinSum Pobleme LP-Relaxation D. Schlesinge TUD/INF/KI/IS Maximieen scheinbae Qualität Diffusion Algoithmus LP... D. Schlesinge () SMBV: MinSum LP-Relaxation 1 / 11

2 Äquivalente Tansfomationen (zu Einneung) Zwei Aufgaben A = (q, g) und A0 = (q 0, g 0 ) sind zu einande äquivalent, wenn h q (y ) + i g 0 (y, y 0 ) = 0 h q0 (y ) + 0 g 0 (y, y 0 ) i 0 fü alle Labellings y gilt. A(A) Äquivalenzlasse (alle zu A äquivalenten Aufgaben). Äquivalente Tansfomationen: Φ = ϕ (),, ϕ 0 (), 0, ϕ () + ϕ 0 () = 0, 0 : 0 E D. Schlesinge () SMBV: MinSum LP-Relaxation 2 / 11

3 Scheinbae Qualität Die Enegie eine MinSum Aufgabe: E(A) = min h y q (y ) + i g 0 (y, y 0 ) 0 Scheinbae Qualität eine MinSum Aufgabe: man wähle von einande unabhängig fü jede Kante (fü jeden Knoten) das beste Labelpaa (den besten Label) SQ(A) = min q () + 0 min g 0 (, 0 ) 0 SQ(A) ist offensichtlich eine untee Schane fü E(A), d.h. SQ(A) E(A) Eine Aufgabe heißt tivial, wenn E(A) = SQ(A) gilt. D. Schlesinge () SMBV: MinSum LP-Relaxation 3 / 11

4 Scheinbae Qualität Die Äquivalenten Tansfomationen änden E(A) nicht, SQ(A) abe schon. Die Idee suche die Aufgabe gößte Scheinbae Qualität in de Äquivalenzlasse A(A) maximiee die untee Schane de Enegie: min q () + ϕ () + min g 0 (, 0 ) + ϕ 0 () + ϕ 0 ( 0 ) max 0 s.t. ϕ () + ϕ 0 () = 0 0 Φ, 0 : 0 E eine onave nicht übeall diffeenziebae Optimieungsaufgabe. Wie ist SQ(A) (effizient) zu maximieen? Tivialität zu püfen ist NP im Allgemeinen. Fü welche A gibt es einen tivialen Äquivalent? D. Schlesinge () SMBV: MinSum LP-Relaxation 4 / 11

5 Diffusion Algoithmus Wiedehole oft fü alle, 1) Sammeln gießen so viel wie möglich in q (): () = min g (, ) q () = q () + (, ) : E g (, ) = g (, ) (, ) 2) Veteile gleichmäßig auf inzidente Kanten g (, ): () = q ()/4 (bei 4-Nachbaschaft) g (, ) = g (, ) + () q () = 0 Es ist nicht ganz la, welche Aufgabe de Algoithmus eigentlich löst. Im Allgemeinen wid SQ damit nicht global optimiet. Patisch funtioniet oft befiedigend. Diffusion ist Relaxation Labelling Algoithmus (siehe OAnd) im (min, +)-Semiing!!! SQ [M. Schlesinge, 1976?], Diffusion [+Flach, 1998?], Ausabeitung [+Wene,?] D. Schlesinge () SMBV: MinSum LP-Relaxation 5 / 11

6 LP-Relaxation MinSum Poblem q (y ) + g (y, y ) min y wid zunächst als ein disetes Optimieungspoblem fomuliet. Dabei weden Gewichte w () und w (, ) fü alle Label bzw. Labelpaae eingefüht: w () q () + w (, ) g (, ) min w s.t. w () = 1, w (, ) = w (),,, w () {0, 1}, w (, ) {0, 1} w () {0, 1} zusammen mit w () = 1 (fü Kanten analog) sogen dafü, dass jede zulässige w-konfiguation einem Labelling entspicht. Jetzt weden die Gewichte elaxiet, d.h. w () [0, 1], w (, ) [0, 1] Man ehält eine lineae Optimieungsaufgabe. Wo ist nun das Poblem? D. Schlesinge () SMBV: MinSum LP-Relaxation 6 / 11

7 LP-Relaxation Die Lösung des entstehenden LP-Poblems ist (im Allgemeinen) eellwetig es ist i.a. nicht möglich aus de Lösung des LP auf die uspüngliche disete Lösung zuüczuschließen de Wet de LP-Lösung ist leine (untee Schane), weil de Lösungsaum de LP göße ist. Selbst wenn die Optimale eellwetige Lösung mit eine diseten übeeinstimmt, ist es aufgund seh höhe Dimension nicht möglich, das LP-Poblem effizient zu lösen. D. Schlesinge () SMBV: MinSum LP-Relaxation 7 / 11

8 LP-Relaxation w () q () + w (, ) g (, ) min w s.t. 1) w () = 1, 2) w (, ) = w (),,, 3) w () [0, 1], w (, ) [0, 1], w (, ) = 1, Das zweite Teil des 1) ist edundant das egibt sich aus dem esten Teil von 1) und 2) Wi fühen Lagange-Multipliatoen fü alle Bedingungen des Typs 2), d.h. λ (), die Bedingungen 1) und 3) behalten wi bei. D. Schlesinge () SMBV: MinSum LP-Relaxation 8 / 11

9 LP-Relaxation w () q () + w (, ) g (, ) + [ ] λ () w (, ) w () max min λ w s.t. w () = 1, w () [0, 1], w (, ) [0, 1] Wi guppieen die Summanden des Lagangians um w: [ ] w () q () λ () + s.t...., w (, ) = 1, w (, ) [g ] (, ) + λ () + λ ( ) max min λ w Keine Nebenbedingungen meh, die w () und w (, ) vebinden Summanden (unte und ) önnen von einande getennt bezüglich w optimiet weden. D. Schlesinge () SMBV: MinSum LP-Relaxation 9 / 11

10 LP-Relaxation Bezeichnen wi λ () = λ (), fü jeden Knoten lösen wi w () [q () + λ ()] min w s.t. w () = 1, w () [0, 1] De Wet de Lösung ist min [q () + λ ()] Analog fü die Kanten, de Wet de Lösung fü jede Kante ist [ ] min g (, ) + λ () + λ ( ) Jetzt gilt das alles bezüglich λ-s zu maximieen: [ ] min [q () + λ ()] + min g (, ) + λ () + λ ( ) max λ s.t. λ () + λ () = 0, Aufgabe des Maximieens de scheinbaen Qualität. D. Schlesinge () SMBV: MinSum LP-Relaxation 10 / 11

11 LP-Relaxation Die LP-Aufgabe und Aufgabe des Maximieens de SQ bilden ein Dualitätspaa. LP: O(EK 2 ) Vaiables, O(EK) Nebenbedingungen SQ: O(EK) Vaiables, O(RK) Nebenbedingungen einfache Weitee Themen: Boos, Hamme: Quadatic Pseudo-Boolean Optimization Belief Popagation fü MinSum im Gunde Diffusion Kolmogoov: Message Passing, TRWS ( gezielte äquivalente Tansfomationen) Komodais, M. Schlesinge: Subgadient Algoithmus Rothe..., Fusion Moves Algoithmus? Wene: Cutting Plane Algoithmus Shechovtsov?,...: Sub-/Supemodula Decomposition Savchynsyy, Kappes, Schmidt, Schnö: Nesteov s Scheme...?... D. Schlesinge () SMBV: MinSum LP-Relaxation 11 / 11