Ähnlichkeit im Kontext der Bildsuche

Transkript

1 Ähnlchket m Kontext der Bldsuche Vorlesung Bldnformatonssysteme, Tel 3 Ullrch Köthe, FB Informatk, Un Hamburg Ähnlchket Motvaton: kene klar defnerte Semantk Approxmaton des korrekten Ergebnsses Präsentaton mehrerer Möglchketen was st Ähnlchket? monoton ncht-wachsende Funktonen S [, ] Umrechnung n Dstanzen: monoton ncht-fallende Funktonen mathematsche Axome (Ähnlchketsstrukturen bzw. Metrken): nützlche Egenschaften für Berechnungen Zoo der Dstanzen psychologsche Expermente: Ermttlung des menschlchen Ähnlchketsempfndens ncht mmer metrsch Zel: Modellerung der Nutzererwartungen an Ähnlchketssuche

2 Axome der Metrk bzw. Ähnlchket Metrk: Dstanzfunkton d(x, y) d(x, x) = d(y, y ) d(x, y ) d(x, x) d(x, y ) = d(y, x) d(x,z) d(x, y ) + d(y,z) Ähnlchketsfunkton s(x,y) [,] s(x,x) = s(y,y) konstante Selbstähnlchket Mnmaltät Symmetre Dreecksunglechung s(x,x) s(x, y) s(x, y) = s(y, x) Symmetre s(x,z) s(x,y) + s(y,z) - konstante Selbstähnlchket Egenschaften Metrsche Axome erlauben: Defnton der Grenzwertbldung lm x = x lmd(x,x)= Umrechnung zwschen Ähnlchket und Dstanz: z.b.: d = s, d = logs Schranke für de Dstanzen: d(x, x ) d(x, x 2 ) d(x,x 2 ) Defnton effzenter Indexstrukturen und Suchverfahren st ncht zwngend für de Bldsuche s(x,y) = g(d(x, y)) st Ähnlchketsfunkton d(x, y) st Metrk und p : g(p), g() =, g (p), g (p) 2

3 Mnkowsk-Dstanzen Spezalfall: x,y,z n-dmensonale Vektoren Addtvtät der Dstanz entlang von Geraden d.h.: Glechhet be der Dreecksunglechung, wenn Punkte auf ener Geraden legen d(x, y ) + d(y,z) = d(x,z), falls y zwschen x,z auf ener Geraden p p d p (x,y) = x y Mnkowsk -Dstanzen (p ) d Manhattan (x,y) = x y, d Chessboard (x,y) = max x y d Eukld (x,y) = (x y ) 2 Abgeletete Metrken () Apply functon Operator: geg. Metrk d(x,y): h(d(x, y)) st Metrk, wenn h() =, h(x) > (x> ) h (x), h (c) oder wenn h(x) = lm h n (x) wobe alle h n (x) obge n Bedngungen erfüllen 2,5 2 z.b.: h(x) = log(x + ),5 x, wenn x < h(x) =,5, sonst 2 4 h(x)=log(x+) h(x)=mn(x,2) 3

4 Abgeletete Metrken (2) Composton Operator geg. Metrken d (x,y), d 2 (x,y): H(d (x, y),d 2 (x, y)) H(,) = H(a,b), a b= const Hessesche Matrx H aa st Metrk, wenn H(a,b) (a,b) b a= const H ab st negatv semdefnt H ab H bb oder H(a,b) = lm H n (a,b) n Bedngungen erfüllen wobe alle H n de obgen Abgeletete Metrken (3) Bespele für Kombnatonsoperatoren: harmonsches, geometrsches, arthmetsches Mttel: H(a,b) = 2ab a + b, H(a,b)= ab, H(a,b)= a + b 2 Mnmum, Maxmum H(a,b) = mn(a,b), H(a,b) = max(a,b) gewchtetes Mttel, quas-lneares Mttel H(a,b) = wa + ( w)b, H(a,b) = ( wa + ( w)b ) 4

5 Farbähnlchket () Messung der mnmal wahrnehmbaren Farbänderung Farbähnlchket (2) Messung für vele Farben und vele Rchtungen Approxmaton durch Ellpsode (McAdams) 5

6 Farbähnlchket (3) Transformaton des Farbraumes so, daß Ellpsode zu Kugeln werden Eukldsche Dstanz approxmert menschlche Wahrnehmung d 2 (x,y) = (x y ) 2 Farbähnlchket (4) z.b. Verwendung des L*u*v*- oder L*a*b*- Farbraums. Normerung für unterschedlche Lchtquellen 2. Berückschtgung der logarthmschen Rezeptor-Empfndlchket (Weber-Fechnersches Gesetz) 3. affne bzw. nchtlneare Entzerrung des Farbraumes Verrngerung der Verzerrung von 2: auf 6: Verwendung des Y PbPr-Farbraums kene Normerung für unterschedlche Lchtquellen enfacher zu berechnen fast so gute Ergebnsse we mt L*u*v* oder L*a*b* 6

7 L*u*v*- und L*a*b*-Farbraum () Normerung für unterschedlche Lchtquellen Transformaton auf Werteberech [, ]: r = R, g= G, b = B R max G max B max Lchtquellenabhängge Transformaton n den XYZ-Farbraum, z.b. Lchtequelle D65 (moderne Farbbldröhre): X r Y = g Z b Transformaton des Weßpunktes (r,g,b) = (,,): (X n, Y n, Z n ) = (.95456,.,.88754) L*u*v*- und L*a*b*-Farbraum (2) logarthmsche Rezeptorempfndlchket: wahrgenommene Hellgket entsprcht Logarthmus der Intenstät Approxmaton des Logarthmus durch Potenz ( Gamma-Korrektur ): gamma(x) = x, x [,] log b ((b )x + ),2 L*u*v* und L*a*b*: = /3,8,6,4 Log Gamma,45,2,4,6,8 7

8 L*u*v*- und L*a*b*-Farbraum (3) Gamma-Korrektur der Lumnanz (mt = /3) 6 Y 3 Y 6, f.8856 < (L* 8) L* = Y n Y n 93.3 Y, otherwse (L* 8) Y n L*u*v*- und L*a*b*-Farbraum (4) XYZ L*u*v* und L*a*b* mt Referenzweßpunkt (X n, Y n, Z n ) 4X u? = X + 5Y + 3Z, v? = 9Y X + 5Y + 3Z u* = 3L * (u? u? n ), v* = 3L * (v? v? n ) a* = 5 X 3 Y 3 X n Y n, b* = 2 Y 3 Z 3 Y Z n n 8

9 L*u*v*- und L*a*b*-Farbraum (5) L*a*b* RGB L*a*b* R G B RGB, R G B und Y PbPr () RGB kodert rene Intenstät kene Berückschtgung der logarthmschen Empfndlchket R G B als gamma-korrgertes RGB ( =.45) R = R max r.45, G = G max g.45, B = B max b.45 Y PbPr als affne Entzerrung von R G B : Y r Pb = g Pr b 9

10 RGB, R G B und Y PbPr (2) Y PbPr RGB Y PbPr R G B Probleme mt unformen Farbräumen Daten ncht gekennzechnet: RGB oder R G B? Entzerrung auf der Bass klener Dfferenzen: glt Transformaton auch für große Dfferenzen? Entzerrung erzeugt nur näherungswese unformen Farbraum Abhänggket der Farbwahrnehmung von Lchtquelle unberückschtgt nur Paare von Farben berückschtgt: Kontexteffekte (z.b. Farbkonstanz) vernachlässgt trotzdem: zur Zet nchts besseres

11 Hstogramme und Sgnaturen Ähnlchketsfunkton bsher verglecht enzelne Farben, aber wr wollen ganze Blder (Mengen von Farben) verglechen Beschrebung von Mengen durch Hstogramme: feste Quantserung des Merkmalsraums ( Bns ) Anzahl der Werte pro Bn Sgnaturen: adaptve Quantserung des Merkmalsraums ( Cluster ) Clusterzentrum und Anzahl der Werte pro Cluster manchmal Pseudo-Sgnaturen (z.b. Haar-Methode): berückschtge nur sgnfkant gefüllte Bns Verglech von Hstogrammen: Bn-weser Verglech () Bn-weser Verglech: enfach und schnell z.b. Mnkowsk-Dstanzen (Metrken): D(k,l) = k l, D(k,l)= (k l ) 2, D(k,l) = maxk l Hstogramm-Schntt (kene Metrk, erlaubt partelles Matchng): Jeffrey-Dvergenz (kene Metrk, symmetrsch, robust gegen Rauschen und Quantserung) D(k,l) = D(k,l) = k mn(k,l ) k log k + l log l m m m = k + l 2

12 Verglech von Hstogrammen: Bn-weser Verglech (2) Bn-wese Vergleche entsprechen oft ncht der Wahrnehmung Bsp.: de lnken Hstogramme werden als ähnlch wahrgenommen, aber hre Dstanz st größer als de der rechten,8,6,4,2,8,6,4,2,8,6,4,2,8,6,4,2 Verglech von Hstogrammen: Berückschtgung der Bn-Ähnlchket () Verglech auf Bass der Summen-Hstogramme Metrken nur für geordnete Daten (D) Ordnung mplzert Ähnlchket funktonert für adaptv quantserte und kontnuerlche Daten Match-Dstanz: D(k,l) = k ˆ l ˆ Kolmogorov-Smrnov-Statstk: D(k,l) = maxk ˆ l ˆ ) k = k j j=,4,2,8,6,4,2 2

13 Verglech von Hstogrammen: Berückschtgung der Bn-Ähnlchket (2) Mahalanobs-Dstanz (quadratc form dstance): Ähnlchketsmatrx auf Grund ener Bassdstanz für de Bns Glättung des Hstogramms Ähnlchketsmatrx st symmetrsch (ant-symmetrsche Antele heben sch heraus) Ähnlchketsmatrx postv defnt (alle Egenwerte postv) quadratc form dstance st Metrk D(k,l) = ( k r r l ) T A( k r r l ) Verglech von Hstogrammen: Berückschtgung der Bn-Ähnlchket (2) Metrsche Egenschaften der Mahalanobsdstanz Egenwertzerlegung ener postv defnten symmetrschen Matrx A = D T B D, B... postve Dagonalmatrx Dagonalserung der Dstanz Eukldsche Dstanz n lnear transformertem Raum ( k = B Dk r r, k r l k r l k ( l k ( l B = B B ( ) T A( r ) = ( ( ) T ( ( ) dagonal domnante Matrx mt postven Enträgen st stets postv defnt, z.b. für klenes : A j = e d(k,l j ) 3

14 Verglech von Hstogrammen: Berückschtgung der Bn-Ähnlchket (3) Falls A ncht postv defnt: se d(p,p j ) ene L - oder L 2 -Norm, dann ( k r r l ) T H( k r r l ), wenn h j = d(p,p j ) und (k l ) = (Hstogramme glecher Masse) wenn A geegnet aus H abgeletet wrd, st quadratc form dstance zumndest ncht-negatv (Hafner et al kene Aussage zur Dreecksunglechung), z.b.: d(k A j =,l j ) max d(k,l j ),,j vermutlch auch A j = e d(k,l j ) Verglech von Hstogrammen: Berückschtgung der Bn-Ähnlchket (3) Mahalanobs- Dstanz entsprcht der Wahrnehmung besser: lnke Hstogramme haben gerngere Dstanz, we gewünscht,8,6,4,2,8,6,4,2,8,6,4,2,8,6,4,2 4

15 Verglech von Hstogrammen: Berückschtgung der Bn-Ähnlchket (4) gbt auch Fälle, wo Mahalanobs- Dstanz ncht der Wahrnehmung entsprcht: de lnken Hstogramme snd ähnlcher, aber hre Dstanz st größer als,8,6,4,2,8,6,4,2,8,6,4,2,8,6,4,2 rechts Verglech von Hstogrammen: Earth Mover Dstance () Rubner 99 Interpretere Dstanz-Berechnung als Transportproblem: Bestmme mnmale Kosten, um das ene Hstogramm n das andere zu transformeren 5

16 Earth Mover Dstance (2) formale Defnton auf Bass der Grunddstanz d(k,l): Voraussetzung : k = l j = Work(k,l,F) = d(k,l j )f j, wobe j F = [ f j ], f j (von k nach l j transporterte Masse), f j = k, f j = l j, f j = j j j EMD(k,l) = mn F Work(k,l,F) Earth Mover Dstance (3) Bespel: EMD = *7.2*.*.3.6.5*

17 Earth Mover Dstance (4) Falls Sgnaturen k und l unterschedlche Masse haben füge be der kleneren (o.b.d.a. k) en Hlfs-Bn hnzu ) ) k = { k,k slack }, k = normere EMD (andernfalls werden klene Sgnaturen bevorzugt): EMD(k,l) = mn F Work(k,l,F) k Earth Mover Dstance (5) Metrsche Egenschaften: EMD st Metrk, wenn de Bassdstanz ene Metrk st Symmetre, Ncht-Negatvtät trval Dreecksunglechung: betrachte 3 Hstogramme k, l, m mt optmalen Verschebungen kl, lm, km sowe klm = kl lm,j,r,j,r,j EMD(k,m) = km j d(k,m j ) klm rj d(k,m j ) klm rj (d(k,l r ) + d(k,m j )) = kl r d(k,l r ) + lm rj d(l,r r,m j ) r,j = EMD(k,l) + EMD(l,m) 7

18 Earth Mover Dstance (6) Berechnung:. Bestmmung ener erlaubten Lösung des Transportproblems (Nord-West Algorthmus, Russel s Methode) 2. Optmerung der Rohlösung mt spezalsertem Smplexverfahren Komplextät (mt optmalen Algorthmen): O(n 3 log(n)) k l 5 l 2 l 3 l 4 5 k k Earth Mover Dstance (7) Egenschaften: Anwendbar auf Sgnaturen und Hstogramme Matchng/Transport gute Approxmaton für Ähnlchketswahrnehmung, löst de Probleme, de be anderen Dstanzen aufgetretenen waren Unterstützung parteller Matches (Sgnaturen unglecher Masse, z.b. be Verdeckung) relatv effzente Berechnung (da n relatv klen) Metrk 8

19 Earth Mover Dstance (8),8,6,4,2,8,6,4,2,8,6,4,2,8,6,4,2,8,6,4,2,8,6,4,2 Earth Mover Dstance (9) Optmerungen Spezalfälle für D Hstogramme entsprcht de EMD der Matchng-Dstanz untere Schranke: EMD(k,l) d(k,l ), robuste EMD, falls (- ) Ausreßer: = < k,l... Schwerpunkte der Sgnaturen f j,j robuste EMD, falls Transport um maxmal Enheten möglch: EMD(k,l) = max f j [ d(k F,j,l j ) ], falls d(k mt [ d(k,l j ) ] =,l j ), sonst 9

20 Psychologsche Erforschung der Ähnlchketswahrnehmung () Ähnlchketswahrnehmung st abhängg vom Kontext Psychologsche Erforschung der Ähnlchketswahrnehmung (2) 2

21 Psychologsche Erforschung der Ähnlchketswahrnehmung (3) Ähnlchketswahrnehmung st abhängg vom Blckwnkel verwrreub coufnsug verwrreub coufnsug Ähnlchketsmodell von Thurstone-Shepard VP lernen Antwort R für Stmulus S Messung der Verwechslungswahrschenlchket und Berechnung der Generalserungsmatrx Anpassung des Generalserungsmodells an de Daten g j = g(d(s,s j )) p j = PR [ j S ], g j = p jp j p p jj Dstanz als Mnkowsk-Metrk,6 Sättgung des Abstandes,4,2 exponentelle Generalserungsfunkton (vgl. Weber-Fechner!),

22 Tversky s Expermente () Ähnlchketswahrnehmung st ncht metrsch Verletzung der Dreecksunglechung: Kuba ähnelt der Sowjetunon, Jamaca ähnelt Kuba, aber Jamaca ähnelt der Sowjetunon ncht Tversky s Expermente (2) Ähnlchketswahrnehmung st ncht metrsch Verletzung der Symmetre: VP bevorzugen rechtes Muster ähnelt lnkem gegenüber lnkes Muster ähnelt rechtem 22

23 Ähnlchketsmodell von Krumhansl Ähnlchket hängt ncht nur von Dstanz der Stmul ab, sondern auch von der Dchte der Stmul n deren Nähe: (x,y) = d(x, y ) + h(x) + h(y), h(x) Dchte höhere Dchte = typschere Stmul kene konstante Selbstähnlchket: typsche Stmul (hohe Dchte) haben gernge Selbstähnlchket (werden lecht verwechselt) (x,x) = ( + )h(x) wenn < : untypsches st typschem ähnlcher als umgekehrt (Verletzung der Symmetre - vgl. Tversky) Dreecksunglechung glt Ncht-Metrsche Dstanzen nach Jacobs et al. () Vorono-Dagramme für metrsche und ncht-metrsche Dstanzen (Mnkowsk-Dstanzen mt p =,2,,.5,.2,) L L 2 L L.5 L.2 L 23

24 Ncht-Metrsche Dstanzen nach Jacobs et al. (2) Robuste Vergleche führen oft auf ncht-metrsche Dstanzen (robust geg. Ausreßer, Verdeckung) Bespel: Hausdorff-Dstanz d(x, y ) = max max mn x j y j,max mn j j x y robuste Hausdorff-Dstanz: Ersetzung der max- Operaton durch 6%-Quantl d(x, y ) = max med6 x mn j y j,med6mn j j x y Ncht-Metrsche Dstanzen nach Jacobs et al. (3) Verwendung zu Erkennung von verdeckten Objekten Dreecksunglechung glt ncht d= d=2 d=4.2 24

25 Zusammenfassung und Bewertung exstert en resger Zoo von Dstanzen/ Ähnlchketsfunktonen unterschedlche Komplextät der Berechnung geegnete Auswahl für jede Anwendung expermenteller Verglech: sehe später vele offene Fragen metrsche oder ncht-metrsche Dstanzen? allgemene Egenschaften der ncht-metrschen Dstanzen Modellerung des menschlchen Ähnlchketsempfndens Kombnaton verschedener Dstanzen (sehe später) n der Praxs oft Verwendung von heurstschen Dstanzen 25