Vorlesung 6. Biologisch motivierte Methoden der Objekterkennung II

Transkript

1 Vorlesug 6 Biologisch motivierte Methode der Objekterkeug II Marti Giese Marti.giese@ui-tuebige.de

2 Übersicht Kategorisierug Grudbegriffe der Iformatiostheorie Erkeug basiered auf gelerte Objektteile

3 I. Kategorisierug

4 Erkeug vs. Kategorisierug

5 Erkeug vs. Kategorisierug Ady Elke

6 Erkeug vs. Kategorisierug mälich weiblich

7 Chorus of Prototypes S. Edelma Objektasichte eigebettet i abstrakte Raum Variatioe etlag verschiedeer Dimesioe (Asicht, Beleuchtug, ) Edelma (1999)

8 Chorus of Prototypes Module, die verschiedee Asichte desselbe Objektes erkee Gruppe ( Chorus ) solcher Module, trage zur Repräse-tatio vo Objekte bei. Aktivieruge defiiere iederigdimesioale Repräsetatiosraum Edelma (1999)

9 Chorus of Prototypes Objektspezifische Module feuer verschiede stark, je ach Ählichkeit mit Bild Aktivitätsvektor ekodiert das Objekt Chorus of prototypes Edelma (1999)

10 Kategorisierug mit HMAX Modell Pool vo asichtgetute Neuroe, die icht bestimmte Objekte zugeordet sid Auslese abhägig vo Aufgabe (Kategorisierug, Idetifikatio, ) Riesehuber (2001)

11 Kategorisierug mit HMAX Modell Zuordug zu verschiedee subareale des iferotemporale Kortex (Area IT) (aterior vs. posterior) Neuroe im Präfrotalkortex (PFC) steuer Auslese abhägig vo Aufgabe Prädiktio: Aktivität der PFC-Neuroe sollte Kategorie ekodiere Riesehuber & Poggio (2003)

12 Kategorisierug bei Affe Geerierug vo kotiuierlicher Klasse vo Objekte (Tiere) durch 3D- Morphig Affe mit verschiedee Kategoriegreze traiiert 3D Morphs Freedma et al. (2001)

13 Kategorisierug bei Affe Morphigraum mit 2 oder 3 Kategorie Freedma et al. (2001)

14 Kategorisierug bei Affe Neuroeatwort im Präfrotalkortex Neuroeatwort reflektiert gelerte Kategoriegreze Gilt für alle Liie zwische Morphpaare Nach Umtraiiere auf adere Kategoriegreze lert ei Teil der Neuroe um Freedma et al. (2001)

15 II. Grudbegriffe der Iformatiostheorie

16 Grudbegriffe der Iformatiostheorie Geg.: Diskrete Zufallsvariable X mit X {x 1,, x N }, mit P(X = x ) = P(x ). Def.: Der durch das Ereigis {X = x } übertragee Iformatiosgehalt ist defiiert als: H ( x) : = log2 P( X = x) = log2 P( x) = log2(1/ P( x)) Idee: Seltee Ereigisse übertrage viel Iformatio. Def.: Der mittlere Iformatiosgehalt (Etropie), der durch die Variable X übertrage wird ist defiiert als: H ( X ) : = E{ log2 P( X )} = P( x)log2 P( x ) N = 1 [ 0]

17 Grudbegriffe der Iformatiostheorie Für das Paar vo Zufallsvariable (X, Y) ist die gemeisame oder Verbudetropie H ( X, Y ) = M N m= 1 = 1 P( x, y m )log 2 P( x, ym) Beachte: Falls die Variable X ud Y uabhägig sid, gilt wege P(X, Y) = P(X) P(Y): H ( X, Y ) = H ( X ) + H ( Y ) Falls X ud Y abhägig sid gilt wege P(X, Y) = P(X Y) P(Y) = P(Y X) P(X): H ( X, Y ) = H ( X ) + H ( Y X ) = H ( Y ) + H ( X Y ) mit der bedigte Etropie N M H = 1 m= 1 ( Y X ) = P( x ) log2 P( ym x)

18 Grudbegriffe der Iformatiostheorie Bew.: [ ] = = = = = = = = = = = + = = = N M m m N M m m m M M m m m M m N m m M m N m m x y P x P x P x y P x y P x P x P x y P x y P x P x P x y P x P x y P y x P y x P Y X H ) ( ) ( )log ( ) ( )log ( ) ( ) ( log ) ( log ) ( ) ( ) ( ) ( )log ( ) ( ), ( )log, ( ), ( H(Y X) H(X) 1

19 Grudbegriffe der Iformatiostheorie Ma ka zeige H ( X, Y ) H ( X ) + H ( Y ) mit = geau da we X ud Y uabhägig. (z.b. Papoulis, 1991) Graphische Illustratio: H(X,Y) H(Y) I(X,Y) H(Y) H(X Y) H(Y X) Def.: Die Trasiformatio (mutual iformatio) der Variable X ud Y ist defiiert als I( X, Y ) = H ( X ) + H ( Y ) H ( X, Y ) = H ( X ) H ( X Y ) = H ( Y ) H ( Y X )

20 Seder Grudbegriffe der Iformatiostheorie H(X Y) H(Y) X I(X,Y) Y H(Y) H(Y X) Awedug auf Iformatioskaal: a. Perfekter Kaal: X ud Y vollstädig abhägig, d.h. P(X,Y)=P(X)=P(Y) H(X,Y) = H(X) = H(Y) = I(X,Y) b. Vollstädig gestörter Kaal: X ud Y uabhägig, d.h. P(X,Y)=P(X) P(Y) H(X,Y) = H(X) + H(Y) I(X,Y) = 0 c. Teilweise gestörter Kaal: H(X,Y) < H(X) + H(Y) I(X,Y) > 0 Empfäger H(X) H(Y) H(X) H(Y) H(X) I(X,Y) H(Y)

21 III. Erkeug basiered auf gelerte Objektteile

22 Objektdetektiossystem Positive Beispiele Off-lie Traiig Klassifikator Klassifikatios- Ergebis: Objekt da / icht da Merkmalsextraktio Merkmalsvektor (x 1, x 2,, x ) Negative Beispiele Pixelmuster Suche über verschiedee Positioe ud Skale Heisele (2002)

23 Fehler beim Teste Traiigsbeispiele Traiiere des Klassifikators False Positive Gelabelter Traiigsdatesatz korrekt Empfidlichkeit Klassifikatio Heisele (2002)

24 Receiver Operatig Characteristics (ROC) Problem: Zahl der korrekte Klassifikatioe / False Alarms hägt vo Empfidlichkeit (Schwelle) ab Ergebisse verschiedeer Klassifikatore icht vergleichbar Lösug: ROC Korrekte Klass. ud False Alarms gegeeiader auftrage Schwelle variiere Fläche zwische ROC ud Diagoale bestimmt Qualität P korrekt Zufallsergebis des Klassifikators 1 P korrekt P FA Zufallsergebis des Klassifikators 1 Guter Klassifikator Schwelle Schwelle Schlechter Klassifikator 1 1 P FA

25 Teilbasierte Erkeug Systemarchitektur Fussgägerdetektio Eizele Klassifikatore traiiert mit Kompoete (Arme, Beie, ) Kombiatio der Klassifikatore mit eiem weitere Klassifikator (SVM) Positiosbeschäkuge für Teile Moha (2001)

26 Teilbasierte Erkeug Ergebisse Verschiedee Kombiatiosregel für die Teilklassifikatore UND ( votig ) Kombiatiosklassifikator ( adaptive ) Besseres Ergebisse mit teilbasiertem Verfahre als mit Klassifikator für die gesamte Figur Moha (2001)

27 Vorteile teilbasierter Methode Rotatioe: Rotatio ausserhalb der Bildebee Rotatio i der Bildebee Teilbasierte Klassifizierug Traiig auf rotierte Gesichter Rotatiosivariate Merkmale Aligmet Heisele (2002)

28 Vorteile teilbasierter Methode Eifaches Template Teil- Templates Heisele (2002)

29 Vorteile teilbasierter Methode Gesichtsfragmete Awedug auf Bilder vo Gesichter ud Autos Defiitio vo Bild-Fragmete durch Fester der Grösse p x q Verschiedee Auflösuge Iformatio eies Fragmetes F über Gesicht der Klasse C: I(F, C) Maximaler Iformatiosbeitrag für Fragmete mittlerer Grösse (11 % der Objektgrösse) Selektio der iformativste Fragmete Ullma et al. (2002)

30 Lere optimaler Fragmete Beispiele: Beitrag eies Fragmetes F zur Erkeug eies bestimmte Gesichtes C gegebe durch Likelihood-Ratio: R ( F) = P( F C) P( F C ) Klassifikatio des Gesichtes C durch MAX-Poolig der Ausgagssigale der Fragmete F ik (I-tes Fragmet des Typs k) über verschiedee Positioe: log 2 R( F i ) max( F ) k il k Gesichter ausserhalb der Klasse C > θ Wesetlich bessere Ergebisse als globale Templates (97 % korrekt; 2.1 % falscher Alarm) Mittlere Fragmetgrösse liefert beste Klassifizierugsergebisse l Fragmetgr. (% G. Fläche) Detektio False Alarms 4% 97% 30.4% optimal 95.6% 0% Ullma et al. (2002) 33% 39% 0%

31 Teilbasierte Detektio Heisele et al. (2001)

32 Lere vo Kompoete Rechtreckige Startregio Expasio i eie vo 4 Richtuge Extraktio euer Kompoet aus Bilder Traiiere eies SVM Klassifikators Auswahl der beste Kompoete ahad des Klassifikatiosfehlers Heisele (2002)

33 Lere vo Kompoete Ergebisse: Bilder: 58 x 58 Pixel Grosse Zahl ~ egativer Traiigsbeispiele Sythetische zusätzliche positive Beispiele aus 3D Gesichtsmodell; ges. ~ Regioe Startgrösse 5x5 Edgrösse: Rechtecke mit ca Pixel Seiteläge Heisele (2002)

34 Lere vo Kompoete Ergebisse: Teilbasierte Methode wesetlich besser Correct Face Detectio: Compoet-based vs. Global Approach (5,000 faces 25, 000 o-faces) 14 leared compoets whole face FP / ispected widow Heisele et al (2001)

35 Leistugsvergleich False Positives Heisele (2002)

36 Wichtige Pukte Kategorisierug -- Idetifikatio Chorus of Prototypes Iformatio ud Trasiformatio Receiver Operatig Characteristics Kompoetebasierte Detektio

37 Literatur Edelma, S. (1999). Represetatio ad Recogitio i Visio. MIT Press, Cambridge, MA. Freedma DJ, Riesehuber M, Poggio T, Miller EK (2001) Categorical represetatio of visual stimuli i the primate prefrotal cortex. Sciece 293, Heisele B, Serre T, Potil M, Vetter T, Poggio T (2001) Categorizatio by Learig ad Combiig Object Parts. I: Advaces i Neural Iformatio Processig Systems (NIPS'01), Vacouver, Caada. Mildeberger O (1992) Iformatiostheorie ud Codierug. Vieweg-Verlag, Brauschweig. Moha A (2000) Object detectio i images by compoets. AI Memo # 1664, CBCL Paper #178. Massachusetts Istitute of Techology, Cambridge, MA. Papoulis A (1991) Probability, Radom Variables, ad Stochastic Processes. McGraw-Hill, Sigapore. Ullma S, Vidal-Naquet M, Sali E (2002) Visual features of itermediate complexity ad their use i classificatio. Nature Neurosciece 5,