Merkmalerkennung am Beispiel SIFT

Transkript

1 Merkmalerkennung am Beispiel SIFT Medieninformatik IL Andreas Unterweger Vertiefung Medieninformatik Studiengang ITS FH Salzburg Wintersemester 2014/15 Andreas Unterweger (FH Salzburg) Merkmalerkennung am Beispiel SIFT Wintersemester 2014/15 1 / 20

2 Bildmerkmale (engl. features) I Beschreiben markante Stellen eines Bildes (so genannte Schlüsselpunkte) und deren Umgebung Anwendungen (Auswahl): Bildinhalte beschreiben Objekte in Bildern (wieder-)finden Bilder zusammenfügen Ähnliche Bilder suchen Anforderungen: Robustheit (Stabilität) Kompaktheit (geringer Speicherbedarf) Effizienz (geringer Zeitbedarf für Berechnung) Andreas Unterweger (FH Salzburg) Merkmalerkennung am Beispiel SIFT Wintersemester 2014/15 2 / 20

3 Bildmerkmale II Robustheitsgrade: Invarianz Quasi-Invarianz Toleranz Intoleranz Robustheitsdimensionen: Translation Rotation Skalierung Allgemeine affine Transformationen Perspektivische Transformationen Beleuchtung Andreas Unterweger (FH Salzburg) Merkmalerkennung am Beispiel SIFT Wintersemester 2014/15 3 / 20

4 Überblick SIFT I SIFT: Scale-invariant Feature Transform Bestandteile Merkmalerkennung Merkmalvergleich Quasi-invariant gegenüber Translation Rotation Isotroper Skalierung Tolerant gegenüber Perspektivischen Transformationen Beleuchtung Andreas Unterweger (FH Salzburg) Merkmalerkennung am Beispiel SIFT Wintersemester 2014/15 4 / 20

5 Überblick SIFT II Ablauf Merkmalerkennung Schlüsselpunktkandidatensuche Schlüsselpunktkandidatenfilterung Schlüsselpunktorientierungszuordnung Schlüsselpunktdeskriptorerstellung Ablauf Merkmalvergleich (von erkannten Merkmalen zweier Bilder) Merkmalübereinstimmungen finden Falschzuordnungen erkennen und entfernen Verifikation und Korrektur der Zuordnung (iterativ) Begriffsdefinitionen Orientierung: Ausrichtung des Schlüsselpunktes (ermöglicht Neuanordnung zur Erreichung von Quasi-Rotationsinvarianz) Deskriptor: Merkmalvektor mit Informationen zum Schlüsselpunkt Andreas Unterweger (FH Salzburg) Merkmalerkennung am Beispiel SIFT Wintersemester 2014/15 5 / 20

6 Einschub: Scale Space I Motivation: Skalierungsinvarianz durch Modellierung des Scale (zu deutsch etwa Maßstab) erreichen Idee: Ein Bild L(x, y) in einem Scale σ entspricht einem weichgezeichneten (mit G gefalteten) Ausgangsbild I (x, y) mit Weichzeichnungsstärke σ L(x, y, σ) = I (x, y) G(x, y, σ) G ist zweidimensionales Gauß-Filter mit variablem σ G(x, y, σ) = 1 x 2 +y 2 2πσ 2 e 2σ 2 Andreas Unterweger (FH Salzburg) Merkmalerkennung am Beispiel SIFT Wintersemester 2014/15 6 / 20

7 Einschub: Scale Space II σ = 0 σ = 1 σ = 4 σ = 16 Quelle: Wikipedia contributors: Scale space. Wikipedia, The Free Encyclopedia ( ), 2014 Andreas Unterweger (FH Salzburg) Merkmalerkennung am Beispiel SIFT Wintersemester 2014/15 7 / 20

8 Schlüsselpunktkandidatensuche I Idee: Menschliche Wahrnehmung nachahmen Überlegung: Details/hochfrequente Anteile enthalten viel Information Umsetzung: Difference of Gaussians (DoG) D mit k R: D(x, y, k) = (G(x, y, kσ) G(x, y, σ)) I (x, y) = L(x, y, kσ) L(x, y, σ) Quellen: Andreas Unterweger (FH Salzburg) Merkmalerkennung am Beispiel SIFT Wintersemester 2014/15 8 / 20

9 Schlüsselpunktkandidatensuche II... Scale (next octave) Scale (first octave) Difference of Gaussian Gaussian (DOG) Quelle: Lowe, D. G.: Distinctive Image Features from Scale-Invariant Keypoints. International Journal of Computer Vision, vol. Figure 1: For each octave of scale space, 60, no. the2, initial pp , image2004. is repeatedly convolved with Gaussians to produce the set of scale space images shown on the left. Adjacent Gaussian images are subtracted Andreas tounterweger produce the(fh difference-of-gaussian Salzburg) Merkmalerkennung images on theamright. Beispiel After SIFTeach octave, Wintersemester the Gaussian2014/15 image is 9 / 20

10 Schlüsselpunktkandidatensuche III Ohne Beweis: Scale-Invarianz durch Laplacian of Gaussians (LoG) 2 G mit zusätzlichem Faktor σ 2 möglich: 2 G = 2 G x G y 2 Approximation von LoG durch DoG Scale Space erfüllt Diffusionsgleichung: σ 2 G = G σ Diskretisierung erlaubt vereinfachte numerische Ableitung: σ 2 G(x, y, kσ) G(x, y, σ) G D(x, y, k) (k 1)σ 2 2 G I (x, y) kσ σ Andreas Unterweger (FH Salzburg) Merkmalerkennung am Beispiel SIFT Wintersemester 2014/15 10 / 20

11 Schlüsselpunktkandidatensuche IV Ohne Beweis: Scale-Space-Extrema (Minima und Maxima von D) sind gute Kandidaten für Schlüsselpunkte Scale-Invarianz als Nebeneffekt von LoG-Approximation Diskreter Suchraum erlaubt Extremafindung durch Vergleich eines Pixels von D mit dessen direkten Nachbarn in allen drei Dimensionen Scale Quelle: Lowe, D. G.: Distinctive Image Features from Scale-Invariant Keypoints. International Journal of Computer Vision, vol. 60, no. 2, pp , e 2: Maxima and minima of the difference-of-gaussian images are detected by compar Andreas Unterweger (FH Salzburg) Merkmalerkennung am Beispiel SIFT Wintersemester 2014/15 11 / 20

12 Schlüsselpunktkandidatenfilterung Kandidatenfilterungsprozess (ohne Details): Kandidaten mit niedrigem Kontrast entfernen (anfällig für Rauschen) Kandidaten entlang von Kanten entfernen (Lokalisation schwierig) Interpolation rund um Extremum erlaubt exaktere Positionsermittlung Adaptiert von Andreas Unterweger (FH Salzburg) Merkmalerkennung am Beispiel SIFT Wintersemester 2014/15 12 / 20

13 Schlüsselpunktorientierungszuordnung I Beträge A und Winkel ϕ von Gradienten in Region um Schlüsselpunkt werden durch numerische Ableitung genähert Verwendung von L (x, y) = L(x, y, σ P ) zur Beibehaltung von Scale-Invarianz (σ P ist Scale von Schlüsselpunkt P) A(x, y) (L (x + 1, y) L (x 1, y)) 2 + (L (x, y + 1) L (x, y 1)) 2 ( L (x, y + 1) L ) (x, y 1) ϕ(x, y) arctan L (x + 1, y) L (x 1, y) Winkel-Histogramm mit 10-Grad-Unterteilung wird erstellt Gradientenbeträge fließen entfernungsgewichtet ein (ohne Details) Maximum ist dominante Orientierung Rotations(-quasi-)invarianz Für Werte bis 80% des Maximums: Zusätzliche Schlüsselpunkte Andreas Unterweger (FH Salzburg) Merkmalerkennung am Beispiel SIFT Wintersemester 2014/15 13 / 20

14 Schlüsselpunktorientierungszuordnung II Bisher bestimmte Schlüsselpunkteigenschaften: Position (für Translationsinvarianz) Scale (für Scale-Invarianz) Orientierung (für Rotationsinvarianz) a) (b) c) (a) (d)(b) igure 5: This figure shows the stages of 60, keypoint no. 2, pp. selection , (a) The 233x189 pixel original image. b) The initial 832 keypoints locations at maxima and minima of the difference-of-gaussian function. eypoints are displayed as vectors indicating scale, orientation, and location. (c) After applying Quelle: Lowe, D. G.: Distinctive Image Features from Scale-Invariant Keypoints. International Journal of Computer Vision, vol. Andreas Unterweger (FH Salzburg) Merkmalerkennung am Beispiel SIFT Wintersemester 2014/15 14 / 20

15 Schlüsselpunktdeskriptorerstellung 4 4 Orientierungshistogramme mit 45-Grad-Unterteilung aus Gradienten in Region berechnen (vereinfachte Skizze) Vektor aus Histrogrammwerten erstellen und (vereinfacht) Vektor normalisieren (für Beleuchtungsinvarianz) Image gradients Keypoint descriptor Quelle: Lowe, D. G.: Distinctive Image Features from Scale-Invariant Keypoints. International Journal of Computer Vision, vol. 60, no. 2, pp , Figure 7: A keypoint descriptor is created by first computing the gradient magnitude and orientation at each image sample point in a region around the keypoint location, as shown on the left. These are Andreas Unterweger (FH Salzburg) Merkmalerkennung am Beispiel SIFT Wintersemester 2014/15 15 / 20

16 Merkmalvergleich I Schlüsselpunkte und -deskriptoren in beiden Bildern berechnen Schlüsselpunktdeskriptoren vergleichen: Merkmalvektoren mit jeweils kleinsten euklidischen Abständen einander zuordnen (Ausnahme: Der zweitkleinste Abstand ist sehr nahe am kleinsten) Quelle: Hess, R.: OpenSIFT An Open-Source SIFT Library. ( ), Andreas Unterweger (FH Salzburg) Merkmalerkennung am Beispiel SIFT Wintersemester 2014/15 16 / 20

17 Merkmalvergleich II Ausschluss von unpassenden Zuordnungen Bestimmung der Pose (relative Position, Scale und Orientierung) jedes zugeordneten Schlüsselpunktes (mit Fehlertoleranz) Gruppierung von Schlüsselpunkten, die in ihrer Pose übereinstimmen Höhere Wahrscheinlichkeit für korrekte Zuordnung (ohne Details) Verwerfen von Zuordnungsgruppen mit weniger als drei Zuordnungen Menge von Zuordnungsgruppen Geometrische Verifikation (für jede Zuordnungsgruppe) Vereinfachte Annahme: Zuordnungen werden durch affine Transformation (mit Fehlertoleranz) hinreichend genau beschrieben Unbekannte affine Transformationsmatrix aus linearem Gleichungssystem (mit Fehlertoleranz) bestimmen (ohne Details) Zuordnungen mit zu großem Fehler verwerfen und Zuordnungsgruppe bei weniger als drei übrigen Zuordnungen verwerfen Schritte bei Bedarf wiederholen (bis nichts mehr verworfen wird) Andreas Unterweger (FH Salzburg) Merkmalerkennung am Beispiel SIFT Wintersemester 2014/15 17 / 20

18 Merkmalvergleich III Abschließende Zuordnung: Aus verbleibenden Gruppen anhand der Anzahl der verbleibenden Zuordnungen pro Gruppe und der Größe des Fehlers die wahrscheinlichste Zuordnung auswählen (ohne Details) Quelle: Lowe, D. G.: Distinctive Image Features from Scale-Invariant Keypoints. International Journal of Computer Vision, vol. Figure 12: The training images for two 60, objects no. 2, pp. are , shown on the left. These can be recognized in a cluttered image with extensive occlusion, shown in the middle. The results of recognition are shown on the right. A parallelogram is drawn around each recognized object showing the boundaries of the Andreas original Unterweger training(fh image Salzburg) under the affine Merkmalerkennung transformation am Beispiel solvedsift for during recognition. Wintersemester Smaller 2014/15squares 18 / 20

19 Alternativen Nachteile von SIFT Nicht robust gegenüber einigen Verzerrungsarten Relativ langsam (trotz vieler Optimierungen) Patentrechtlich geschützt Alternative Verfahren (Auswahl): SURF (Speeded Up Robust Features) ebenfalls geschützt ORB (Oriented FAST 1 and Rotated BRIEF 2 ) BRISK (Binary Robust Invariant Scalable Keypoints) FREAK (Fast Retina Keypoint) HOG (Histogram of Oriented Gradients) Diverse Eckendetektoren (z.b. FAST und Harris) 1 Features from Accelerated Segment Test 2 Binary Robust Independent Elementary Features Andreas Unterweger (FH Salzburg) Merkmalerkennung am Beispiel SIFT Wintersemester 2014/15 19 / 20

20 Danke für die Aufmerksamkeit! Fragen? Andreas Unterweger (FH Salzburg) Merkmalerkennung am Beispiel SIFT Wintersemester 2014/15 20 / 20