Swarm Optimization Techniques for 3D Vision

Transkript

1 Swarm Optimization Techniques for 3D Vision Dipl.Ing. Ulrich Kirchmaier 1

2 Übersicht 1. Bildverarbeitung und Computer Vision 1. Merkmale : Kanten, Ecken, Punkte 2. Anwendungen: Tracking, 3D Rekonstruktion 2. Schwarmintelligenz 1. Prinzipien 2. Beispielalgorithmen 3. SI in BV & CV 1. 3D PSO 2. SI Straight Line Finder 3. SI Contour Analyzer 2

3 Bild = Matrix Ziel BV & CV: Informationen aus Bildern generieren 3

4 Kanten: Gradient in x und y Richtung dx1 dx2 x1 x2 4

5 Kantenfilter Kantenbilder(Betrag) Amplitude G 2 2 I x I y Bild Maske x dx dy Phase arctan I I y x 5

6 Interest Points Harris Harris Matrix: 2 x x y A w( u, v) 2 u v I xi y I y I I I -> Eigenwertzerlegung von A 1. beide Eigenwerte klein -> kein Interest Point (Fläche) 2. Einer von beiden groß, der andere klein -> Kante 3. Beide groß -> Ecke Harris Corner Measure: M c ( 1 2) det( A) Spur( A)

7 Interest Points Harris 7

8 Matching Information in ähnlichem Bild wiederfinden 8

9 Template Matching Vorgehen: Bildausschnitt aus Bild 1 (Template I t (x t,y t ), Größe w t x h t ) wird in einem Suchfenster in Bild 2 (Search Image I s (x s,y s ), Größe w s x h s ) verglichen, für jedes Pixel im Suchfenster Metriken: SAD = NCC = 9 ), ( ), ( s h s j t s w i j i I j y i x I j i s j i t j i t s j y i x I j i I j i I j y i x I, 2 2,, ), ( ), ( ), ( ), (

10 Template Matching - Beispiel NCC Template Search Gut bei Translation, leichte Illuminationsänderung, einfach und schnell Probleme: Rotation, Skalierung, Scherung, große Illuminationsänderung 10

11 Ausgeklügelter Scale-Spaces & DoG SIFT Scale Invariant Feature Transform 11

12 Ausgeklügelter SIFT Keypoints = Extrema im Scale-Space 12

13 Ausgeklügelter SIFT Outlier killen (low contrast & principal curvature) 13

14 Ausgeklügelter SIFT Finale Keypoints mit Magnitude und Gradient 14

15 Ausgeklügelter SIFT Rotierte & skalierte Version mit Keypoints 15

16 SIFT Merkmalsbeschreiber Local Orientation Histograms, 128-dim Merkmalsvektor Best-Bin-first Suche bei Matching euklidische Distanz als Maß Anwendungsbeispiel: Objekterkennung & Lokalisierung 16

17 Anwendungen: Tracking Ziel: Verfolgen von beweglichen Objekten oder Merkmalen über die Zeit. Beispiel: konsekutive Bilder in Video Vorgehen: Merkmale finden & beschreiben Merkmale wiederfinden (Matching) Messfehler, Verdeckung, Veränderung der Erscheinung mehrere Objekte -> Assoziation Prädiktion: Annahme über Objekt-Bewegung 17

18 Tracking: Kalman-Filter Measurement Update ( correct ) Time Update ( predict ) (1) Project the state ahead xˆ [k 1 k] A[k]x[k ˆ k] B[k]u[k] (2) Project the error covariance ahead P[k 1 k] A[k]P[k k]a T [k] C vv [k] K[k] (1) Compute the Kalman gain P[k-1 k]h T [k] H[k]P[k k-1]h T [k] (2) Update estimate with measurement y[k] (3) Update the error covariance C nn [k] xˆ[k k] xˆ[k k 1] K[k](z[k] H[k]xˆ[k k 1]) P[k k] (I - K[k]H[k])P[k k-1] -1 Initial estimates for xˆ[k 1 k 1] and P[k 1 k 1] demo 18

19 Anwendungen: 3D Rekonstruktion 19

20 Anwendungen: 3D Rekonstruktion Beispiel Tiefenkarte, 3D Geometrie 20

21 Schwarmintelligenz Prinzipien Schwarm = N Agenten, unabhängig, mit Suchstrategie um Positionen optimaler Fitness zu finden. Lösung entsteht durch Interaktion Emergenz autonom: keine zentrale Kontrollinstanz, lokale Sicht: Keine komplette Sicht der Umgebung (des Lösungsraums) Bewegung: Fähigkeit der Agenten die Umgebung zu erkunden Kommunikation: Interaktion zwischen den Agenten Gedächtnis: Wissen aus vorhergehenden Situationen Fitnessfunktion: Möglichkeit, die aktuelle Position zu beurteilen 21

22 Schwarmintelligenz Beispielalgorithmen BOIDS demo Bewegungsregeln: 1. Separation 2. Alignment 3. Cohesion 22

23 Schwarmintelligenz Beispielalgorithmen Particle Swarm Optimization (PSO) - Fitnessfunktion, Gedächtnis und Kommunikation - Bewegungsregeln: v p t w v p t 1 c 1 r p p p ( x pbest xt 1) c2 r ( xgbest xt 1) p p p xt vt xt 1 matlabdemo 23

24 Schwarmintelligenz Beispielalgorithmen Ant Colony Optimization (ACO) - Stigmergie - Ameisen setzen Pheromone - Pheromone verfliegen - Pheromone beeinflussen Wahl des Weges der Ameisen ACO Futterdemo 24

25 Schwarmintelligenz Beispielalgorithmen Bacterial Foraging Optimization (BFO) - Bakterien schwimmen und tumblen (Zufallsbewegung), Schlechte sterben ab, an guten Positionen entstehen Neue matlabdemo 25

26 Schwarmintelligenz in BV/CV - 3DPSO PSO Partikel im 3D Raum, 3D Lokalisation & Tracking Positionsevaluierung durch Abstandsmaße 2 3 Object Alpha to be tracked Left Image Plane 1 Right Image Plane Mic 1 Mic l 0 r 26

27 Schwarmintelligenz in BV/CV - 3DPSO Audio: Azimuthwinkel von GCC Z Direction of Sound tanα = X/Z D audio D audio α π M(X,Y,Z) φ α 0 Origin X 27

28 Schwarmintelligenz in BV/CV - 3DPSO Video: Punktkorrespondenz D left (x MPl 2 x m ) (y y MPl l m l width height ) 2 M(X,Y,Z) D right (x MPr 2 x mr ) (ympr y mr ) width height 2 L R D left D right (x MPr, y MPr ) (x MPl, y MPl ) 0 l 0 r 28

29 Schwarmintelligenz in BV/CV - 3DPSO Fitnessfunktion F p (x) w audio D p audio w left D p left w right D p right Geschwindigkeit CPU Kalman PSO Intel DuoCore 2,4 Ghz, 3 GB RAM AMD Mobile Sempron 1,6 Ghz 512 MB RAM 51 ms/frame 51 ms/frame 106 ms/frame 100 ms/frame video 29

30 SI straight edge finder Agenten fliegen entlang von Kanten movement direction -dy dx parallel to line gradient orientation dx dy perpendicular to line 30

31 SI straight edge finder vs Hough Transform Probabilistic Hough Transform (PHT) our algorithm 31

32 SI straight edge finder vs Hough Transform Probabilistic Hough Transform (PHT) our algorithm 32

33 SI straight edge finder vs Hough Transform Probabilistic Hough Transform (PHT) our algorithm 33

34 SI straight edge finder vs Hough Transform Probabilistic Hough Transform (PHT) our algorithm 34

35 SI straight edge finder vs Hough Transform Speed: mean computation times, tested on a 2.6 GHz QuadCore PC, 3GB RAM Input mage Resolution Canny (s) PHT (s) sum (s) our algorithm (s) Building 868 x Roadview 550 x House 256 x

36 Schwarmintelligenz in BV/CV SI Contour Detection Agenten verteilen sich über Bild, analysieren ihre Positionen und verbinden sich zu Schwärmen, um Konturen finden Fenster Verbindungsmodell Kontur/ Schwarm x x nb2 nb3 nb2 nb3 nb4 x A nb4 C x nb1 ag nb5 nb1 ag nb5 NB1 x nb7 nb6 x x C nb7 nb6 B x ID1 Ag ID1 NB2 ID1 NB5 ID1 Agx ID1 NB4 NB3 matlabdemo 36

37 Zum Schluss: Werbung Projekt KogniFAS (Kooperation mit BMW) Kognitives Fahrassistenzsystem Prädiktion von Fahrverhalten durch kognitives Multiagenten-System video 37

38 BACKUP 38 Ulrich Kirchmaier

39 Rotation Translation Skalierung Scherung projektive Verzerrung 39

40 DoG Gauß Funktion und Ableitung 40