Der Einbau im Auto. Stereo: Beispiel Fahrzeug. Einbau im Rückspiegel Erfassung von. Reichweite: bis 30 m

Transkript

1 Stereo: Beispiel Fahrzeug Der Einbau im Auto Sichtbereich Sichtbereich Kameras Einbau im Rückspiegel Erfassung von anderen Fahrzeugen (Pkw,Lkw) Zweiradfahrern Fußgängern und Kindern Reichweite: bis 30 m S. Gehrig / 2014 Folie 4

2 Stereo: Beispiel Fahrzeug S. Gehrig / 2014 Folie 5

3 Stereo Algorithmus 1. Merkmalsextraktion aus Interest-Regionen 2D Pixel 2. Korrelation von 16x3 Fenstern [KKFMF] Filtern von 3D Punkten (ebene Straße) 3D Punkte 3. Clustern der 3-dimensionalen Punktwolke 3D Wolke 4. Superclustern der Cluster Rohobjekte 5. Objekt - Verfolgung (Tracken) Symmetrie, fokussiertes Vermessen,... Hindernisse + Trajektorien S. Gehrig / 2014 Folie 6

4 Stereo: Beispiel Fahrzeug 1a. Interest Regionen in Bild 1 (in Wirklichkeit dichter!) S. Gehrig / 2014 Folie 7

5 Stereo: Beispiel Fahrzeug 1b. In jedem Fenster wird nach der stärksten Kante gesucht. S. Gehrig / 2014 Folie 8

6 Stereo: Beispiel Fahrzeug 1c. Um diese Kante wird ein 16x3 Fenster gelegt. S. Gehrig / 2014 Folie 9

7 Stereo: Beispiel Fahrzeug corr Epipolare 2a. Das 16x3 Fenster wird in Bild 2 entlang der Epipolaren korreliert. S. Gehrig / 2014 Folie 10

8 Stereo: Beispiel Fahrzeug 2b. Aus u 1 und u 2 wird per Disparität der zugehörige 3D-Punkt berechnet. S. Gehrig / 2014 Folie 11

9 Stereo: Beispiel Fahrzeug S. Gehrig / 2014 Folie 12

10 Stereo: Beispiel Fahrzeug 3. Clustern der 3D - Punkte bzgl euklidischer Nachbarschaft Herausfiltern von zu tiefen Punkten S. Gehrig / 2014 Folie 13

11 Stereo: Beispiel Fahrzeug 4. Cluster -> Supercluster = Roh-Objekte S. Gehrig / 2014 Folie 14

12 Stereo: Beispiel Fahrzeug 5. Verfolgung von Roh-Objekten über die Zeit (Stabilisierung) S. Gehrig / 2014 Folie 15

13 Stereo: Beispiel Fahrzeug 5b. Zusätzliche Feinvermessung durch Extrafenster S. Gehrig / 2014 Folie 16

14 Stereo: Beispiel Fahrzeug 5b. Zusätzliche Feinvermessung durch Extrafenster - extra 3D Punkte S. Gehrig / 2014 Folie 17

15 Stereo: Beispiel Fahrzeug 5b. Symmetrieoperator S. Gehrig / 2014 Folie 18

16 Stereo: Beispiel Fahrzeug S. Gehrig / 2014 Folie 19

17 Stereo: Beispiel Fahrzeug S. Gehrig / 2014 Folie 20

18 Stereo: Beispiel Fahrzeug Notbremsung S. Gehrig / 2014 Folie 21

19 Stereo: Beispiel Fahrzeug Schneefall S. Gehrig / 2014 Folie 22

20 Stereo: Beispiel Fahrzeug Dunkelheit S. Gehrig / 2014 Folie 23

21 Methoden und Ergebnisse Bilderfassung Rauschunterdrückung Bilder Merkmalsextraktion Merkmale Bewegungsanalyse Optischer Fluß Kalibrierung Erkennung Stereo Shape from Mono Bewegungsanalyse v. M. Analyse des opt. Fluß System Parameter Objekt Identifikation Objekt Lokalisierung 3-D Struktur 3-D Bewegung S. Gehrig / 2014 Folie 27

22 Bewegungsanalyse Wozu Bewegungsanalyse? Struktur aus der Bewegung Sichtbare Bewegung ist ein starker visueller Hinweis um 3D Information zu erfassen Erkennung durch Bewegung biologische visuelle Systeme benutzen Bewegungsanalyse um Eigenschaften der 3D Welt ohne Vorwissen abzuleiten Visuelle Bewegung = Video! S. Gehrig / 2014 Folie 28

23 Beispiel für Bewegungsanalyse Verfolgung von bewegten Objekten mittels einer stationären Kamera durch Hintergrundsubtraktion und Segmentierung (Überwachungsaufgabe) S. Gehrig / 2014 Folie 29

24 Beispiel für Bewegungsanalyse Punktbewegung einer starren Szene (bewegte Kamera) S. Gehrig / 2014 Folie 30

25 Bewegungsanalyse - Problembeschreibung 2 Unterprobleme Korrespondenz: Welche Elemente eines Bildes korrespondieren mit den Elementen im nächsten Bild? Rekonstruktion: Gegeben sei eine Anzahl von Korrespondenzen, und das Wissen um die internen Kameraparameter. Wie kann die 3D-Bewegung und die Struktur der beobachteten Welt rekonstruiert werden? Unterschiede zwischen Bewegung und Stereo Häufig sind die Disparitäten im Stereo größer als die Unterschiede zwischen Folgebildern. Rekonstruktion: die sichtbare Bewegung kann durch verschiedene Bewegungen erzeugt werden, anstatt durch eine einfache starre 3D Transformation S. Gehrig / 2014 Folie 31

26 2 Unterprobleme Bewegungsanalyse - Ansätze Korrespondenz: differenzielle Methoden führen zu dichten Messungen (optischer Fluß) Korrelations-Methoden führen zu verteilten Messungen Stereo-Ähnlichkeitsmaße funktionieren hier genauso Rekonstruktion Bewegung muß erfaßt werden (starre Szene!) eine kleine Basislinie erzeugt große Fehler S. Gehrig / 2014 Folie 32

27 Beispiel Optischer Fluss S. Gehrig / 2014 Folie 33

28 Bewegungsanalyse starrer Objekte I Bewegung: 3D Bewegung (R,T) Kamerabewegung P V oder Bewegung eines einzelnen Objektes nur eine starre, relative Bewegung zwischen der Kamera und der Szene Y p v Bild Bewegungsfeld: 2D Vektorfeld von Geschwindigkeiten von Bildpunkten. Dies wird durch die relative Bewegung auf die Bildfläche abgebildet. X O f Z S. Gehrig / 2014 Folie 34

29 Bewegungsanalyse starrer Objekte II Daten: Bildfolge viele Bilder t=0,1,2,... Grundbetrachtungen: immer 2 aufeinanderfolgende Bilder Bildbewegungsfeld: Darstellung einer Disparitätskarte zwischen 2 unterschiedlichen Kameraorten (bei bewegter Kamera) S. Gehrig / 2014 Folie 35

30 Bewegungsfeld vs. Disparität Korrespondenz und Punktverschiebungen Stereo Disparität Bewegung Bewegungsfeld Verschiebung (du,dv) Differenzieller Ansatz Geschw (V u,v v ), z.bsp. Zeitableitung (du/dt, dv/dt) keine Randbedingung aufeinanderfolgende Bilder sollten eine gute diskrete Approximation ermöglichen S. Gehrig / 2014 Folie 36

31 Optischer Fluß Helligkeitskonstanz Gleichung unter den meisten Umständen bleibt die gemessene Helligkeit eines bewegten Objektes konstant die Ableitungen der Helligkeit und die Bewegung werden in Beziehung gesetzt de( x, dt y, t) = 0 E x u + Eyv + Et = 0 S. Gehrig / 2014 Folie 39

32 Blendenproblem Nur die Bewegungskomponente des Bewegungsfeldes in der Richtung des räumlichen Bildgradienten kann bestimmt werden. Die Komponente senkrecht zum räumlichen Gradienten ist nicht durch die Gleichung des optischen Flusses bestimmbar.? S. Gehrig / 2014 Folie 40

33 Bestimmung des Optischen Flusses Methode des konstanten Flusses Annahme: das Bewegungsfeld ist gut approximierbar durch einen konstanten Vektor innerhalb jeder kleinen Bildregion Lösung: Methode der kleinsten Quadrate zweier Variablen von NxN Gleichungen (5x5) Bedingung: A t A ist nicht singulär (0 oder parallele Gradienten) gewichtete Methode des konstanten Flusses Methode des affinen Flusses Annahme: das Bewegungsfeld ist gut approximierbar durch ein affines parametrisches Modell Ap + b (Flächenstück mit beliebiger Orientierung) Lösung: Methode der kleinsten Quadrate mit 6 Variablen (A,b) von NxN Gleichungen - NxN planare Region S. Gehrig / 2014 Folie 41

34 Merkmalsbasierter Ansatz 2 Bilder Methode mit Merkmal-Matching Merkmale: Ecken, Census,... Mehrbild Methoden: Merkmal-Tracking Kalman Filter Algorithmen Schätze die Position und Unsicherheit eines sich bewegenden Merkmals im nächsten Bild 2 Teile: Prädizieren (aus der bisherigen Trajektorie) und Messen aus dem Merkmals-Matching Benutzung dünnbesetzter Bewegungsfelder S. Gehrig / 2014 Folie 42

35 Beispiel eines merkmals-basierter Ansatzes: PowerFlow Algorithmus: Representation eines Bildbereiches mit der Census Transformation Algorithmus Teil I: Erzeugung der Korrespondenz-Hypothesen Algorithmus Teil II: Erzeugung der Fluß-Hypothesen S. Gehrig / 2014 Folie 43

36 Census Transformation Darstellung der Region Signatur: oder ternär: 5192 S. Gehrig / 2014 Folie 44

37 Algorithmus Teil 1 v 1 v 2 Image i Image j 1. Image Operator (e.g. Census) u 1 ---> signature string (e.g )... u 2 ---> signature string (e.g ) Table Creation u 1 v table i u 2 v table j 3. Correspondence Hypotheses Generation Corr Hypo u 1 v 1 u 2 v 2 problem: Correspondence Hypotheses explosion S. Gehrig / 2014 Folie 45

38 Smoothing (mask_size) Robustness (ε) Filter 1. global discriminative power 2. local discriminative power u 1 Parameter Teil I Image i v > signature string (e.g ) u 1 v table i 2 u 2 Image j v 2 ---> signature string (e.g ) u 2 v table j 3.a length of flow hypothesis 3.b luminance change Corr Hypo u 1 v 1 u 2 v 2 Correspondence Hypotheses S. Gehrig / 2014 Folie 46

39 Algorithmus Teil II i j k 1. Creation of Correspondence Hypotheses... table i table j table k Corr Hypos Corr Hypos Temporal Analysis 2. Creation of Flow Hypotheses Flow Hypos S. Gehrig / 2014 Folie 47

40 Parameter Teil II catch radius r max length change max direction change number of predecessors S. Gehrig / 2014 Folie 48

41 Bemerkung: M : N Assoziationen werden nicht aufgelöst! S. Gehrig / 2014 Folie 49

42 Beispiel: Blendenproblem S. Gehrig / 2014 Folie 50

43 Beispiel: Uniforme Bildregionen I ε = 16 S. Gehrig / 2014 Folie 51

44 Beispiel: Uniforme Bildregionen II ε = 32 S. Gehrig / 2014 Folie 52

45 Beispiel: Uniforme Bildregionen III ε = 128 S. Gehrig / 2014 Folie 53

46 Bildsequenz 12bit BOSCH SHARP CMOS imager S. Gehrig / 2014 Folie 54

47 ε Vergleich warme Farben = lange Verschiebungsvektoren kalte Farben = kurze Verschiebungsvektoren S. Gehrig / 2014 Folie 55

48 Kreisverkehr S. Gehrig / 2014 Folie 56

49 PowerFlow Eigenschaften + effiziente Berechnung + lange Verschiebungsvektoren (typisch: px) + andere Merkmale sind einsetzbar - Information mit wenig diskriminativer Mächtigkeit (Power) wird ignoriert - Pixelpräzision S. Gehrig / 2014 Folie 57

50 Soweit für heute... S. Gehrig / 2014 Folie 58