Tracking. Einführung. Allgemeiner Systemaufbau. Objektlokalisation: Template-Matching. Prädiktionsfilter: Kalman

Transkript

1 Tracking Einführung Allgemeiner Systemaufbau Objektlokalisation: Template-Matching Prädiktionsfilter: Kalman Birgit Möller & Denis Williams AG Bioinformatik & Mustererkennung Institut für Informatik Martin-Luther-Universität Halle-Wittenberg

2 Einführung Tracking von Objekten Zielsetzung: Verfolgung der Bewegung eines Objektes mit Hilfe einer Kamera durch Auswertung von Bildfolgen Anwendungen: Beobachtung des Straßenverkehrs (stationäre, statische Kamera und bewegte Objekte) Sicherheitsanlagen (stationäre, nicht-statische Kamera und bewegte Objekte) autonome Fahrzeuge (nicht-stationäre Kamera und bewegte Objekte) mobile Roboter (nicht-stationäre Kameras in beliebigen Umgebungen) Angewandte Bildverarbeitung, WS

3 Systemaufbau Allgemeiner Systemaufbau: suche Zielobjekt gemäß Modell schätze Objektposition im nächsten Bild: Prädiktionsfilter Condensation-Algorithmus lokalisiere Objekt im aktuellen Bild: Templates Active Contours positioniere Kamera neu Angewandte Bildverarbeitung, WS

4 Bemerkungen Probabilistische / nicht-probabilistische Modelle: eine absolute Position pro Zeitschritt vs. mehrere potenzielle Positionen Single- und Multi-Objektverfolgung: Tracking eines Objektes vs. paralleles Tracking mehrerer Objekte Objektlokalisation anhand geeigneter Merkmale: Farbe, Form, Struktur, Prädiktion durch zeitliche Modellierung der Bewegung Nachführung der Kamera bei großen Bewegungsradien der Objekte: Halte Objekt möglichst im Zentrum des Bildausschnitts. Angewandte Bildverarbeitung, WS

5 Objektlokalisation: Template-Matching einfachster Ansatz zur Lokalisation Grundidee: Gegeben ein Beispielmuster (Template S) des gesuchten Signals, suche in unbekanntem Muster f einen Ausschnitt, der zum Template passt! Signal f in der Regel direkt durch Bild- oder Audiosignal bzw. geeigneten Merkmalsvektor gegeben Template S entspricht einem Signalausschnitt gleicher Dimension Problem: Template-Matching erfordert möglichst punktgenaue Übereinstimmung!!! (geeignet bei definierten Lichtverhältnissen und Objektkonstanz) Angewandte Bildverarbeitung, WS

6 Template-Matching auf Bildern Gegeben: M x M y -dimensionales Bildsignal f M sx M sy -dimensionales Template S im Allgemeinen gilt: M x > M sx und M y > M sy Matching: suche Position (j, k) im Bild f mit der größten Übereinstimmung (Faltungsoperation!) Gesucht: geeignetes Abstandsmaß, das zu minimieren ist! Angewandte Bildverarbeitung, WS

7 Abstandsmaße City-Block: Quadratischer Abstand: Msx ɛ 1 j,k = m=1 Msx ɛ 2 j,k = m=1 Msy n=1 Msy f (j+m,k+n) S m,n (minimieren) (f (j+m,k+n) S m,n ) 2 (minimieren) n=1 Kreuzkorrelation: R j,k = Msx Msy f (j+m,k+n) S m,n (maximieren) m=1 n=1 normalisierte Kreuzkorrelation: R j,k = R j,k M sx Msy m=1 n=1 f M 2 sx Msy (j+m,k+n) m=1 n=1 S2 m,n (maximieren) Angewandte Bildverarbeitung, WS

8 Normalisierung Alternative Normalisierung: Energie von Bild und Template: M S x x=j M S y y=k M S x f(x,y) 2 = 1 bzw. x=1 M S y y=1 S 2 (x,y) = 1 Weitere Probleme: Templates sind i.a. weder rotations- noch skalierungsinvariant (vorherige Transformationen, Normalisierungen, etc. notwendig) bei partiellen Verdeckungen Zerlegung des Templates in Sub-Templates Match bei Übereinstimmung in k θ k Sub-Templates Angewandte Bildverarbeitung, WS

9 Aufwandsreduktion Ansätze zur Aufwandsreduktion: Template-Matching entspricht einer Faltung Transformation in den Frequenzraum (FFT): Faltung Multiplikation Auflösungspyramiden: Subsampling von Bild und Template Suche nach Matches auf unterster Ebene Beschränkung des Matchings auf der nächsten Ebene auf die n besten Positionen aus vorherigem Schritt Prädiktionsfilter: Beschränkung des Suchbereichs durch Schätzung der neuen Objektposition Angewandte Bildverarbeitung, WS

10 Prädiktionsfilter - Kalman Allgemeine Grundidee: rekursive Modellierung eines mit einem Zufallsprozeß überlagerten linearen Systems, um aus dem Verhalten bis zum aktuellen Zeitpunkt Aussagen über das zukünftige Verhalten machen zu können Features : Interpretation von verrauschten Meßdaten in Realzeit Implizite Modellierung von Zufallskomponenten für sichere Vorhersagen ermöglicht Aussagen über Vorhersagefehler Ansatz: Gegeben ein Modell für die Bewegung und die Meßdaten über den Zustand des Systems bis zum Zeitpunkt k, sowie ferner Annahmen über zufällige Störeinflüsse, mache eine Vorhersage für den Systemzustand zum Zeitpunkt k + 1! Angewandte Bildverarbeitung, WS

11 Modellierung Modellierung des linearen Systems: x k+1 = Φ k x k + ω k z k = H k x k + ν k x k := Systemzustand zum Zeitpunkt k (n 1-dimensional) Φ k := Zustandsübergangsmatrix x k x k+1 (n n-dimensional) ω k := statistischer Systemanteil, weißes, unkorreliertes Rauschen bekannter Kovarianz E{ ω i ω k } = δ ik Q k z k := Meßdaten des Zeitpunktes k (m 1-dimensional) H k := spezifiziert Zusammenhang zwischen x k und z k (m n-dimensional) ν k := Meßfehler (n 1-dimensionaler Zufallsvektor) E{ ν i ν k } = δ ik R k E{ ω k ν i } = 0, k, i Angewandte Bildverarbeitung, WS

12 Beispiel: 1D-Bewegung eines PKW Modellierung - Beispiel Systemgleichungen: lineare Bewegungsgleichungen der Physik Messung: Abstand per Radar Zufallsprozeß: Luftwiderstand Messfehler: Störsignale, Zeitmessung Also: x k = [y k, y k, y k ] T y k+1 = y k + t y k + t2 2 y k+1 = y k + t y k Φ k = 2 1 t t t y k Angewandte Bildverarbeitung, WS

13 Modellierung - Beispiel Zufallsprozess: Wind Q = messbarer Zustand z k : Position y k des PKW über Radar, also H k = (1 0 0) Messfehler: N(0, 1) yk 10 Frage jetzt: Wie arbeitet der Kalman-Filter? Angewandte Bildverarbeitung, WS

14 Arbeitsweise Kalmanfilter Grundprinzip: Vorhersage für x k Korrektur der Schätzung ˆx k verbesserte Schätzung ˆx k Vorhersage ˆx k+1 Meßwert z k Notation: x k := tatsächlicher Systemzustand (nicht bekannt!) ˆx k := geschätzter Zustand vor Analyse (a-priori Schätzung) ˆx k := geschätzter Zustand nach der Korrektur (a-posteriori Schätzung) Angewandte Bildverarbeitung, WS

15 Arbeitsweise Kalmanfilter Herleitung der Filtergleichungen gegeben a-priori Schätzfehler zum Zeitpunkt k e k = ( x k ˆx k ) mit Kovarianzmatrix P k = E{e k e T k } = E{( xk ˆx k )( x k ˆx k )T } Ziel: korrigiere Zustandsschätzung und Kovarianz anhand des Messfehlers ˆx k = ˆx k + K k ( z k H ˆx k ) (1) der Korrekturfaktor K k heisst auch Kalmanfaktor Angewandte Bildverarbeitung, WS

16 Arbeitsweise Kalmanfilter Ziel: finde optimales K k für eine neue Zustandsschätzung ˆx k Minimierung des mittleren quadratischen Schätzfehlers P k = E{e k e T k } Ansatz: Es gilt: argmin K k P k = argmin K k E{( x k ˆx k )( x k ˆx k ) T } z k = H k x k + ν k Aus Einsetzung in Gleichung (1) folgt dann ˆx k = ˆx k + K k (H k x k + ν k H kˆx k ) Damit gilt schließlich: P k = E{( x k ˆx k K k (H k x k + ν k H kˆx k )) ( x k ˆx k K k (H k x k + ν k H kˆx k ))T } Angewandte Bildverarbeitung, WS

17 Arbeitsweise Kalmanfilter Umformung liefert nach diversen Rumrechnereien... :-) P k = (I K k H k ) P k (I K kh k ) T + K k RK T k (2) Minimierung von P k durch Ableiten und Nullsetzen ergibt K k = P k HT k H k P k HT k + R k Einsetzen des Kalmanfaktors in Gleichung (2) liefert als korrigierte Fehlerkovarianz P k = (I K k H k ) P k analog dazu folgt aus Gleichung (1) eine korrigierte Zustandsschätzung ˆx k Angewandte Bildverarbeitung, WS

18 Arbeitsweise Kalmanfilter Vorhersage des Systemzustandes für den Zeitpunkt t + 1: ˆx k+1 = Φ k ˆx k + ω k P k+1 = E{( x k+1 ˆx k+1 )( x k+1 ˆx k+1 )T } = E{(Φ k x k + ω k Φ kˆx k ω k ) 2 } = E{Φ k e k + ω k} 2 = Φ k E{e 2 k}φ T k + E{ ω k} 2 = Φ k P k Φ T k + Q k ω k ist mittelwertfrei und unkorreliert und kann daher entfallen Angewandte Bildverarbeitung, WS

19 Überblick Fehlerabschätzung Initialisierung x 0 Berechnung der Vorhersage-Schätzung ˆx k+1 aus den Modellgleichungen P k+1 = Φ kp k Φ T k + Q k verbesserter Schätzwert ˆx k geschätzte Vorhersage ˆx k Messwert z k Berechnung eines verbesserten Schätzwertes ˆx k über Minimierung des mittleren quadratischen Schätzfehlers je mehr Zustände beobachtet werden, desto sicherer ist die Vorhersage Filter erfordert passendes Modell (fehlerhaftes Modell wird nicht ausgeglichen!) numerische Probleme bei langer Laufzeit möglich beschränkt auf lineare Systeme Extended Kalman Angewandte Bildverarbeitung, WS