Grundlagen: Bildbearbeitung / Objekterkennung. Julia Peterwitz zum Seminar: Videobasierte Erkennung und Analyse menschlicher Aktionen

Transkript

1 Grundlagen: Bildbearbeitung / Objekterkennung Julia Peterwitz zum Seminar: Videobasierte Erkennung und Analyse menschlicher Aktionen

2 Videoerkennung! Warum? Live-Übertragung von Veranstaltungen Überwachung Bewegungsanalyse im Sport Grundlagen: Bildbearbeitung/Objekterkennung 2

3 Überblick Grundlagen und Techniken der Videoanalyse: 2. Aufteilung von Bildern in Bereiche 3. Suchen von Merkmalen 4. Arbeiten mit Bildsequenzen Grundlagen: Bildbearbeitung/Objekterkennung 3

4 1. Segmentierung Definition: Vollständige überdeckungsfreie Zerlegung von Bildern Techniken Histogramm-basiert Interaktive Suche Vollständige Suche Grundlagen: Bildbearbeitung/Objekterkennung 4

5 Thresholding Histogramm-basiert Grauwertbild Binärbild Gut für Echtzeitanwendungen Grundlagen: Bildbearbeitung/Objekterkennung 5

6 Thresholding Schwellwert finden: Minimalstelle im Histogramm Manuell Multi-Thresholding Grauwertbild Bild mit n Farben Adaptive-Thresholding Beleuchtungsunterschiede ausgleichen Grundlagen: Bildbearbeitung/Objekterkennung 6

7 Region Growing Startpixel interaktiv wählen oder mit random-startpixel beginnen Ähnlichkeitswert interaktiv setzen Leicht, verständlich, flexibel Grundlagen: Bildbearbeitung/Objekterkennung 7

8 Klassifizierung Einteilung von Objekten in Klassen oder Kategorien Über Merkmale Grundlagen: Bildbearbeitung/Objekterkennung 8

9 Klassifizierung 1. Referenzdatensatz auswerten 2. Echte Daten klassifizieren Grundlagen: Bildbearbeitung/Objekterkennung 9

10 Klassifizierung Ziele: Zusammenhänge erkennen besseres Verständnis erlangen Grundlagen: Bildbearbeitung/Objekterkennung 10

11 2. Merkmale Grundlagen: Bildbearbeitung/Objekterkennung 11

12 Merkmale Farben Kanten Ecken Muster Form Größe Winkel Grundlagen: Bildbearbeitung/Objekterkennung 12 A A

13 Kantendetektoren Kanten bilden meist den Abschluss eines Objektes Intensitätsunterschied Ablauf allgemein: 1. Intensitätsgradienten 2. Thresholding 3. Daten zu Kanten verbinden Grundlagen: Bildbearbeitung/Objekterkennung 13

14 Canny Edge Detection 1. Rauschen unterdrücken 2. Intensitätsgradienten: Sobel 3. Ausdünnen von weichen Kanten 4. Thresholding für sehr niedrige Gradienten 5. Hysterese für mittelstarke Gradienten Grundlagen: Bildbearbeitung/Objekterkennung 14

15 Eckendetektoren Harris Corner Detector 1. Taylor-Entwicklung 2. Gewichteter Kreis 3. E x, y C A 4. Eigenwerte α,β der Matrix nutzen um zwischen Ecke, Kante und Fläche zu entscheiden Grundlagen: Bildbearbeitung/Objekterkennung 15 = A (x, y) C x y

16 Eckendetektoren Grundlagen: Bildbearbeitung/Objekterkennung 16

17 Templatematching Jedes mögliche Teilbild mit dem gesuchten Template vergleichen Vergleichsmaße durchschnittliche quadratische Abstand durchschnittliche Abstand der Beträge Korrelationskoeffizient Vergleichsergebnisse skalieren Grundlagen: Bildbearbeitung/Objekterkennung 17

18 Templatematching II Grundlagen: Bildbearbeitung/Objekterkennung 18

19 3. Bildsequenzen Grundlagen: Bildbearbeitung/Objekterkennung 19

20 Kalman Filter Folge von Messwerten z Bewegungsmodell H Vertrauen K Fehler P Grundlagen: Bildbearbeitung/Objekterkennung 20

21 Kalman Filter 1. Algorithmus liefert Messwert 2. Kalman-Gain-Matrix berechnen 3. Schätzung 4. Fehler berechnen 5. Vorhersage machen 6. Fehler vorhersagen Grundlagen: Bildbearbeitung/Objekterkennung 21

22 Kalman Filter Grundlagen: Bildbearbeitung/Objekterkennung 22

23 Grundlagen: Bildbearbeitung/Objekterkennung 23

24 Optical-Flow Material: 2D Bildsequenz Ausgangspunkt: 3D Bewegung von Objekten Ziel: Feld von Geschwindigkeitsvektoren die die 3D Bewegung abbilden u 1 = v t x y Grundlagen: Bildbearbeitung/Objekterkennung 24

25 Ansätze Optical-Flow Feature-basierte Methoden Feature finden Feature verfolgen Nicht relevant für Echtzeitanwendungen Intensitäts-basierte Methoden Intensität pro Pixel pro Zeit Intensitätsunterschiede E( x, y, t) E( x, y, t) Grundlagen: Bildbearbeitung/Objekterkennung 25

26 Optical-Flow 1. Berechung der Gradienten E, E, für je 2 aufeinander folgende Bilder x y E t Grundlagen: Bildbearbeitung/Objekterkennung 26

27 Optical-Flow 2. OF Bedingung: ( E 3. Blendproblem x, E y ) u v = E t Grundlagen: Bildbearbeitung/Objekterkennung 27

28 Optical-Flow Ansätze zum Lösen des Blendproblems 1. Zweite Ableitung der Intensitäten Ähnlichkeit von Gradienten in Nachbarschaft 2. Minimieren über die Methode der gewichteten kleinsten Quadrate Ähnlichkeit der Gradienten in enger Nachbarschaft 3. Minimierung des Summe aus OF- Bedingung und Glättungs-Bedingung Glätten der Geschwindigkeitsvektoren Grundlagen: Bildbearbeitung/Objekterkennung 28

29 Optical-Flow Grundlagen: Bildbearbeitung/Objekterkennung 29

30 Optical Flow Video Grundlagen: Bildbearbeitung/Objekterkennung 30

31 Optical Flow Video Grundlagen: Bildbearbeitung/Objekterkennung 31

32 Segmentierung Thresholding Region-Growing Merkmale Kanten Ecken Templates Klassifikation Bildsequenzen Kalman-Filter Optical Flow Zusammenfassung Grundlagen: Bildbearbeitung/Objekterkennung 32

33 Ende Danke für Ihre Aufmerksamkeit Grundlagen: Bildbearbeitung/Objekterkennung 33