Neue Ansätze für Mustererkennung und automatisches Lernen

Transkript

1 Z Y X Neue Ansätze für Mustererkennung und automatisches Lernen Vortrag im Rahmen des 2. Technologieforums Bildverarbeitung am 03./04. November 2015 Johannes Zügner STEMMER IMAGING GmbH, Puchheim

2 GLIEDERUNG Einführung in das Thema Beschreibung der Aufgabenstellung Was bedeutet Lagebestimmung genau? Vorstellen zweier Lösungsansätze Image Features & Bag of Words Klassifikation Vorstellung eines Suchklassifikators Gegenüberstellung der beiden Verfahren Zusammenfassung und Ausblick Bewertung des aktuellen Standes Zukünftige Entwicklungen 2

3 BESCHREIBUNG DER AUFGABENSTELLUNG Aufgabe der Mustererkennung: Suchen und Finden von angelernten Objekten Beispielhafte Anwendungen: Abzählen von Bauteilen, Pick & Place usw. Musterbild Szenenbild [Blendswap] 7

4 BESCHREIBUNG DER AUFGABENSTELLUNG Aufgabe der Mustererkennung: Suchen und Finden von angelernten Objekten Beispielhafte Anwendungen: Abzählen von Bauteilen, Pick & Place usw. Musterbild Szenenbild [Blendswap] 8

5 BESCHREIBUNG DER AUFGABENSTELLUNG Aufgabe der Mustererkennung: Suchen und Finden von angelernten Objekten Beispielhafte Anwendungen: Abzählen von Bauteilen, Pick & Place usw. Die Aufgabe geht oft über das Finden der Bauteile hinaus 2D: konkrete Orientierung und Skale der Bauteile ist von Interesse Orientierung 0 Orientierung 45 Orientierung 135 GE 10 SE-128 M12 GE 10 AS-96 M12 GE 10 CX-32 M12 11

6 BESCHREIBUNG DER AUFGABENSTELLUNG Aufgabe der Mustererkennung: Suchen und Finden von angelernten Objekten Beispielhafte Anwendungen: Abzählen von Bauteilen, Pick & Place usw. Die Aufgabe geht oft über das Finden der Bauteile hinaus 2D: konkrete Orientierung und Skale der Bauteile ist von Interesse 3D: Rigid Transform [R,t] mit 6 Freiheitsgraden Z Y Z Y X [R,t] X 2D-Bildebene der Kamera 3D Szene 15

7 BESCHREIBUNG DER AUFGABENSTELLUNG Aufgabe der Mustererkennung: Suchen und Finden von angelernten Objekten Beispielhafte Anwendungen: Abzählen von Bauteilen, Pick & Place usw. Die Aufgabe geht oft über das Finden der Bauteile hinaus 2D: konkrete Orientierung und Skale der Bauteile ist von Interesse 3D: Rigid Transform [R,t] mit 6 Freiheitsgraden Z Z Y X Z Y X Y X Z Y X Z Y 2D-Bildebene der Kamera 3D Szene X 16

8 BESCHREIBUNG DER AUFGABENSTELLUNG Aufgabe der Mustererkennung: Suchen und Finden von angelernten Objekten Beispielhafte Anwendungen: Abzählen von Bauteilen, Pick & Place usw. Die Aufgabe geht oft über das Finden der Bauteile hinaus 2D: konkrete Orientierung und Skale der Bauteile ist von Interesse 3D: Rigid Transform [R,t] mit 6 Freiheitsgraden Zusammenfassung Lage eines gefundenen Objektes = die Pose im Folgenden werden zwei Verfahren für die Mustererkennung und Posenschätzung vorgestellt 19

9 GLIEDERUNG Einführung in das Thema Beschreibung der Aufgabenstellung Was bedeutet Lagebestimmung genau? Vorstellen zweier Lösungsansätze Image Features & Bag of Words Klassifikation Vorstellung eines Suchklassifikators Gegenüberstellung der beiden Verfahren Zusammenfassung und Ausblick Bewertung des aktuellen Standes Zukünftige Entwicklungen 20

10 IMAGE FEATURES & BAG OF WORDS Extraktion von Image Features mittels SIFT, KAZE & binary Feature Deskriptoren Extraktion von markanten Punkten in Eckstrukturen Berechnung von Deskriptoren, der Fingerabdruck 24

11 IMAGE FEATURES & BAG OF WORDS Extraktion von Image Features mittels SIFT, KAZE & binary Feature Deskriptoren Extraktion von markanten Punkten in Eckstrukturen Berechnung von Deskriptoren, der Fingerabdruck Bag of Visual Words Zusammenführung der Deskriptoren, analog zu einem Wörterbuch Clustern z.b. via FLANN, k-means, SVM usw. Cluster 3 Cluster 1 Cluster 2 [Blendswap/Wikipedia/Wikia] Bag of Words 28

12 IMAGE FEATURES & BAG OF WORDS Anwenden des Bag of Words für Klassifikationsaufgaben Cluster 3 Cluster 1 Cluster 2 Bag of Words 30

13 IMAGE FEATURES & BAG OF WORDS Anwenden des Bag of Words für Klassifikationsaufgaben Zuordnung der extrahierten Features Auswerten des Histogramms Cluster 3 Cluster 1 Szenenbild p C1 C2 C3 Cluster 2 Bag of Words Histogramm Cluster 35

14 IMAGE FEATURES & BAG OF WORDS Anwenden des Bag of Words für Klassifikationsaufgaben Zuordnung der extrahierten Features Auswerten des Histogramms Punktkorrespondenzen für die Pose Cluster 3 Cluster 1 Szenenbild p C1 C2 C3 Cluster 2 Bag of Words Histogramm Cluster 36

15 IMAGE FEATURES & BAG OF WORDS Vorteile des Verfahrens Robuste Suchergebnisse bei einer Vielzahl von Posen Robustheit gegenüber Helligkeitsänderungen 39

16 IMAGE FEATURES & BAG OF WORDS Vorteile des Verfahrens Robuste Suchergebnisse bei einer Vielzahl von Posen Robustheit gegenüber Helligkeitsänderungen Nachteile des Verfahrens Benötigt Objekte mit markanten Bildstrukturen [Stemmer/Wiki] 41

17 IMAGE FEATURES & BAG OF WORDS Vorteile des Verfahrens Robuste Suchergebnisse bei einer Vielzahl von Posen Robustheit gegenüber Helligkeitsänderungen Nachteile des Verfahrens Benötigt Objekte mit markanten Bildstrukturen Ausführungsgeschwindigkeit niedrig Zeit (ms) Eckpunkte Deskriptoren Clustering [Stemmer/Rewe] 43

18 IMAGE FEATURES & BAG OF WORDS Vorteile des Verfahrens Robuste Suchergebnisse bei einer Vielzahl von Posen Robustheit gegenüber Helligkeitsänderungen Nachteile des Verfahrens Benötigt Objekte mit markanten Bildstrukturen Ausführungsgeschwindigkeit niedrig Lizenzkosten von SIFT Alternativen ungenauer oder unwesentlich schneller Motivation für die Suche nach einer Alternative 46

19 GLIEDERUNG Einführung in das Thema Beschreibung der Aufgabenstellung Was bedeutet Lagebestimmung genau? Vorstellen zweier Lösungsansätze Image Features & Bag of Words Klassifikation Vorstellung eines Suchklassifikators Gegenüberstellung der beiden Verfahren Zusammenfassung und Ausblick Bewertung des aktuellen Standes Zukünftige Entwicklungen 47

20 Klassische Mustersuche Auffinden eines antrainierten Musters mittels Fenstersuche Metrik entscheidet, ob Treffer oder nicht (z.b. Korrelation, Regression usw.) Muster Szenenbild 51

21 Klassische Mustersuche Auffinden eines antrainierten Musters mittels Fenstersuche Metrik entscheidet, ob Treffer oder nicht (z.b. Korrelation, Regression usw.) Muster Szenenbild (Zehn)-tausende Vergleiche! 52

22 Klassische Mustersuche Auffinden eines antrainierten Musters mittels Fenstersuche Metrik entscheidet, ob Treffer oder nicht (z.b. Korrelation, Regression usw.) Probleme: Performance, Änderungen des Szenenbildes (Geometrie, Schatten usw.) Muster Szenenbild 53

23 Klassische Mustersuche Auffinden eines antrainierten Musters mittels Fenstersuche Metrik entscheidet, ob Treffer oder nicht (z.b. Korrelation, Regression usw.) Probleme: Performance, Änderungen des Szenenbildes (Geometrie, Schatten usw.) Muster Szenenbild 54

24 Klassische Mustersuche Auffinden eines antrainierten Musters mittels Fenstersuche Metrik entscheidet, ob Treffer oder nicht (z.b. Korrelation, Regression usw.) Probleme: Performance, Änderungen des Szenenbildes (Geometrie, Schatten usw.) Muster Szenenbild?! 55

25 Klassische Mustersuche Auffinden eines antrainierten Musters mittels Fenstersuche Metrik entscheidet, ob Treffer oder nicht (z.b. Korrelation, Regression usw.) Probleme: Performance, Änderungen des Szenenbildes (Geometrie, Schatten usw.) Muster Szenenbild 56

26 Klassische Mustersuche Auffinden eines antrainierten Musters mittels Fenstersuche Metrik entscheidet, ob Treffer oder nicht (z.b. Korrelation, Regression usw.) Probleme: Performance, Änderungen des Szenenbildes (Geometrie, Schatten usw.) Muster Szenenbild 57

27 Klassische Mustersuche Auffinden eines antrainierten Musters mittels Fenstersuche Metrik entscheidet, ob Treffer oder nicht (z.b. Korrelation, Regression usw.) Probleme: Performance, Änderungen des Szenenbildes (Geometrie, Schatten usw.) Muster Szenenbild?! 58

28 Neue Ansätze für die Mustersuche: Lerne, das Objekt zu finden Automatisches Lernen in CVB Polimago: Generierung zufälliger Lernbeispiele Für jedes Lernbeispiel: Feature-Extraktion mittels MRF (Multi Resolution Filter) & Regression (Tichonow) Speichern der zugrunde liegenden Transformation Muster-Datenbank Trainingsbild Nulllage 63

29 Neue Ansätze für die Mustersuche: Lerne, das Objekt zu finden Automatisches Lernen in CVB Polimago: Generierung zufälliger Lernbeispiele Für jedes Lernbeispiel: Feature-Extraktion mittels MRF (Multi Resolution Filter) & Regression (Tichonow) Speichern der zugrunde liegenden Transformation Muster-Datenbank Trainingsbild 90 Grad gedreht 64

30 Neue Ansätze für die Mustersuche: Lerne, das Objekt zu finden Automatisches Lernen in CVB Polimago: Generierung zufälliger Lernbeispiele Für jedes Lernbeispiel: Feature-Extraktion mittels MRF (Multi Resolution Filter) & Regression (Tichonow) Speichern der zugrunde liegenden Transformation Muster-Datenbank Trainingsbild -30 Grad gedreht 65

31 Neue Ansätze für die Mustersuche: Lerne, das Objekt zu finden Automatisches Lernen in CVB Polimago: Generierung zufälliger Lernbeispiele Für jedes Lernbeispiel: Feature-Extraktion mittels MRF (Multi Resolution Filter) & Regression (Tichonow) Speichern der zugrunde liegenden Transformation Muster-Datenbank Trainingsbild -30 Grad gedreht und 40 px verschoben 66

32 Neue Ansätze für die Mustersuche: Lerne, das Objekt zu finden Automatisches Lernen in CVB Polimago: Generierung zufälliger Lernbeispiele Für jedes Lernbeispiel: Feature-Extraktion mittels MRF (Multi Resolution Filter) & Regression (Tichonow) Speichern der zugrunde liegenden Transformation Muster-Datenbank Trainingsbild +45 Grad gedreht und 10 px verschoben 67

33 Neue Ansätze für die Mustersuche: Lerne, das Objekt zu finden Automatisches Lernen in CVB Polimago: Generierung zufälliger Lernbeispiele Für jedes Lernbeispiel: Feature-Extraktion mittels MRF (Multi Resolution Filter) & Regression (Tichonow) Speichern der zugrunde liegenden Transformation Muster-Datenbank Trainingsbild Die Anzahl der Lernbeispiele geht in die Tausende! 68

34 Neue Ansätze für die Mustersuche: Lerne, das Objekt zu finden Mit dem Klassifikator-Training lassen sich für die Posenschätzung viele Objektlagen antrainieren Zusätzlicher Vorteil: Steigerung der Ausführungsgeschwindigkeit Suche im Szenenbild Mustererkennung true negative 73

35 Neue Ansätze für die Mustersuche: Lerne, das Objekt zu finden Mit dem Klassifikator-Training lassen sich für die Posenschätzung viele Objektlagen antrainieren Zusätzlicher Vorteil: Steigerung der Ausführungsgeschwindigkeit Suche im Szenenbild Mustererkennung true negative 74

36 Neue Ansätze für die Mustersuche: Lerne, das Objekt zu finden Mit dem Klassifikator-Training lassen sich für die Posenschätzung viele Objektlagen antrainieren Zusätzlicher Vorteil: Steigerung der Ausführungsgeschwindigkeit Suche im Szenenbild Mustererkennung true negative 75

37 Neue Ansätze für die Mustersuche: Lerne, das Objekt zu finden Mit dem Klassifikator-Training lassen sich für die Posenschätzung viele Objektlagen antrainieren Zusätzlicher Vorteil: Steigerung der Ausführungsgeschwindigkeit Suche im Szenenbild Mustererkennung true negative 76

38 Neue Ansätze für die Mustersuche: Lerne, das Objekt zu finden Mit dem Klassifikator-Training lassen sich für die Posenschätzung viele Objektlagen antrainieren Zusätzlicher Vorteil: Steigerung der Ausführungsgeschwindigkeit Suche im Szenenbild Mustererkennung true negative 77

39 Neue Ansätze für die Mustersuche: Lerne, das Objekt zu finden Mit dem Klassifikator-Training lassen sich für die Posenschätzung viele Objektlagen antrainieren Zusätzlicher Vorteil: Steigerung der Ausführungsgeschwindigkeit Suche im Szenenbild Mustererkennung true negative 78

40 Neue Ansätze für die Mustersuche: Lerne, das Objekt zu finden Mit dem Klassifikator-Training lassen sich für die Posenschätzung viele Objektlagen antrainieren Zusätzlicher Vorteil: Steigerung der Ausführungsgeschwindigkeit Suche im Szenenbild Mustererkennung true negative 79

41 Neue Ansätze für die Mustersuche: Lerne, das Objekt zu finden Mit dem Klassifikator-Training lassen sich für die Posenschätzung viele Objektlagen antrainieren Zusätzlicher Vorteil: Steigerung der Ausführungsgeschwindigkeit Suche im Szenenbild Mustererkennung true negative 80

42 Neue Ansätze für die Mustersuche: Lerne, das Objekt zu finden Mit dem Klassifikator-Training lassen sich für die Posenschätzung viele Objektlagen antrainieren Zusätzlicher Vorteil: Steigerung der Ausführungsgeschwindigkeit Suche im Szenenbild Mustererkennung true negative 81

43 Neue Ansätze für die Mustersuche: Lerne, das Objekt zu finden Mit dem Klassifikator-Training lassen sich für die Posenschätzung viele Objektlagen antrainieren Zusätzlicher Vorteil: Steigerung der Ausführungsgeschwindigkeit Suche im Szenenbild Mustererkennung true negative 82

44 Neue Ansätze für die Mustersuche: Lerne, das Objekt zu finden Mit dem Klassifikator-Training lassen sich für die Posenschätzung viele Objektlagen antrainieren Zusätzlicher Vorteil: Steigerung der Ausführungsgeschwindigkeit Suche im Szenenbild Mustererkennung true negative 83

45 Neue Ansätze für die Mustersuche: Lerne, das Objekt zu finden Mit dem Klassifikator-Training lassen sich für die Posenschätzung viele Objektlagen antrainieren Zusätzlicher Vorteil: Steigerung der Ausführungsgeschwindigkeit Suche im Szenenbild Mustererkennung true negative 84

46 Neue Ansätze für die Mustersuche: Lerne, das Objekt zu finden Mit dem Klassifikator-Training lassen sich für die Posenschätzung viele Objektlagen antrainieren Zusätzlicher Vorteil: Steigerung der Ausführungsgeschwindigkeit Suche im Szenenbild Mustererkennung true positive 85

47 Neue Ansätze für die Mustersuche: Lerne, das Objekt zu finden Mit dem Klassifikator-Training lassen sich für die Posenschätzung viele Objektlagen antrainieren Zusätzlicher Vorteil: Steigerung der Ausführungsgeschwindigkeit Suche im Szenenbild Mustererkennung true positive Verschiebe: 10 px nach rechts, 80 px nach unten 86

48 Neue Ansätze für die Mustersuche: Lerne, das Objekt zu finden Mit dem Klassifikator-Training lassen sich für die Posenschätzung viele Objektlagen antrainieren Zusätzlicher Vorteil: Steigerung der Ausführungsgeschwindigkeit Suche im Szenenbild Mustererkennung 87

49 Neue Ansätze für die Mustersuche: Lerne, das Objekt zu finden Mit dem Klassifikator-Training lassen sich für die Posenschätzung viele Objektlagen antrainieren Zusätzlicher Vorteil: Steigerung der Ausführungsgeschwindigkeit Suche im Szenenbild Mustererkennung true positive 88

50 Neue Ansätze für die Mustersuche: Lerne, das Objekt zu finden Mit dem Klassifikator-Training lassen sich für die Posenschätzung viele Objektlagen antrainieren Zusätzlicher Vorteil: Steigerung der Ausführungsgeschwindigkeit Suche im Szenenbild Mustererkennung true positive Nullage gefunden 89

51 Neue Ansätze für die Mustersuche: Lerne, das Objekt zu finden Beispiel: Bildausschnitt von 268 x 252 Pixeln und eine Objektgröße von 64 x 64 Pixeln Suche mit Korrelation Ohne Bildpyramide Vergleiche 2-Schicht Bildpyramide Vergleiche 3-Schicht Bildpyramide Vergleiche Suche mit Polimago insgesamt 109 Vergleiche Suchergebnis enthält gesamte Objektpose 92

52 GLIEDERUNG Einführung in das Thema Beschreibung der Aufgabenstellung Was bedeutet Lagebestimmung genau? Vorstellen zweier Lösungsansätze Image Features & Bag of Words Klassifikation Vorstellung eines Suchklassifikators Gegenüberstellung der beiden Verfahren Zusammenfassung und Ausblick Bewertung des aktuellen Standes Zukünftige Entwicklungen 93

53 GEGENÜBERSTELLUNG DER VERFAHREN Qualitativer Vergleich Verfahren/Kriterium Bag of Words mit SIFT Features Suchklassifikator Invarianz gegenüber - geometrischen Transformationen - Helligkeitsänderungen vollständig affin (ASIFT) perspektivisch (PSIFT) ja (Normalisierung) vollständig affin (Training) denkbar ja (Training) Extraktion von Merkmalen Eckstrukturen benötigt beliebige Strukturen Mustererkennung - mehrfache Objektinstanzen - negative Samples nein (ja mit Erweiterungen) nein ja ja Ausführungsgeschwindigkeit niedrig hoch 95

54 GEGENÜBERSTELLUNG DER VERFAHREN Quantitativer Vergleich - Welche Genauigkeit ist zu erwarten? Vergleich von Polimago mit geometrischen Pattern Matcher (CVB ShapeFinder) 1/10 Pixel Positionierungsgenauigkeit 0,1 Grad Orientierungsgenauigkeit Vergleich mit einem etablierten Messsystem PTB-zertifizierte Ground Truth vorliegend [GOM & Engineeringcapacity] 99

55 GEGENÜBERSTELLUNG DER VERFAHREN Quantitativer Vergleich - Welche Genauigkeit ist zu erwarten? Vergleich von Polimago mit geometrischen Pattern Matcher (CVB ShapeFinder) 1/10 Pixel Positionierungsgenauigkeit 0,1 Grad Orientierungsgenauigkeit Vergleich mit einem etablierten Messsystem PTB-zertifizierte Ground Truth vorliegend Bestimmung der drei Eulerwinkel [Stemmer] 100

56 GEGENÜBERSTELLUNG DER VERFAHREN Quantitativer Vergleich - Welche Genauigkeit ist zu erwarten? Vergleich von Polimago mit geometrischen Pattern Matcher (CVB ShapeFinder) 1/10 Pixel Positionierungsgenauigkeit 0,1 Grad Orientierungsgenauigkeit Vergleich mit einem etablierten Messsystem PTB-zertifizierte Ground Truth vorliegend Bestimmung der drei Eulerwinkel 5 Grad Messgenauigkeit bis 60 Kippung [Stemmer] 101

57 GLIEDERUNG Einführung in das Thema Beschreibung der Aufgabenstellung Was bedeutet Lagebestimmung genau? Vorstellen zweier Lösungsansätze Image Features & Bag of Words Klassifikation Vorstellung eines Suchklassifikators Gegenüberstellung der beiden Verfahren Zusammenfassung und Ausblick Bewertung des aktuellen Standes Zukünftige Entwicklungen 102

58 ZUSAMMENFASSUNG Bewertung des aktuellen Standes Robuste Erkennung im Vorfeld angelernter Objekte Posenschätzung eines oder mehrerer Objekte gleichzeitig Geringe Laufzeiten geeignet für Tracking-Anwendungen [Stemmer] 105

59 ZUSAMMENFASSUNG Bewertung des aktuellen Standes Robuste Erkennung im Vorfeld angelernter Objekte Posenschätzung eines oder mehrerer Objekte gleichzeitig Geringe Laufzeiten geeignet für Tracking-Anwendungen Integration im neuen CVB-Release Zukünftige Entwicklungen Beschleunigung des Klassifikator-Trainings (GPU, SSE) Vorbereitung für die Plattformen Linux / ARM 108

60 NOCH FRAGEN? Treten Sie unserer LinkedIn-Gruppe EUROPEAN VISION TECHNOLOGY FORUM bei und diskutieren sie dort mit unseren Experten weiter.

61 Vielen Dank für Ihre Aufmerksamkeit! STEMMER IMAGING GmbH Gutenbergstraße Puchheim, Deutschland Telefon: Fax: j.zuegner@stemmer-imaging.de Ihr Ansprechpartner: Johannes Zügner