1 Münzerkennung. 1.1 Aufgabenstellung. 1.2 Vorgehensweise

Transkript

1 Ein Projekt von Christoph Lang (23641) und Alexander Ludas (23642) in der Vorlesung Labor Bildverarbeitung im Wintersemester 2007 an der HTW-Aalen. Umsetzungszeitraum: Aufgabenstellung Entwicklung eines Programms, welches auf einem Bild auf dem Euro-Münzen zu sehen sind, die Münzen finden, klassifizieren und aus ihnen den Gesamtbetrag errechnen kann. Das Ergebnis des Programms kann in Abbildung 1.9 auf Seite 14 und in Abbildung 1.10 auf Seite 14 angeschaut werden. 1.2 Vorgehensweise Im folgenden Abschnitt werden wir versuchen eine Kurzzusammenfassung über die Vorgehensweise zu vermitteln, bevor in den folgenden Sektionen noch einmal im Detail auf die einzelnen Schritte eingegangen wird. Vorgehensweise in Kurzform: Original-Bild einlesen. Bild in Graustufen-Bild umwandeln. (siehe Kapitel auf Seite 2 ) Graustufen-Bild in Canny-Bild umwandeln. (siehe Kapitel auf Seite 2 ) In Canny-Bild Konturen erkennen. (siehe Kapitel auf Seite 2 ) Ellipsen in Konturen-Bild einpassen. (Zu kleine Ellipsen herausfiltern) (siehe Kapitel auf Seite 2 und Kapitel auf Seite 3 ) Ellipsen in Original-Bild einzeichnen. Klassifizierung der Münzen. (siehe Kapitel auf Seite 3 und Kapitel auf Seite 3 ) Ausgabe des Ergebnisbildes. Die Klassifizierung der Münzen erfolgt dabei über die Größe und die Farbe. Durch die Größe der Münze wird eine Vorauswahl getroffen (siehe Kapitel auf Seite 3 ), danach wird eine genauere Klassifizierung aufgrund der Farbe getroffen (siehe Kapitel auf Seite 3 ). 1

2 1.2.1 Bild in Graustufen umwandeln Damit man die Kantendetektion in OpenCV nutzen kann, muss als erstes das Originalbild (siehe Abbildung 1.2 auf Seite 10) in ein Graubild umwandelt werden. Hierzu wird die Funktion cvcvt- Color() benutzt mit der wir unser Farbbild in ein Graustufenbild umwandeln, siehe Abbildung 1.3 auf Seite Kanten finden Um die Größe der Münze bestimmen zu können muss man zuerst die Kanten der Münzen finden. OpenCV stellt hierfür die Funktion cvcanny() zur Verfügung, welche den Sobelfilter benutzt. cv- Canny() schreibt dann das Ergebnis mit den gefundenen Kanten in das Zielbild, siehe Abbildung 1.4 auf Seite Konturen finden Um nun Konturen aus dem Bild herauszufiltern wird als erstes cvfindcontours() aufgerufen. Diese Funktion schreibt alle gefundenen Konturen in einen MemStorage. Die Konturen können dann in ein neues, schwarzes Bild mit der Funktion cvdrawcontours() eingezeichnet werden, siehe Abbildung 1.5 auf Seite Approximation in Ellipsen Die Approximation der Ellipsen funktioniert auf folgende Weise: Es wird mit der OpenCV Funktion cvfitellipse() versucht, Ellipsen auf das Bild zu legen. Dies geschieht auf dem Konturenbild, welches mittels cvdrawcontours() (siehe Kapitel auf Seite 2 ) erzeugt wurde. Die dadurch entstandenen Ellipsen sind ziemlich genau der Bereich des Bildes, auf dem die Münze liegt. Das Ergebnisbild dieses Vorgangs sieht dem Vorgängerbild relativ ähnlich, es wurden praktisch nur die Kanten in Rundungen umgewandelt Ellipsen normalisieren und falsche Ellipsen herausfiltern Es muss nun versucht werden die Ellipsen zu normalisieren und falsche bzw. zu kleine Ellipsen herauszufiltern. Bei der Normalisierung wird der Radius durch den Mittelwert der beiden Halbachsen definiert. Dies verhindert, dass Ei-förmige Ellipsen entstehen. Wir haben nun jede Ellipse zu Kreisen normalisiert. Radius = Height + W idth 2 Ebenfalls wird nun versucht falsche Ellipsen herauszufiltern (beispielsweise Rauschen). Das Programm überprüft für jede Ellipse ob Sie eine vorherbestimmte Mindestgröße hat. Diese Mindestgröße ist direkt im Programm definiert (Radius: 40px). Wird die Mindestgröße von den Münzen unterschritten, ist keine sinnvolle Klassifizierung mehr möglich, da die Größenunterschiede zu fein wären. Demzufolge wird alles unterhalb der Mindestgröße herausgefiltert. (1.1) 2

3 1.2 Vorgehensweise a 1 Ellipsen : if a 1 < 40px then Ellipsen = Ellipsen a 1 (1.2) Es wird anschließend noch jede Ellipse mit allen anderen Verglichen ob sie sich innerhalb einer anderen befindet (Funktion bool isinside(ellipse* other) ). Dies bewirkt, daß Kreise/Ellipsen auf den Münzen ebenfalls herausgefiltert werden (Ein Beispiel hierfür wäre die 0 bei der 10-Cent Münze), da der größte Kreis/Ellipse den eine Münze haben kann immer ihr Radius ist. a 1, a 2 Ellipsen : if a 1 a 2 then Ellipsen = Ellipsen a 1 (1.3) Das Ergebnis ist in Abbildung 1.6 auf Seite 12 zu sehen. Zur Kontrolle werden die Ellipsen noch in das Originalbild eingezeichnet, siehe Abbildung 1.7 auf Seite Vorklassifizierung über die Größe Die Euro Münzen haben folgende Größen: 1 Cent: 16.25mm 2 Cent: 18.75mm 5 Cent: 21.25mm 10 Cent: 19.75mm 20 Cent: 22.25mm 50 Cent: 24.25mm 1 Euro: 23.25mm 2 Euro: 25.75mm Unter optimalen Bedingungen könnte man den Wert der Münzen rein über die Größe bestimmen. Da sich aber die Münzgrößen nur um 1-1.5mm unterscheiden und man nicht immer optimale Bilder vorliegen hat, kann man nicht immer exakt sagen um welche Münze es sich handelt. Da jedoch die 1 Cent und die 2 Euro Münze keinen Vorgänger beziehungsweise Nachfolger haben, kann man diese doch sehr klar über die Größe klassifizieren. Bei den anderen Münzen muss man hingegen ein anderes Merkmal der Münze betrachten um deren genauen Wert zu erhalten. Dies geschieht hier über die Farbe Genauere Klassifizierung anhand der Farbe Da man nicht alle Münzen über die Größe klassifizieren kann, muss man nun die Farbe der Münze untersuchen. 3

4 Münzen ohne Ring Münzen mit ungefähr gleicher Größe ohne Ring: 2 Cent / 10 Cent 5 Cent / 20 Cent Durch eine Auswertung von einer sehr großen Anzahl von Bildern ( ca Bilder), haben wir durch statistische Analysen herausgefunden, daß folgende Methode die Farben der Münzen sehr gut klassifiziert. Hierbei wird ein Quadrat in die Münze eingepasst und alle Farbwerte in diesem Quadrat ermittelt, sowie der Durchschnitt dieser Werte berechnet, siehe Abbildung 1.8 auf Seite 13. Bei der goldenen Farbe der Münzen ist zu beobachten, das die Differenz zwischen der Differenz vom grünen und roten Farbwert und der Differenz vom grünen und blauen Farbwert meistens über 10 liegt. Bei bronzenen Münzen ist genau das Gegenteil der Fall. Hier beträgt die Differenz meist deutlich weniger als 10, bzw. ist negativ. a = Dif f erenz(grün, Rot) (1.4) b = Dif f erenz(grün, Blau) (1.5) x = a b (1.6) if x > 10 then Gold else Bronze (1.7) Das heisst, wenn man die ungefähre Größe der Münze ermittelt hat, kann man durch dieses Merkmal die Farbe der Münze bestimmen und somit auch deren Wert Münzen mit Ring Münzen mit ungefähr gleicher Größe und mit Ring: 20 Cent / 1 Euro 50 Cent / 1 Euro Münzpaare bei denen ein Ring vorhanden sein kann, kann man relativ leicht bestimmen. Hierbei betrachtet man die Farbunterschiede zwischen eventuell vorhandenem Ring und Münzmitte. Hierzu wird in das Münzinnere ein Quadrat gelegt (siehe Kapitel auf Seite 4 ). Nur dieses Mal wird das Quadrat nicht bis zum Rand der Münze eingepasst, sondern so gewählt, daß es, wenn ein Ring vorhanden ist, diesen nicht schneidet (siehe Abbildung 1.8 auf Seite 13). Danach werden die Farbwerte an den Stellen bestimmt, an der ein Ring vorhanden sein könnte und auch hiervon wird der Durchschnitt der Farbwerte berechnet. Nun werden die Werte von Münzmitte und Münzring verglichen. Handelt es sich um eine einfarbige Münze, also eine Münze die keinen 4

5 1.3 Das Programm Ring besitzt, unterscheiden sich die ermittelten Farbwerte nur sehr gering. Ist der Unterschied größer, kann man davon ausgehen das es sich hier um eine Münze mit Ring handelt. Um die Koordinaten der Punkte zu berechnen, welche auf dem Ring liegen wurde folgende Formel benutzt: Formel 1.9 auf Seite 5 berechnet den durchschnittlichen Farbwert der Punkte, welche sich im linken, oberen Quadranten der Münze befinden (2 Quadrant). Siehe hellblaue Markierung in Abbildung 1.8 auf Seite 13. r = Radius, rb = Ringbreite, (x/y) = Ellipsenmittelpunkt (1.8) (r rb) xi=(x r) j=r F arbwert(i, y j 2 (x i) 2 ) r rb Für die 3 anderen Quadranten kann die Formel 1.9 auf Seite 5 einfach umgestellt werden. (1.9) 1.3 Das Programm Wir haben zur Überprüfung unserer Klassifizierungstheorie und zum Testen das Programm CoinCounter entwickelt. Hierbei wurde das Microsoft Visual Studio 2005 mit der freien Bibliothek OpenCV in der Version 1.00 verwendet. Das Programm wurde als Konsolenanwendung implementiert und die grafische Ausgabe wird mittels cvnamedwindow() von OpenCV erzeugt. Die Designentscheidung, das Programm als Konsolenanwendung zu implementieren, wurde nicht zuletzt dadurch begründet, dass man es somit relativ leicht in eine bereits bestehende Anwendung integrieren könnte. Ein Beispiel hierfür wäre eine Intranet-/Internetanwendung, in welcher der Benutzer mittels PHP ein Bild auf den Server überträgt, und der Webserver das Programm CoinCounter ausführt. Hier ist der Umstand von Vorteil, das der ermittelte Gesamtbetrag, gleichzeitig auch der Rückgabewert der Anwendung ist. Somit muss nur dieser Ausgelesen werden. Das Programm selbst ist größtenteils objektorientiert entwickelt worden. Es besteht aus folgenden Klassen/Funktionen: CoinCounter Das eigentliche Programm. Die Klasse CoinCounter hat dabei folgende Attribute bzw. Methoden, welche in Tabelle 1.2 auf Seite 7 eingesehen werden können. (Der Übersichtlichkeit halber wurde die Tabelle gekürzt. Die Klasse hat weitere Methoden und ebenfalls überladene Funktionen und Konstruktoren. Genauere Informationen sind in der Datei CoinCounter.h zu finden.) Ellipse Klasse zum komfortablen Verwalten der Ellipsen auf dem Bild. Die Klasse Ellipse hat dabei folgende Attribute bzw. Methoden, welche in Tabelle 1.1 auf Seite 6 eingesehen werden können. main() Keine Klasse, sondern die Einstiegsfunktion des Programms. 5

6 Sichtbarkeit Typ Name private Attribut int width private Attribut int height private Attribut int center_y private Attribut int center_x private Attribut double angle private Attribut int radius private Attribut int toleranz private Attribut int mindiameter public Methode EllipseStore(int x,int y, int w, int h, double a) public Methode int get_y() public Methode int get_x() public Methode int get_w() public Methode int get_h() public Methode int get_radius() public Methode double get_a() public Methode bool isinside(ellipsestore* other) public Methode bool iscircle() public Methode bool isminsize() public Methode void print() Tabelle 1.1: Klasse Ellipse 6

7 1.3 Das Programm Sichtbarkeit Typ Name private Attribut double Muenzgroessen[8] private Attribut int Gesamtbetrag private Attribut IplImage* ProcessImage private Attribut IplImage* OriginalImage private Attribut IplImage* OutputImage private Attribut IplImage* TemplateImage private Attribut char* swindowname private Attribut int anzellipses private Attribut CvScalar getcolorfromarea(iplimage* img, int x,...) private public Methode void converttograyscale() public Methode void converttocanny() public Methode void printallelipses(iplimage* img) public Methode void findcontours() public Methode int classify(iplimage* img, int x,... ) public Methode int getbetrag() public Methode void process(int index,bool copy=true) public Methode void drawimage() public Methode CoinCounter(char* Filename,char* TemplateFilename) public Tabelle 1.2: Klasse CoinCounter 7

8 c:\coincounter.exe Coin Counter 1.00 Programmed by Christoph Lang & Alexander Ludas with OpenCV 1.0 Usage: coincounter imagefile [templatefile] Where Templatefile must contain a 2-Euro Coin Abbildung 1.1: Coin Counter Ausgabe Funktionsweise Die main() Methode wertet die Kommandozeilen-Parameter aus und bildet eine Instanz vom Typ CoinCounter. Daraufhin wird dem Objekt mitgeteilt, dass alle Schritte der Klassifizierung abgearbeitet werden sollen. Damit wird die Kontrolle an die Klasse CoinCounter übergeben und die main()-funktion wartet nur noch auf die Beendigung. Die Klasse CoinCounter hat dabei eine Methode namens process(), welche die gesamte Steuerung des Programms übernimmt Übergabeparameter Da das Programm CoinCounter eine Konsolenanwendung ist, muss es über die Eingabeaufforderung gestartet werden. Dem Programm müssen beim Aufruf bestimmte Parameter übergeben werden. Geschieht dies nicht, erscheint die Ausgabe in Abbildung 1.1 auf Seite 8. imagefile Das Bild, welches untersucht werden soll. Da das Einlesen der Bilddaten mittels OpenCV erfolgt, wird eine Vielzahl von Eingabeformaten unterstützt. Beispiele hierfür wären die Dateiendungen *.jpg, *.bmp, *.tif, usw... templatefile Das Vorlagenbild, aufgrund dessen die Klassifizierung stattfindet. [Optional]. Dem Programm muss ein Bild als zweiter Parameter mitgegeben werden, welches als Templatefile verwendet wird. Dieses Bild beinhaltet eine 2-Euro Münze welche unter den gleichen Bedingungen aufgenommen wurde, wie auch die Bilder der Münzen, welche erkannt werden sollen. Das Bild, welches untersucht werden soll kann ebenfalls selbst Template sein, wenn sich auf ihm mindestens eine 2 Euro Münze befindet. Der zweite Parameter ist dann nicht erforderlich. Also wenn das Programm aufgerufen wird mit Coin- Counter.exe bild1.jpg ist dies gleichbedeutend mit CoinCounter.exe bild1.jpg bild1.jpg. imagefile und templatefile sind dabei das gleiche Bild. 8

9 1.4 Einschränkungen / Probleme Schiebereglerpositionen Sobald das Pogramm erfolgreich gestartet wurde, hat man durch den Schieberegler die Möglichkeit, die Arbeitsweise des Programs in Einzelschritten zu verfolgen. Eine Kurze Erklärung über die Schiebereglerpositionen: Original-Bild einlesen. Bild in Graustufen-Bild umwandeln. (siehe Kapitel auf Seite 2 ) Graustufen-Bild in Canny-Bild umwandeln. (siehe Kapitel auf Seite 2 ) In Canny-Bild Konturen erkennen. (siehe Kapitel auf Seite 2 ) Ellipsen in Konturen-Bild einpassen. (Zu kleine Ellipsen herausfiltern) (siehe Kapitel auf Seite 2 und Kapitel auf Seite 3 ) Ellipsen in Original-Bild einzeichnen. Klassifizierung der Münzen. (siehe Kapitel auf Seite 3 und Kapitel auf Seite 3 ) Ausgabe des Ergebnisbildes. 1.4 Einschränkungen / Probleme Wir mussten bei der Umsetzung des Projekts ein paar kleinere Vorgaben an die Bilder machen. Momentan funktioniert das Programm korrekt, für Bilder, welche auf unserem Scanner eingescannt wurden. Wir verwendeten dabei einen schwarzen Hintergrund. Theoretisch sollte das Programm auch für Bilder funktionieren, welche mit einer Kamera (Digitalkamera, Webcam,... ) aufgenommen wurden und einen beliebigen Hintergrund haben. Wir haben es aber trotz intensiver Bemühung nicht hinbekommen, die Szene so auszuleuchten, dass kein Schattenwurf entsteht, welcher die Erkennung der Münzgröße beeinflusst. Durch einscannen mit einem schwarzen Hintergrund konnten wir den Schatten jedoch eliminieren. Das Hauptaugenmerk lag auf der Klassifizierung der bereits korrekt gefundenen Münzen. (Das Auffinden bezüglich der Position auf dem Bild, wurde mit bereits implementierten Funktionen von OpenCV realisiert.) Ebenfalls ist die Einschränkung definiert, das nur Münzen erkannt werden können, welche komplett sichtbar sind und nicht auf anderen Münzen liegen. Falls Beispielsweise eine 1-Cent Münze auf einem 2-Euro Stück liegt, kann nicht garantiert werden, daß eine/oder beide Münzen erkannt werden. Als letzte Einschränkung: Dem Programm muss ein Bild als zweiter Parameter mitgegeben werden, welches als Templatefile verwendet wird. Dieses Bild beinhaltet eine 2-Euro Münze 9

10 welche unter den gleichen Bedingungen aufgenommen wurde, wie auch die Bilder der Münzen, welcher erkannt werden sollen. Das Bild, welches untersucht werden soll kann ebenfalls selbst Template sein, wenn sich auf ihm mindestens eine 2 Euro Münze befindet. Der zweite Parameter ist dann nicht erforderlich. 1.5 Fazit Zusammenfassend sind wir der Meinung das die Aufgabenstellung erfolgreich umgesetzt wurde. Das Programm erkennt und klassifiziert die Münzen korrekt, allerdings mit Einschränkungen (siehe Kapitel 1.4 auf Seite 10 ). Wegen der engen Zeitplanung konnte leider kein Code- Refactoring mehr durchgeführt werden, was bedeutet, daß das Programm nicht unbedingt optimal bezüglich Laufzeit/Speicher arbeitet. Nichtsdestotrotz erfüllt es seine Aufgabe. Wie könnte man mit dem Ergebnis weiterarbeiten? Man könnte die Konsolenanwendung in bereits bestehende Anwendungen integrieren (Bsp.: Webserver/PHP (siehe Kapitel 1.3 auf Seite 5 ) ). Ebenfalls könnte man die Klassifikation ausweiten auf ausländische Münzen (nicht Euro Münzen), oder aber auch Geldscheine. Des Weiteren könnte man dem Programm weitere Sensordaten geben, so daß die Klassifikation nicht nur optisch stattfindet, sondern zum Beispiel durch Gewichts-Messung. Wir hoffen, daß durch diese Dokumentation/Zusammenfassung ein zufriedenstellender Überblick über das Projekt, die Vorgehensweise und das Programm CoinCounter entstanden ist. 1.6 Anhang Abbildung 1.2: Originalbild 10

11 1.6 Anhang Abbildung 1.3: Graubild Abbildung 1.4: Canny-Bild 11

12 Abbildung 1.5: Konturenbild Abbildung 1.6: Ellipsenbild 12

13 1.6 Anhang Abbildung 1.7: Ellipsen in Originalbild Abbildung 1.8: Münzklassifizierung 13

14 Abbildung 1.9: Ergebnisbild Abbildung 1.10: Konsole 14