Praktikum 7. Industrielle Bildverarbeitung (Machine Vision) Differenzbild-Analyse zur Zahlenerkennung. Digitale Bildverarbeitung

Transkript

1 Prof. W. Hillen, Medizinische Informatik FH - AC (Jülich)...\image\img_pk_07 ImageJ.doc Praktikum 7 Digitale Bildverarbeitung Industrielle Bildverarbeitung (Machine Vision) Differenzbild-Analyse zur Zahlenerkennung Themen: Erzeugung von Binärbildern. Differenzbildanalyse. Bildverknüpfungen (insbesondere: logische Verknüpfungen von Binärbildern). Wirkung von morphologischen Operationen in Binärbildern. Verwendung von Makros in ImageJ. Entwurf eines Programmablaufplans zur automatischen Zahlenerkennung. Bilderfassung für Praktikum 7 Das Bilderfassungssystem ist bis auf die Beleuchtungseinstellung identisch zu Praktikum 6 (vergl. Anleitung Praktikum 6, S.1-2). Die Belichtung der Objekte erfolgt in diesem Praktikum durch eine sehr diffuse Auflichtbeleuchtung (vergl. Abb. 1). Hierzu sind die Reproleuchten zur Decke gerichtet. Das reflektierte Licht belichtet die Objekte. Jedes direkt einfallende Licht (z.b. Sonnenlicht) wird abgeschirmt zur Vermeidung von Reflexionen. Die Belichtung erfolgt mit Zeitautomatik und (einmalig eingestellter) manueller Fokussierung: Belichtungszeit: 0.6 s; Blende: 8; Objektabstand: 374 mm. img_pk_07 ImageJ -1-

2 Die Objekte sind kleine, helle Zahlentafeln mit schwarz aufgedruckten Zahlen von 1 bis 10. Die Zahlentafeln werden zur Ablichtung an einen festen horizontalen und vertikalen Anschlag geschoben. Im Versuch ist dieser Anschlag durch zwei fixierte Geo-Dreiecke realisiert (siehe Abb. 1). Ein typisches Bildbeispiel ist in Abb. 1 (unten) dargestellt. Abb.1 Aufbau des Bilderfassungssystems für Praktikum 7 Das Bildbeispiel zeigt die Zahlentafel 10 und die Positionierung mit Hilfe des horizontalen und vertikalen Anschlags. Stativ IEEE 1394 Leitung: 6 to 6 Pin PC mit IEEE 1394 (Fire Wire) Controller Digital Kamera Nikon AC Adapter EH-4 Abstand CCD zum Objekt: 374 mm Reproleuchten Geo-Dreieck als fester vertikaler Anschlag horizontaler Anschlag img_pk_07 ImageJ -2-

3 Bildmaterial (Praktikum 7): Zahlenerkennung Von jeder Zahlentafel mit den Ziffern von 1 bis 10 wurden jeweils drei Exemplare aufgenommen. Das Schema zur Benennung der entsprechenden Bild-Files ist in Tabelle 1 dargestellt. Ziffer Exemplar Datei-Name... 1 Exemplar 1 z1_fix_1.tif 1 Exemplar 2 z1_fix_2.tif 1 Exemplar 3 z1_fix_3.tif... 2 Exemplar 1 z2_fix_1.tif 2 Exemplar 2 z2_fix_2.tif 2 Exemplar 3 z2_fix_3.tif... 3 Exemplar 1 z3_fix_1.tif u.s.w. u.s.w. u.s.w.... Tabelle 1: Bildmaterial zur Zahlenerkennung (Praktikum 7) 1. Festlegung einer Grauwertschwelle zur Binarisierung Laden Sie ein Bild mit der Zahl 10 und setzen Sie ein ROI um die Ziffer. Das ROI soll die Zahl großzügig umschließen; es soll aber innerhalb des oberen Bereichs der Zahlentafel bleiben (vergl. Abb. 2 und 3). Notieren Sie die ROI- Lage und -Abmessung in absoluten Pixelwerten (mit Hilfe Edit / Selection / Specify... ) und überprüfen Sie an Hand einer Reihe anderer Ziffern, ob diese ROI-Auswahl für alle Bilddatensätze akzeptabel ist. Führen Sie eine automatische Schwellwertbestimmung innerhalb des ROI- Bereichs durch, indem Sie im Fenster Image / Adjust / Threshold... den Button Auto anwählen. Notieren Sie den angezeigten Schwellwert des automatischen Verfahrens. Überprüfen und korrigieren Sie gegebenenfalls die Lage dieser Schwelle im Grauwerthistogramm des ROI s (logarithmische Skalierung verwenden). Führen Sie diese Analyse bei mehreren Ziffern durch (immer zuerst das eingangs festgelegte ROI setzen), und bestimmen Sie den mittleren Schwellwert zur Definition der endgültigen Schwelle T. img_pk_07 ImageJ -3-

4 Abb. 2 Bildbeispiel mit ROI zur Schwellwertbestimmung Rechts: Grauwerthistogramm des ROIs (log. Skalierung, grau hinterlegt) 2. Umwandlung der Bilder in Binärbilder Laden Sie ein Bild (ein ROI braucht nicht gesetzt zu werden) und öffnen Sie das Threshold-Fenster ( Image / Adjust / Threshold... ). Im Threshold-Fenster wird mit Hilfe der Slider das Schwellwertintervall [ 0, T ] eingestellt und als Farbmarkierung Black & White ausgewählt. Die Binär-Umwandlung erfolgt über den Button Apply. Verlassen Sie das Apply LUT -Fenster, in dem alles angewählt sein sollte, mit OK. Bem.: Die Binärumwandlung der Bilder soll parallel zur Differenzbild-Analyse erfolgen (siehe unten), da in dieser Weise die Binärbilder direkt im Arbeitsspeicher verrechnet werden und nicht auf Festplatte zwischengespeichert zu werden brauchen. img_pk_07 ImageJ -4-

5 3. Differenzbildanalyse 3.a Schema der Differenzbildanalyse 1. Laden Sie ein Referenzbild mit einer Zahl Z1, die Sie im folgenden mit einer anderen Zahl Z2 vergleichen wollen. 2. Stellen Sie im Threshold-Fenster das Intervall [ 0, T ] ein, und führen Sie über den Button Apply die Binär Umwandlung durch. Die Zahl Z1 erscheint schwarz auf einem weißen Hintergrund. 3. Laden Sie das Bild mit der Zahl Z2 und wandeln Sie es ebenso in ein Binärbild um. 4. Im Image Calculator ( Process / Image Calculator ) werden die binären Bilder mit den Zahlen Z1 und Z2 ausgewählt und mit dem Operator XOR verknüpft. Das Ergebnis (vergl. Abb. 3) soll in einem neuen Fenster erscheinen (=> Create New Window ). Abb. 3 Bildbeispiel zur Differenzbildanalyse (Referenzbild: Zahl 10 ; Vergleichsbild: Zahl 8 ) img_pk_07 ImageJ -5-

6 5. Setzen Sie im Ergebnisbild das ROI an die vorbestimmte Position und aktivieren Sie das Histogramm-Tool. Die Differenz zwischen der Referenzzahl und der Vergleichszahl und damit der Grad der Übereinstimmung wird nach der XOR-Verknüpfung dargestellt durch die Anzahl der weißen Bildpunkte (logisch: true). Wählen Sie im Histogramm einen Analysebereich ( Grey value range to analyze ) von 255 bis 255 und aktivieren Sie Update. Unter Count finden Sie die Pixelzahl der weißen Bildpunkte (im folgenden Differenzwert genannt). Der Differenzwert ist ein Maß für die Übereinstimmung der beiden Prüfzahlen (kleiner Differenzwert = hohe Übereinstimmung). Soll eine andere Vergleichszahl mit der Referenzzahl Z1 verglichen werden, kann direkt bei Punkt 3 des oben beschriebenen Arbeitsablaufs begonnen werden. Auch wenn (wie im Folgenden beschrieben) ein ImageJ-Makro die zeitraubende Differenzbildanalyse übernimmt, soll zumindest in zwei Durchläufen die Differenzwertbestimmung Schritt für Schritt manuell durchgeführt werden. Hierzu sollen einmal zwei verschiedene Aufnahmen einer gleichen Zahl miteinander verglichen werden und zum anderen zwei unterschiedliche Zahlen. 3.b Makro zur Differenzbildanalyse: Zur schnelleren Auswertung wurde für dieses Praktikum das Makro NumberComparision erstellt, das die Differenzbildanalyse mit den zuvor bestimmten Parametern (Schwellwert T, ROI-Position) automatisch ausführt. Die Grundelemente des Makros und das Listing sind im Anhang beschrieben (bitte durcharbeiten). Die Installation des Makros erfolgt über Plugins/Macros/Install und Auswahl der Datei NumberComparision.txt. Nach der Installation kann das Makro mit Plugins/Macros/<<makro-name>> gestartet werden. Ablauf des Makros NumberComparision: 1. Parametereingabe: Schwellwert T ROI (Breite, Höhe, x-,y-position) 2. Abfrage, ob morphologische Operationen nach der XOR-Operation ausgeführt werden sollen (zunächst verneinen, wichtig für Kap 5). img_pk_07 ImageJ -6-

7 3. Ausführung der Differenzbildanalyse (in einer Programmschleife): - Abfragen der Speicherpfade des Referenzbildes (Z1) und des Bildes (Z2). Anschließend laufen folgende Operationen automatisch ab: - Grauwertschwelle in beiden Bildern setzen - Bilder binarisieren - XOR-Verknüpfung der beiden Binärbilder - Optional: Ausführen morphologischer Operationen Die Anzahl der weißen Pixel der XOR-Verknüpfung wird innerhalb des ROI s bestimmt und ausgegeben (Count of divergent Pixels). Tragen Sie diesen Wert in die Matrix (Tab.2) ein. Nach Bestätigung mit OK werden alle drei Bilder geschlossen und abgefragt, ob die Differenzbildanalyse mit anderen Zahlen fortgeführt werden soll. Kontrolle des Makros: Bitte überprüfen: Die Werte des Makros müssen mit den entsprechenden Resultaten der beiden zuvor durchgeführten manuellen Analysen übereinstimmen. Soll die Differenzbildanalyse mit anderen Parametern (T, ROI) oder mit morphologischen Operationen nach der XOR-Operation ausgeführt werden, muss das Makro neu gestartet werden. 4. Auswertung Die Differenzwerte sollen in einer Matrix (vergl. Tab. 2) dargestellt werden. Jede Zahl soll zunächst mit sich selbst (d.h. mit den anderen Exemplaren der gleichen Zahl) verglichen werden. Auch bei dieser Analyse gibt es typische Differenzen (die Form dieser Differenzen soll genau diskutiert werden). Die Abweichungen können folgende Ursachen haben: Zahl ist nicht an gleicher Stelle auf die Tafel gedruckt. Zahlentafel liegt nicht exakt am Anschlag. Aufnahmemechanik ist instabil. Werten Sie anschließend die Differenzen ungleicher Zahlen aus. Führen Sie mit Hilfe des gewonnenen Datenmaterials folgende Auswertungen durch: Mit welchen Differenzen ist beim Vergleich einer Zahl mit einem anderen Exemplar derselben Zahl zu rechnen? img_pk_07 ImageJ -7-

8 Sind verschiedene Zahlen durch deutlich höhere Differenzwerte zu erkennen? Wo kann eine Schwelle im Differenzwert gelegt werden, die über Zahlengleichheit und Zahlenungleichheit entscheidet? Wie zuverlässig arbeitet diese Methode? Welche Zahlen lassen sich tendenziell gut bzw. schlecht unterscheiden? Vergleichszahl Referenzzahl Tabelle 2: Matrix zur Auswertung der Differenzwerte img_pk_07 ImageJ -8-

9 5. Optimierung des Prüfverfahrens Beim Vergleich verschiedener Exemplare derselben Zahl entstehen durch lateralen Versatz typische Differenzmuster i.d.r. dünne Randlinien (siehe Abb. 4). Untersuchen Sie, ob mit Hilfe morphologischer Operationen (Erosion, Dilatation, Öffnen, Schließen) diese Differenzmuster eliminiert oder unterdrückt werden können, ohne die Differenzen zweier unterschiedlicher Zahlen stark zu beeinträchtigen. ImageJ bietet hierzu unter Process / Binary die morphologischen Operationen Erosion, Dilatation, Öffnen und Schließen mit einem 3*3-Operatorfenster an. Diese Operationen können auch mehrfach hintereinander ausgeführt werden über die Einstellung Process / Binary / Options / Iterations (diese Funktionen sind auch im Makro NumberComparision integiert). Abb. 4 Bildbeispiel für typische Differenzmuster beim Vergleich identischer Zahlen (hier: Ziffer 1) Überlegen Sie schon vor (!) der Durchführung des Praktikums, welche Operationen hierfür sinnvoll wären. Werten Sie anhand des Datenmaterials aus, inwieweit sich mit diesen Operationen die Zuverlässigkeit des Verfahrens steigern lässt. 6. Entwurf eines Programmablaufplans An Hand dieser Untersuchung soll im Abschlußbericht ein Programmablaufplan für ein vollautomatisches Prüfverfahren aufgestellt werden. Hierbei soll eine unbekannte Zahl erkannt werden, indem sie nacheinander in einer Programmschleife mit allen Referenzzahlen verglichen wird. In diesem Plan sollen alle Schritte der Bildverarbeitung und Bildanalyse mit allen Parameterwerten dargestellt werden. img_pk_07 ImageJ -9-

10 Anhang: Beschreibung des Makros NumberComparision Generell lassen sich mit Makros in ImageJ definierte Abfolgen von Kommandos ausführen. Mit dem Makro NumberComparision können zwei Bilder mit den Zahlen Z1, Z2 miteinander verglichen werden. Hierfür werden zunächst die zuvor bestimmten Werte (Schwellwert T, ROI-Position) abgefragt. Im Anschluss werden in einer Programmschleife mit jeweils zwei ausgewählten Bildern die Arbeitsschritte Bild binarisieren, Bilder mit XOR-Operation verknüpfen, Histogramm erstellen und Ausgabe der Anzahl der weißen Pixel abgearbeitet. Abfrage der Eingabewerte (Schwellwert T, ROI-Position): // Erstellen eines neuen Dialog-Fenster Dialog.create("input values"); // Eingabefeld für den Schwellwert dem Dialog-Fenster hinzufügen Dialog.addNumber("Threshold is", 0); // Label wird hinzugefügt Dialog.addMessage("Roi-Werte: "); // weitere Eingabefelder hinzufügen Dialog.addNumber("Width: ", 0); Dialog.addNumber("Height: ", 0); Dialog.addNumber("X Coordinate: ", 0); Dialog.addNumber("Y Coordinate: ", 0); // Dialog-Fenster anzeigen Dialog.show(); // Abfrage der Benutzereingaben thresholdt = Dialog.getNumber(); roiwidth = Dialog.getNumber(); roiheight = Dialog.getNumber(); roixpos = Dialog.getNumber(); roiypos = Dialog.getNumber(); Um die benötigten Parameter abfragen zu können, muss ein Fenster erstellt (Dialog.create( Fenstername )) und Eingabefelder für Zahlen hinzugefügt (Dialog.addNumber( Label, Standardwert )) werden. Mit dem Befehl Dialog.getNumber() werden die Benutzereingabe abgefragt. Festlegung der ROI-Position: // Definition des Rois (width, height, x, y) roi = "width="+roiwidth + " height="+ roiheight+" x="+roixpos+" y="+roiypos; Um eine Roi festlegen zu können, müssen die Parameter width, height, x und y definiert werden. In einem ImageJ Makro werden die Parameter nach dem Schema parameter=wert definiert und durch Leerzeichen getrennt zu einem Textausdruck zusammengesetzt. Hierbei können mit dem +-Operator die definierten Parameternamen und die entsprechenden Werte zum gewünschten Ausdruck zusammengefügt werden. img_pk_07 ImageJ -10-

11 Abfrage zu morphologischen Operationen: // Morphologische Operationen morphop = getboolean("should morphological operations be applied?"); if(morphop){ // Labels der möglichen morphologischen Operationen labels = newarray(4); labels[0] = "Erode"; labels[1] = "Dilate"; labels[2] = "Open"; labels[3] = "Close"; // Erstellen eines neuen Dialog-Fenster, welches abfragt welche // morphologische Operation und wie oft diese Operation ausgeführt // werden soll Dialog.create("morphological operations"); // Hinzufügen der Auswahlbox für die morphologischen Operationen Dialog.addChoice("morphological operations", labels, labels[0]); // Eingabefeld für die Anzahl der Operationen hinzufügen Dialog.addNumber("Number of operations", 1); // Dialog-Fenster anzeigen Dialog.show(); // Abfrage der Benutzereingaben op = Dialog.getChoice(); countop = Dialog.getNumber(); Es wird zunächst abgefragt, ob morphologische Operationen ausgeführt werden sollen. In Abhängigkeit von dieser Benutzerentscheidung wird abgefragt, welche und wie oft die morphologische Operation ausgeführt werden soll. Nachdem ein Fenster erstellt ist, fügt die Funktion Dialog.addChoice( Label, Verschiedene Auswahlmöglichkeiten, Standardwert ) eine Auswahlbox dem Fenster hinzu. Mit Hilfe der Funktion Dialog.getChoice() wird die ausgewählte Möglichkeit zurückgegeben. Nachdem alle Benutzereingaben bezüglich der Parameter erfasst sind, werden anschließend in einer Schleife folgende Funktionen ausgeführt: Auswahl und Öffnen der Bilddateien sowie Binarisierung: // Öffnen der ersten Datei open(); filename1 = gettitle(); // Setzen des Schwellwertes setthreshold(0,thresholdt); // Schwellwertverfahren ausführen run("threshold", "thresholded remaining black"); // Merken der internen Bild-Id, um das Bild später schließen zu können activez1 = getimageid(); XOR-Verknüpfung der beiden Bilder // Erstellen des String um die XOR-Operation ausführen zu können // Definieren der beiden bilder (image1, image2) und der Operation // (operation) string = "image1="+filename1+" operation=xor " +"image2="+filename2+" create"; // Ausführen der Operation run("image Calculator...", string); img_pk_07 ImageJ -11-

12 Morphologische Operationen (falls ausgewählt): // Wenn morphologische Operationen ausgewählt: if(morphop){ // Abfrage der gewählten Operation und anschließend wird in einer // Schleife die gewünscht Anzahl der Operationen ausgeführt if(op == "Erode"){ for (i=0; i<countop; i++) { run("erode"); else if(op == "Dilate"){ // Ausführen der Dilation else if(op == "Open"){ // Ausführen der Öffnen-Operation else if(op == "Close"){ // Ausführen der Schließen-Operation Setzen des ROI s im XOR-Bild: // Roi setzen run("specify...", roi); Histogrammdarstellung des ROI s und Anzeige der weißen (divergenten) Pixels: // Abfrage des Histogramm des XOR-Bildes gethistogram(values,counts, 256); // Werte anzeigen (Erst nach Bestätigung wird der Code weiter // ausgeführt) showmessage("count of divergent pixels ("+name+"): "+counts[255]); Schließen der Bilder: // Bild wird anhand der gemerkten Id aktiviert selectimage(activez1); // aktives Bild wird geschlossen close(); Nach einem Schleifendurchlauf wird der Benutzer gefragt, ob er die Schleife mit anderen Bildern (aber identischen Parametern) erneut ausführen will. Im folgenden ist das komplette Listing des Makros dargestellt. Listing des Makros NumberComparision // Erstellen eines neuen Dialog-Fenster Dialog.create("input values"); // Eingabefeld für den Schwellwert dem Dialog-Fenster hinzufügen Dialog.addNumber("Threshold is", 0); // Label wird hinzugefügt Dialog.addMessage("Roi-Werte: "); // Eingabefeld für den Schwellwert dem Dialog-Fenster hinzufügen Dialog.addNumber("Width: ", 0); // Eingabefeld für den Schwellwert dem Dialog-Fenster hinzufügen Dialog.addNumber("Height: ", 0); // Eingabefeld für den Schwellwert dem Dialog-Fenster hinzufügen Dialog.addNumber("X Coordinate: ", 0); // Eingabefeld für den Schwellwert dem Dialog-Fenster hinzufügen Dialog.addNumber("Y Coordinate: ", 0); img_pk_07 ImageJ -12-

13 // Dialog-Fenster anzeigen Dialog.show(); // Abfrage der Benutzereingaben thresholdt = Dialog.getNumber(); roiwidth = Dialog.getNumber(); roiheight = Dialog.getNumber(); roixpos = Dialog.getNumber(); roiypos = Dialog.getNumber(); // Definition des Rois (width, height, x, y) roi = "width="+roiwidth + " height="+ roiheight+" x="+roixpos+" y="+roiypos; // Morphologische Operationen morphop = getboolean("should morphological operations be applied?"); if(morphop){ // Labels der möglichen morphologischen Operationen labels = newarray(4); labels[0] = "Erode"; labels[1] = "Dilate"; labels[2] = "Open"; labels[3] = "Close"; // Erstellen eines neuen Dialog-Fenster, welches abfragt welche // morphologische Operation und wie oft diese Operation ausgeführt // werden soll Dialog.create("morphological operations"); // Hinzufügen der Auswahlbox für die morphologischen Operationen Dialog.addChoice("morphological operations", labels, labels[0]); // Eingabefeld für die Anzahl der Operationen hinzufügen Dialog.addNumber("Number of operations", 1); // Dialog-Fenster anzeigen Dialog.show(); // Abfrage der Benutzereingaben op = Dialog.getChoice(); countop = Dialog.getNumber(); continue = true; while(continue){ // Öffnen der ersten Datei open(); filename1 = gettitle(); // Setzen des Schwellwertes setthreshold(0,thresholdt); // Schwellwertverfahren ausführen run("threshold", "thresholded remaining black"); // Merken der internen Bild-Id, um das Bild später schließen zu können activez1 = getimageid(); // Identisches Verfahren wie beim ersten Bild open(); filename2 = gettitle(); setthreshold(0,thresholdt); run("threshold", "thresholded remaining black"); activez2 = getimageid(); // Erstellen des String um die XOR-Operation ausführen zu können // Definieren der beiden bilder (image1, image2) und der Operation (operation) string = "image1="+filename1+" operation=xor " +"image2="+filename2+" create"; img_pk_07 ImageJ -13-

14 // Ausführen der Operation run("image Calculator...", string); // Wenn morphologische Operationen gewünscht waren if(morphop){ // Abfrage der gewählten Operation und anschließend wird in einer // Schleife die gewünscht Anzahl der Operationen ausgeführt if(op == "Erode"){ for (i=0; i<countop; i++) { run("erode"); else if(op == "Dilate"){ for (i=0; i<countop; i++) { run("dilate"); else if(op == "Open"){ for (i=0; i<countop; i++) { run("erode"); for (i=0; i<countop; i++) { run("dilate"); else if(op == "Close"){ for (i=0; i<countop; i++) { run("dilate"); for (i=0; i<countop; i++) { run("erode"); // Definieren eines neuen Bildnamen name = filename1+" XOR "+filename2; // Bild umbenennen rename(name); // Roi setzen run("specify...", roi); // Abfrage des Histogramm des XOR-Bildes gethistogram(values,counts, 256); // Werte anzeigen (Erst nach Bestätigung wird der Code weiter ausgeführt) showmessage("count of divergent pixels ("+name+"): "+counts[255]); // aktives Bild (XOR-Bild) wird geschlossen close(); // Zweites Bild wird anhand der gemerkten Id als aktives Bild makiert selectimage(activez2); // aktives Bild (zweites Bild) wird geschlossen close(); // Erstes Bild wird anhand der gemerkten Id als aktives Bild makiert selectimage(activez1); // aktives Bild (erstes Bild) wird geschlossen close(); // Abfrage ob weitere Bilder bearbeitet werden sollen continue = getboolean("do you want to continue"); img_pk_07 ImageJ -14-