Vermessung von Werkstücken mit Methoden der automatischen Sichtprüfung und Bildverarbeitung

Transkript

1 Institut für Mess- und Regelungstechnik Prof. Dr.-Ing. C. Stiller Universität Karlsruhe (TH) Vermessung von Werkstücken mit Methoden der automatischen Sichtprüfung und Bildverarbeitung J. Beyerer, S. Kammel, D. Krahe, D. Pérard, F. Puente León, D. vom Stein und J. Ziegler Bild 1: Versuchsaufbau. C 1

2 Kurzbeschreibung Die automatische Sichtprüfung erobert in raschem Maße die industrielle Meßtechnik und Qualitätskontrolle im Maschinenbau und in vielen anderen technischen Bereichen. Die Entwicklung wird vor allem durch immer leistungsstärkere Rechner und preiswert verfügbare Kamerakomponenten begünstigt. In diesem Praktikumsversuch geht es um die automatische Vermessung von Längen und Winkeln an einem Werkstück. Ein Objekt soll geeignet beleuchtet und von einer CCD- Kamera aufgenommen werden. Die entstehenden Bilder sind anschließend im Rechner automatisch zu verarbeiten und auszuwerten. Die gestellte Sichtprüfungsaufgabe umfaßt drei Versuche. Sie soll Schritt für Schritt im Verlauf von drei Versuchsnachmittagen gelöst werden. Zunächst wird die Beleuchtung optimiert, um Kanten mit hohem Kontrast sichtbar zu machen. Mittels einer aufprojizierten Laserlinie können die Abmessungen des Werkstückes auch in der dritten Dimension erfaßt werden. Mit einem sogenannten telezentrischen Objektiv, dessen Abbildungsmaßstab vom Abstand zwischen Optik und Werkstück unabhängig ist, wird die Szene auf den CCD-Chip der Kamera abgebildet, dort in ein elektrisches Signal gewandelt, anschließend digitalisiert und abgespeichert. Im Rechner erfolgt dann auf der Basis der komfortablen, weitgehend graphisch programmierbaren Bildverarbeitungssoftware Khoros die Aufbereitung und Auswertung der Bilddaten. Als Endergebnis sollen schließlich brauchbare Meßwerte der interessierenden geometrischen Abmessungen des Werkstückes gewonnen werden. Der Versuch bietet einen Einblick in das faszinierende und sehr aktuelle Thema der automatischen Sichtprüfung und Bildverarbeitung. Der umfassende Stoff wird in leichtverständlicher Form dargeboten und im Versuch unmittelbar praktisch angewandt. Die Verteilung des Versuches auf drei Termine ermöglicht es den Studenten, sich schrittweise mit dem Stoff vertraut zu machen. Spezielle Vorkenntnisse sind nicht erforderlich. Lernziele 1. Einblick in das Gebiet der automatischen Sichtprüfung und Bildverarbeitung 2. Beleuchtung und optische Abbildung zur Bildaufnahme 3. Digitalisierung von Bildern und ihre mathematische Beschreibung 4. Operatoren zur Bildglättung und Kantendetektion 5. Verarbeitung und Auswertung von Binärbildern 6. Graphische Programmierung unter Khoros 7. Programmierung von Bildverarbeitungsoperatoren in C/C++ C 2

3 Inhaltsverzeichnis 1 Einleitung 5 2 Aufgabenstellung 7 I Beleuchtung und Bildgewinnung 10 3 Bildaufnahme Beleuchtung Lichtschnittverfahren und Triangulation Die optische Abbildung Schärfentiefe Telezentrische Abbildung Bilddarstellung und Bilddigitalisierung Entstehung des Bildsignals Spektrale Bewertung durch den Bildsensor Kontinuierliche und diskrete Bildsignale und Koordinatensysteme Digitalisierung von Bildsignalen Feldbegrenzung Abtastung Quantisierung Technische Ausführung der Bilddigitalisierung Matrixkameras Zeilenkameras A/D-Wandlung und Histogramm II Digitale Bildverarbeitung 35 5 Einteilung der Bildverarbeitungsoperatoren Punktoperatoren Lokale Operatoren Globale Operatoren C 3

4 6 Glättungsfilter zur Störungsunterdrückung Mittelwert-Operator Binomialfilter Lineare Faltung Medianfilter Rangordnungsfilter Kantenverstärkung Symmetrischer Differenzenquotient Sobel-Operator Berechnung des Gradientenbetrages Binarisierung und Binärbildverarbeitung Schwellwertoperator Hit-or-Miss-Operator III Bildauswertung 60 9 Houghtransformation zur Geradendetektion in Binärbildern Die Houghtransformation Praktische Realisierung der Houghtransformation Nachverarbeitung: Suche der Maxima Messung und Kalibrierung Literatur 70 Anhang 71 A Die Programmierumgebung Khoros 71 A.1 Allgemeines A.2 Die Bedienung von Cantata A.3 Wichtige Glyphs A.4 Programmierung eines Beispielmoduls C 4

5 1 Einleitung In der Qualitätsprüfung gibt es zahlreiche Aufgaben, in denen der Mensch ein Werkstück oder ein Produkt visuell prüft. Derartige Tätigkeiten sind anstrengend, monoton und ermüdend, und das Prüfergebnis hängt daher subjektiv vom Prüfer und seinem physischen und psychischen Zustand ab. Eine Automatisierung solcher Arbeitsplätze verspricht daher nicht nur eine Rationalisierung, sondern auch eine Objektivierung des Prüfvorganges. Ein automatisches Sichtprüfungssystem besteht prinzipiell aus einer Beleuchtung, einer Kamera und einem Rechner. Die Kamera liefert Bilder an den Rechner. Aus diesen werden dann mit Methoden der Bildverarbeitung die interessierenden Informationen bezüglich einer zu untersuchenden technischen Szene extrahiert und als Ergebnis zur Verfügung gestellt. Die automatische Sichtprüfung hat viele Vorteile, die sie für den industriellen Einsatz interessant machen: berührungslos (Prüfung kann aus der Distanz erfolgen), leicht zu automatisieren (wesentliche Teile der Sichtprüfung laufen im Rechner ab), schnell (bei vielen einfachen Sichtprüfungsaufgaben), Preis-/Leistungsverhältnis wird vermutlich in Zukunft sehr schnell immer günstiger werden (Preisverfall und Leistungssteigerung bei Rechnern und Elektronik). Im Rahmen der automatischen Sichtprüfung fallen unterschiedliche Aufgaben an, wie z.b.: Vollständigkeitskontrolle (Detektion, Klassifikation, Zählung von Objekten), Positions- und Orientierungsprüfung (Richtig/Falsch-Prüfung), Messung geometrischer Größen (Längen, Winkel, Kontur, Form), Oberflächenprüfung (Oberflächengüte, Detektion, Klassifikation und Vermessung von Defekten, Texturanalyse), Zeichenerkennung (numerische, alphanumerische Zeichen, Bar- und Matrixcodes). Der vorliegende Praktikumsversuch konzentriert sich auf den dritten Punkt dieser Aufzählung; es geht dabei speziell um die Messung von Abständen und Winkeln an einem Werkstück. Bild 2 zeigt ein Beispiel für ein solches Werkstück, bei dem die Längen l 1, l 2, l 3, h 1, h 2 sowie der Winkel α zu vermessen sind. Alle diese Meßgrößen beziehen sich offensichtlich auf je 2 Kanten des Werkstückes. Bei der Durchführung des Versuches geht es deshalb zunächst darum, Bilder aufzunehmen, in welchen die interessierenden Kanten mit hohem Kontrast abgebildet werden. Hierbei spielt natürlich die Wahl einer geeigneten Beleuchtung eine entscheidende Rolle. Informationen bezüglich C 5

6 h 1 h 2 l 1 l 2 l 3 a Bild 2: Werkstück mit zu vermessenden geometrischen Größen (Darstellung nicht maßstäblich). des Werkstückes, die man schon beim Bildaufnahmeprozeß verliert, können die nachfolgenden Verarbeitungs- und Auswertungsschritte erheblich erschweren oder die Erzielung eines brauchbaren Ergebnisses sogar unmöglich machen. Die von der Kamera gelieferten Bilder werden digitalisiert und gespeichert und so der Verarbeitung im Rechner zugänglich gemacht. Die sich anschließende Signalverarbeitung zielt zunächst darauf ab, diese Bilder zu verbessern, z.b. durch Unterdrückung von Störeinflüßen. Anschließend sollen die interessierenden Kanten herausgearbeitet werden und schließlich ein Binärbild (schwarz-weiß) erzeugt werden, das nur noch Kanten darstellt. Für diese Kanten werden die zugehörigen geometrischen Bestimmungsstücke Steigungswinkel und Ursprungsabstand bestimmt. Dazu dient die sogenannte Houghtransformation, die Geraden auf Maxima abbildet, deren Lagen die geometrischen Bestimmungsstücke der Geraden wiedergeben. Zum Schluß werden aus diesen Geradenmerkmalen die eigentlich interessierenden Abmessungen des Werkstückes bestimmt. Bild 3 zeigt diese Vorgehensweise in einer Übersicht. Der stilisierte Trichter soll andeuten, daß die Information Schritt für Schritt immer weiter verdichtet, bzw. irrelevante Information entfernt wird. In Rahmen dieses Praktikumsversuches sollen verschiedene Vorgehensweisen und Verfahren im Detail erlernt werden, die es ermöglichen, die gestellte Sichtprüfungsaufgabe vollständig zu lösen. Der große Stoffumfang erfordert es dabei, den Versuch auf drei Nachmittage zu verteilen. Am ersten Versuchsnachmittag geht es um die Bildgewinnung, worauf sich Teil I der Unterlagen bezieht. Der zweite Versuchsnachmittag hat die Bildverarbeitung 1 zum Thema (Teil II der Unterlagen), und am letzten Nachmittag geht es um die Bildauswertung 2, die in Teil III des Umdruckes behandelt wird. 1 Bildverarbeitung umfaßt Operatoren, die bildhafte Daten wiederum in bildhafte Daten überführen. 2 Bildauswertung bezeichnet Verfahren, die bildhafte Daten in Daten niedrigerer Dimension z.b. Merkmalsvektoren, Symbole und Entscheidungen überführen. C 6

7 Technische Szene Bildgewinnung Bildverarbeitung Bildauswertung Aufnahme Beleuchtung, optische Abbildung, Bildwandlung: optisch elektronisch Digitalisierung Abtasten, Quantisieren, Speichern Vorverarbeitung Bildverbesserung, Störungsunterdrückung weitere Verarbeitung Herausarbeiten der Nutzanteile, Kantenextraktion, Binarisierung Merkmalsextraktion Houghtransformation, Maximasuche Klassifikation, Interpretation Berechnung von Längen und Winkeln kontinuierliche Bilddaten diskrete Bilddaten verbesserte Bilddaten verarbeitete Bilddaten Merkmale Ergebnisse optisches Signal Aussage, Meßwerte Bild 3: Der Weg von der technischen Szene bis zu den Meßergebnissen. 2 Aufgabenstellung Gegeben sei ein Werkstück nach Bild 2. Ziel des Gesamtversuches: Automatische Messung der Abstände l 1 und h 2 sowie des Winkels α. 1. Versuchsnachmittag: Bildgewinnung Zielsetzung: Konfiguration der Beleuchtung zur Aufnahme und Speicherung von Bildern, die geeignet sind, die gestellte Meßaufgabe mit Mitteln der Bildverarbeitung zu lösen. C 7

8 Teilaufgaben: Beleuchtung geeignet wählen, um alle relevanten Kanten kontrastreich darzustellen. Laserlinie zur Vermessung der Höhe h 2 geeignet aufprojizieren. Ermittlung einer oder ggf. mehrerer Aufnahmekonstellationen als Grundlage zur Lösung der Meßaufgabe. Beurteilung der Bildqualität visuell sowie mit Hilfe eines Histogrammes. Dokumentation sämtlicher Einstellwerte der Beleuchtungs- und Aufnahmevorrichtung. Vorbereitung: Teil I der Versuchsunterlagen lesen. 2. Versuchsnachmittag: Bildverarbeitung Zielsetzung: Verarbeitung von Bildern des Werkstückes zu Binärbildern, in denen die interessierenden Kanten bzw. Linien deutlich hervortreten. Die dazu notwendigen Signalverarbeitungsverfahren sind mit den Modulen des Bildverarbeitungssystems Khoros zusammenzustellen. Teilaufgaben: Unterdrückung von Störungen. Extraktion von Kanten. Binarisierung der Bilder. Kanten- bzw. Linienverdünnung. Vorbereitung: Teil II der Versuchsunterlagen lesen. 3. Versuchsnachmittag: Bildauswertung Zielsetzung: Bestimmung der geometrischen Bestimmungsstücke der für die Lösung der Meßaufgabe relevanten Geraden aus Binärbildern und Messung der interessierenden geometrischen Größen. C 8

9 Teilaufgaben: Implementierung der Houghtransformation in der Sprache C. Interaktive Festlegung der Regions of Interest ROIs im Parameterraum der Houghtransformation, in welchen die mit den interessierenden Geraden korrespondierenden Maxima ungefähr zu liegen kommen. Bestimmung der Lage der Maxima. Berechnung der Meßergebnisse. Bestimmung der lateralen und vertikalen Kalibrierkonstanten an einem gegebenen Kalibrierstück. Vorbereitung: Teil III der Versuchsunterlagen lesen. Vermessen Sie alle gegebenen Werkstücke und tragen sie die Ergebnisse in die untenstehende Tabelle ein. Werkstück Nr. l 1 / mm h 2 / mm α / Grad Diskutieren Sie eventuell auftretende Probleme und Fehler. Wenn es die Zeit zuläßt, sollte noch untersucht werden, welchen Einfluß das Weglassen von Störungsunterdrückungs- und/oder Verdünnungsoperationen auf das Ergebnis der Messung hat. C 9

10 I Beleuchtung und Bildgewinnung 3 Bildaufnahme 3.1 Beleuchtung Am Anfang einer automatischen Sichtprüfung steht die Wahl einer geeigneten Beleuchtung der zu untersuchenden Szene. Es kommt darauf an, für die konkret zu lösende Aufgabe eine möglichst günstige Ausgangsbasis für alle nachfolgenden Schritte der automatischen Sichtprüfung zu schaffen. In der Praxis wird die Beleuchtung oft zu stiefmütterlich behandelt, mit dem Resultat, daß die anschließende Bildverarbeitung und -auswertung sich ungleich schwieriger gestaltet als bei Verwendung einer günstigeren Beleuchtung, oder daß gar die gestellte Aufgabe nicht befriedigend gelöst werden kann. Eine gute, problemangepaßte Beleuchtung ist eine wesentliche Voraussetzung für eine erfolgreiche automatische Sichtprüfung. Da als Ausgangsdaten für die rechnerische Auswertung Bilder der Szene verwendet werden sollen, muß die Beleuchtung in ihrem Zusammenspiel mit dem Werkstück und der Kamera betrachtet werden; siehe Bild 4. Verschiedene Lichtquellen, wie z.b. Glühlam- Kamera Lichtquelle Objektiv Lichtquelle Werkstück Objekt Bild 4: Automatische Sichtprüfung. pen, Leuchtstoffröhren, Laser und Leuchtdioden, können zur Beleuchtung eingesetzt werden. Diese sind in der Regel zusätzlich mit optischen Systemen zur Lenkung und Formung des Lichtstromes ausgestattet. Das Werkstück tritt aufgrund seiner Gestalt und seiner optischen Materialeigenschaften mit dem Licht in eine Wechselwirkung. Es verändert das eingestrahlte Licht und prägt ihm dabei gewissermaßen Informationen über sich selbst auf. Ein Teil dieses Lichtes gelangt über das Objektiv auf den licht- C 10

11 empfindlichen Sensor der Kamera, wo es ein elektrisches Signal erzeugt, das nach einer Analog/Digital-Wandlung dann im Rechner weiterverarbeitet werden kann. Die Wechselwirkung zwischen dem einfallenden Licht als elektromagnetische Welle und dem Werkstück als ein räumliches Gebilde mit seinen i.allg. ortsabhängigen optischen Eigenschaften ist vielfältig. Sie kann den Strahlverlauf (Richtung des Energietransportes), die örtliche Intensitätsverteilung, die Phasenlage, die Polarisation (Richtung des elektrischen Feldvektors) sowie das Wellenlängenspektrum (Farbe) betreffen. Eine exakte physikalische Behandlung der Zusammenhänge ist relativ aufwendig und soll hier nicht weiter verfolgt werden. Wir werden uns darauf beschränken, einfache Richtlinien anzugeben, die ohne tiefergehende Betrachtungen die Lösung vieler typischer Problemstellungen erlauben. Homogenes, diffuses Licht, d.h. Licht, das ohne Vorzugsrichtung und mit örtlich konstanter Intensität am Objekt eintrifft, eignet sich besonders gut, um reine Reflektanzstrukturen sichtbar zu machen. Beispiel: Farbaufdruck auf ebener Oberfläche. Homogenes, gerichtetes Licht, d.h. Licht mit einer Vorzugsrichtung aber örtlich konstanter Intensität, eignet sich sehr gut, um laterale 3 Gestaltsmerkmale eines Objektes sichtbar zu machen. Beispiel: Kanten können durch Schattenwurf sichtbar gemacht werden. Strukturiertes Licht, darunter versteht man ein Beleuchtungsmuster, das auf das zu untersuchende Objekt projiziert wird, eignet sich besonders zur quantitativen Erfassung von vertikalen 4 Gestaltsmerkmalen. Die Beleuchtungsrichtung muß dabei von der Beobachtungsrichtung verschieden sein. Aus der Sicht der Kamera führt eine vertikale Verschiebung des Objektes dann u.a. zu einer lateralen Verschiebung des aufprojizierten Musters. Die Topographie der Objektoberfläche (Relief) äußert sich somit in einer lateralen Verzerrung dieses Musters. Der mathematische Rückschluß von diesen beobachteten Verzerrungen auf die Gestalt der Oberfläche heißt Triangulation; dazu mehr im nächsten Abschnitt. Beispiel: Vermessung eines Oberflächenprofils anhand der lokalen lateralen Auslenkung einer auf die Oberfläche projizierten Geraden. Eine umfangreiche Sammlung von Vorschlägen zu Beleuchtungsverfahren für die unterschiedlichsten Aufgabenstellungen der automatischen Sichtprüfung kann in [Bat85] oder noch ausführlicher im Internet unter [Bat95] nachgelesen werden. 3.2 Lichtschnittverfahren und Triangulation Das drittgenannte Beleuchtungsprinzip soll nun anhand eines Beispieles etwas genauer besprochen werden. In Bild 5 wird ein Werkstück gezeigt, auf das unter dem Elevationswinkel θ zur optischen Achse des Aufnahmeobjektivs ein planar aufgefächerter 3 Lateral: senkrecht zur optischen Achse des Kamerasystems. 4 Vertikal: in Richtung der optischen Achse des Kamerasystems. C 11

12 Laserstrahl gerichtet ist. Man bezeichnet diese Beleuchtungsmethode auch als Lichtschnittverfahren. Das Objekt besteht in unserem Beispiel aus einer ebenen Platte senk- Kamera Laser Objektiv q Lichtfächer Werkstück Bild 5: Lichtschnittverfahren. recht zur optischen Achse, auf der ein langgestrecktes quaderförmiges Teil der Höhe h liegt. Aus der Sicht der Kamera ist die Laserlinie im höhergelegenen Oberflächenbereich lateral um d = h tanθ verschoben; siehe Bild 6. Für die Höhe h erhält man also: h = d tan θ. (1) Die Namensgebung Triangulation rührt daher, daß man ein Dreieck auswertet, bei dem man zwei Winkel, nämlich θ und den rechten Winkel, sowie die Kathete d kennt und daraus die Kathete h bestimmt. Es leuchtet unmittelbar ein, daß man die gesamte Topographie einer nicht zu komplizierten Oberfläche quantitativ erfassen kann, indem man mehr als eine Linie aufprojiziert (Gitterprojektionsverfahren) oder indem man die Laserlinie über die Oberfläche hinweg bewegt und so sequentiell das komplette Relief erfaßt. Vertikale Maße eines Objektes lassen sich mit dem Lichtschnittverfahren und triangulatorischer Auswertung mit einer Unsicherheit von ca. 10 µm vermessen [Pfe93]. Ein Objekt muß zur Anwendung des Triangulationsverfahrens gewisse Mindestforderungen erfüllen. Vom eingestrahlten Licht muß ein Teil zum Objektiv hin gestreut werden. Die Oberfläche darf also kein idealer Spiegel sein, sonst würde in Bild 5 alles Licht unter dem Ausfallswinkel θ reflektiert, und die Laserlinie bliebe aus der Perspektive der Kamera unsichtbar. Des weiteren sollte das Material an der Oberfläche C 12

13 Kamera Laser Objektiv q d q h Lichtfächer Werkstück Bild 6: Triangulation. möglichst opak (lichtundurchlässig) sein, da sonst das Licht in das Objekt eindringt, in seinem Inneren gestreut wird und so die von der Kamera beobachtete Linie verbreitert und damit weniger genau lokalisierbar erscheint. 3.3 Die optische Abbildung Das von einem Objektpunkt zur Kamera hin gestreute Licht muß gesammelt und möglichst auf genau einen Punkt des lichtempfindlichen Sensorchips gebündelt werden. Das leistet z.b. die Abbildung mit einer dünnen Sammellinse, anhand derer die prinzipielle Wirkungsweise von Objektiven erläutert werden soll. Dünn bedeutet hierbei, daß die Brennweite f viel größer als die Dicke der Linse ist. Im folgenden werden der Wellencharakter und alle damit verknüpften physikalischen Erscheinungen wie Beugung und Interferenz vernachlässigt. Man spricht dann von geometrischer Optik oder Strahlenoptik. Diese Näherung ist zulässig, falls alle geometrischen Abmessungen des optischen Systems inklusive des zu untersuchenden Objektes deutlich größer sind als die Lichtwellenlänge, die bei sichtbarem Licht zwischen 380 nm und 780 nm liegt. Man kann dann die Lichtausbreitung mit dem Modell der Lichtstrahlen beschreiben, was die hier angestellten optischen Überlegungen wesentlich vereinfacht. In Bild 7 ist eine dünne, kreisförmige Linse dargestellt, welche die von einem Objektpunkt ausgehenden und die Linse treffenden Lichtstrahlen auf einen einzigen Bildpunkt in der Bildebene, in der sich der Sensor befindet, konzentrieren soll. Eine ideale Linse hat die Eigenschaften, einen Mittelpunktsstrahl (1) unverändert passieren zu lassen, einen objektseitig parallel zur optischen Achse eintreffenden Strahl (2) C 13

14 Bildebene optische Achse B Bildpunkt Brennpunkt (bildseitig) Dünne Linse b f (2) (1) (3) Hauptstrahl Brennpunkt (objektseitig) Objektraum g Objektpunkt G Bild 7: Optische Abbildung mit einer Linse. D durch den bildseitigen Brennpunkt zu lenken und einen objektseitig durch den Brennpunkt gehenden Strahl (3) bildseitig in einen zur optischen Achse parallelen Strahl zu verwandeln. Aus dem Strahlensatz folgen die Gleichungen: G g = B b und G f = B b f. (2) Dividiert man diese, erhält man die bekannte Abbildungsgleichung: 1 f = 1 b + 1 g. (3) Bei fester Bildweite b werden nur Objektpunkte mit der Gegenstandsweite g = bf b f scharf, d.h. auf einen einzigen Punkt in der Bildebene abgebildet. Bevor wir auf die Objektpunkte zu sprechen kommen, die diese Gleichung nicht erfüllen und demzufolge unscharf abgebildet werden, sollen noch zwei wichtige Begriffe eingeführt und einige Eigenschaften diskutiert werden. C 14

15 Unter der Aperturblende, die auch Öffnungsblende genannt wird, versteht man die Blende, welche das Strahlenbündel des optischen Sytems am stärksten einschnürt. Der sogenannte Hauptstrahl ist definiert als der Strahl zwischen einem Objekt- und dem zugehörigen Bildpunkt, der die optische Achse in der Ebene der Aperturblende schneidet. Der Hauptstrahl ist maßgebend für den Abbildungsmaßstab bei unscharfer Abbildung. In Bild 7 beschränkt die Linse selbst das Strahlenbündel des optischen Systems. Die Aperturblende ist also kreisförmig mit Durchmesser D und liegt in der Linsenebene. Zur Abbildung mit einer Linse hier noch einige Bemerkungen: Die vom Sensor empfangene Lichtmenge wächst mit der Größe der Aperturblende, kann also über D in gewissen Grenzen eingestellt werden. Sphärische 5 Linsen haben Abbildungsfehler (Aberrationen) und verhalten sich in verschiedener Hinsicht nicht ideal. Einige dieser Fehler können allerdings durch Abblenden, d.h. durch Verkleinern von D verringert werden. Gute Objektive sind zur Verminderung der Aberrationen mehrlinsig ausgeführt. Man nutzt bei der Konstruktion gegenläufige Effekte der beteiligten Linsen zur Kompensation der Abbildungsfehler aus. Der Abbildungsmaßstab m = B = b ist von der Gegenstandsweite g abhängig. G g Kennt man diese nicht oder kann sie variieren, so kann man keine quantitativen Aussagen über laterale Maße des abgebildeten Objektes machen. Die Abbildung ist nicht längentreu Schärfentiefe Wie man unmittelbar aus Bild 8 ersehen kann, wird ein Objektpunkt, der nicht die Abbildungsgleichung 1 = erfüllt, auf ein Unschärfegebiet mit der Form der f b g Aperturblende abgebildet. Bei einer kreisförmigen Blende erhält man ein kreisförmiges Unschärfescheibchen, dessen Durchmesser mit ε bezeichnet werden soll. Bei fester Bildweite b wächst das Unschärfescheibchen mit wachsender vertikaler Verschiebung g eines Objektpunktes aus der objektseitigen Schärfeebene: g ր = ε ր. (4) Der Durchmesser ε des Unschärfescheibchens wird positiv gezählt, wenn der mit dem Objektpunkt korrespondierende scharfe Bildpunkt vor der Bildebene zu liegen kommt. Als größte zulässige Unschärfe ε max toleriert man sinnvollerweise den Abstand der lichtempfindlichen Elemente auf dem verwendeten Sensorchip. Erst für größere Unschärfescheibchen wirkt ein Objektpunkt merklich auf mehr als ein Sensorelement ein. Bei fester Bildweite b kann aus ε max der Bereich [g min, g max ] berechnet werden, 5 Bei sphärischen Linsen sind die Begrenzungsflächen Teile von Kugelflächen. Sie sind sehr viel einfacher herzustellen als asphärische Linsen und daher wesentlich preiswerter. C 15

16 Bildebene e Unschärfescheibchen b b f g Objektraum g D Bild 8: Unscharfe optische Abbildung. innerhalb dessen Objektpunkte auf Unschärfescheibchen zulässiger Größe abgebildet werden. Ein quantitativer Ausdruck für die Schärfentiefe kann durch einfache geometrische Überlegungen hergeleitet werden. Mit Hilfe des Strahlensatzes folgt: ε D = b b b. Außerdem gelten die beiden Abbildungsgleichungen: (5) 1 f = 1 b + 1 g und 1 f = 1 b b + 1 g + g. (6) Eliminiert man b und b, so erhält man g als Funktion von ε: g(ε) = εg f 2 O(g f) ε ε f2 O(g f) g(g f) εo, (7) f 2 wobei die Blendenzahl O definiert ist als: O := f D. (8) C 16

17 Man erkennt unmittelbar, daß Abblenden, d.h. eine Erhöhung von O, die Schärfentiefe erhöht. Allerdings geht dieser Gewinn an Schärfentiefe auf Kosten der durchgelassenen Lichtmenge. An gängigen Objektiven lassen sich typischerweise Blendenzahlwerte aus der Reihe: 1; 1,4; 2; 2,8; 4; 5,6; 8; 11; 16; 22; 32 und 45 einstellen. An zwei Beispielen soll nun gezeigt werden, wie stark der Schärfentiefebereich bei unterschiedlichen Abbildungssituationen variieren kann. Beispiel: Betrachten wir zunächst den Fall einer Fernaufnahme. Hierbei ist g f, so daß die Näherung ε f2 nicht gilt und mit der exakten Formel für die O(g f) Schärfentiefe gerechnet werden muß. Es sei ein CCD-Sensor gegeben, dessen lichtempfindliche Elemente eine Kantenlänge von 10 µm haben. Man wählt daher ε max = 10 µm. Außerdem seien die Blendenzahl O = 11, die Gegenstandsweite g = 2 m und die Brennweite f = 15 mm vorgegeben. Diese Werte sind typisch für eine Heimvideokamera. Setzt man sie in die Gleichung für die Schärfentiefe ein, so erhält man: ε = +10 µm g +66 m, ε = 10 µm g 1 m, also insgesamt: g [1 m, 68 m] ε 10 µm. Der Schärfentiefebereich ist stark asymmetrisch und, gemessen an der Gegenstandsweite von 2 Metern, sehr ausgedehnt. Beispiel: Betrachtet man hingegen eine Makroaufnahme, bei der g b 2f gilt und mithin der Abbildungsmaßstab m 1 beträgt, verringert sich der Schärfentiefebereich dramatisch. Hier darf die Näherungsformel auf der rechten Seite von Gl. (7) verwendet werden, die sich wegen der speziellen Beziehung zwischen Gegenstands-, Bild- und Brennweite vereinfacht zu: g 2εO. Für ε max = 10 µm und O = 11 folgt nun ein symmetrischer Schärfenbereich von g ±0, 2 mm! Noch extremer fällt das Ergebnis bei mikroskopischen Aufnahmen (g f) aus, wo die Schärfentiefe im µm-bereich liegt. C 17

18 Unschärfescheibchen T Bildebene Telezentrikblende b f Objektraum Hauptstrahl Hauptstrahl g Objektpunkt 1 Objektpunkt 2 g D Arbeitsbereich Bild 9: Prinzip der telezentrischen Abbildung Telezentrische Abbildung Für meßtechnische Anwendungen ist die Abhängigkeit des Abbildungsmaßstabes m von der Gegenstandsweite g ungünstig. Durch einen einfachen Trick läßt sich hier glücklicherweise Abhilfe schaffen. In Bild 9 ist eine dünne Linse dargestellt, in deren bildseitigem Brennpunkt sich eine Blende mit Durchmesser T D befindet. Diese Blende wird Telezentrikblende genannt. Sie beschränkt das optische Strahlenbündel des Systems am stärksten und ist daher gleichzeitig auch Aperturblende. Die Telezentrikblende erzwingt, daß alle Hauptstrahlen durch den bildseitigen Brennpunkt verlaufen müssen. Im Objektraum sind demzufolge die Hauptstrahlen parallel zur optischen Achse. Diese parallelen objektseitigen Hauptstrahlen bewirken gewissermaßen eine Parallelprojektion des Objektraumes, wodurch der Abbildungsmaßstab von der Gegenstandsweite unabhängig wird. Die telezentrische Abbildung hat folgende Eigenschaften: Der Abbildungsmaßstab m telezentrisch = B G = b f f C 18

19 der telezentrischen Abbildung ist unabhängig von der Gegenstandsweite. Die telezentrische Abbildung ist also längentreu. Objektpunkte, die nicht die Abbildungsgleichung 1 = erfüllen, werden zwar f b g auf Unschärfescheibchen in der Bildebene abgebildet, jedoch sind diese symmetrisch zu den scharfen Bildpunkten. Die Hauptstrahlen gehen durch die Zentren der Unschärfescheibchen und bleiben durch die Unschärfe unbeeinflußt. In Bild 9 sind die beiden dargestellten Objektpunkte gleichweit von der optischen Achse entfernt. Das gleiche gilt für die Schnittpunkte der zugehörigen Hauptstrahlen mit der Bildebene. Auch bei unscharfer Abbildung kann daher noch sinnvoll gemessen werden. Die günstigen Eigenschaften der telezentrischen Abbildung gelten nur für Objektpunkte, deren Strahlenbündel ausschließlich durch die Telezentrikblende eingeschnürt werden. Im Außenbereich der Linse werden diese Strahlenbündel aber auch durch den Linsenrand beschnitten, so daß die zugehörigen Objektpunkte nicht mehr telezentrisch abgebildet werden. Offensichtlich ist also der laterale Arbeitsbereich eines telezentrischen Objektives kleiner als der Objektivdurchmesser D. Derzeit sind telezentrische Objektive bis zu einem Durchmesser von 30 cm kommerziell verfügbar. Hochwertige telezentrische Objektive werden zur Verminderung von Aberrationen mehrlinsig aufgebaut. Typische Kennwerte eines solchen Objektivs sind der Arbeitsabstand g, der laterale objektseitige Arbeitsbereich und die Größe des Sensorchips, für den der ganze Arbeitsbereich formatfüllend abgebildet wird. Aus der Chipgröße und der Größe des Arbeitsbereiches kann der Abbildungsmaßstab berechnet werden. Eine wichtige Angabe zur Qualität des Objektivs ist der Telezentriebereich. Er gibt an, in welchem Bereich ein Objektpunkt vertikal verschoben werden darf, ohne daß sich der zugehörige Bildpunkt lateral um mehr als einen noch tolerierten Grenzwert (typisch 1 µm) verschiebt. 4 Bilddarstellung und Bilddigitalisierung 4.1 Entstehung des Bildsignals Spektrale Bewertung durch den Bildsensor Durch die optische Abbildung entsteht im Punkt (x, y) der Bildebene eine ortsabhängige spektrale Bestrahlungsstärke E(x, y; λ), welche die auftreffende Strahlungsleistung pro Flächeneinheit und Wellenlänge λ angibt. Der Bildsensor in der Bildebene ist jedoch nur für einen Teilbereich des elektromagnetischen Spektrums empfindlich; er bewertet die auftreffende Strahlung also mit seiner absoluten spektralen Empfindlichkeit s(λ) [Sch90]. Bezieht man diese Größe auf ihren Maximalwert, so gelangt man zur relativen spektralen Empfindlichkeit s r (λ) := s(λ)/ maxs(λ), die häufig für den λ Vergleich verschiedener Strahlungsempfänger verwendet wird. C 19

20 s r,m (λ) λ/nm (a) s r,r (λ) s r,g (λ) s r,b (λ) λ/nm (b) Bild 10: Relative spektrale Empfindlichkeiten: (a) (einkanaliger) Monochromsensor; (b) (dreikanaliger) Farbsensor. Eine typische relative spektrale Empfindlichkeit s r,m (λ) einer Monochromkamera für den sichtbaren Spektralbereich (380 nm 780 nm) ist in Bild 10(a) dargestellt; Farbkameras verwenden drei Farbkanäle (Primärfarben Rot, Grün und Blau), deren Empfindlichkeiten s r,r (λ), s r,g (λ), s r,b (λ) exemplarisch in Bild 10(b) wiedergegeben sind. Daneben existieren auch Bildwandler für infrarote (1 µm 10 µm) sowie ultraviolette (100 nm 380 nm) Strahlung. Wir beschränken uns im folgenden auf monochromatische Bilder aus dem sichtbaren Spektralbereich. Für die spätere Verarbeitung steht somit das zweidimensionale Grauwertsignal g k (x, y) = E(x, y; λ)s M (λ) dλ (9) zur Verfügung Kontinuierliche und diskrete Bildsignale und Koordinatensysteme Das Grauwertsignal g k (x, y) aus Gl. (9) ist eine Funktion g k : R R R + 0, die die gesamte Bildebene auf nichtnegative Grauwerte abbildet, d.h. sowohl die Definitionsmenge als auch die Wertemenge sind kontinuierlich. Folglich bezeichnet man g k (x, y) als kontinuierliches oder analoges Grauwertsignal. Dabei wird in der Bildverarbeitung aus historischen Gründen im Gegensatz zur in der Mathematik gebräuchlichen Darstellung in der Bildebene ein negativ orientiertes Koordinatensystem nach Bild 11(a) verwendet. Da ein Computer mit einem derartigen Objekt (einer Funktion) nicht ohne weiteres umgehen kann, sondern nur Folgen von Zahlen (genauer: endlich viele Zahlen endlicher Genauigkeit) speichern und verarbeiten kann, ist eine Umwandlung in eine rechnergerechte Repräsentation erforderlich. Dabei wird das Bild in Form einer diskreten Grauwertmatrix g d (i, j) der Größe M N mit den diskreten Werten g d (i, j) {0,..., G 1} C 20

21 x min y min y maxy g k (x, y) (a) x max x 0 1 j N 1 j 0 1 i M 1 i g d (0,0) g d (1,0)... g d (M 1,0) g d (0,1) g d (1,1)... g d (M 1,1).. g d (i,j)... g d (0,N 1) g d (1,N 1)... g d (M 1,N 1) (b) Bild 11: Bildkoordinatensysteme: (a) kontinuierlich; (b) diskret. dargestellt, wobei sich die negative Orientierung des Koordinatensystems auf die diskreten Koordinaten i = 0,..., M 1 und j = 0,..., N 1 gemäß Bild 11(b) überträgt. Man spricht auch von dem digitalen Grauwertsignal g d (i, j). 4.2 Digitalisierung von Bildsignalen Mathematisch stellt der als Digitalisierung bezeichnete Übergang von g k (x, y) zu g d (i, j) eine Abbildung D : g k (x, y) g d (i, j) R R {0,..., M 1} {0,..., N 1} (10) dar. Aus dieser Darstellung ist sofort ersichtlich, daß die Digitalisierung im allgemeinen mit einem enormen Informationsverlust verbunden ist, da unendlich viele verschiedene Grauwertfunktionen g k (x, y) auf ein und dieselbe Matrix g d (i, j) abgebildet werden; es handelt sich also um eine nicht umkehrbare Funktion. Daher hat man bei der Bildaufnahme darauf zu achten, daß die zur Lösung der Problemstellung erforderliche Information im Bild enthalten ist und lediglich irrelevante Signalanteile verlorengehen. Darauf wird bei der folgenden Beschreibung der drei einzelnen Schritte des Digitalisierungsvorgangs: Feldbegrenzung (B), Abtastung(A) und Quantisierung (Q) g k B g b A g a Q gd (11) jeweils noch näher eingegangen Feldbegrenzung Die Begrenzung des Definitionsbereichs von g k auf ein in der Regel rechteckiges Gebiet B : g k (x, y) g b (x, y) R R [x min, x max ] [y min, y max ] C 21 (12)

22 0, i 1, j 1 i 1, j i 1, j+1 i, j 1 i, j i, j+1 i+1, j 1 i+1, j i+1, j+1 M 1, , M 1, N 1 N 1 0, 0.. 0, N 1... i 1, j 1 i 1, j i 1, j+1 i, j 1 i, j i, j+1 i+1, j 1 i+1, j i+1, j+1... M 1, 0.. M 1, N 1. 0, 0 0, N 1 i 1, j 1 i 1, j+1 (a) (b) (c).... i 1, j i, j i, j 1 i, j+1 Bild 12: Pixelformen: (a) dreieckig; (b) quadratisch; (c) hexagonal. i+1, j i+1, j 1 M 1, 0. i+1, j M 1, N 1 erfolgt üblicherweise in der Bildebene durch die Austrittsluke, die als Feldblende des optischen Systems wirkt [Sch90]. Sie wird beispielsweise durch die Größe des Dias bzw. Negativs bei fotografischer Aufnahme oder durch die Größe der lichtempfindlichen Fläche des Bildsensors in elektronischen Kameras vorgegeben. Hierbei ist selbstverständlich darauf zu achten, daß der interessierende Teil der aufzunehmenden Szene im Bild enthalten ist Abtastung Die zweidimensionale örtliche Abtastung stellt eine Diskretisierung des Definitionsbereichs von g b dar: A : g b (x, y) g a (i, j) [x min, x max ] [y min, y max ] {0,..., M 1} {0,..., N 1}. (13) Dazu wird die Bildfläche in einzelne Pixel (Akronym aus picture element) genannte Elementarzellen aufgeteilt, für die der Bildwandler jeweils pro Elementarzelle durch Integration einen gewichteten Mittelwert über g b (x, y) bildet und ausgibt. Die Pixelform kann dabei prinzipiell beliebig sein, solange man damit die Ebene auslegen (parkettieren) kann. Beschränkt man sich auf regelmäßige Polyeder, so hat man die Wahl zwischen dreieckigen, quadratischen und hexagonalen Pixeln, vgl. Bild 12, wobei letztere einige Vorzüge aufweisen. Aus technischen Gründen wählt man jedoch überwiegend eine rechteckige Elementarzelle mit den Kantenlängen x und y; siehe Bild 13. Wir wollen im folgenden von x = y und M = N ausgehen, also quadratische Pixel in einem quadratischen Bildausschnitt zugrundelegen. 6 6 Bei gängigen Kameras gilt das nicht. Für Sichtprüfungsaufgaben sollte man spezielle Kameras mit x = y auswählen, um umständliche Korrekturen zu vermeiden. C 22

23 x min x x max y min 0, M 1, 0. y. i 1, j 1 i 1, j i 1, j+1 i, j 1 i, j i, j+1 i+1, j 1 i+1, j i+1, j y max 0, N 1 M 1, N 1 Bild 13: Rechteckiges Gitter. Wie bereits angedeutet, führt die örtliche Diskretisierung zu einem Datenverlust. Unmittelbar einsichtig ist die Reduktion der Bildauflösung, d.h. daß Strukturen, deren Ausdehnung kleiner oder gleich der Abtastschrittweite x bzw. y ist, im digitalisierten Bild verlorengehen. Diese Tatsache wird in Bild 14 veranschaulicht, in der ein Grauwerttestbild in verschiedenen Auflösungsstufen dargestellt ist. Weniger offensichtlich ist jedoch, daß bei der Abtastung feiner Strukturen beträchtliche Störungen auftreten können. Diese unter den Namen Aliasing oder Moiré-Effekt bekannte Erscheinung soll zunächst anhand eines eindimensionalen Beispiels erläutert werden. In Bild 15 ist eine sinusförmige Schwingung g k (x) = cos(2πf x x) mit der (Orts-) Frequenz f x dargestellt. Durch Abtastung mit der Frequenz f A,1 > 2f x wird eine Folge von Abtastwerten g a,1 (i) gewonnen, aus der sich mittels eines idealen Tiefpasses 7 der Grenzfrequenz f A,1 eine Funktion g r,1 (x) rekonstruieren läßt, die mit g k (x) identisch ist. Wird die Abtastrate jedoch mit f A,2 < 2f x zu niedrig gewählt (im Bild 16 ist f A,2 = f A,1 /2 < 2f x ), so führt die Rekonstruktion aus der Folge g a,2 (i) mit einem idealen Tiefpaß der Grenzfrequenz f A,2 zu einem Signal g r,2 (x) mit einer zu niedrigen Frequenz. Allgemein gilt das Shannonsche Abtasttheorem [ET98]: Ein bandbegrenztes Signal läßt sich fehlerfrei aus seinen Abtastwerten rekonstruieren, wenn die Abtastfrequenz mindestens doppelt so groß wie die höchste im Signal vorkommende Frequenz gewählt wird. Für zweidimensionale Funktionen ändert sich im allgemeinen bei Verletzung der Abtastbedingung nicht nur der Betrag der im Bild enthaltenen Frequenzkomponenten, sondern auch die Richtung der harmonischen Funktion; siehe Bild 17. Vermeiden läßt sich dieser Effekt durch eine ausreichend hohe Abtastrate (hier ist das Abtasttheorem in beiden Koordinatenrichtungen einzuhalten) und Tiefpaßfilterung des Eingangsbildes 7 Ein Tiefpaß ist ein Operator, der örtlich langsam veränderliche (tieffrequente) Signalanteile passieren läßt und höherfrequente (d.h. örtlich schnell veränderliche) Anteile schwächt oder gar unterdrückt. Die Grenzfrequenz gibt dabei an, wo die Grenze zwischen örtlich langsam und örtlich schnell veränderlichen Signalanteilen gezogen wird. Der Begriff des idealen Tiefpasses wird ausführlich in [ET98, Abschnitt 2.2] erläutert. C 23

24 (a) (b) (c) (d) (e) (f) Bild 14: Testbild in verschiedenen Ortsauflösungen: (a) ; (b) ; (c) ; (d) 64 64; (e) und (f) Pixel. C 24

25 g k (x) x g a,1 (i) i g r,1 (x) x Bild 15: Abtastung und Rekonstruktion bei Erfüllung der Abtastbedingung. g k (x) g a,2 (i) x g r,2 (x) i x Bild 16: Abtastung und Rekonstruktion bei Verletzung der Abtastbedingung. vor der Diskretisierung, wie sie z.b. durch eine unscharfe optische Abbildung realisiert werden kann. Die Anzahl der Pixel kann jedoch nicht beliebig hoch gewählt werden, da einerseits die Sensoren nur eine begrenzte Pixelzahl aufweisen (bzw. die Preise mit zunehmender Zahl der Pixel überproportional ansteigen) und andererseits der Speicherplatzbedarf mit dem Produkt M N aus Spalten- bzw. Zeilenzahl (d.h. für M = N quadratisch mit N) und die Verarbeitungszeit womöglich in noch höherer Potenz anwachsen Quantisierung Die Quantisierung ordnet jedem vom Bildwandler gelieferten Grauwert g a R + 0 eine Zahl g d aus der endlichen Menge {0,..., G 1} zu, wobei G die Anzahl der ver- C 25

26 Bild 17: Aliasing-Effekt an einem Testbild mit konzentrischen Ringen: linker oberer Quadrant aus Originalbild (quasikontinuierlich), rechter oberer Quadrant mit , linker unterer Quadrant mit und rechter unterer Quadrant mit Pixeln abgetastet. C 26

27 g d G 1 G 2 G 3 g d G 1 G 2 G 3 i + 1 i i 1 i 2 i + 1 i i 1 i g 1 g 2 g i 1 (a) g i g i+1 g G 2 g G 1 g a g g g g g 1 g i (b) g G 1 g a Bild 18: Quantisierungskennlinien: (a) nichtlinear; (b) linear. schiedenen Grauwerte bezeichnet. Sie umfaßt also die beiden Schritte Begrenzung und Diskretisierung der Grauwertmenge. Im allgemeinsten Fall wird sie durch eine abschnittsweise konstante Funktion mit den Quantisierungsintervallgrenzen g 0 < g 1 <... < g G 1 < g G 0 für g a g 0, Q : g a g d = i für g i < g a g i+1 mit i {0,...,G 1}, G 1 für g G < g a. gemäß Bild 18(a) beschrieben. Gewöhnlich erfolgt jedoch eine lineare 8 Quantisierung mit g i = g 0 + i (g G G g 0 ) = g 0 + i g für i = 0,..., G mit g = g G g 0 gemäß der G Kennlinie in Bild 18(b). Die Quantisierung ist ebenfalls mit einem Informationsverlust behaftet, der generell irreversibel ist, es sei denn der Wertebereich von g a ist von vornherein diskret und eine Teilmenge von {0,...G 1}. Die dadurch hervorgerufenen Artefakte sollen exemplarisch anhand der Bildserie 19(a) bis (f) verdeutlicht werden. Die abnehmende Zahl von Grauwertstufen kann einerseits zur Verschmelzung und damit zur Nichtunterscheidbarkeit von Grauwertbereichen mit nur geringfügigen Grauwertunterschieden führen. Andererseits kann sie die Ausbildung von falschen Konturen bewirken, wie sie vornehmlich ausgehend vom linken Bildrand zu erkennen sind. Dies kann positive und negative Einflüsse auf eine nachfolgende Bildsegmentierung (Unterteilung eines Bildes in bedeutsame Bereiche) haben. Ist die Trennung des Chips in Bild 14(a) vom Hintergrund das Ziel, so ist dies im Binärbild 19(f) fast vollständig gelungen, der Schatten rechts unterhalb des Chips ist jedoch nicht mehr von demselben zu unterscheiden. 8 Die Bezeichnung linear bezieht sich hier lediglich auf die Festlegung g i = g 0 + i g der Quantisierungsstufen durch eine lineare Funktion. Keineswegs handelt es sich hierbei um eine lineare Operation wie die in Abschnitt 6.3 angesprochene lineare Filterung; der Quantisierungsoperator ist in diesem Sinne stets nichtlinear. C 27 (14)

28 (a) (b) (c) (d) (e) (f) Bild 19: Testbild in verschiedenen Grauwertauflösungen: (a) 64 (6); (b) 32 (5); (c) 16 (4); (d) 8 (3); (e) 4 (2) und (f) 2 Quantisierungsstufen (1 Bit, Binärbild). C 28

29 Bei der Wahl der Zahl der Quantisierungsstufen sind ferner die folgenden Gesichtspunkte zu berücksichtigen: Die Quantisierung bewirkt einen Fehler, dessen (Rausch-)Leistung (d.h. Varianz) sich bei einem innerhalb der Quantisierungsintervalle jeweils gleichverteilten Eingangssignal zu P Stör = ( g) 2 /12 ergibt. Die größtmögliche Amplitude eines Sinussignals, das keine Übersteuerung des Quantisierers bewirkt, liegt für G = 2 n (n-bit-wandler) bei 2 n g/2, die Nutzleistung ist somit P Nutz = 1/2(2 n g/2) 2. Daraus ergibt sich ein Signal-zu-Rausch-Verhältnis (SNR) des Wandlers von SNR db = 10 log P Nutz = 10 log 3 + (20 log2)n 1, 8 + 6n. (15) P Stör 2 Es macht wenig Sinn, diesen Wert deutlich größer zu wählen als den der vorhergehenden Komponenten (Kamera und Videoelektronik). Handelsübliche Kameras verfügen über ein SNR von ca. 50 db, so daß im Normalfall n = 8Bit angebracht sind, was G = 256 Graustufen entspricht. Sind die aufgenommenen Bilder (ggf. nach einer Verarbeitung) letztlich zur Auswertung durch den menschlichen Beobachter bestimmt, so ist auch das Grauwertauflösungsvermögen des Auges zu beachten. Da dieses relative Änderungen von 2 % erfassen kann, wäre eine nichtlineare Quantisierung optimal (äquivalent einer logarithmischen Kennlinie gefolgt von einem linearen Quantisierer); normalerweise ist jedoch auch eine lineare Quantisierung mit 256 Grauwertstufen adäquat. Ebenfalls berücksichtigen sollte man den Speicherplatzbedarf der Bilder: Bei Verdoppelung der Zahl der Grauwertstufen wird ein zusätzliches Bit pro Pixel benötigt. Da der Speicher bei den meisten Rechnerarchitekturen byteweise (1 Byte = 8 Bit) adressiert wird, sind auch unter diesem praktischen Gesichtspunkt 2 8 Quantisierungsstufen sinnvoll. 4.3 Technische Ausführung der Bilddigitalisierung Entsprechend Abschnitt 4.2 muß eine Einrichtung zur Digitalisierung von Bildern in der Lage sein, das aufzunehmende Bild in einzelne Elemente (Pixel) aufzuteilen, diese einzeln anzusprechen (zu adressieren), den jeweiligen Grauwert zu messen, diesen zu quantisieren und in einen Speicher zu schreiben. Dazu muß sie über die folgenden fünf Elemente verfügen: 1. Eine Abtastapertur, durch die nur ein einzelnes Pixel erfaßt und der Rest des Bildes ignoriert wird. Durch die Abtastapertur wird die Größe der Pixel festgelegt. C 29

30 2. Einen Scan-Mechanismus, der die Abtastapertur in einem festgelegten Muster über das Bild bewegt und so den Zugriff auf die verschiedenen Pixel erlaubt. Der Scan-Mechanismus legt die Pixelabstände 9 fest. 3. Einen Lichtsensor, der die Bestrahlungsstärke durch die Abtastapertur für jedes Pixel bestimmt und gewöhnlich ein elektrisches Ausgangssignal liefert. Hierfür kommen z.b. lichtempfindliche Widerstände, Fotodioden, Fototransistoren und CCD-Sensoren (Abk. von charge-coupled-device) in Frage. 4. Einen Quantisierer, auch Analog-Digital-Wandler genannt. 5. Einen Speicher, der die einzelnen Grauwerte festhält und für die weitere Bearbeitung bereitstellt. Gewöhnlich sind die Bestandteile 1 bis 3 in der Kamera realisiert und die Komponenten 4 und 5 auf einer Frame-Grabber genannten Einsteckkarte für den Computer Matrixkameras Die ältesten Kameras sind die aus dem Fernsehbereich stammenden Röhrenkameras. Hier liest ein elektromagnetisch abgelenkter Elektronenstrahl zeilenweise das auf einer Halbleiterfotoschicht durch die auftreffenden Photonen generierte Ladungsabbild aus. Die Abtastapertur ist dabei durch den Durchmesser des Elektronenstrahls gegeben, x durch die Abtastrate eines nachfolgenden A/D-Wandlers und y durch den Zeilenabstand der Ablenkung. Nachteilig sind die Empfindlichkeit gegenüber elektromagnetischen Feldern sowie die große Baugröße und Leistungsaufnahme. Daher werden heute vorwiegend CCD-Kameras eingesetzt. Ein CCD-Sensor besteht aus einem geometrisch sehr exakten Raster von lichtempfindlichen Zellen gemäß Bild 20. Die auftreffenden Photonen setzen Elektronen frei, die sich in einer Raumladungszone sammeln. Die einzelnen Pixel berühren sich nicht direkt, sondern sind voneinander durch Stege (fette Linien in Bild 20(b)) und Potentialwälle getrennt, um ein Überlaufen der Ladung in benachbarte Zellen zu verhindern. Die dunkelgrau eingezeichneten Elemente stellen horizontale und vertikale Schieberegister dar, die einen Ladungstransport auf dem Chip ermöglichen. Dabei bildet jeweils mindestens eines von drei in Bild 20(b) durch feine Linien angedeuteten aufeinanderfolgenden Einzelelementen einen Potentialwall (3-Phasen-Schieberegister-Zelle). Durch geeignete Ansteuerung lassen sich die Potentialwälle verschieben und damit die einzelnen Ladungen in Form eines analogen Schieberegisters (Eimerkette) auslesen; siehe Bild 21: Nach der Integration (Belichten des Sensors über einen definierten Zeitraum) wird die gesammelte Ladung aller Pixel in die benachbarten, abgedunkelten vertikalen Ausleseregister übernommen. Im Anschluß werden die Ladungen zeilenweise in das abgedunkelte horizontale Schieberegister gebracht, das daraufhin schrittweise ausgelesen wird. Nach jeder vollständigen Entleerung des horizontalen Ausleseregisters wird es durch vertikales Schieben mit einer weiteren 9 Der Pixelabstand x bzw. y und die Pixelgröße sind also zunächst voneinander unabhängige Größen, d.h. sie sind nicht notwendigerweise gleich groß. Beispielsweise ist beim später vorgestellten CCD-Sensor die Pixelausdehnung stets kleiner als der Pixelabstand. C 30

31 (abgedunkelte) vertikale Schieberegister Licht SiO 2 lichtempfindliche Pixel Raumladungszone (a) P-Si (abgedunkeltes) horizontales Schieberegister (b) Bild 20: Aufbau eines Interline-Transfer-Sensors: (a) einzelnes Pixel; (b) kompletter Sensor. Zeile wieder gefüllt, bis der Sensor komplett ausgelesen ist. Vorteilhaft sind geringe Baugröße und Gewicht, geringe Leistungsaufnahme, kleiner Preis, hochgenaue Pixelgeometrie, Unempfindlichkeit gegenüber Stößen und elektromagnetischen Feldern. Die gängigen Auflösungen liegen bei bei Pixelgrößen um 10 µm 10 µm und einer Bildwiederholrate von 25 Hz sowie einem SNR von 50 db Zeilenkameras Zeilenkameras verwenden nur eine einzelne Zeile von photosensitiven Elementen, wobei die Abtastapertur durch die Größe der lichtempfindlichen Fläche und x durch den Abstand der Einzelelemente gegeben sind. Die Scan-Bewegung in y-richtung (Spaltenrichtung) erfolgt durch eine Relativbewegung von Objekt und Sensor, wie z.b. bei der Beobachtung von Transportbändern in Fertigungsstraßen oder Abfüllanlagen mit einer feststehenden Zeilenkamera oder dem Scannen von fotografischen Aufnahmen mit einer bewegten Zeile in einem Flachbettscanner. Der Zeilenabstand y ergibt sich aus der Relativgeschwindigkeit von Objekt und Sensor sowie der Zeilenausleserate A/D-Wandlung und Histogramm Bei der Vorstellung der linearen Quantisierung im Abschnitt 4.2 wurden noch keine Hinweise zur Festlegung des Eingangsspannungsbereichs gegeben. Im Normalfall sind die untere (g 0 ) und obere Grenze (g G ) des Eingangsspannungsbereichs des A/D-Wandlers in einem gewissen Bereich vom Benutzer einstellbar, so daß eine Anpassung an die verwendete Kamera und die aufzunehmende Szene möglich sind. Zunächst wird durch die Wahl von Beleuchtungsstärke, Blende und Verschlußzeit (Shutter-Zeit) eine richtige Aussteuerung des Sensors eingestellt. Im Anschluß werden g 0 und g G so festgelegt, C 31

32 Integrieren Speichern Vertikal schieben (1) Horizontal schieben (1) Horizontal schieben (2) Horizontal schieben (M) Vertikal schieben (2) Vertikal schieben (N) Horizontal bzw. vertikal schieben Bild 21: Wirkungsweise eines Interline-Transfer-Sensors. daß einerseits keine zu digitalisierenden Grauwerte g a außerhalb des Bereichs [g 0, g G ] zu liegen kommen, andererseits dieser Bereich möglichst komplett ausgenutzt wird, da sonst nicht das maximal mögliche Signal-zu-Rausch-Verhältnis des Wandlers erreicht wird. Ein geeignetes Hilfmittel zur Beurteilung ist das Histogramm: H(g) := 1 N 2 {(i,j) g(i,j)=g} 1, g = 0,...,G 1, (16) das für jeden Grauwert g die Anzahl der Pixel angibt, die diesen Grauwert annehmen. Anhand des Histogramms von Testbild 14(a) 10 in Bild 22 kann man erkennen, daß die 10 Die in den Bildern wiedergegebenen Histogramme sind sowohl in linearer als auch in logarithmischer Darstellung aufgetragen, da die große, helle Hintergrundfläche des Chipbildes 14(a) mit C 32

33 H(g) g H(g) g Bild 22: Histogramm von Bild 14(a). H(g) g (a) H(g) g (b) Bild 23: (a) Testbild mit vergrößerter unterer Quantisierungsgrenze; (b) zugehöriges Histogramm. Man beachte, daß der ausgeprägte Peak bei hohen Grauwerten nicht beim Wert g = 255 zu liegen kommt und mithin hier keine Übersteuerung vorliegt. untere Grenze g 0 zu tief gewählt wurde, während die obere Grenze g G richtig eingestellt wurde. Eine zu niedrige obere (zu hohe untere) Grenze erkennt man im Histogramm an einem Peak an der oberen (unteren) Grenze (vgl. Bild 24(b)). Dann tritt sogenanntes Clipping auf (Bild 24(a)), d.h. die Quantisierungsfehler können betragsmäßig größer als g/2 ausfallen. nahezu einheitlichem Grauwert knapp unterhalb des maximalen Grauwertes 255 einen sehr großen Dynamikumfang des Histogramms zur Folge hat, so daß bei linearem Auftrag nur noch wenige große Werte zu erkennen sind. C 33

34 H(g) g (a) H(g) g (b) Bild 24: (a) Testbild mit vergrößerter unterer und verkleinerter oberer Quantisierungsgrenze; (b) zugehöriges Histogramm. C 34

35 II Digitale Bildverarbeitung Nachdem die zu untersuchende Szene in ein digitales Bildsignal überführt wurde, geht es nun darum, die relevanten von den irrelevanten Signalanteilen zu trennen, um so die Bildauswertung vorzubereiten. Als Werkzeuge werden hierzu verschiedene Bildverarbeitungsoperatoren benutzt, die ein Eingangsbild g(i, j) in ein Ausgangsbild r(i, j) überführen, in welchem die Nutzinformation gegenüber störenden und nicht weiter interessierenden Signalanteilen verstärkt bzw. herausgearbeitet wird. Im folgenden werden einige zur Lösung der gestellten Aufgabe wichtige Bildverarbeitungsoperatoren besprochen und kategorisiert. 5 Einteilung der Bildverarbeitungsoperatoren 5.1 Punktoperatoren Zu den einfachsten Operatoren in der Bildverarbeitung zählen die unären bzw. monadischen Punktoperatoren, bei denen der Intensitätswert eines Punktes im Ausgangsbild r(i, j) nur vom zugehörigen Punkt (i, j) des Eingangsbildes g(i, j) abhängt: r(i, j) = f(g(i, j)). (17) Dieser Zusammenhang ist in Bild 25 veranschaulicht. Werden Bilder verarbeitet, bei denen nur eine beschränkte Anzahl an Werten zur Verfügung steht, wie das z.b. bei den im Rahmen dieses Versuches mit 8 Bit quantisierten Grauwertbildern der Fall ist: g {0,...,255}, (18) so können Punktoperatoren gemäß Gl. (17) effizient mit Hilfe einer Look-Up-Tabelle oder abgekürzt LUT implementiert werden. Bei vielen Bildverarbeitungssystemen werden Look-Up-Tabellen sogar direkt von der Hardware unterstützt [Jäh97]. Eingangsbild g(i, j) Ausgangsbild r(i, j) Bild 25: Unäre Punktoperatoren. Eine zweite Kategorie von Punktoperatoren ergibt sich, wenn zwei Eingangsbilder g 1 (i, j) und g 2 (i, j) zu einem Ausgangsbild r(i, j) verknüpft werden: r(i, j) = g 1 (i, j) g 2 (i, j), (19) C 35

36 wobei einen beliebigen Operator bezeichnet. Weil bei Operatoren gemäß Gl. (19) eine Verknüpfung zweier Bilder stattfindet, werden diese als binäre oder dyadische Punktoperatoren bezeichnet 11. Verwendung finden unäre Punktoperatoren u.a. zum Ausgleich von Nichtlinearitäten des Bildsensors, zur Kontrastmanipulation oder zur Verbesserung des visuellen Eindrucks. Beispiele von binären Punktoperationen sind die punktweise Addition oder Multiplikation zweier Bilder. 5.2 Lokale Operatoren Bei den sogenannten lokalen Operatoren hängt der Intensitätswert eines Punktes im Ausgangsbild r(i, j) nicht nur vom zugehörigen Punkt (i, j) des Eingangsbildes g(i, j) ab, sondern auch von dessen Umgebung U(i, j): r(i, j) = f(g(k, l)) mit (k, l) U(i, j) ; (20) siehe Bild 26. Dabei wird in vielen praktischen Fällen die Umgebung U(i, j) eines Punktes (i, j) als die Menge aller Punkte definiert, welche einen bestimmten maximalen Abstand ε zum Bezugspunkt (i, j) nicht überschreiten: U(i, j) = {(k, l) d{(i, j), (k, l)} ε}, (21) wobei d{ } eine geeignet definierte Distanz zwischen zwei Punkten mißt. Eingangsbild g(i, j) Ausgangsbild r(i, j) Bild 26: Lokale Operatoren: Nach der Bearbeitung des Eingangsbildes mit einem lokalen Operator der Größe 3 3 sind die Ränder des Ergebnisbildes i. allg. nicht definiert. Werden als Umgebung U lediglich die unmittelbaren Nachbarn des diskreten Bildpunktes (i, j) betrachtet, so ergeben sich je nach Wahl der Distanzfunktion zwei wichtige Sonderfälle. Wird gefordert, daß benachbarte Pixel eine gemeinsame Kante haben, so spricht man von der 4er-Nachbarschaft; siehe Bild 27a. Werden aber Nachbarschaften zugelassen, die mindestens eine gemeinsame Ecke aufweisen, so ist die 8er-Nachbarschaft gemeint; siehe Bild 27b. 11 Man beachte den Unterschied zwischen den hier behandelten binären Punktoperatoren und den in Abschnitt 8 behandelten Operatoren zur Verarbeitung von Binärbildern. C 36

37 i, j 1 i 1,j 1 i, j 1 i+1,j 1 i 1, j i, j i + 1, j i 1, j i, j i + 1, j i, j + 1 (a) i 1,j+1 i, j + 1 i+1,j+1 (b) Bild 27: Nachbarschaften: (a) 4er-Nachbarschaft; (b) 8er-Nachbarschaft. Man beachte, daß nach der Bearbeitung eines Bildes mit Hilfe von lokalen Operatoren die Randpunkte des Ergebnisbildes im allgemeinen nicht definiert sind, da die zur Berechnung dieser Punkte erforderliche Kenntnis deren Umgebung im Eingangsbild in der Regel nicht gegeben ist; siehe Bild Globale Operatoren Bei den globalen Operatoren müssen zur Berechnung eines Punktes des Ausgangsbildes r(i, j) im allgemeinen sämtliche Pixel im Eingangsbild g(i, j) berücksichtigt werden. Ein typisches Beispiel hierfür ist die Fourier-Transformation [Jäh97]. Diese soll zwar im Verlauf dieses Versuches nicht weiter berücksichtigt werden, jedoch wird sie in einem anderen Versuch dieses Praktikums eingehend behandelt werden [ET98]. Ein weiteres Beispiel für eine globale Operation ist die Hough-Transformation. Dieses vorwiegend zur Liniendetektion eingesetzte Werkzeug wird im dritten Teil dieses Versuches ausführlich behandelt und angewendet; siehe Abschnitt 9. 6 Glättungsfilter zur Störungsunterdrückung In diesem Abschnitt werden Filter behandelt, die eine gezielte Unterdrückung von Störungen und feinen Strukturen erlauben. Solche Filter werden allgemein Glättungsfilter genannt und werden meistens durch Auswertung von Nachbarschaftsverhältnissen realisiert. Alle hier behandelten Glättungsfilter lassen sich als lokale Operatoren implementieren. Um die Glättungsfilter zu untersuchen, wurden ausgehend vom Chipbild 14(a) zwei unterschiedliche Testbilder generiert. Bei Bild 28(a) wurde mittelwertfreies Gaußsches Rauschen der Varianz σ 2 = 400 additiv überlagert. In Bild 28(b) wurden 15% der Pixel zufällig ausgewählt und mit impulsförmigem Rauschen (sogenanntes Salz- und Pfeffer-Rauschen ) gestört, d.h. entweder auf weiß oder schwarz gesetzt. C 37

38 (a) (b) Bild 28: (a) Testbild mit additivem Gaußschem Rauschen der Varianz σ 2 = 400; (b) Testbild nach 15%-iger Störung mit impulsförmigem Rauschen ( Salz- und Pfeffer-Rauschen ). 6.1 Mittelwert-Operator Der Mittelwert-Operator ist ein einfaches Glättungsfilter, bei dem jeder Wert r(i, j) des Ausgangsbildes durch Addition der Werte aller Punkte der Nachbarschaft U des zugehörigen Punktes (i, j) im Eingangsbild und anschließende Division durch die Anzahl der an der Mittelung beteiligten Pixel U berechnet wird: MW{g(i, j)} = 1 U (k,l) U(i,j) g(k, l). (22) Wird als Umgebung U ein rechteckiges Fenster mit der Breite B und der Höhe H um den Punkt (i, j) verwendet, so ergibt sich als Spezialfall des Mittelwert-Operators das sogenannte Rechteckfilter [Jäh97]: MW{g(i, j)} = 1 B H i+ B 2 k=i B 2 j+ H 2 l=j H 2 g(k, l). (23) In diesem Fall ist das aktuelle Pixel im Eingangsbild von einem rechteckigen Fenster umschlossen. Das Filter kann auch anhand einer Matrix beschrieben werden, deren Elemente Wichtungsfaktoren für die Grauwerte im Fenster darstellen. Für den Fall C 38

39 eines Fensters der Größe 3 3 erhält man die folgende Matrix: 12 h(i, j) = (24) Der zur Filterung eines Bildes erforderliche Rechenaufwand hängt direkt mit der Größe der Matrix zusammen: Bei beliebigen Elementen muß bei einer (B, H)-Matrix allgemein mit B H Multiplikationen und B H 1 Additionen gerechnet werden. In vielen praktischen Fällen läßt sich der Rechenaufwand zur Filterung eines Bildes erheblich reduzieren, wenn sich die zugehörige Filtermatrix in jeweils eine Zeilenmatrix und eine Spaltenmatrix zerlegen läßt. Speziell läßt sich im Falle des Rechteckfilters die Matrix Gl. (24) beispielsweise in die folgenden zwei Matrizen zerlegen: h x (i, j) = 1 [ ] 1 1 1, hy (i, j) = (25) Statt das Bild mit dem Filter Gl. (24) zu bearbeiten, können alternativ die zwei Filter h x (i, j) und h y (i, j) nacheinander auf das Eingangsbild g(i, j) angewendet werden. In diesem Fall sind lediglich B + H Multiplikationen und B + H 2 Additionen zur Filterung des Bildes erforderlich. Diese für eine effiziente Implementierung günstige Eigenschaft des Rechteckfilters Gl. (24) wird als Separierbarkeit bezeichnet. Das Rechteckfilter bewirkt eine Glättung des Bildes durch Schwächung feiner Grauwertfluktuationen. Zur Beschreibung solcher Grauwertfluktuationen bietet sich neben der bisher gewählten Ortsbereichsdarstellung, bei der ein einzelner Bildpunkt den Intensitätswert an einem bestimmten Ort beschreibt die Repräsentation von Bildern im Ortsfrequenzbereich als besonders günstig an. In dieser Signaldarstellung, zu der man über die Fourier-Transformation gelangt, liefert jeder Punkt eine Information über den additiven Beitrag der zugehörigen Ortsfrequenz zum gesamten Bild. Es sei ausdrücklich bemerkt, daß beide Darstellungsarten äquivalent sind. Bei der Darstellung im Ortsfrequenzbereich entsprechen die feinen Grauwertfluktuationen hochfrequenten Signalanteilen, während örtlich langsamveränderliche Grauwertschwankungen mit tieffrequenten Anteilen korrespondieren. Eine Methode zur Glättung von Bildsignalen basiert auf der Unterdrückung der hochfrequenten Signalanteile bei gleichzeitigem Durchlaß der tiefen Ortsfrequenzen die zugehörigen Filter heißen Tiefpässe. Gute Tiefpaßfilter sollten die wichtige Monotonieeigenschaft aufweisen, daß sie feinere Strukturen (d.h. höherfrequente Signalanteile) stärker als gröbere Strukturen (d.h. tieferfrequente Signalanteile) unterdrücken. Zwar ist das Rechteckfilter ein Tiefpaß, allerdings erfüllt er diese Forderung nicht. Bild 29(a) zeigt das Ergebnis der Glättung eines Testbildes mit konzentrischen Kreisen unterschiedlicher Breite mit Hilfe eines 12 An dieser Stelle soll keine Unterscheidung zwischen Matrizen und diskreten Bildsignalen stattfinden. Daher wird bewußt die symbolische Schreibweise h(i, j) verwendet und nicht, wie in der Mathematik üblich, etwa H. C 39

40 (a) (b) Bild 29: Glättung eines Testbildes mit konzentrischen Ringen im oberen rechten bzw. unteren linken Quadranten: (a) 5 5- bzw. 9 9-Rechteckfilter; (b) 5 5- bzw Binomialfilter (entnommen aus [Jäh97]). Rechteckfilters. Es fällt auf, daß manche Kreissegmente völlig unterdrückt werden, während feinere Kreise noch deutlich zu sehen sind. Das liegt daran, daß beim Rechteckfilter aufgrund von Nullstellen in dessen Übertragungsfunktion bestimmte Signalanteile völlig unterdrückt werden [Jäh97]. Daß die Übertragungsfunktion des Rechteckfilters für gewisse Ortsfrequenzen sogar negative Werte annimmt, kann man daran erkennen, daß die entsprechenden hellen Kreise durch die Filterung dunkel werden und umgekehrt. Ferner macht sich die unerwünschte Anisotropie 13 des Filters daran bemerkbar, daß das Ergebnis der Filterung im Gegensatz zum Originalbild nicht rotationssymmetrisch ist. Anhand von Bild 30(a) erkennt man die Eignung des Rechteckfilters zur Unterdrückung von Gaußschem Rauschen. Die Anwendung bei Vorhandensein von impulsförmigen Störungen führt jedoch zu unbefriedigenden Ergebnissen; siehe Bild 30(b). 6.2 Binomialfilter Das Binomialfilter basiert ebenfalls auf dem Prinzip der Mittelung durch Summation der Grauwerte innerhalb einer Umgebung U. Im Gegensatz zum Rechteckfilter werden hierbei jedoch die Grauwerte mit unterschiedlichen Faktoren gewichtet, so daß Punkte nahe dem Mittelpunkt einen stärkeren Einfluß auf das Ergebnis der Mittelung haben als Punkte, die weiter davon enfernt sind. 13 Anisotropie: Richtungsabhängigkeit. C 40

41 (a) (b) Bild 30: Rechteckfilter: (a) Glättung des Testbildes 28(a) mit einem 5 5-Rechteckfilter; (b) Glättung des Testbildes 28(b) mit einem 5 5-Rechteckfilter. Für ein Binomialfilter der Größe 3 3 erhält man die folgenden Gewichtungsfaktoren: h(i, j) = (26) Das Binomialfilter ist ebenfalls separierbar die Matrix Gl. (26) läßt sich in die folgenden Matrizen zerlegen: h x (i, j) = 1 [ ] 1 2 1, hy (i, j) = (27) Bei Binomialfiltern beliebiger Größe entsprechen die Gewichtungsfaktoren den Werten der diskreten Binomialverteilung, die sich mit Hilfe des Pascalschen Dreiecks berechnen lassen; siehe Bild 31. Ein weiterer wichtiger Vorteil des Binomialfilters ist die Möglichkeit der rekursiven Implementierung. Die Filterung mit dem horizontalen 1D-Binomialfilter 1 [ ] ist 4 äquivalent mit der aufeinanderfolgenden Filterung mit zwei Binomialfiltern der Form 1 [ 1 1 ]. Größere Filter ergeben sich wiederum durch weitere Bearbeitungsschritte 2 mit dem Filter 1 [ 1 1 ]. Aufgrund der Einfachheit dieser Maske sind zur Bearbeitung 2 keine Multiplikationen notwendig. Die Skalierung muß bei mehrmaliger Anwendung des Filters lediglich ein einziges Mal am Ende erfolgen, wodurch sich der Rechenaufwand drastisch reduzieren läßt. C 41

42 Ordnung Normierungsfaktor Binomialkoeffizienten effektive Mittelungsbreite / / / / / Bild 31: Schema des Pascalschen Dreiecks. Im Gegensatz zum Rechteckfilter besitzt das Binomialfilter die günstige Eigenschaft, Strukturen um so stärker zu unterdrücken, je feiner diese sind. Diese Monotonieeigenschaft wird anhand des Testbildes 29(b) sehr gut deutlich. Schließlich sei noch erwähnt, daß das Binomialfilter wesentlich bessere Isotropieeigenschaften als das Rechteckfilter aufweist, was ebenfalls anhand von Bild 29(b) erkannt werden kann. (a) (b) Bild 32: Binomialfilter: (a) Glättung des Testbildes 28(a) mit einem 9 9-Binomialfilter; (b) Glättung des Testbildes 28(b) mit einem 9 9-Binomialfilter. Ähnlich wie im Falle des Rechteckfilters zeigt das Binomialfilter gute Ergebnisse bei der Unterdrückung von Gaußschem Rauschen; siehe Bild 32(a). Um eine Vergleichbarkeit mit dem Rechteckfilter zu erlauben, wurde hierbei ein Binomialfilter der gleichen effektiven Mittelungsbreite 14 wie beim Rechteckfilter in Bild 30 gewählt. Bild 32(b) hin- 14 Zur Definition der effektiven Mittelungsbreite werden die Binomialkoeffizienten als diskrete Wahrscheinlichkeitsbelegung aufgefaßt. Die effektive Mittelungsbreite beträgt 2σ, wobei σ die Standardabweichung der Wahrscheinlichkeitsbelegung bezeichnet. C 42

43 gegen bestätigt die schlechte Eignung von Tiefpässen zur Beseitigung impulsförmiger Störungen. 6.3 Lineare Faltung Bei den bisher behandelten Beispielen für Glättungsfilter (Mittelwert-Operator und Binomialfilter) handelt es sich um lineare, verschiebungsinvariante Filter, die durch eine Faltung des Eingangsbildes g(i, j) mit der diskreten Impulsantwort des Filters h(i, j) beschrieben werden können: g(i, j) h(i, j) = k= l= g(k, l) h(i k, j l) (28) Der Begriff Impulsantwort selbst hat eine anschauliche Bedeutung: Wird ein Eingangsbild g (i, j), in dem lediglich ein Impuls enthalten ist d.h. ein Bild, das nur an einer Stelle (i 0, j 0 ) den Wert 1 hat und sonst den Wert 0 aufweist mit einem Filter bearbeitet, so erhält man als Ergebnis gerade dessen Impulsantwort h(i, j). Dabei entspricht die Impulsantwort h(i, j) den in Matrixform angegebenen Gewichtungsfaktoren. Bei Filtern mit ungeraden Kantenlängen stimmt der Ursprung der Impulsantwort in der Regel mit dem mittleren Element der Matrix überein. Aufgrund der Linearität der Faltung gilt das Superpositionsprinzip: [c 1 g 1 (i, j) + c 2 g 2 (i, j)] h(i, j) = c 1 g 1 (i, j) h(i, j) + c 2 g 2 (i, j) h(i, j). (29) Insbesondere folgt hieraus die wichtige Eigenschaft der Kommutativität linearer Operatoren, d.h. bei der Bearbeitung eines Bildes mit mehreren linearen Operatoren ist deren Reihenfolge ohne Bedeutung. Beispiel zur Realisierung linearer Operatoren: Als Beispiel der Implementierung von linearen Operatoren ist in Bild 33 eine Faltungsfunktion in der Programmiersprache C angegeben. Die Funktion wurde mit Hilfe der objektorientieren Programmierumgebung Khoros realisiert und enthält daher auch Khoros-Funktionsaufrufe 15. Als Übergabeparameter erhält die Funktion zwei Objekte src obj bzw. dest obj für das Eingabe- bzw. Ausgabebild. Die Gewichtungsfaktoren des Filters sind in Form der statischen Variablen h definiert. Die Funktion beginnt mit einem Aufruf zur Festlegung des gewünschten Datentyps für das Eingangsbild. Die Typkonvertierung selbst erledigt Khoros automatisch. Danach wird die Größe des Eingangsbildes abgefragt. Ist die Bilddimension höher als zwei, so liefert die Funktion einen Fehler zurück. Nach dem Einlesen der Bilddaten aus dem Eingabeobjekt in den Puffer bild erfolgt die eigentliche Faltung. Zu Beginn wird ein Puffer output für das Ausgabebild alloziert (reserviert) und mit Nullen initialisiert. Die zwei anschließenden for-schleifen gehen alle Bildpunkte mit Ausnahme des Randes durch. In der Variablen sum wird für 15 Die Programmierumgebung Khoros ist objektorientiert konzipiert, aber prozedural implementiert. C 43

44 /* globale Variablen */ int width; int height; int do_faltung( float* input, float* output ) { /* Variablen deklarieren */ int i, j, k, l; float sum, skalierung; /* mit dieser 3x3-Maske wird gefaltet */ static float h[3][3] = { { 0, 1, 0 }, { 1, -4, 1 }, { 0, 1, 0 } }; /* Ausgabe mit 0 initalisieren */ for (i=0; i<width*height; i++) output[i] = 0.0; /* Faltung durchfuehren */ skalierung = 1.0 / 9.0; for (j=1; j<height-1; j++) { for (i=1; i<width-1; i++) { sum = 0.0; for (l=-1; l<=1; l++) { for (k=-1; k<=1; k++) { sum += input[(j+l)*width+i+k] * h[l+1][k+1]; } } output[j*width+i] = skalierung * sum; } } } return TRUE; Bild 33: Realisierung einer Faltung in C. C 44

45 jeden Bildpunkt um das aktuelle Pixel das jeweilige Produkt von Grauwert des Eingangsbildes bild[(j+y)*width+i+x] und Gewichtungsfaktor des Filters h[y+1][x+1] aufsummiert. Da die Ergebnisse dieser Operation im allgemeinen vorzeichenbehaftete Fließkommazahlen sind, kommt für das Ausgangsbild der Datentyp float zur Anwendung. Nach der Festlegung von Größe und Typ des Ausgangsbildes wird der entsprechende Puffer zum Schreiben der Daten übergeben. Schließlich wird der Speicher für die beiden Bildpuffer freigegeben, und die Funktion meldet die erfolgreiche Beendigung der Faltung an das Hauptprogramm weiter. 6.4 Medianfilter Bei den bisher behandelten Filtern wirkt sich vor allem eine Eigenschaft negativ auf die Glättung von Bildern aus, die Kanten enthalten: Tiefpaßfilter verursachen durch die örtliche Mittelung eine Verschmierung der Kanten. Die Bearbeitung einer eindimensionalen Stufenkante d.h. eines sprunghaften Überganges zwischen zwei Grauwertplateaus mit einem Rechteckfilter führt dabei zu einer Rampenfunktion, bei einem Binomialfilter zu einem knickfreien Übergang. Dadurch kann die Lokalisierung einer Kante beeinträchtigt und zusätzlich deren Detektion erschwert werden. Um bei der Glättung eines Bildes diese unerwünschten Effekte zu vermeiden, muß die von linearen, ortsinvarianten Tiefpässen durchgeführte gewichtete Mittelung verhindert werden. Ein ganz anderer Ansatz zur Glättung von Bildern basiert auf der Sortierung der Werte einer Umgebung U. Diese Vorgehensweise erlaubt die Konstruktion kantenerhaltender Glättungsfilter, deren Übertragungseigenschaften allerdings nichtlinear sind. Eine klassisches Beispiel für nichtlineare Glättungsfilter sind die Rangordnungsfilter, von denen im folgenden ein wichtiger Sonderfall betrachtet werden soll: das Medianfilter. sortierte Liste Sortierung Auswahl des Medians Eingangsbild g(i, j) Ausgangsbild r(i, j) Bild 34: Illustration des Medianfilters der Größe 3 3. Das Medianfilter basiert auf der Sortierung der Grauwerte innerhalb der Umgebung U des zu bearbeitenden Pixels; siehe Bild 34. Aus der sich ergebenden sortierten Li- C 45

46 ste wird der sogenannte Median ausgewählt, d.h. der in der Mitte der Liste zu liegen kommende Wert. Ausreißer werden in der Liste nach außen sortiert und haben somit keine Chance, das Filter zu passieren. Diese Vorgehensweise führt zur effizienten Unterdrückung punktförmiger bzw. ausreißerartiger Störungen ( Salz- und Pfeffer- Rauschen ) bei gleichzeitiger Erhaltung der Kanteninformation, was anhand von Bild 35(b) besonders gut deutlich wird. Bei Ballungen von Ausreißern versagt jedoch das Medianfilter. Verglichen mit den linearen Tiefpaßfiltern führt das Medianfilter bei mittelwertfreiem Gaußschen Rauschen nur zu mäßigen Ergebnissen; siehe Bild 35(a). (a) (b) Bild 35: Medianfilter: (a) Glättung des Testbildes 28(a) mit einem 3 3-Medianfilter; (b) Glättung des Testbildes 28(b) mit einem 3 3-Medianfilter. 6.5 Rangordnungsfilter Im letzten Abschnitt wurde bereits das Medianfilter als Beispiel für die Rangordnungsfilter behandelt. Wird jedoch statt der mittleren Position eine andere Position der Liste selektiert, so lassen sich weitere nützliche Filter erstellen. An dieser Stelle sollen lediglich zwei weitere Sonderfälle erwähnt werden. Bei Wahl des minimalen Grauwertes innerhalb der Umgebung U, d.h. des ersten Elementes der Liste, erhält man das Minimumfilter. Dieses erlaubt es, kleine helle Flecken zu entfernen, ohne ein unscharfes Gesamtbild zu erzeugen. Gleichzeitig breiten sich jedoch dunkle Gebiete auf Kosten hellerer Gebiete aus. Wird das letzte Element der sortierten Liste selektiert, so erhält man das Maximumfilter, mit dem sich kleine dunkle Flecken entfernen lassen. Allerdings breiten sich hierbei helle Gebiete auf Kosten dunklerer Gebiete aus. C 46

47 7 Kantenverstärkung Kantenverstärkung kann man in gewissem Sinne als entgegengesetzte Operation zur Glättung betrachten. Das Ziel entsprechender Operatoren ist, örtlich schnell veränderliche (hochfrequente), deutliche Grauwertänderungen hervorzuheben, wohingegen lineare Glättungsfilter genau solche Änderungen abschwächen. Detektierte Kanten werden als Trennlinie zwischen zwei Objekten oder Bildbereichen betrachtet. Sie dienen als Hilfsmittel zur Bildsegmentierung, d.h. zur Unterteilung eines Bildes in bedeutsame Bereiche. Eine ideale Kante wird als Diskontinuität einer Grauwertfunktion, d.h. eine sprunghafte Veränderung der Grauwerte benachbarter Bildpunkte, definiert. Als Kantenfilter sind Ableitungs- oder Gradientenoperatoren besonders geeignet, wie Bild 36 veranschaulicht. Dort, wo die Funktion in Bild 36(a) die größten Grauwertveränderungen durchläuft, hat die erste Ableitung Extrema und die zweite Ableitung Nulldurchgänge. Die Kantendetektion wird also in eine Extremwertsuche oder in eine Nulldurchgangsdetektion überführt. Im Bild ist ebenfalls zu erkennen, daß das schnell veränderliche Rauschen im Originalsignal (a) relativ zum Nutzsignal durch jede Ableitung verstärkt wird. Der Abstand zwischen Nutz- und Rauschanteil des Signals sinkt von (a) über (b) nach (c). Bild 36: (a) Grauwertfunktion mit (b) erster und (c) zweiter Ableitung (aus [Jäh97]). Im Rahmen dieses Versuchs werden nur Operatoren betrachtet, die auf einer einfachen Differentiation basieren. Für die Anwendung auf diskrete Grauwertbilder muß die Ableitung auf zwei Dimensionen erweitert und diskretisiert werden. Der Gradientenvektor g eines kontinuierlichen Grauwertbildes g(x, y) setzt sich aus den partiellen Ableitungen nach den Koordina- C 47

48 tenrichtungen zusammen: ( g(x, y) g =, x ) T g(x, y). (30) y Für den Gradientenvektor können Betrag und Richtung berechnet werden. Die partiellen Ableitungen werden mit den Differenzenquotienten approximiert, wobei die Differenzenberechnung modifiziert werden kann, um zusätzliche Filtereigenschaften zu erhalten. Aus den Gradientenbildern wird durch Gleichrichtung und geeignete Zusammenfassung der beiden Komponenten schließlich ein Kantenbild erhalten. Ein diskreter Kantenoperator soll einige Forderungen möglichst gut erfüllen: 1. Der Operator soll isotrop sein, also richtungsunabhängig. 2. Die Lage der Kanten in den Gradientenbildern soll gegenüber dem Originalbild nicht verschoben werden. 3. Betrags- und Richtungsfehler des Gradienten, die durch den Übergang von der kontinuerlichen Ableitung zu diskreten Differenzenquotienten entstehen, sollen möglichst klein sein. In den folgenden Abschnitten werden zwei verschiedene Möglichkeiten vorgestellt, diskrete Gradienten von Grauwertbildern zu berechnen. Anschließend werden daraus Kantenoperatoren gebildet und untersucht, inwieweit sie die oben genannten Forderungen erfüllen. 7.1 Symmetrischer Differenzenquotient Diskrete Differenzenquotienten erster Ordnung sind die einfachste Möglichkeit zur Approximation des Gradientenoperators. Die symmetrischen, näherungsweisen Gleichungen für die Ableitungen in x- und y-richtung lauten: g(x, y) x g(x, y) y g(i + 1, j) g(i 1, j), 2 (31) g(i, j + 1) g(i, j 1). 2 (32) Offensichtlich handelt es sich hier um lineare, verschiebungsinvariante Operationen, die deshalb durch die zugehörigen Impulsantworten beschrieben werden können: h Dx (i, j) = 1 [ ] 1 0 1, hdy (i, j) = C (33)

49 Die Näherungen für die partiellen Ableitungen in Gleichung (31) und (32) lassen sich damit auch als Faltung zwischen dem diskreten Grauwertbild und den Impulsantworten schreiben: g(x, y) x g(x, y) y g(i, j) h Dx (i, j), (34) g(i, j) h Dy (i, j). (35) In Bild 37(a) wird am Beispiel desselben Testbildes wie im vorigen Abschnitt 6 die Wirkung der beiden Impulsantworten aus Gl. (33) auf ein Grauwertbild g(i, j) gezeigt. (a) (b) Bild 37: (a) Anwendung von h Dx (i,j) bzw. h Dy (i,j) auf die linke obere bzw. rechte untere Ecke des Ring-Testmusters; (b) Anwendung von D{.} bzw. S{.} auf die linke obere bzw. rechte untere Ecke des Ring-Testmusters. Kanten bzw. steile Flanken im Grauwertverlauf des Originalbildes werden auf Extrema im Gradientenbild abgebildet. Maximaler Grauwertabfall in g(i, j) entspricht den schwarzen Bereichen im Gradientenbild, maximale Grauwertsteigung dagegen den weißen. Bild 37(a) zeigt an den Berührungskanten zwischen gefilterten und unbearbeiteten Quadranten deutlich die für Gradientenbilder typische Phasenverschiebung um 90. Auch die in der Richtung selektive Wirkung der beiden Impulsantworten wird deutlich. In dem mit dem Operator D x {g(i, j)} := g(i, j) h Dx (i, j) bearbeiteten linken oberen Teil des Testmusters wurden nur die Kanten detektiert, die zumindest teilweise in y-richtung verlaufen. Am rechten Rand dieses Quadranten, wo im Ursprungsbild nur waagerechte Kanten existieren, zeigt das Gradientenbild gar keine detektierten Kanten mehr, sondern einen nahezu konstanten Grauwert. Beim rechten unteren Bildquadranten, auf den D y {g(i, j)} := g(i, j) h Dy (i, j) angewandt wurde, ist dieser Effekt entsprechend in der Richtung vertauscht zu beobachten. C 49

50 (a) (b) Bild 38: (a) Anwendung von D x {.} bzw. (b) D y {.} auf das Chipbild. Diese Beobachtung kann bei der Anwendung von D x {.} und D y {.} auf das Chipbild 14(a) anhand von Bild 38(a) und (b) bestätigt werden. 7.2 Sobel-Operator Auch dem Sobel-Operator dienen einfache Differenzenquotienten als Basis. Allerdings wird zusätzlich zur Unterdrückung von Störungen noch senkrecht zur Ableitungsrichtung eine Mittelung durchgeführt. Die Impulsantworten haben in Matrixschreibweise folgendes Aussehen: h Sx (i, j) = , h Sy (i, j) = (36) Die Matrizen in Gl. (36) sind separierbar, d.h. sie lassen sich in je zwei Teilmatrizen einen Differenzenquotienten nach Gl. (33) und ein Binomialfilter nach Gl. (27) zerlegen: h Sx (i, j) = 1 [ ] = h Dx h Bin,y, (37) h Sy (i, j) = [ ] = hdy h Bin,x. (38) C 50

51 Faltet man nacheinander mit diesen beiden eindimensionalen Impulsantworten, läßt sich der Rechenaufwand gegenüber der Verwendung der zweidimensionalen Impulsantwort reduzieren (vgl. Abschnitt 6.1). Die Näherungen für die partiellen Gradientenbilder des Sobel-Operators werden mit den Impulsantworten definiert: g(x, y) x g(x, y) y S x {g(i, j)} := g(i, j) h Sx (i, j), (39) S y {g(i, j)} := g(i, j) h Sy (i, j). (40) (a) (b) Bild 39: (a) Anwendung von S x {.} bzw. (b) S y {.} auf das Chipbild. In Bild 39(a) wurde S x {.} auf das Chipbild angewendet, in Bild 39(b) S y {.}. 7.3 Berechnung des Gradientenbetrages Da jeder der in den beiden vorangegangen Abschnitten eingeführten Operatoren für sich allein nur Kanten in x- oder y-richtung herausarbeiten kann, muß aus den Teilergebnissen noch ein Kantenbild berechnet werden, das alle Kanten enthält. Eine Möglichkeit dazu ist die Berechnung des Gradientenbetrages aus den partiellen Ableitungen. Gradientenbetrag des Symmetrischen Differenzenquotienten: Für den symmetrischen Differenzenquotienten erhält man die Gleichung D{g(i, j)} := [ D 2 x {g(i, j)} + D2 y {g(i, j)}]1 2, (41) C 51

52 nach der Bild 40(a) aus den Bildern 38(a) und (b) berechnet wurde. Darin sind die schattenwerfenden Kanten fast nicht zu erkennen, wie nach den Ergebnissen in Bild 38 nicht anders zu erwarten war. Auch das +-Zeichen in der linken oberen Chipecke und die Beschriftung sind nur mit schwachem Kontrast im Kantenbild enthalten. Von den eingangs genannten Forderungen an einen Kantenoperator wird die Verschiebungsfreiheit aufgrund der ungeradzahligen Kantenlänge der Impulsantworten erfüllt (Symmetriebedingung). Der Operator D{.} ist aber nicht isotrop, sondern berechnet den Gradientenbetrag mit einem richtungsabhängigen Fehler; siehe Bild 37(b) [Jäh97]. Die Kantenverstärkung mit dem symmetrischen Differenzenquotienten ist also eine einfache, aber nicht sehr leistungsfähige Vorgehensweise zur Kantendetektion. (a) (b) Bild 40: Anwendung von D{.} auf das ungestörte (a) bzw. auf das durch normalverteiltes Rauschen gestörte Chipbild (b). Darüber hinaus werden hochfrequente Störungen (Rauschen) verstärkt, wie Bild 40(b) zeigt, bei dem D{.} auf das durch normalverteiltes Rauschen stark gestörte Chipbild angewandt wurde. In den beiden in Bild 40 dargestellten Kantenbildern ist auch zu sehen, daß statt der rechten und unteren Chipkante die Begrenzung des Schattens als Scheinkanten hervortreten. Bei der Bildauswertung muß dieser Umstand berücksichtigt werden. Gradientenbetrag des Sobel-Operators: Auch die beiden Sobel-Teiloperatoren lassen sich zu einem Operator zusammenfassen. Der Gradientenbetrag des Sobel- Operators berechnet sich zu S{g(i, j)} := [ S 2 x {g(i, j)} + S2 y {g(i, j)}]1 2. (42) Was in Bild 41(a) kaum zu sehen ist, aber beim Sobel-Operator S{.} bei schräg verlaufenden Kanten auftritt, ist eine geringfügige Verbreiterung der verstärkten Kanten C 52

53 (a) (b) Bild 41: (a) Anwendung von S{.} auf das ungestörte bzw. (b) auf das durch normalverteiltes Rauschen gestörte Chipbild. aufgrund der zusätzlichen Mittelung im Vergleich zum Ergebnis bei Anwendung des symmetrischen Differenzenoperators; siehe Bild 40(a). Wegen der beim Sobel-Operator implizit durchgeführten Binomial-Tiefpaßfilterung werden hochfrequente Störungen schon bei der verwendeten Filtergröße von 3 merklich abgeschwächt. Eine noch bessere Störungsunterdrückung könnte durch Verwendung von Binomialfiltern höherer Ordnung erzielt werden, allerdings ginge dies auf Kosten der örtlichen Auflösung und würde zudem einen höheren Rechenaufwand mit sich bringen. Auch der Sobel-Operator erfüllt die Symmetrieforderung (Verschiebungsfreiheit). Dank der Glättung ist der Isotropiefehler geringer als bei ausschließlicher Verwendung des symmetrischen Differenzenquotienten; siehe Bild 37(b) [Jäh97]. Der Sobel-Operator ist somit zur Kantenextraktion besser geeignet. Allgemeiner Gradientenbetrag: Die Betragsbildung kann man auch durch die Berechnung einer allgemeineren Norm ersetzen, in der statt des Exponenten 2 ein Parameter p verwendet wird: [ g(x, y) g = x p + g(x, y) y 1 p] p. (43) Durch die Wahl von p kann die Gewichtung der beiden partiellen Ableitungen pixelweise beeinflußt werden. Generell wird für p > 1 der betragsmäßig größere Wert stärker gewichtet als der kleinere. Wählt man p =, so wird die sogenannte Maximumsnorm berechnet, in der immer allein der betragsmäßig größere Wert den Wert von g bestimmt. Für p = 1 ergibt sich eine Näherungsformel für die Berechnung des Kantenbildes als Summe der Einzelbeträge. Diese Näherung läßt sich wesentlich schneller C 53

54 berechnen als die aufwendige Wurzelberechnung von Gl. (43). Der Nachteil der Näherung ist eine verstärkte Anisotropie, wodurch Kanten in Diagonalenrichtung mit einer um 2 erhöhten Empfindlichkeit berechnet werden. 8 Binarisierung und Binärbildverarbeitung Die kantenverstärkten Bilddaten werden mit Hilfe eines Schwellwertoperators binarisiert. Dadurch können die nachfolgenden Verarbeitungsschritte mit einfachen Binäroperatoren durchgeführt werden, beispielsweise mit dem Hit-or-Miss-Operator (siehe Abschnitt 8.2) oder der Hough-Transformation (vgl. Abschnitt 9). Die Binarisierung bedeutet eine starke Abstraktion gegenüber dem ursprünglichen Grauwertbild. Entscheidend hierbei ist, daß in den vorangehenden Verarbeitungsschritten die Nutzinformation das sind in unserem Fall die Kanten derart herausgearbeitet wurden, daß diese im Binärbild möglichst in Form von Linien erscheinen und anderweitige Bildkomponenten bei der Binarisierung möglichst unterdrückt werden. 8.1 Schwellwertoperator Die Aufgabe des Schwellwertoperators ist, ein Grauwertbild g(i, j) in ein Schwarzweißoder Binärbild b(i, j) zu überführen. Der Operator weist allen Pixeln abhängig von einem Schwellwert γ die Werte 0 oder 1 zu: { 1 falls g(i, j) γ b(i, j) = 0 sonst. Der Schwellwert γ wird dabei so gewählt, daß der Bildinhalt in zwei Gruppen unterteilt wird, z.b. in Objekt und Hintergrund oder, wie im vorliegenden Fall, in Kanten und homogene Bildbereiche. Liegt ein Bild in einer solchen Binärform vor, kann die Zugehörigkeit eines Punktes zu einer der beiden Gruppen aus dem Wert des Pixels abgelesen werden. Das zentrale Problem ist dabei die Wahl des richtigen Schwellwertes, so daß möglichst wenige Pixel falsch klassifiziert werden. Man unterscheidet zwischen globalem und lokalem Schwellwert. Die Wahl eines globalen Schwellwerts wird meist mit Hilfe des Histogramms durchgeführt, vgl. Abschnitt Bild 42 dient als Beispiel für die Vorgehensweise. Vom Originalbild 42(a) wird das Histogramm berechnet; siehe Bild 42(b). Darin lassen sich die Objekte mit den niedrigeren Grauwerten klar unterscheiden vom Hintergrund, der deutlich heller ist. Es bietet sich an, den Schwellwert im flachen Bereich zwischen den beiden Maxima des Histogramms zu wählen. Aber die Objekte sind nicht vollständig homogen, sondern besitzen zum Teil kleine helle Flecken, die im selben Grauwertbereich liegen wie der Hintergrund. Dadurch werden bei der Wahl eines zu niedrigen Schwellwertes (γ = 110, Bild 42(c)) diese Flecken fälschlicherweise dem weißen Hintergrund zugeordnet. In Bild 42(d) wurde der Schwellwert γ = 147 günstiger gewählt, in Bild 42(e) dagegen zu hoch, denn Teile des Hintergrundes werden fälschlicherweise dem Objekt zugeordnet. C 54

55 (a) g 250 (b) (c) (d) (e) Bild 42: Binarisierung mit einem globalen Schwellwert γ: (a) Originalbild; (b) Histogramm; (c) rechter oberer Sektor von (a) binarisiert mit γ = 110, (d) γ = 147 und (e) γ = 185 (Bilder aus [Jäh97]). (a) (b) Bild 43: (a) Binarisierung von Bild 41(c) mit einem globalen Schwellwert γ; (b) binäres Chipbild nach der Verdünnung mit dem Hit-or-Miss-Operator. C 55

56 Anstelle eines global gültigen Schwellwertes kann der Schwellwert auch lokal in Form einer Funktion γ(i, j) gewählt werden. Diese Vorgehensweise bietet sich bei Grauwertbildern an, deren mittlerer Grauwert sich örtlich so stark verändert, daß kein sinnvoller globaler Wert gefunden werden kann. In diesem Fall muß für jedes Pixel ein lokales Histogramm in einer Umgebung berechnet werden, mit dem der Wert der Schwellwertfunktion für dieses Pixel gewählt werden kann. Da diese Vorgehensweise aufwendiger ist, sollte bei der Bildaufnahme darauf geachtet werden, eine möglichst gleichmäßige Beleuchtung zu wählen, um starke Schwankungen des mittleren Grauwertes zu vermeiden. Bei der Binarisierung von Gradientenbildern ergeben sich je nach Wahl des Schwellwertes breitere oder dünnere Kanten. Bild 43(a) zeigt das Binärbild des Sobel- Gradientenbetragsbildes 41(a). Die Kanten sind breiter als ein Pixel, wodurch die Berechnung der Lage der Kanten ungenau wird. Um eine genauere Lagebestimmung zu ermöglichen, wird im nächsten Abschnitt ein Operator vorgestellt, mit dem eine Verdünnung des binären Kantenbildes durchgeführt werden kann. 8.2 Hit-or-Miss-Operator Der Hit-or-Miss-Operator ist ein sogenannter morphologischer 16 Operator und dient zur Detektion von Bildelementen mit bestimmten geometrischen Eigenschaften [HS92]. Im folgenden wird der Operator erläutert und auf Binärbilder angewandt. Es existiert aber auch eine erweiterte Version, mit der Grauwertbilder bearbeitet werden können [HS92]. Für die vorliegende Vermessungsaufgabe wird der Hit-or-Miss-Operator zur Kantenverdünnung benutzt, d.h. die Breiten der Linien in den Kantenbildern sollen auf das Minimum reduziert werden. Die Kantenlinien des Chipbildes sollen bis auf eine Breite von einem Pixel verdünnt, aber nicht unterbrochen werden. Mit Hilfe des Hit-or-Miss-Operators sollen diejenigen Pixel detektiert werden, die über diese minimale Breite hinausgehen. Dazu werden Bildelemente e k in der Morphologie als strukturierende Elemente oder Strukturelemente bezeichnet verwendet, welche die zu detektierenden Pixelanordnungen beschreiben. Das erste Element e 1 in Bild 44 ist ein 3 3 Pixel großes, zusammengesetztes Strukturelement, mit dem Pixel detektiert werden können, die am rechten Rand von einem mindestens 2 Pixel breiten Objekt liegen. e 1 e 2 e 3 e 4 e 5 e 6 e 7 e 8 : 1 : 0 : don t care Bild 44: Zusammengesetzte Strukturelemente für die Kantenverdünnung: e 2 e 4 werden durch Rotation von e 1 erzeugt, e 6 e 8 durch Rotation von e Morphologisch: die äußere Gestalt betreffend, der Form nach. Morphologie: Gestalt-, Formenlehre; in der Bildverarbeitung Oberbegriff für formorientierte Bildanalyse. C 56

57 Anfang b( i, j) i j b 0: =b k = 1,...,8 = 1,..., N-1 = 1,..., N-1 Strukturvergleich Ist die Struktur ek an der Stelle ( i, j) in b( i, j) enthalten? Ja Nein c( i, j) := 1 c( i, j) := 0 i = 1,..., N-1 Iteration j = 1,..., N-1 Verdünnungsschritt c( i, j) = 1? Ja Nein b( i, j) := 0 b( i, j) = b ( i, j) 0 V i, j? Ja Ende Nein Bild 45: Schematische Darstellung der Kantenverdünnung. C 57

58 Bild 45 zeigt ein Ablaufdiagramm des gesamten Kantenverdünnungsvorgangs. Zur Detektion der Pixel, die zwecks Verdünnung entfernt werden müssen, wird im Strukturvergleich nacheinander die Übereinstimmung von e k mit allen möglichen 3 3-Umgebungen im Binärbild geprüft: Ist e k an einer Stelle i, j in b(i, j) enthalten (Hit), so wird diese Stelle in einer Hilfsgröße c(i, j) mit einer 1 markiert. Zeigt der Bildausschnitt das gewünschte Muster nicht (Miss), so wird c(i, j) auf 0 gesetzt. Dabei steht im Strukturelement für don t care, d.h. an diesen Stellen ist der Wert des zugehörigen Pixels in b(i, j) ohne Bedeutung. Die Verdünnung (Thinning) erfolgt, indem im Kantenbild b(i, j) alle Pixel zu 0 gesetzt werden, die mit Hilfe der Hit-or-Miss-Operation im Strukturvergleich detektiert worden sind. Mit einem einzelnen Strukturelement kann eine Verdünnung i. allg. nicht vollständig durchgeführt werden, da z.b. mit e 1 nur gezielt nach Punkten am rechten Rand gesucht wird. Um auch ausgehend von den anderen Rändern und Ecken der zu verdünnenden Objekte die überflüssigen Pixel detektieren zu können, müssen weitere Bildelemente für die Hit-or-Miss-Operation verwendet werden. e 2 bis e 4 werden durch Rotation von e 1 erzeugt und dienen der Verdünnung vom linken, oberen und unteren Rand aus, während die Bildelemente e 5 bis e 8 an den Ecken der Objekte wirksam werden. Im Bild 44 ist eine mögliche Kombination von 8 Strukturelementen dargestellt. In der Literatur ist e 1 manchmal leicht verändert zu finden, oder es werden nur die 4 durch Rotation eines Grundmusters erzeugten Elemente verwendet [Jäh97, HS92]. (a) (b) (c) Bild 46: Beispiel zur Kantenverdünnung: (a) Originalbild; (b) Verdünnungsergebnis nach der Anwendung der Strukturelemente e 1 e 4 von Bild 44; (c) vollständig verdünntes Bild. Der Ablauf einer vollständigen Verdünnung soll am Beispiel von Bild 46 erläutert werden. Zunächst wird Bild 46(a) mit dem Strukturelement e 1 aus Bild 44 Hit-or-Missverknüpft. Anschließend wird ein Verdünnungsschritt durchgeführt. Auf das so berechnete Zwischenergebnis wird mit dem nächsten Strukturelement e 2 wieder ein Strukturvergleich mit anschließendem Verdünnungsschritt durchgeführt usw. Nach den ersten vier Elementen aus Bild 44 sind die Kanten bereits deutlich reduziert; siehe Bild 46(b). In Bild 46(c) ist das Ergebnis zu sehen, nachdem alle e k einmal zur Verdünnung eingesetzt worden sind. Ein Binärbild wird vollständig verdünnt genannt, wenn durch eine nochmalige Verknüpfung mit einem der Strukturelemente keine weiteren Pixel mehr detektiert werden, d.h. wenn sich das Ausgangsbild einer Iteration nicht mehr gegenüber dem Eingangsbild b 0 verändert. Im Beispiel ist das bereits nach einer Iteration der Fall. Wenn die C 58

59 Kanten im Binärbild sehr dick sind, müssen mehrere Iterationen durchgeführt werden, um die Verdünnung zu vollenden, d.h. die Kantenlinien auf eine Breite von einem Pixel zu reduzieren. Das Ergebnis der Kantenverdünnung, d.h. der genaue Verlauf der verdünnten Linie hängt im allgemeinen von der Reihenfolge ab, in der die Bildelemente e k angewendet werden. Diese Eigenschaft resultiert aus der Nichtlinearität der Hit-or- Miss-Operation. Im Gegensatz dazu ist bei mehrstufigen linearen Faltungsoperationen die Reihenfolge der Impulsantworten beliebig; siehe Abschnitt 6.3. Bild 43(b) zeigt das mit Hilfe des Hit-or-Miss-Operators verdünnte Chipbild. Die Linien wurden nach mehrmaliger Anwendung der Strukturelemente gegenüber dem ursprünglichen Kantenbild 43(a) deutlich verdünnt. C 59

60 III Bildauswertung 9 Houghtransformation zur Geradendetektion in Binärbildern Zur eigentlichen Vermessung von Objekten, deren Kanten Geraden darstellen, wird mit Vorteil die sogenannte Houghtransformation eingesetzt [Lea92, BB91]. Sie wird auf Binärbilder angewendet, die die Kanten der Objekte oder die projizierten Laserlinien enthalten. Geraden im zweidimensionalen Raum lassen sich mit zwei skalaren Parametern beschreiben. Die Houghtransformation ist ein Mittel zur Bestimmung dieser Parameter. Die Parameter der Geraden können geschätzt werden, indem man die Maxima der Houghtransformierten detektiert und ihre Lage bestimmt. 9.1 Die Houghtransformation Parameterraum für Geraden: Das Verfahren soll gerade Linien in Binärbildern erkennen und lokalisieren. Wenn ein Punkt (x, y) auf einer Geraden liegt, muß er die folgende Bedingung erfüllen: y = a x + b, (44) wobei a bzw. b Steigung bzw. Achsabstand der Geraden sind. Das Ziel des Verfahrens ist es dann, die Parameter a und b zu bestimmen, selbst wenn die Kante durch Störungen unterbrochen oder verformt ist. Gl. (44) kann auch als Bedingung für die Parameter a und b gelesen werden: a = y x 1 x b. (45) Dies ist die Gleichung einer Geraden in einem neuen Raum, der von den Parametern a und b aufgespannt wird. Dieser wird als Parameterraum oder a,b-ebene bezeichnet, im Gegensatz zum Binärbild, das in der x,y-ebene liegt, welche als Ortsbereich bezeichnet wird. Im Parameterraum hat die Gerade die Steigung 1 x und den Achsabstand y x. Jeder Punkt der x,y-ebene beschreibt im Parameterraum eine Gerade; siehe Bild 47. Für Punkte, die in der x,y-ebene näherungsweise auf einer Geraden liegen, schneiden sich alle zugehörigen Geraden im Parameterraum im Punkt (ã, b), der die Parameter der Geraden in der x, y-ebene definiert. Dies wird gezeigt, indem man die Geradengleichung y = ãx + b in Gl. (45) einsetzt: a = ãx+ b x b x x 0 ax = ãx + b b x 0 a = ã b = b. (46) Da ein Liniensegment viele Punkte enthält, ergibt sich eine stabile Abschätzung der beiden Geradenparameter. Ein Geradenstück im Bild wird auf diese Weise auf einen C 60

61 (a) (b) Bild 47: Houghtransformation von Geraden: der Ortsbereich (x, y) (a) wird auf den Parameterraum (a, b) (b) abgebildet. Jeder Punkt in der x, y-ebene korrespondiert mit einer Geraden in der a,b-ebene. Punkt im Parameterraum abgebildet. Die Transformation eines Bildes in den Parameterraum über die Modellgleichung (45) wird als Houghtransformation bezeichnet. Die technische Realisierung des Verfahrens beruht auf einer Diskretisierung des Parameterraums. Da die Steigung ã einer Geraden unendlich werden kann, ist das Geradenmodell nach Gl. (45) allerdings praktisch unbrauchbar. Ein günstigerer Parameterraum für Geraden: Eine andere Möglichkeit besteht darin, den Steigungswinkel ϕ der Geraden und den Abstand r der Geraden vom Ursprung des Koordinatensystems zu verwenden. Mit diesen beiden Parametern kann man die Geradengleichung in ihrer Hesseschen Normalform schreiben: ( ) cos ϕ (x, y) sin ϕ }{{} r = 0 } {{ } Ursprungsabstand r = x cosϕ + y sin ϕ, (47) Normalenvektor wobei ϕ im Intervall [0, π) liegt und r positive und negative Werte annehmen kann. Die Gl. (47) läßt sich umformen in: r = ( ) x x 2 + y 2 x2 + y cosϕ + y 2 x2 + y sin ϕ = ρ cos(ϕ φ) (48) 2 mit ρ = x 2 + y 2 und φ = arctan y x. Gl. (48) zeigt, daß der Parameter r im Intervall [ r max, r max ] liegen kann, wobei r max = max {ρ = } x 2 + y 2 (x,y) Bild (49) C 61

62 der maximal mögliche Abstand zum Ursprung in der x, y-ebene ist. Jeder Punkt im Ortsbereich korrespondiert mit einer Kosinuskurve der Amplitude ρ und der Phase φ im Parameterraum (ϕ, r). Liegen alle Punkte im Ortsbereich auf einer Geraden r = x cos ϕ + y sin ϕ, treffen sich alle zugehörigen Kosinuskurven im Parameterraum in dem Punkt ( ϕ, r); siehe Bild 48. (a) (b) Bild 48: Houghtransformation von Geraden: der Ortsbereich (x, y) (a) wird auf den Parameterraum (ϕ, r) (b) abgebildet. Jeder Punkt in der x, y-ebene korrespondiert mit einer Kosinuskurve in der ϕ,r-ebene. Verallgemeinerung des Begriffes Parameterraum: Die Houghtransformation kann nicht nur zur Detektion und Lokalisierung von Geraden verwendet werden. Die Modellgleichung kann im allgemeinen beliebige andere parametrische Kurven darstellen. Beispielweise kann ein Kreis in der x, y-ebene durch die zwei Koordinaten seines Zentrums (u, v) und seinen Radius R beschrieben werden. In diesem Fall ist der Parameterraum (u, v, R) dreidimensional, und jedem gegebenen Punkt (x, y) im Ortsbereich entspricht eine Fläche R 2 = (x u) 2 + (y v) 2 im Parameterraum. Hat man einen Kreis mit den Parametern (ũ, ṽ, R), so schneiden sich die zu den Kreispunkten gehörigen Flächen im u, v, R-Raum alle im Punkt (ũ, ṽ, R). 9.2 Praktische Realisierung der Houghtransformation Diskretisierung des Parameterraumes: Wie schon in Abschnitt 4 gesehen, ist das Bild im Ortsbereich eine zweidimensionale Funktion g(x, y), die mittels örtlicher Abtastung in ein M N Pixelarray g(i, j) überführt wird. Der Parameterraum für Geraden wird ebenfalls als eine zweidimensionale Funktion A(ϕ, r) aufgefaßt und mit den Diskretisierungsstufen ϕ und r im Rechner in einem K L Pixelarray A(k, l) realisiert; siehe Bild 49. Man beachte, daß hier die y-achse C 62

63 Bild 49: Darstellung der unterschiedlichen Räume. gemäß Abschnitt 4.1, wie in der Bildverarbeitung üblich, nach unten hin gerichtet ist. Die Parameter ϕ und r werden jeweils auf [0, π) und [ r max, r max ] abgetastet: ϕ = k ϕ k = 0,...,K 1, (50) r = r max + l r l = 0,...,L 1, (51) wobei ϕ = π 2rmax, r = und r K L 1 max nach Gl. (49) definiert ist. Der Wert von r max hängt davon ab, wo der Ursprung im Koordinatensystem (x, y) gewählt wird. Am günstigsten das Intervall [ r max, r max ] ist dann am kleinsten legt man den x, y- Ursprung in die Mitte des Bildes; siehe Bild 49. Es gilt dann: ( x = i M 1 ) x i = 0,..., M 1, (52) 2 und y = ( j N 1 ) y j = 0,...,N 1 (53) 2 ((M 2 ( 2 1) (N 1) r max = x) + y). (54) 2 2 C 63

64 Zur Vereinfachung wird vorausgesetzt, daß Bilder und Pixel quadratisch sind, d.h. M = N und x = y gilt. Für r max und r folgt somit: und r max = 2 N 1 x (55) 2 r = 2 N 1 x. (56) L 1 Qualitative Beschreibung der diskreten Houghtransformation: Der diskretisierte Parameterraum A(k, l) wird als Akkumulator bezeichnet. Die Akkumulatorpixel sind zu Null initialisiert. Der Ablauf der Houghtransformation gestaltet sich denkbar einfach: Für jedes Pixel (i, j) mit g(i, j) = 1 im Ortsbereich ermittelt die Houghtransformation die Menge der Koordinatenpaare (k, l), durch welche die kosinusförmige Kurve nach Gl. (48) verläuft, und inkrementiert den Inhalt der entsprechenden Akkumulatorpixel A(k, l). Wenn viele dieser Kurven sich in einem Punkt schneiden, entsteht dort im Akkumulator ein Maximum, dessen Lage den Winkel ϕ und den Abstand r einer Geraden in der x, y-ebene wiedergibt. Die Bilder 50, 51 und 52 illustrieren jeweils die Houghtransformation eines Bildes mit einem einzigen Pixel mit dem Wert 1, die Houghtransformation eines Bildes mit vier geraden Kantensegmenten und die Houghtransformation des verdünnten binären Chipbildes. Den Maxima in den Bildern 51(b) und 52(b), welche jeweils auf einer Spalte liegen, entsprechen parallele Kanten, d.h. Kanten mit dem gleichen Winkel ϕ. (a) (b) Bild 50: Houghtransformation (N = 64) (b) eines Bildes (K = L = 64) mit einem einzigen weißen Pixel (a). Weiß ˆ=1, Schwarz ˆ= 0. C 64

65 (a) (b) Bild 51: Houghtransformation (N = 400) (b) eines Bildes (K = L = 400) mit vier geraden Kanten (a). (a) (b) Bild 52: Houghtransformation (N = 512) (b) des binären verdünnten Chipbildes (K = L = 512) (a). Mathematische Beschreibung der diskreten Houghtransformation: Anhand der Quantisierung von x, y, ϕ und r in Gln. (50), (51), (52) und (53), läßt sich Gl. (47) in eine diskrete Form bringen: r max + l r = p x cos(k ϕ) + q x sin(k ϕ), (57) C 65

66 wobei p = i N 1 2, q = j N 1 2 bedeutet. Für ein gegebenes k wird der zugehörige Index l folgendermaßen bestimmt: x(p cos(k ϕ) + q sin(k ϕ)) + rmax l = r, (58) wobei der Operator eine Rundung auf die nächste ganze Zahl bezeichnet. Man setzt die Definitionen von r max und r aus Gln. (55) und (56) in Gl. (58) ein: l = [ p cos(k ϕ) + q sin(k ϕ) (L 1) + 1 ] 2(N 1) 2. (59) Anhand von Gl. (59) ist man jetzt in der Lage, für alle k = 0,...,K 1 die korrespondierenden Indizes l und damit die mit einem Punkt im Ortsbereich korrespondierende Kosinuskurve im diskreten Parameterraum zu bestimmen. Dies macht die Houghtransformation für jeden Punkt (i, j), für den das Binärbild den Wert 1 hat. Wenn g(i, j) = 1 gilt, werden alle Akkumulatoreinträge ( [ p cos(k ϕ) + q sin(k ϕ) A k, (L 1) + 1 ] ) 2(N 1) 2, k = 0,...,K 1 um Eins erhöht. Der komplette Algorithmus ist in Bild 53 als Flußdiagramm dargestellt. Wahl der Größe K L des Akkumulators A(k, l): Während die Kanten des zu untersuchenden Werkstückes als Geraden mit kontinuierlichen Koordinaten modelliert werden können, sind die Verhältnisse im diskreten Binärbild, das die realen Kanten darstellen soll, etwas komplizierter. Nur in Ausnahmefällen, wie z.b. bei den Geraden 1 und 4 in Bild 54, liegen die zu einer realen Kante gehörigen Punkte im Diskreten ebenfalls auf einer Geraden. In der Regel erhält man diskrete Geraden, durch deren Pixel mehrere unterschiedliche Geraden laufen; siehe Bild 54, Geraden 2 und 3. Im Idealfall, wenn alle Pixel auf einer einzigen Gerade zu liegen kommen, schneiden sich alle Kurven im Parameterraum in einem Punkt. Der Akkumulator enthält an dieser Stelle den Wert Λ, der gleich der Zahl der in der diskreten Geraden enthaltenen Pixel ist. Liegen jedoch wie bei den Geraden 2 und 3 in Bild 54 nicht alle zur Kante gehörenden Pixel auf einer Geraden, so kommt es im Parameterraum zu einer Verschmierung und Absenkung des mit der Kante korrespondierenden Maximums. Die Λ Kurven, die aus den Λ Pixeln der Kante resultieren, schneiden sich nicht mehr in einem Punkt des Parameterraumes, sondern Teilmengen dieser Kurven schneiden sich in mehreren Punkten in der Nachbarschaft der wahren Parameterwerte der realen Kante. Für den Ursprungsabstand folgt damit zunächst eine Auflösung r x L 2(N 1) + 1; siehe Gl. (56). Möchte man die Lage von Kanten genauer bestimmen, so kann man z.b. den Parameter r feiner quantisieren: L λ( 2(N 1) + 1), λ > 1. Die benachbarten Schnittpunkte der Kosinuskurven einer Kante rücken dann im Parameterraum auseinander, gruppieren sich aber immer noch um den wahren Wert des zur realen Kante gehörenden Parameterpunktes. Mittels Interpolation zwischen diesen Schnittpunkten, C 66

67 Bild 53: Algorithmus der Houghtransformation. die sich im Akkumulator als lokale Maxima manifestieren, kann prinzipiell die Kantenlage mit Subpixelgenauigkeit, d.h. genauer als r x bestimmt werden. Daß dies möglich ist, liegt daran, daß man mit der Interpolation letztendlich über alle Pixel der diskreten Geraden mittelt. Eine Interpolation kann mit Hilfe einer Tiefpaßfilterung des Akkumulators (λ > 1) bewerkstelligt werden, der die nahe beieinanderliegenden, zu einer realen Kante gehörigen lokalen Maxima in der k, l-ebene gerade zu einem einzigen Maximum zusammenfaßt. Nominell erhöht sich die erzielbare Auflösung für den Ursprungsabstand r auf r x. Eine genaue, theoretisch noch sinnvolle obere λ Grenze für λ anzugeben, ist schwierig und hängt auch von der zu erwartenden Mindestlänge der Kanten im diskreten Binärbild ab. Als Anhaltspunkt für die praktische Wahl von λ sollten Werte 5 gewählt werden; man beachte hierbei auch den notwendigen Speicherbedarf für den Akkumulator! Für die Winkeldifferenz ϕ kann man zeigen, daß eine Verringerung unter ϕ arctan ( ) r D, D : Kantenlänge (60) C 67

68 in der k, l-ebene nur noch zu einer Verbreiterung des mit der realen Kante korrespondierenden Maximums in ϕ-richtung führt und damit keine höhere Genauigkeit bei der Bestimmung des Kantenwinkels zu erzielen ist. Bild 54: Digitale Binärgeraden, die aus Pixeln bestehen, deren Zentren auf einer bzw. mehreren kontinuierlichen Geraden liegen. 9.3 Nachverarbeitung: Suche der Maxima Der nächste Schritt der Signalverarbeitung ist die Extraktion von Information über die Kanten des Objektes aus der Houghtransformation. Die Maxima (k p, l p ), p = 1,..., P, die im Akkumulator an den Parameterpaaren (ϕ p, r p ) der im Datenraum vorhandenen P Geradenabschnitte entstehen, müssen detektiert und lokalisiert werden. Man kann dies tun, indem man die lokalen Maxima des Akkumulators anhand ihrer ersten Ableitungen bestimmt. Diese Methode liefert aber auch eine große Zahl lokaler Maxima, die irrelevant sind und durch zufällig kollinear angeordnete, aber nicht einer einzigen Kante zugehörigen Bildpunkte entstehen sowie durch Störungen verursacht werden. Dieses Problem kann durch Tiefpaßfilterung und durch Vorwissen gelöst werden. Beispielsweise kann man die Detektion auf Kanten beschränken, die eine Mindestzahl an Pixeln beinhalten, indem man nur Maxima berücksichtigt, die eine bestimmte Mindesthöhe überschreiten. Dies entspricht der Festlegung eines Schwellwertes für den Akkumulator. Weiteres Vorwissen kann aus der Geometrie des zu untersuchenden Objektes gewonnen werden. Weiß man z.b. vorab, daß nur P Kanten im Bild zu sehen sind und diese, was den Ursprungsabstand r oder den Winkel ϕ betrifft, sich deutlich unterscheiden, d.h. eine minimale Distanz in der ϕ, r-ebene besitzen, so kann man sich C 68

69 auf die Auswertung der P größten lokalen Maxima beschränken, die ebenfalls diesen Abstand wahren. Man kann darüber hinaus in der ϕ, r-ebene Regionen, sogenannte Regions of Interest (ROI), festlegen, innerhalb derer die interessierenden Kanten Maxima liefern. Bei der Auswertung ignoriert man dann den Bereich außerhalb der ROIs. Eine Alternative zur dargestellten Methode unter Verwendung der ersten Ableitungen besteht darin, in den ROIs direkt nach Maxima zu suchen und somit die interessierenden lokalen Maxima zu bestimmen. 9.4 Messung und Kalibrierung Es wird hier vorausgesetzt, daß eine telezentrische verzeichnungsfreie Abbildungsoptik bei der Aufnahme des Objektes verwendet wurde und daß alle interessierenden Objektdetails im Schärfebereich liegen. Das aufgenommene Bild ist dann eine mit dem lateralen Maßstabfaktor m L skalierte Parallelprojektion des vom Objektiv aus sichtbaren Abschnittes des Objektes. Es ist offensichtlich, daß der laterale Abstand paralleler Kanten im Bild durch die Auswertung des r-abstandes der mit den Kanten korrespondierenden Maxima in der Houghtransformierten vermessen werden kann, wobei m L als Maßstabfaktor berücksichtigt werden muß. Man beachte jedoch, daß der so ermittelte Abstand die Distanz der Kanten innerhalb der Parallelprojektion, d.h. senkrecht zur optischen Achse wiedergibt. Zur Vermessung vertikaler Objektabmessungen wird das Triangulationsprinzip angewandt; siehe Abschnitt 3.2. Anhand der aus Sicht der Kamera wahrgenommenen lateralen Auslenkung einer aufprojizierten Laserlinie, die im Binärbild als Gerade erscheint, kann auf Abmessungen parallel zur optischen Achse rückgerechnet werden. Winkel zwischen Geraden des Binärbildes können anhand des ϕ-abstandes der zugehörigen Maxima der Houghtransformierten gemessen werden. Diese Winkel stimmen mit Winkeln am Werkstück überein, wenn die beteiligten Kanten senkrecht zur optischen Achse ausgerichtet sind, wofür bei der Bildaufnahme zu sorgen ist. Um eine möglichst genaue Vermessung der interessierenden Größen zu erreichen, muß die Sichtprüfungsanlage kalibriert werden. Setzt man eine verzeichnungsfreie Parallelprojektion bei der Aufnahme sowie eine Ausrichtung der interessierenden Kanten senkrecht zur optischen Achse voraus, müssen nur noch der laterale bzw. vertikale Maßstabfaktor m L bzw. m V = m L in einem Kalibriervorgang bestimmt werden. Dazu wird ein Kalibriernormal nach Bild 5 aufgelegt, bei dem die Stegbreite b und die tan θ Steghöhe h genau bekannt sind. Zunächst wird ein Bild akquiriert, das die Kanten des Steges deutlich zeigt und das bis hin zur Houghtransformation verarbeitet wird. Der Maßstabfaktor m L wird dann mit m L = bˆb, [m L ] = mm Pixel bestimmt, wobei ˆb die Breite des Steges in Pixeln in der diskreten ϕ, r-ebene ist. Zur Bestimmung von m V wird die Laserlinie aufprojiziert und nach entsprechender C 69 (61)

70 Bildverarbeitung der Versatz d mit der Houghtransformation gemessen. Der vertikale Maßstabfaktor folgt dann zu: m V = hˆd, [m V ] = mm Pixel, (62) wobei ˆd der in der ϕ, r-ebene in Pixeln gemessene Versatz der Laserlinie ist. m V gibt an, wievielen Millimetern Höhe ein Pixel Versatz in r-richtung in der Houghtransformierten entspricht. Literatur [Bat85] B. Batchelor, D. Hill und D. Hodson: Automated visual inspection. IFS, Kempston, [Bat95] B. Batchelor: The Lighting Advisor. M.R.F.Lewis/lighting.cgi, Department of Computer Science, University of Wales College of Cardiff, [BB91] H. Bässmann und Ph. W. Besslich: Bildverarbeitung Ad Oculos. Springer- Verlag, Berlin, [Don93] Donges, A.; Noll, R.: Lasermesstechnik: Grundlagen und Anwendungen. Hüthig-Verlag, Heidelberg, [ET98] T. Engelberg und A. Trächtler: Signalverarbeitung mit einem digitalen Signalprozessor (DSP). In: Praktikum Rechnergestützte Verfahren in der Meßund Regelungstechnik. Institut für Meß- und Regelungstechnik, Universität Karlsruhe (TH), [HS92] R. M. Haralick und L. G. Shapiro: Computer and Robot Vision. Addison- Wesley Publishing Company, Reading, MA, [Jäh97] B. Jähne: Digitale Bildverarbeitung. Springer-Verlag, Berlin, [Lea92] V. F. Leavers: Shape Detection in Computer Vision Using the Hough Transform. Springer Verlag, [Pfe93] Pfeifer, T.: Optoelektronische Verfahren zur Messung geometrischer Größen in der Fertigung. Expert Verlag, Ehningen, [Sch90] Schröder, G.: Technische Optik: Grundlagen und Anwendungen. Vogel Verlag, Würzburg, C 70

71 Anhang A Die Programmierumgebung Khoros A.1 Allgemeines Khoros ist ein Programmiersystem zur Verarbeitung mehrdimensionaler Signale. Khoros besteht nicht aus einem einzelnen Programm, sondern es stellt vielmehr eine Sammlung mehrerer Programmmodule dar. Die Bedienung des Khoros-Systems erfolgt im wesentlichen mit den Programmen Cantata und Composer. Cantata ist die graphische Benutzeroberfläche von Khoros. Composer ist eine Entwicklungsumgebung zur Programmierung eigener Module. Die gesamte Programmentwicklung d.h. die Erstellung der Benutzeroberfläche, die Bearbeitung der Quellcode- Dateien und die Steuerung des Compilers wird mit Hilfe von Composer erledigt. A.2 Die Bedienung von Cantata Mit Cantata können die einzelnen Module von Khoros zu graphischen Programmen verschaltet werden. In Bild 55 ist das Hauptfenster von Cantata mit einem Beispielprogramm dargestellt. Bild 55: Hauptfenster von Cantata mit einem Beispielprogramm. C 71

72 Die Arbeitsoberfläche: Den größten Teil des Fensters nimmt die Arbeitsoberfläche ein. Jedes Programmmodul wird auf der Arbeitsoberfläche durch ein Glyph dargestellt. Ein Glyph enthält wiederum eine Reihe von Symbolen, deren Bedeutung Bild 56 zu entnehmen ist. Einstellungsdialog öffnen Dateneingänge Datenausgang Modul starten Bild 56: Glyph. Die Menüleiste: Im File-Menü befinden sich Funktionen zum Laden und Speichern eines Programms, und das Edit-Menü enthält die Funktionen Ausschneiden, Kopieren und Einfügen. Der wichtigste Teil der Menüleiste ist das Menü Glyphs, in dem die Glyphs aller Module aufgeführt sind. Jedes Modul, das in einem Programm verwendet werden soll, muß aus diesem Menü ausgewählt werden. Die Symbolleiste: Unter der Menüleiste befindet sich eine Leiste mit Symbolknöpfen. Wichtig sind vor allem die Knöpfe zur Ablaufsteuerung eines Programms: Starten eines Programms. Die Glyphs werden der Reihe nach oder, bei Programmverzweigungen, gleichzeitig abgearbeitet. Anhalten eines Programms. Die Abarbeitung eines Programms wird unterbrochen. Sie kann durch Drücken des Start-Symbols an der Stelle fortgesetzt werden, an der unterbrochen wurde. Rücksetzen eines Programms. Wenn der Ablauf eines Programms unterbrochen wird (z.b. wenn ein Fehler aufgetreten ist), setzt Cantata die Abarbeitung normalerweise an der Stelle fort, an der unterbrochen wurde. Wenn ein Programm noch einmal ganz von vorne ablaufen soll, muß es zurückgesetzt werden. Löschen eines Programms. Alle Glyphs werden von der Arbeitsoberfläche entfernt. A.3 Wichtige Glyphs Aufnahme von Bildern: Zur Aufnahme von Bildern mit dem zur Verfügung stehenden Versuchsaufbau wird das Programm Coriander verwendet. Coriander ist ein von Khoros völlig unabhängiges Programm und dient der Bedienung von digitalen Kameras, die über eine Firewire-Verbindung angeschlossen sind. Wichtig sind einige Einstellungen, die in der Registerkarte Services gemacht werden können. Die Registerkarte verfügt über Unterregisterkarten (nicht verwechseln mit den Schaltflächen C 72

73 darüber). In der Unterregisterkarte Receive muss Start geclickt werden, um die Bildaufnahme zu starten. Die Unterregisterkarte Save dient dazu, das aufgenommene Bild fortlaufend in eine Datei zu schreiben. Hierfür muss unten Dump raw data aktiviert werden. Weiterhin sollte sichergestellt werden - für einige der angewendeten Bildverarbeitungsalgorithmen ist das wichtig -, das ein quadratischer Bildausschnitt gewählt wird. Die nötigen Einstellungen können in der Registerkarte (ganz oben) Format 7 gemacht werden (Vergleiche auch Bild 57). Nun können durch clicken der entsprechenden Schaltflächen die Dienste Receive (liest Bilder von der Kamera), Display (zeigt ein live-bild) und Save (schreibt Bilder fortlaufend in eine Datei) gestartet werden. In Cantata kann durch Aufruf des Menüpunktes File:Open die Datei vorgabe geöffnet werden. Diese enthält die Glyph Import Raw, die die Bilddaten aus der Datei lesen soll, in die sie von Coriander geschrieben werden. Es ist sicherzustellen (Einstellungsdialog öffnen!), das Dateiname und Bildgrösse mit den in Coriander gemachten Einstellungen übereinstimmen. Bild 57: Konfiguration von Coriander. In der Regel sind nur an den markierten Stellen Einstellungen zu ändern A.4 Programmierung eines Beispielmoduls Programmerstellung: Das Programm Craftsman verwaltet sogenannte Khoros- Toolboxes. Diese fassen mehrere thematisch verwandte Glyphs zusammen. Nach dem Start von Craftsman sollte zunächst aus der Toolbox vorlagen das Objekt hough in die Toolbox homebrewn kopiert werden. Hierzu in der linken Rollbox vorlagen auswählen und in der rechten hough. Dann rechts unten Object Operations:Copy Object anwählen und die Ziel-Toolbox homebrewn auswählen. Nun links die Toolbox homebrewn anwählen, rechts das Objekt hough und mit Object Operations:Edit Object die Bearbeitung in Composer starten (vergleiche Bild 59). Mit SOURCES (links) die Quelldateien anzeigen lassen. Die C-Datei hough.c wählen und mit File Operations: Edit im Editor öffnen. Im folgenden soll die Erstellung einer Khoros-Routine anhand des Beispiels der linearen Faltung aus Abschnitt 6.3 vorgestellt werden; siehe Bild 33. Nach dem Starten der Bearbeitung öffnet sich das Fenster des Editors, welches das C 73