Skript zur Vorlesung Technische Bildverarbeitung Machine Vision

Transkript

1 Skript zur Vorlesung Technische Bildverarbeitung Machine Vision Prof. Dr.-Ing. Reiner Dudziak Dipl.-Ing. Dirk Mohr Kapitel 1 Seite 1

2 Dieses Skript ist eine Ergänzung zu der Vorlesung Technische Bildverarbeitung. Es ist kein Lehrbuch. Dieses Skript darf ausschließlich als begleitendes Lehrmittel für die Vorlesung genutzt werden. Andere Nutzungen sind mit den Verfassern abzuklären. Vervielfältigung, Übersetzungen, Mikroverfilmung und die Einspeicherung und Bearbeitung in elektronischen Systemen (auch auszugsweise) ist nur nach Rücksprache und mit Erlaubnis der Verfasser zulässig. In diesem Skript werden Produkte einzelner Firmen als Beispiel verwendet. Die Auswahl dieser Produkte stellt keine Bewertung dar, sondern erfolgte ausschließlich nach didaktischen Gesichtspunkten. Die angegebenen Preise sind als Orientierungshinweis zu sehen. Bei Fragen, Kritik, Verbesserungsvorschlägen : Dipl.-Ing. Dirk Mohr Raum C2 05 Tel.: dirk.mohr@hs-bochum.de Bochum, den Kapitel 1 Seite 2

3 Inhaltsverzeichnis 1. Biologische Bildverarbeitungssysteme 1.1 Aufbau und Funktionsweise des menschlichen Auges 1.2 Besondere Merkmale und Eigenschaften des menschlichen Bildverarbeitungssystem 1.3 Aufbau und Funktionsweise eines Facettenauges 2. Technische Bildverarbeitung 2.1 Begriffsdefinition 2.2 Übersicht 2.3 Beleuchtungssysteme Technologie Glühlampen, Glühfadenlampe, Glühbirne Halogenlampe Leuchtstofflampe, Leuchtstoffröhre LED (Light Emitting Diode), Leuchtdiode, Lumineszenz-Diode LASER, Laserdioden Anordnung von Beleuchtung und Kamerasystem in Bezug auf das zu betrachtende Objekt Durchlicht Auflicht Gerichtetes Licht (Hell- und Dunkelfeld) Diffuses Licht Weitere Beispiele 2.4 Technische Optik Abbildung Berechnungsbeispiel Entozentrische- und Telezentrische Objektive Spezielle Objektive Technische Daten von Objektiven (exemplarisch) Objektivfehler 2.5 Bildaufnahme Funktionsweise und Merkmale der CCD - Bildwandler Technologie Funktionsweise und Merkmale der CMOS - Bildwandler Technologie Gegenüberstellung CCD und CMOS Technologie in der Technischen Bildverarbeitung Geometrische Anordnung von Bildwandlern Abbildung und räumliche Auflösung Kapitel 1 Seite 3

4 Inhaltsverzeichnis Farbkamerasysteme Drei-CCD/CMOS Farbkamerasysteme Ein-CCD/CMOS Farbkamerasysteme Foveon X3 Image Sensor 2.6 Bildübertragung Analoge Bildübertragung Beispiel für eine analoge Kamera, die JAI A Beispiel für einen analogen Framegrabber, der TIS DFG-SV Beispiel für einen analogen Framegrabber, der Matrox Imaging Odyssey XA Digitale Bildübertragung CameraLink Beispiel für eine CameraLink Kamera, die Basler A Beispiel für einen CameraLink Framegrabber, der Coreco Imaging X64CL Universal Serial Bus (USB) Beispiel für eine USB-Kamera, die IDS µeye UI-1480-C FireWire, IEEE Beispiel für eine IEEE-1394 Kamera, die TIS DMK 21BF Gigabit Ethernet Vision GigE Beispiel für eine GigE Kamera, die DALSA Spyder Bildübertragung über herstellerspezifische (proprietäre) Schnittstellen Beispiel für ein Bildverarbeitungssystem mit herstellerspezifischer Schnittstelle der OMRON ZFV Intelligente Bildverarbeitungssysteme smart sensor Beispiel für ein Intelligentes Bildverarbeitungssystem NANOview Beispiel für ein Intelligentes Bildverarbeitungssystem DVT Vision Sensor Familie 2.7 Bildauswertung Funktionen zur Bildauswertung Histogramm Grauwertbereich spreizen Binarisierung Filteroperation Morphologische Operationen Linienprofile Blob Analyse Vermessung Lagebestimmung Mustervergleich, Mustererkennung (Pattern Matching, Pattern Recognition) Kapitel 2 Seite 4

5 Inhaltsverzeichnis Farbbildverarbeitung Erstellung von Software zur Technischen Bildverarbeitung 2.8 Mechanische Komponenten für die Technische Bildverarbeitung 2.9 Bildverarbeitungsapplikationen 2.10 Die Deutsche Bildverarbeitungstechnologie als Branche Kapitel 2 Seite 5

6 1. Biologische Bildverarbeitungssysteme 1.1 Aufbau und Funktionsweise des menschlichen Auges Abb. 1.1 Schnitt durch das menschliche Auge (schematisiert) Abb. 1.2 Augenhintergrund bei der Augenspiegelung Quelle : Kapitel 1 Seite 6

7 Bestandteile und Aufbau des menschlichen Auges (Oculus) (s. Abb. 1.1 und Abb. 1.2) Hornhaut (Cornea) - Glasklarer, gewölbter und von Tränenflüssigkeit benetzter vorderer Teil der äußeren Augenhaut - Lichteintrittsöffnung, Hauptanteil der Lichtbrechung zur Bildfokussierung (43 Dioptrien von ges. ca. 60 dpt) Augenkammern (Camera bulbi) - Mit Kammerwasser (spez. Flüssigkeit, die u. a. Nährstoffe enthält) gefüllte Hohlräume Pupille - Kreisförmige Öffnung der farbigen Regenbogenhaut (Iris) - Größenänderung der Pupille durch Muskeln zur Steuerung der Lichtmenge, die in das Innere des Auges einfallen kann (Adaption) Linse - Kristallklarer und elastischer Körper der konvex gekrümmt ist - Wirkt als Sammellinse, die das einfallende Licht an der Hinterseite des Auges (Netzhaut) bündelt Durch verstellbare Krümmung (Akkomodation) wird die Brechkraft verändert und somit eine Nah- und Ferneinstellung möglich Netzhaut (Retina) - Enthält die Lichtsinneszellen und wandelt Licht in Nervenimpulse; zwei Arten von Lichtsinneszellen - Stäbchen (1,25 * 10 8 ) : - Sehr lichtempfindlich (Max. bei ca. 500 nm) - keine Farbunterscheidung; Sehen in der Dämmerung - Zapfen (7 * 10 6 ) : - Drei Arten (Blau-, Grün- und Rotrezeptor) - Weniger empfindlich als Stäbchen - Ermöglichen Farbwahrnehmung und Kontrastunterscheidung Sehnerv (Nervus opticus) (1,2 * 10 6 ) - Ausstülpung des Zwischenhirns, zweiter Hirnnerv - Fortsetzung der Ganglienzellen der Netzhaut (Datenreduktion) - Sehnerven kreuzen, so dass der rechte Sehnerv zur linken Gehirnhälfte verläuft und umgekehrt Gelber Fleck (Macula lutea) - Stelle des schärfsten Sehens Papille - Stelle, an der der Sehnerv das Auge verlässt; Keine Lichtsinneszellen; Blinder Fleck des Gesichtsfeld Kapitel 1 Seite 7

8 Abb. 1.3 Helligkeitsempfindung des menschlichen Sehsystems Abb. 1.4 Modulationsübertragungsfunktion (MTF) des menschlichen Sehsystems für das Farb- und das Grauwertsehen Abb. 1.5 Spektrale Empfindlichkeit der Lichtsinneszellen Abb. 1.6 Wellenlängenbereiche Kapitel 1 Seite 8

9 1.2 Besondere Merkmale und Eigenschaften des menschlichen Bildverarbeitungssystems - Durch die Zusammenarbeit von Auge und Gehirn entstehen Bilder bzw. Wahrnehmungen - Wahrnehmungen sind subjektiv - Menschliches Bildverarbeitungssystem als Ergebnis der Evolution mit dem Optimierungskriterium ÜBERLEBEN Abb. 1.7 Besondere Fähigkeiten des menschlichen Bildverarbeitungssystem wie z.b. das Autovervollständigen haben das Überleben ermöglicht, können aber in einem anderen Zusammenhang zu Fehlinformationen bzw. Fehlinterpretationen sogenannte optische Täuschungen führen. Kapitel 1 Seite 9

10 Das menschliche Sehsystem verfügt über zwei deutlich unterschiedliche Auflösungen : mit dem hochauflösenden Netzhautbereich der Fovea centralis wird die interessierende Region erfasst (region-of-interest, ROI); das Umfeld wird grob gerastert mit niedrigem Informationsgehalt als Warnzone (Bewegungsdetektion) und als Steuerzone (Nachführung des Augapfels) eher unbewußt gesehen. Kapitel 1 Seite 10

11 Funktionen des menschlichen Sehsystems versus Technische Bildverarbeitung Menschliches Sehsystem Technische Bildverarbeitung Realisierungsgrad Optische Abbildung durch Hornhautlinse Linsen - Objektive hoch Steuerung der Belichtung durch muskelbetriebene Pupille Fokussierung durch muskelgesteuerte Veränderung der Brennweite Motorische Blenden Mechanisch-motorische Blenden Selbständige Fokussierung Mechanisch-motorische Fokussierung hoch Hochmobiler Augapfel Mechanisch nachgeführte Kameras niedrig Netzhaut mit Sehrezeptoren Sensoren mit diskreten Bildpunkten hoch In der Netzhaut integrierte Signal- /Informationsverarbeitung Grob/fein Rasterung der lichtempfindlichen Sensorelemente Intelligente Sensoren Ortsvariante Auflösung hoch hoch sehr niedrig sehr niedrig Dynamik 1:100 bei fester Blende / Pupille (!) Quantisierung 8 Bit hoch Trennung von Grauwert- und Farbsehen Schwarz/weiß- und Farbkameras hoch Bandpassverhalten des Farbkanals Wellenlängenbereich Blau bis Rot Bildgebende Sensoren praktisch immer mit Tiefpasseigenschaften Wesentlich weiterer Wellenlängenbereich hoch sehr hoch Kapitel 1 Seite 11

12 1.3 Aufbau und Funktion eines Facettenauges - Halbkugelförmiger Augentyp, bei dem ein Auge aus mehreren (bis zu einigen Zehntausend) Einzelaugen besteht - Jedes Einzelauge blickt in eine geringfügig andere Richtung - Facettenauge ist starr mit dem Kopf verbunden - Bild der Umgebung aus einzelnen Bildpunkten - Räumliche Auflösung weit geringer als beim menschlichen Auge, aber sehr großes Blickfeld - Zeitliche Auflösung sehr hoch mit bis zu 300 Bildern / sek (Mensch ca. 25 Bilder / sek) Abb. 1.8 Facettenauge Aufnahme Rasterelektronenmikroskop Mit frdl. Genehmigung von Univ. Prof. Dr.Paul Walther Universität Ulm, Zentr. Einrichtung Elektronenmikroskopie Abb. 1.9 Durch die geringe räumliche Auflösung des Facettenauges nimmt die Stechmücke das Zebra nicht als Ganzes wahr! Kapitel 1 Seite 12

13 Weitere Informationen finden Sie hier : Auge : Optische Täuschungen : Kapitel 1 Seite 13

14 2. Technische Bildverarbeitung 2.1 Begriffsdefinition 2.2 Übersicht 2.3 Beleuchtungssysteme Dieses Skript ist eine Ergänzung zu der Vorlesung Technische Bildverarbeitung / Machine Vision. Es ist kein Lehrbuch. Dieses Skript darf ausschließlich als begleitendes Lehrmittel für die Vorlesung genutzt werden. Andere Nutzungen sind mit den Verfassern abzuklären. Vervielfältigung, Übersetzungen, Mikroverfilmung und die Einspeicherung und Bearbeitung in elektronischen Systemen (auch auszugsweise) ist nur nach Rücksprache und mit Erlaubnis der Verfasser zulässig. In diesem Skript werden Produkte einzelner Firmen als Beispiel verwendet. Die Auswahl dieser Produkte stellt keine Bewertung dar, sondern erfolgte ausschließlich nach didaktischen Gesichtspunkten. Die angegebenen Preise sind als Orientierungshinweis zu sehen. Bei Fragen, Kritik, Verbesserungsvorschlägen : Dipl.-Ing. Dirk Mohr Raum C2 05 Tel.: dirk.mohr@hs-bochum.de Bochum, den Kapitel 2 Seite 14

15 2. Technische Bildverarbeitung 2.1 Begriffsdefinition Inhalt dieser Lehrveranstaltung ist die Technische Bildverarbeitung / Machine Vision wie sie vom VDMA (Verband Deutscher Maschinen- und Anlagenbau e.v.) definiert ist : Technische (Industrielle) Bildverarbeitung ist die Technologie des künstlichen Sehens. Kamera und Computer verleihen Maschinen die Fähigkeit, zu sehen, zu erkennen und die richtigen Entscheidungen zu treffen. Die von der Kamera aufgenommenen Daten werden von einem Rechner ausgewertet, die relevanten Informationen und die Ergebnisse an die Steuerung weitergegeben, die entsprechend reagieren kann. Typische Aufgabenstellungen der Technischen Bildverarbeitung sind - Oberflächenkontrolle z.b. Untersuchung von Blechen auf Kratzer und Beschichtungsfehler - Vollständigkeitskontrolle z.b. Vorhandensein von Bauteilen auf elektronischen Platinen (komplette Bestückung) - Messtechnik z.b. Ermittlung der Durchmesser und der Fasenwinkel bei Edelstahlrohren - Identifikation z.b. Unterscheidung von Werkstückvarianten zur Prozesslenkung - Positionserkennung (Robot Vision) z.b. Identifikation und Lageerkennung von Schrauben in einem ungeordneten Schraubenvorrat zur montagegerechten Roboterlenkung Kapitel 2 Seite 15

16 2.2 Übersicht Ein Technisches Bildverarbeitungssystem besteht in der Regel aus folgenden Komponenten: Kapitel 2 Seite 16

17 2.3 Beleuchtungssysteme Übersicht Kapitel 2.3 Seite 17

18 2.3 Beleuchtungssysteme Technologie Glühlampen, Glühfadenlampe, Glühbirne -Elektrischer Leiter wird durch elektrischen Strom aufgeheizt und emittiert, dadurch thermische Strahlung mit Komponenten im sichtbaren Bereich - Günstiger Einkaufspreis, hohe Verfügbarkeit aber entscheidende Nachteile für die TBV : - schlechter Wirkungsgrad (<10%, max. 15 lm*/w) - große Wärmeentwicklung - keine großen Formvarianten - abgegebenes Licht hat keine Zeitkonstanz bzgl. Helligkeit und Wellenlänge - kaum triggerbar - erschütterungsempfindlich - relativ kurze Lebensdauer (max. 1000h) * Lichtstrom Lumen lm : Gesamte von einer Strahlungsquelle ausgesandte sichtbare Strahlung Abb Glühlampe 230 V, 60 W, 720 lm, E27-Sockel Halogenlampe Kapitel 2.3 Seite 18

19 Halogenlampe - Aufbau und Funktion ähnlich Glühlampe. Zusatz der Halogene Brom oder Jod steigert die Lebensdauer und verbessert den Wirkungsgrad - Günstiger Einkaufspreis, hohe Verfügbarkeit aber entscheidende Nachteile für die TBV : - schlechter Wirkungsgrad (< 16%, max. 25 lm/w) - große Wärmeentwicklung - keine großen Formvarianten - abgegebenes Licht hat keine Zeitkonstanz bzgl. Helligkeit und Wellenlänge - kaum triggerbar - erschütterungsempfindlich - Lebensdauer max. 4000h Abb Halogen - Glühlampe Kapitel 2.3 Seite 19

20 Leuchtstofflampe, Leuchtstoffröhre - Niederdruck Gasentladungslampe, die innen mit einem fluoreszierenden Leuchtstoff beschichtet ist. Beim Anlegen einer Zündspannung wird die Gasfüllung ionisiert und somit leitfähig, es entsteht ein Plasma. Das Plasma emittiert überwiegend UV Strahlung. Der Leuchtstoff leuchtet bei UV Bestrahlung im sichtbaren Bereich. Eigenschaften : - Günstiger Einkaufspreis, hohe Verfügbarkeit (eingeschränkt) - Wirkungsgrad (bis 100 lm / W), Leistung von Baulänge abhängig - geringe Wärmeentwicklung - in verschiedenen Formen erhältlich - abgegebenes Licht hat keine Zeitkonstanz bzgl. Helligkeit und Wellenlänge - nicht triggerbar - Lebensdauer deutlich höher als bei Glühlampen max h (stark abhängig von Umgebungstemp.) - Vorschaltgerät erforderlich - mit Elektronischem Vorschaltgerät (EVG) kaum Lichtschwankungen bei Zündfrequenz von 40 KHz Abb Leuchtstoffröhren, Stab- und Ringform Abb Runde Leuchtstoffröhren mit Fassung zur direkten Objektivmontage Kapitel 2.3 Seite 20

21 LED (Light Emitting Diode), Leuchtdiode, Lumineszenz-Diode - Halbleiter-Bauelement, das bei Stromdurchfluss Licht in einem zum Teil eng begrenzten Spektralbereich abstrahlt. Eigenschaften : - kein Temperaturstrahler, sehr hoher Wirkungsgrad (max. 100 lm / W ) - geringe Wärmeentwicklung (bezogen auf die Lichtleistung) - sehr schmalbandiger Spektralbereich - Spektralbereich des emittierten Lichts lässt sich durch Herstellungsprozess bestimmen z. B. rot, infrarot, grün, Mischfarbe weiß - schmalbandiges Licht erlaubt effektiven Einsatz von optischen Komponenten wie z.b. Filter - sehr gut triggerbar (Modulationsfrequenz bis zu 100 MHz) - bei geeigneten Impulspausenzeiten und Maßnahmen zur Ableitung der Verlustwärme lassen sich LED s mit einem mehrfachen des Nominalstroms betreiben (Blitzbetrieb) - unempfindlich gegen Erschütterung - Lebensdauer sehr hoch max h - lässt sich in fast beliebiger Bauform kombinieren / anordnen - keine Baumarktware, meist anbieterspezifisch Abb Spektren von LED s Quelle : Kapitel 2.3 Seite 21

22 Bauform 4TE IR Aktive Fläche 224 * 25mm mm bei max. 10% Inhomogenität Farbe IR 880 nm 16 LED s Preis ca. 340 EUR <- Abb Verschiedene Bauformen von LED - Beleuchtungssystemen Quelle : Büchner Lichtsysteme GmbH Kapitel 2.3 Seite 22

23 Abb Modulares Beleuchtungssystem mit segmentweiser Beschaltung Quelle : Büchner Lichtsysteme GmbH Abb Beleuchtungssystem mit LED Tunnelkonzept für homogene Ausleuchtung von z.b. Rohren und Bolzen Quelle : Büchner Lichtsysteme GmbH Kapitel 2.3 Seite 23

24 Laserdioden Verwandt mit LEDs mit folgenden zusätzlichen Eigenschaften: - Licht mit sehr schmalbandigem Spektrum (monochromatisch) - Licht kohärent. Kohärente Lichtwellen schwingen alle in die gleiche Richtung, mit gleicher Frequenz und mit gleicher Phase. Dies ergibt einen sehr intensiven Strahl mit sehr reinem Licht - Licht polarisiert (schwingt nur in einer Richtung), dadurch lassen sich störende Reflexionen leicht ausfiltern - Punktstrahler mit Kollimator, sehr hohe Strahlbündelung - sehr hohe max. Einspeiseleistung, dadurch bei sehr gutem Wirkungsgrad sehr hohe Lichtleistung - monochromes Licht erlaubt sehr effektiven Einsatz von optischen Komponenten wie z.b. Filter - sehr gut triggerbar (Modulationsfrequenz bis zu >10 GHz) - Lebensdauer sehr hoch max h - keine Baumarktware, anbieterspezifisch Abb Gegenüberstellung des Spektralbereichs einer LED und einer Laserdiode gleicher Nennwellenlänge Kapitel 2.3 Seite 24

25 Eine typische Anwendung von Laserdioden ist die sog. Lasertriangulation. Dabei projiziert ein Laser unter einem bekannten Winkel eine Linie auf ein Objekt, dessen Oberfläche vermessen werden soll. Eine CCD- oder CMOS-Kamera registriert das Streulicht. Kennt man die Strahlrichtung und den Abstand zwischen Kamera und Laser, kann damit der Abstand Objektoberfläche zu Kamera bestimmt werden. Die Verbindung Kamera-Laser sowie die beiden Strahlen vom und zum Objekt bilden ein Dreieck, daher der Begriff Triangulation. Zur flächigen Vermessung wird das Verfahren Codierter Lichtansatz bzw. Lichtschnittverfahren angewendet. Dabei wird eine große Anzahl von Linien als engmaschiges Netzmuster auf ein Objekt projiziert und von einer Kamera aufgenommen. Über eine spezielle Software lässt sich das Abbild auswerten und sehr genau Höhenunterschiede detektieren. Abb Lasertriangulation zur Vermesssung von Werkstücken Kapitel 2.3 Seite 25

26 Abb D - Bodyscanner Kapitel 2.3 Seite 26

27 Abb Entwicklung von Größentabellen Kapitel 2.3 Seite 27

28 Dreidimensionale Erfassung von Objekten durch projizierte Farbmuster Verfahren zur dreidimensionalen Erfassung von Objekten, bei dem - auf das zu erfassende Objekt ein Farbmuster mit bekannten Projektionsdaten projiziert wird, - das auf das Objekt projizierte Farbmuster mit einer Kamera erfasst wird, und - das von der Kamera erzeugte Abbild in einer Auswerteeinheit zu dreidimensionalen Objektkoordinaten des Objekts verarbeitet wird (Projektionsdaten sind im Farbmuster mit Hilfe eines redundanten Codes codiert). Quelle und Patent : Siemens AG (DE) Kapitel 2.3 Seite 28

29 2.3.2 Anordnung von Beleuchtung und Kamerasystem in Bezug auf das zu betrachtende Objekt Je nach Aufgabenstellung ist es nötig, eine geeignete Anordnung der verwendeten Komponenten Lichtquelle und Kamerasystem zu finden. Bei der Erstellung einer Lösung in der Technischen Bildverarbeitung ist oftmals die Anordnung der Komponenten entscheidender als die Komponenten selbst. Im Folgenden werden Varianten aufgezeigt und mit Aufnahmen dokumentiert. Die hierbei verwendeten Komponenten sind : Abb Kamerasystem DVT Legend 520 mit integrierter ringförmiger roter LED - Beleuchtung Abb LED Beleuchtung mit blauen LED s Büchner Lichtsysteme TopLight L Abb EUR Stück und Alublech mit Folie beklebt Kapitel 2.3 Seite 29

30 Durchlicht Das zu betrachtende Objekt befindet sich zwischen Lichtquelle und Kamera. Das Licht wird im Bereich des Objekts unterbrochen. Es wird ein Schatten (Kontur) abgebildet. Sehr gut bei Vermessungsaufgaben, da eindeutige Trennung von Objekt und Hintergrund. Die Oberfläche wird nicht abgebildet Abb Durchlicht - Anordnung Abb Durchlicht Abbild Schatten, Kontur Kapitel 2.3 Seite 30

31 Auflicht Lichtquelle und Kamera befinden sich in Bezug auf das zu betrachtende Objekt auf der gleichen Seite. Das Licht wird von der Oberfläche des Objekts und des Hintergrunds reflektiert. Es wird ein Abbild des Objektes in verschiedenen Grautönen erzeugt. Die Oberfläche ist zu erkennen, die Kontur wird nicht so klar dargestellt. Anwendung bei z. B. Oberflächeninspektionen. Abb Auflicht Anordnung mit Ringbeleuchtung Abb Auflicht Abbild, Oberfläche, Struktur zu erkennen Kapitel 2.3 Seite 31

32 Gerichtetes Licht (Hell- und Dunkelfeld). Die Lichtquelle strahlt das Licht in einer Vorzugsrichtung ab. Das Objekt wird aus einer Vorzugsrichtung beleuchtet. Durch die Oberflächenstruktur (Erhöhung bzw. Vertiefung) des Objekts bilden sich Schatten bzw. hellere Bereiche, die bestimmte Merkmale deutlich hervortreten lassen. Verstärkung dieses Zusammenhangs durch Anwendung von Hell- bzw. Dunkelfeldanordnungen. Hellfeld Das Kamerasystem befindet sich im Strahlengang (Einfallswinkel = Ausfallswinkel) des reflektierten Lichts Abb Auflicht Hellfeld Anordnung mit LED Leuchte Abb wurde unter kleinerem Winkel aufgenommen, deshalb kleine Elipse Abb Auflicht Hellfeld Abbild Oberfläche, Strukturelemente betont Kapitel 2.3 Seite 32

33 Dunkelfeld Das Kamerasystem befindet sich nicht im Strahlengang (Einfallswinkel!= Ausfallswinkel) des reflektierten Lichts. Abb Auflicht Dunkelfeld Abbild Strukturelemente kaum sichtbar Abb Auflicht Dunkelfeld Anordnung mit LED - Leuchte Kapitel 2.3 Seite 33

34 Diffuses Licht. Das Objekt wird aus allen Richtungen (möglichst) gleichmäßig beleuchtet. Es treten kaum Schatten auf. Es entsteht ein Abbild, dessen Graustufen durch Oberflächeneigenschaften und nicht durch Höhenunterschiede verursacht werden. Als Beleuchtungsquelle z.b. Raumlicht (schwer,oftmals unmöglich, gleichmäßig auszuleuchten) oder spezielle Beleuchtungssysteme z.b. Abb Leuchttunnel. Abb Auflicht Diffus Abbild Deutliche Reflexionsunterscheidung Abb Auflicht Diffus Anordnung mit Raumlicht Kapitel 2.3 Seite 34

35 Weitere Beispiele Abb Alu Blech mit integriertem Ringlicht beleuchtet. Einzelne LED s werden gespiegelt. Abhilfe durch Diffusorscheibe vor LED s Kapitel 2.3 Seite 35

36 Abb Alu Blech mit blauer LED - Leuchte beleuchtet (Dunkelfeld). Beide Bilder wurden unter genau gleichen Bedingungen (Belichtungszeit, Anordnung...) aufgenommen. Das Blech wurde lediglich um 90 0 Grad gedreht. Da das Blech vom Walzen eine (mit dem menschlichen Auge kaum wahrnehmbare) Struktur hat, wird das Licht unterschiedlich reflektiert. Dass die Parameter nicht verändert wurden, ist auch an dem Barcode zu sehen, der in fast gleicher Intensität dargestellt wird. Kapitel 2.3 Seite 36

37 Weitere Informationen finden Sie hier : Kapitel 2.3 Seite 37

38 2.4 Technische Optik Dieses Skript ist eine Ergänzung zu der Vorlesung Technische Bildverarbeitung / Machine Vision. Es ist kein Lehrbuch. Dieses Skript darf ausschließlich als begleitendes Lehrmittel für die Vorlesung genutzt werden. Andere Nutzungen sind mit den Verfassern abzuklären. Vervielfältigung, Übersetzungen, Mikroverfilmung und die Einspeicherung und Bearbeitung in elektronischen Systemen (auch auszugsweise) ist nur nach Rücksprache und mit Erlaubnis der Verfasser zulässig. In diesem Skript werden Produkte einzelner Firmen als Beispiel verwendet. Die Auswahl dieser Produkte stellt keine Bewertung dar, sondern erfolgte ausschließlich nach didaktischen Gesichtspunkten. Die angegebenen Preise sind als Orientierungshinweis zu sehen. Bei Fragen, Kritik, Verbesserungsvorschlägen : Dipl.-Ing. Dirk Mohr Raum C2 05 Tel.: dirk.mohr@hs-bochum.de Bochum, den Kapitel 2.4 Seite 38

39 2.4 Technische Optik Abbildung In der Technischen Bildverarbeitung (wie z.b. auch in der Fotografie) muss auf einem Bildwandler ein reelle optische Abbildung eines Gegenstandes erzeugt werden. Von einem Objekt, das sich in endlicher Entfernung von dem Bildwandler befindet, gehen von jedem Punkt unzählige Lichtstrahlen in alle Richtungen aus (Strahler oder Reflektion). Diese treffen auf alle Punkte des Wandlers. Es entsteht keine reelle Abbildung. Um trotzdem eine reelle Abbildung zu bekommen, kann man die Anzahl der Lichtstrahlen, die auf den Wandler treffen, begrenzen. Das ist das Prinzip der Lochkamera (camera obscura). Hierbei erhält man eine (auf dem Kopf stehende) Abbildung des Objekts. Die Abbildung lässt bei geeignetem Abstand von dem Objekt, geeigneter Lochgröße und passender Gehäusetiefe Details des Objekts erkennen. Die Abbildung zeigt eine gewisse Schärfe. Abb Prinzip Lochkamera Quelle : Kapitel 2.4 Seite 39

40 Die Schärfe, also die Genauigkeit des mit der Lochkamera erzielten Abbildes, reicht nicht für die Technische Bildverarbeitung aus. Um die Schärfe zu verbessern, muss eine Komponente verwendet werden, die die Lichtstrahlen so lenkt, das die Strahlen, die von einem Punkt des Gegenstandes ausgehen, auch wieder in einem Punkt des Bildwandlers zusammengeführt werden. Solch eine Komponente ist eine Sammellinse. Diese bündelt die Lichtstrahlen in einer Ebene. Legt man in diese Ebene den Bildwandler, so bekommt man ein scharfes Abbild des Objekts. Um den Anforderungen der TBV gerecht zu werden, verwendet man mehrere Linsen, die in einem Objektiv kombiniert sind. Dabei sind folgende Größen zu beachten. G Gegenstandsgröße : Größe des abzubildenden Objekts g Gegenstandsweite : Abstand des Objekts von der Mitte des Linsensystems (Objektiv) f Brennweite : Kenngröße des Objektivs B Bildgröße : Größe des Abbilds, oftmals eine Dimension des Bildwandlers b Bildabstand : Kameraauszug Der Bildabstand b wird vom sog. Auflagemaß mitbestimmt. Das Auflagemaß ist der Abstand zwischen dem Bildwandler und dem Ende des Objektivgewindes. In der Industrie haben sich Standards für diese Abstände etabliert. C Mount : 17.5 mm CS Mount : 12.5 mm Abb Auflagemaß Quelle : The Imaging Source Europe GmbH Kapitel 2.4 Seite 40

41 Abb Linsenformel nach Descartes Kapitel 2.4 Seite 41

42 2.4.2 Berechnungsbeispiel Eine rechteckige Aluminiumplatte von 100 * 50 mm soll auf einem 1/3 Bildwandler (formatfüllend) abgebildet werden. Der Arbeitsabstand beträgt 1m. Welche Brennweite muss das zu verwendende Objektiv haben? -Gegeben : G1 = 100 mm, G2 = 50 mm, g = 1000 mm, B1 = 4.8 mm, B2 = 3.6 mm -Ges : f f = g / ( 1 + G / B) = 1000 mm / ( mm / 4.8 mm) = 45 mm Kontrolle für andere Wandlerseite : Verhältnis B1 / B2 = 1,33 Auf der Seite B2 werden also 100 mm / 1.33 = 75 mm abgebildet. Das sind mehr als die geforderten 50 mm. Kapitel 2.4 Seite 42

43 2.4.3 Entozentrische- und Telezentrische Objektive Die bisher besprochenen Objektive haben die Eigenschaft, dass sich bei Änderung der Gegenstandsweite (trotz konstanter Gegenstandsgröße) auch die Bildgröße ändert (entozentrische Perspektive). Dieser Sachverhalt ist in Abbildung dargestellt. Zusatz Abb Entozentrische Perspektive Kapitel 2.4 Seite 43

44 Nähert sich der Gegenstand dem Objektiv von g1 auf g2, so wird der Gegenstand in der Ebene b2 scharf abgebildet. Da sich der Bildwandler aber fest auf Position b1 befindet, ergibt sich hier eine unscharfe Abbildung. Dies hat meist auch eine Größenänderung der Bildgröße zur Folge. Wenn also in der Praxis ein Objekt abgebildet wird und sich der Abstand zum Bildverarbeitungssystem ändert (z.b. durch den Materialtransport), ändert sich bei gleichbleibender Objektgrösse die Bildgrösse. Welche Änderung der Gegenstandsweite zulässig ist, ohne das die Messung verfälscht wird, beschreibt die sog. Schärfentiefe. Ebenfalls Einfluss auf die Tiefenschärfe hat die Blende des Objektivs. Diese ist meist verstellbar und im Strahlengang vor dem Linsensystem angebracht. Durch konzentrische Verstellung lässt sich die einfallende Lichtmenge reduzieren und so das optische System an die Lichtverhältnisse anpassen. Wie in Abb zu erkennen ist, sind die achsparallelen Lichtstrahlen kaum an der Bildung der entozentrischen Perspektive beteiligt. Durch eine weiter geschlossenes Blende können nur achsparallele Strahlen passieren. So hat eine weiter geschlossene Blende (neben einer geringeren Helligkeit) eine größere Schärfentiefe zur Folge. Abb Prinzip der Blende Kapitel 2.4 Seite 44

45 Um die Änderung der Gegenstandsweite (Abb ) auszugleichen, müsste die Bildweite ebenfalls verändert werden. Da der Bildwandler in der Regel fest montiert ist, lässt sich der Kameraauszug bei Objektiven meist ändern und so auf veränderte Gegenstandsweiten einstellen. Die Einstellung ist durch die Bauart begrenzt. So geht der Einstellbereich meist von (minimaler Abstand Wandler Linsensystem) bis zur sog. Minimalen Objekt Distanz (MOD). Die MOD legt also die kleinste Gegenstandsweite fest, bei der ein Objekt noch scharf abgebildet wird. Reicht diese nicht aus, lässt sich durch Zwischenringe, die zwischen Kamera und Objektiv geschraubt werden, die MOD verkleinern. In der praktischen Anwendung lässt sich der Kameraauszug nicht immer an wechselnde Abstände anpassen. Wird z. B ein Blech kontrolliert, das sich auf Grund des Transportsystems und einer Eigendynamik wellenförmig bewegt (Hub in Richtung Bildverarbeitung), so ist eine Nachführung des Kameraauszugs oftmals nicht möglich. Für solche Anwendungsfälle wurden die sog. Telezentrischen Objektive entwickelt. Dies sind komplexe Linsensysteme, die einen erweiterten Schärfentiefenbereich haben. Dies wird allerdings mit einer geringen Lichtdurchlässigkeit, einer großen Bauform und einem höheren Preis erkauft. Abb Versuchsaufbau mit telezentrischem Objektiv Kapitel 2.4 Seite 45

46 Abbildung gleichgroßer Werkstücke mit entozentrischem (oben) und telezentrischem Objektiv Quelle : tm 4/ 98 Dr. Rainer Schuhmann, Thomas Thöniß Spindler & Hoyer GmbH, Göttingen Kapitel 2.4 Seite 46

47 2.4.4 Spezielle Objektive Perizentrische Objektive Durch spezielle Optiken 360-Grad-Bild in einer Aufnahme Keine Multi-Kamera-Systeme nötig Abb Perizentrisches Objektiv Quelle : Opto Engineering srl Kapitel 2.4 Seite 47

48 Abb Aufnahme mit perizentrischem Objektiv Quelle : Opto Engineering srl Kapitel 2.4 Seite 48

49 Multi-Spiegel-Objektiv Betrachtung des Prüfteils mit telezentrischem Objektiv durch eine Anordnung von Spiegeln Mehrere Seitenansichten des Prüfteils in einer Aufnahme Quelle : Opto Engineering srl Kapitel 2.4 Seite 49

50 Quelle : Opto Engineering srl Kapitel 2.4 Seite 50

51 Objektive zur Lochinspektion Inspektion tiefer Objekte (Hohlräume) Durch großen Blickwinkel detaillierte Aufnahmen von z.b. Innenseiten von Bohrlöchern Hohlrauminspektion Quelle : Opto Engineering srl Kapitel 2.4 Seite 51

52 Quelle : Opto Engineering srl Kapitel 2.4 Seite 52

53 2.4.5 Technische Daten von Objektive (exemplarisch) Bezeichnung : COSMICAR B5014A(KA) Die Ergänzung KA bedeutet, dass die Blende und der Fokus mit jeweils einer Schraube feststellbar sind. Dies ist sehr wichtig in der industriellen Anwendung! Format : 2/3 Da die Objektivfehler in den Randbereichen verstärkt auftreten, sollten die Objektive mindestens das Format des Wandlers haben. Brennweite : 50.0 mm s. S. 29ff Blendenbereich : 1.8 closed Beschreibt die relative Öffnung der Blende, auch Blendenzahl k k = f / d (d : wirksame Öffnung des Objektivs) kleines k -> große Öffnung -> viel Licht Eintauchtiefe : 3.5 mm Gewindelänge des Objektivs s. Abb Mount : C : s. Abb Abb COSMICAR B5014A(KA) Kapitel 2.4 Seite 53

54 Horizontaler Blickwinkel : 10 0 Eigenschaft, die die Unterteilung der Objektive in Weitwinkel, Tele... usw ermöglicht (in der Technischen BV nicht klar abgegrenzt). Kurze Brennweite <-> großer Blickwinkel MOD : 1m Minimale Objekt Distanz s. S Filter Durchmesser : 40.5 mm Angabe des frontseitigen Gewindes für die Filterbefestigung. Bei Verwendung z.b. einer LED -Beleuchtung kann ein optisches Bandpassfilter mit genau bestimmter Durchlasscharakteristik verwendet werden -> Verringerung von Fremdlichteinfluss Durchmesser : 42 mm Länge : 52.5 mm Gewicht : 130 g Preis : 300 EUR Kapitel 2.4 Seite 54

55 Bezeichnung : Sill Optics Telezentrisches Objektiv S5LPJ9046/M42 Dieses Telezentrische Objektiv wurde speziell für die Verwendung mit großformatigen Bildwandlern (z.b. Zeile 30 mm) entwickelt. Diese haben meist keine C / oder CS Mount Anschlüsse, sondern eigene Normen wie z.b. M42. Länge mm Wegen der sehr aufwändigen Linsenkonstruktion haben Telezentrische Objektive meist eine relativ große Länge (Objektive bis 1000 mm). Arbeitsabstand : mm Telezentrische Objektive arbeiten meist mit einem festen Arbeitsabstand. Ein scharf stellen am Objektiv entfällt. Vor und hinter diesem Abstand findet sich der Telezentriebereich. Nach Abgaben des Herstellers bei diesem Objektiv +/- 2 mm. Ein Gegenstand, der sich in diesem Bereich findet, wird immer scharf abgebildet. Numerische Apertur : 0.16 Einige Hersteller geben nicht die Blendenzahl, sondern die numerische Apertur an. Näherungsweise lassen sich die Werte nach folgender Formel umrechnen : k = 1 / 2NA. Telezentrische Objektive haben meist keine verstellbare Blende. Wegen der speziellen Konstruktion und Wirkungsweise (s. vorherige Seiten) sind diese Objektive lichtschwach. Die hier angegebene NA von 0.16 entspricht einer Blendenzahl von 3.1. Kapitel 2.4 Seite 55

56 Abbildungsmaßstab : 0.46 Der Abbildungsmaßstab m = B / G ist der Quotient aus Bildgröße und Gegenstandsgröße. Daraus ergeben sich dann die maximalen Objektfelder: bei ½ Chip -> 13 mm * 10mm, bei 28 mm Zeile -> 60 mm Preis : 2500 EUR Kapitel 2.4 Seite 56 Abb Telezentrisches Objektiv Sill Optics S5LPJ9046/M42

57 2.4.6 Objektivfehler Auch bei der Verwendung hochwertiger Objektive kommt es Fehlern bei der Erzeugung einer Abbildung durch das optische System. Im Folgenden sind einige dieser Fehler beschrieben. Die Bilder wurden der Veröffentlichung Anwendungsbezogene Grundlagen der Optik für die industrielle Bildverarbeitung, Fa. PENTAX Europe GmbH entnommen. Vignettierung Beschreibung : Lichtabfall in den Bildecken durch mechanische und physikalische Effekte. Beseitigung bzw. Optimierung : - Format Objektiv größer Format Bildwandler - Abblenden Copyright TU Berlin Kapitel 2.4 Seite 57

58 Chromatische Aberration (Farblängsfehler und Farbquerfehler) Beschreibung : Lichtbrechung einer ist Linse von der Wellenlänge des Lichts abhängig. Farben des Spektrums haben keinen gemeinsamen Brennpunkt. Es treten Unschärfen im Bild auf. Beseitigung bzw. Optimierung : - Optimierte Objektive - Abblenden - Verwenden von schmalbandigen Lichtquellen (LED s, Laserdioden) Kapitel 2.4 Seite 58

59 Sphärische Abberation Beschreibung : Sphärische Linsen haben im Zentrum und am Rand unterschiedliche Brennweiten Es treten Unschärfen im Bild auf. Beseitigung bzw. Optimierung : - Format Objektiv größer Format Bildwandler - Abblenden Verzeichnung (Distorsion) Beschreibung : Nichtsymmetrischer Aufbau der Optik mit Blende vor oder hinter dem optischen Zentrum der Optik. Beseitigung bzw. Optimierung : - Format Objektiv größer Format Bildwandler - Abblenden - geometrische Entzerrung mittels Bildverarbeitung Kapitel 2.4 Seite 59

60 Weitere Informationen finden Sie hier : Kapitel 2.4 Seite 60

61 2.5 Bildaufnahme Dieses Skript ist eine Ergänzung zu der Vorlesung Technische Bildverarbeitung / Machine Vision. Es ist kein Lehrbuch. Dieses Skript darf ausschließlich als begleitendes Lehrmittel für die Vorlesung genutzt werden. Andere Nutzungen sind mit den Verfassern abzuklären. Vervielfältigung, Übersetzungen, Mikroverfilmung und die Einspeicherung und Bearbeitung in elektronischen Systemen (auch auszugsweise) ist nur nach Rücksprache und mit Erlaubnis der Verfasser zulässig. In diesem Skript werden Produkte einzelner Firmen als Beispiel verwendet. Die Auswahl dieser Produkte stellt keine Bewertung dar, sondern erfolgte ausschließlich nach didaktischen Gesichtspunkten. Die angegebenen Preise sind als Orientierungshinweis zu sehen. Bei Fragen, Kritik, Verbesserungsvorschlägen : Dipl.-Ing. Dirk Mohr Raum C2 05 Tel.: dirk.mohr@hs-bochum.de Bochum, den Kapitel 2.5 Seite 61

62 2.5 Bildaufnahme Funktionsweise und Merkmale der CCD Bildwandler Technologie Ein Charge-coupled Device (CCD, ladungsgekoppeltes Bauteil) ist ein Halbleiterelement, das wie ein analoges Schieberegister arbeitet. Eigentlich zur Datenspeicherung entwickelt (Boyle, Smith Bell Laboratories, 1969) stellte sich heraus, dass diese Bauteile lichtempfindlich sind. Sie wandeln eingestrahltes Licht (proportional) in elektrische Signale. Abb Prinzip CCD 3-Phasen-Charge-coupled Device Durch einfallendes Licht werden in bestimmten Bereichen (den Pixeln) aus der Halbleiterschicht Elektronen gelöst. Die Anzahl dieser Elektronen sind proportional (linear) der einfallenden Lichstärke und der Einwirkdauer des Lichts (Belichtungszeit). Nach Beendigung der Belichtungszeit müssen die Elektronen von einem Rechner ausgelesen und bearbeitet werden. Dazu werden die Elektronen hintereinander, also zeitseriell, als Spannung (Ladung) zur Verfügung gestellt. Die Elektronen werden von den Pixeln zu dem Ausgangsregister durch das sog. Eimerkettenprinzip transportiert. Die Elektronen sammeln sich dabei in Potentialtöpfen. Diese werden durch Anlegen einer Spannung an die Gate-Elektroden weitertransportiert. Quelle : Kapitel 2.5 Seite 62

63 Abb Full Frame Transfer CCD (FF CCD) Die in den Pixel erzeugten Ladungen werden zeilenweise parallel und dann spaltenweise seriell dem Ausgangsverstärker zugeführt. Da der Transport durch lichtempfindliche Bereiche geht werden die Ladungen verfälscht. Es kommt zum sog. Smear Effekt (s. u.). Um dies zu vermeiden, müssen die Pixel während des Ladungsträgertransport z.b. mit einem mech. Shutter abgedeckt werden. Demonstration auf g/ccd/fullframe/index.html Kapitel 2.5 Seite 63

64 Abb Frame Transfer CCD (FT CCD) Bei dieser Architektur wird der komplette Bildbereich sehr schnell parallel in einen Speicherbereich verschoben. Von dort kann das Bild dann ausgelesen werden. Vorteil : Ganze Bildbereich ist lichtempfindlich -> Hoher Füllgrad Nachteil : Großer Chip, meist mech. Shutter erforderlich Demonstration auf g/ccd/frametransfer/index.html Kapitel 2.5 Seite 64

65 Abb Interline Transfer CCD (IT CCD) Bei dieser Architektur gehört zu jedem lichtaktiven Pixel eine abgedeckte Speicher- bzw. Transportzelle. Nach Ablauf der Belichtungszeit (auch Integrationszeit) werden die Ladungen in die Transportzellen transferiert. Während die Transportzellen die Ladungen zum Ausgang befördern kann eine neue Belichtung durchgeführt werden. Vorteil : Meist kein Shutter nötig Nachteil : Schlechter Füllgrad Bei Hochgeschwindigkeitsanwendungen noch Rest-Smear Kapitel 2.5 Seite 65

66 Abb Frame Interline Transfer CCD (FIT CCD) Kombination aus FT und IT. Vorteil : Sehr schneller Ladungsträgertransport; kein Shutter nötig Nachteil : Schlechter Füllgrad Großer Chip Aufwändig in der Herstellung Kapitel 2.5 Seite 66

67 2.5.2 Funktionsweise und Merkmale der CMOS Bildwandler Technologie Die heutigen CMOS Bildwandler basieren auf den sog. APS Wandlern (active pixel sensor). Diese basieren wie die CCD Wandler auf dem inneren fotoelektrischen Effekt. Im Gegensatz zu CCDs werden die in der Belichtungszeit erzeugten Ladungen aber nicht zu einem einzigen Verstärker verschoben, sondern in jedem Pixel ist ein Verstärker vorhanden. Dieser erzeugt aus dem Ladungspaket direkt eine analoge Spannung. Die Analog Digitalwandlung kann ebenso auf dem Pixel durchgeführt werden, wie weitere Bildkorrekturen. Da auf der Chip Fläche neben den lichtempfindlichen Pixeln auch die Verstärker untergebracht werden müssen, ist der Füllgrad nicht sehr hoch. Abb Prinzip CMOS Bildwandler und CMOS - Pixel Schema Über den Reset FET wird eine Vorladung aufgebracht. Der Photostrom durch die Diode reduziert diese Ladung (deshalb auch kein Blooming möglich). Über den Shutter kann diese Entladung abgekoppelt werden. Die Ladung wird dann über den Kondensator bereitgestellt und kann über die FETs als Spannung ausgelesen werden. Kapitel 2.5 Seite 67

68 Durch den Aufbau der CMOS Bildwandler ergeben sich Eigenschaften, die sich teilweise sowohl als Vor- auch Nachteile gegenüber der CCD - Technik aufweisen bzw. bei näherer Betrachtung relativiert werden müssen : Aufbau in CMOS - Halbleitertechnik Durch die Herstellung in Produktionsanlagen, die für die Fertigung von Halbleiternbausteinen (z.b. RAM) in hohen Stückzahlen ausgelegt sind, ergibt sich ein theoretischer Kostenvorteil. Durch die Selektion der Halbleiter wg. der wünschenswerten Rauscharmut entstehen aber wieder Kosten. geringer Energieverbrauch Verwendung der APS - Technologie (Active Pixel Sensor Spannungsausgang für jedes Pixel) + direkter Zugriff auf jedes Pixel + durch Windowing extreme Steigerung der Bildrate (frame rate, frames per second fps) + A/D - Wandlung auf dem Chip möglich + Bildverarbeitung direkt am Pixel (Chip-On-Lens) z.b. Kennlinienanpassung, Empfindlichkeitseinstellung... + kein Blooming, kaum Smear - Verstärker verursachen immer Rauschen; mehr Verstärker bedeuten also mehr Rauschen - Füllrate wird geringer - Herstellungsprozess wird aufwändiger (Bonding) Kapitel 2.5 Seite 68

69 CMOS - Sensoren der Fa. Pixim DPS Verfahren (digital pixel system) A/D-Wandlung auf dem Chip; für jedes Pixel ein A/D-Wandler; Wandlung simultan ein Pixel besteht aus ca. 50 Transistoren (MOS Photogate, Reset- u. Transfer-Gates, A/D-Wandler, DRAM - Speicher für digitale Daten) Jedes Pixel lässt sich (bei Bedarf) unterschiedlich betreiben z.b. unterschiedliche Integrationszeit, Dunkelstromkompensation...) Sehr flexibel auch bei stark unterschiedlich hellen (kontrastreichen) Bereichen im betrachteten Bild Abb Während beide Sensoren die Farbtafel gut wiedergeben, überstrahlt der Hintergrund bei dem Competitor - Sensor Quelle : Photonik Belichtungsregelung individueller Pixel von CMOS - Sesnsoren Stefan Tauschek, Scantec Microelektronic GmbH Mit freundlicher Genehmigung und Unterstützung v. Hr. Tauschek Kapitel 2.5 Seite 69

70 High-Dynamic-Range CMOS (HDRC) der Fa. IMS Chips, Stuttgart Logarithmische Kennlinie Abb Kennlinie verschiedener Bildwandler Quelle : Institut für Mikroelektronik Stuttgart IMS CHIPS Mit freundlicher Genehmigung und Unterstützung v. Hr. Strobel Kapitel 2.5 Seite 70

71 Abb Vergleich CCD HDRC Sensoren in verschiedenen Szenarien Quelle : Institut für Mikroelektronik Stuttgart IMS CHIPS Mit freundlicher Genehmigung und Unterstützung v. Hr. Strobel Feuerspucker Kapitel 2.5 Seite 71

72 Abb CCD - Chip Sony ICX 285 (1.3 MPixel) und CMOS Chip Micron MV-13 (1.0 Mpixel) Quelle : G. Holst PCO AG, Kelheim Kapitel 2.5 Seite 72

73 2.5.3 Gegenüberstellung CCD und CMOS Technologie in der Technischen Bildverarbeitung Der Vergleich zwischen CCD und CMOS bzw. die Frage was ist besser lässt sich so nicht beantworten. Jede Technologie hat ihre Vor- und Nachteile. Durch Weiterentwicklungen und Modifikation sind die Vorteile verstärkt bzw. Nachteile abgeschwächt worden. Dies bestätigt auch die nachfolgende Tabelle. 12 Abb Technische Daten von ausgewählten CCD- und CMOS - Sensoren Quelle : G. Holst PCO AG, Kelheim emccd (electron multiplying ccd), L3CCD, Impactron CCD -> CCD mit Ladungsträgerverstärkung d. Avalanche - Effekt Kapitel 2.5 Seite 73

74 Pixel Clock - Auslesegeschwindigkeit des Sensors Bsp. pix.clock 30 MHz; 1.3 Mpixel -> Auslesen eines pix 33 ns -> Auslesen eines Bildes (frame) 43.0 ms -> 23 Bilder pro sekunde (fps) QE - Quantenwirkungsgrad Phys. Größe; hier annähernd genau Füllgrad readout noise - Ausleserauschen Verursacht durch nicht-uniformität der Lichtwandler, defekte Pixel, Rauschen der Verstärker dark current - Dunkelstrom Ladungsträgererzeugung durch Wärmeeinwirkung Fullwell Kapazität - Sättigung Max. Elektronenzahl die ein Pixel aufnehmen kann. Überschreiten verursacht bei CCD Überlauf, also Blooming und bei CMOS Nichtberücksichtigung (Clipping) von Photonen (s. Abb ) Dynamik Quotient aus Fullwell Kapazität und Ausleserauschen quant. drive volt. - Anzahl der Treiberspannungen Kapitel 2.5 Seite 74

75 Eine Gegenüberstellung von CCD bzw. CMOS lässt sich besser als Vergleich der Eignung für verschiedene Anwendungen durchführen Photoapperate, Spielzeug, Handys beide Sensoren werden eingesetzt professionelle digitale Photoapperate Nikon verwendet CCD und Canon CMOS industrielle Bildverarbeitung beide wissenschaftliche Anwendungen beide Hochgeschwindigkeits-Aufnahmen CMOS ultra low light CCD Sicherheit, Nachtsicht CCD CCD und CMOS Sensoren teilen viele Eigenschaften und sind deshalb auch für ähnliche Anwendungen geeignet CMOS Sensoren sind bisher nicht für extreme Niedriglicht - Anwendungen geeignet (Rauschen, Dunkelstrom) CCD Sensoren sind nicht geeignet für extreme Hochgeschwindigkeitsanwendungen und Anwendungen, bei denen Signalverarbeitung auf dem Chip erforderlich ist. Diese Gegenüberstellung wurde einer Veröffentlichung von G. Holst PCO AG, Kelheim im Forum der Fa. FRAMOS Electronic Vertriebs GmbH, Pullach entnommen. Kapitel 2.5 Seite 75

76 2.5.4 Geometrische Anordnung von Bildwandlern Um eine Abbildung zu erhalten werden die Pixel zu Zeilen- bzw. Matrix Sensoren angeordnet. Zeilensensoren Meist einzeilig. Dies ermöglicht sehr schnelles Auslesen der Pixel. Durch fortwährendes Abtasten (scannen) kann ein zweidimensionales Bild gewonnen werden. Typische Anwendung ist die optische Kontrolle von schnell bewegtem Endlosmaterial Abb Anwendungen von Zeilenkamerasystemen Quelle : Fa. NANOsystems, Bochum Kapitel 2.5 Seite 76

77 Zeilenkamera Pixelanzahl von (Standard) bei einer Zeilenlänge von ca mm und Zeilenfrequenzen von KHz Bei z.b. 2588pe (8Bit/pe)und 5000 fps sind das ca. 12 MByte / s die zu verarbeiten sind. Matrixkamera : Anordnung der Pixel in Zeilen uns Spalten Typische Anordnungen sind dabei : Anordnung Anzahl Pixel Bezeichnung 176 * QCIF 320 * QVGA 352 * CIF 640 * VGA Video Graphics Array 800 * SVGA 1024 * XGA 1280 * mega SXGA 1600 * mega UXGA 2048 * mega QXGA 128 * * * * mega 2048 * mega 4096 * mega Kapitel 2.5 Seite 77

78 Formate der Matrixsensoren Breite Höhe Diagonale (inches / Zoll) (mm) (mm) (mm) 1 12,8 9,6 16 2/3 8,8 6,6 11 1/2 6,4 4,8 8 1/3 4,8 3,6 6 1/4 3,6 2,7 4,5 Kapitel 2.5 Seite 78

79 2.5.5 Abbildung und räumliche Auflösung Abb Entstehung einer Abbildung mit räumlicher (ortsdiskreter) Auflösung Quelle : FH Münster, Prof. Dr.-Ing. Fehn Kapitel 2.5 Seite 79

80 Der Begriff der Auflösung wird in der Technischen Bildverarbeitung in verschiedenen Zusammenhängen gebraucht : Grauwertauflösung beschreibt die kleinste Helligkeitsänderung, die eine Änderung in den auszuwertenden Daten hervorruft. Über die Wandlerkette Photon -> Elektron -> analoge Spannung -> digitales Signal wird aus den Helligkeitsänderungen ein digitales Signal, das von einem Rechner verarbeitet werden kann. Die Dynamik der Wandlerkette wird durch verschiedene Faktoren wie z.b.rauschen und Empfindlichkeit der Bildwandler, Bittiefe der A/D-Wandlung usw. beeinflusst. Scanfrequenz beschreibt das Messraster, das bei einer optischen Kontrolle über ein bewegtes Objekt gelegt wird. In Abhängigkeit von der Geschwindigkeit des Bildverarbeitungssystems (FPS, Rechnerperformance), dem betrachteten Bildausschnitt und der Geschwindigkeit des bewegten Objekts kann es zu einer lückenhaften Abtastung kommen. Die Lücken bestimmen die kleinste Merkmalsgröße, die in Transportrichtung erfasst werden kann (Auflösung in Transportrichtung). Beispiel : 10 Bilder / s (fps), Bildausschnitt 80 mm, Geschwindigkeit des Objekts 1m / s 10 fps -> 100 ms / Bild -> in 100 ms verfährt das Objekt 100mm -> 20 mm werden nicht kontrolliert -> Merkmale < 20mm werden mit großer Wahrscheinlichkeit nicht detektiert Räumliche oder Ortsauflösung beschreibt das Raster, das die Abtastung mit ortsdiskreten Bildwandlern (Pixel) ergibt. Gegenstandsmerkmale die kleiner sind als die Fläche, die ein Pixel repräsentiert (nicht die Pixelgröße), sind nicht mehr eindeutig darstellbar. Bei der Auslegung von optischen Systemen werden deshalb Forderungen wie z.b. : - Anz. Pixel = Gegenstandsgröße / geforderte Auflösung oder - Anz. Pixel = (Gegenstandsgröße / geforderte Auflösung) * 2 (bei Abtastung von periodischen Informationen in Anlehnung an das Abtasttheorem von Shannon und der Nyquistfrequenz) gestellt. Die besonderen Probleme mit der Ortsauflösung sollen die beiden folgenden Seiten verdeutlichen. Kapitel 2.5 Seite 80

81 Kapitel 2.5 Seite 81

82 Kapitel 2.5 Seite 82

83 Abb Subpixelalgorithmus, der von einem linearem Grauwertverlauf zwischen zwei Pixeln ausgeht. Durch Vorgabe eines Schwellwerts lässt sich ein Punkt berechnen, an dem der zugehörige Grauwert dem Schwellwert entspricht. Dieser berechnete Punkt wird dann z.b. als wahrer Kantenpunkt übernommen. Quelle : Firmenschrift Fa. Siemens AG, SIMATIC Sensors Autor : Herr Kirsten Drews Um, insbesondere bei der Optischen Messtechnik, die Ortsauflösung zu verbessern, werden sog. Subpixelalgorithmen angewendet. Dabei wird versucht, die nicht vorhandenen Information über die Bereiche zwischen den Pixeln zu berechnen. Über die Annahme des Grauwertverlaufes wird ein zu einem Grauwert gehörender Ort berechnet. Dieser Ort kann zwischen den Pixeln liegen. Es gibt verschiedene Berechnungsmethoden. In der Theorie lassen sich fast beliebige Auflösungen berechnen. In der Praxis werden sehr selten stabile Auflösungen < 1/10 Pixel erzielt. Oftmals sind die mit Subpixelalgorithmen erzielten Auflösungen bzw. Messergebnisse sehr empfindlich gegenüber äußeren Störeinflüssen wie z.b. das Rauschen der Bildwandler und Schwankungen der Beleuchtungsstärke Kapitel 2.5 Seite 83

84 2.5.6 Farbkamerasysteme CCD bzw. CMOS Lichtwandler erzeugen eine Ladungsmenge, die der einfallenden Photonenmenge proportional ist. Obwohl die Menge der erzeugten Elektronen abhängig ist von der Wellenlänge des einstrahlenden Lichts, ist keine Unterscheidung von Farben möglich. Den erzeugten Elektronen lässt sich nicht ansehen, welche Wellenlänge die generierenden Photonen hatten (s. S.-138). Zur Farberkennung muss eine Möglichkeit gefunden werden, die Photonen / Lichtwellen spektralabhängig zu selektieren. Abb Spektrale Empfindlichkeit Sony CCD Chip ICX 205AL, Sony Corporation Datenblatt Kapitel 2.5 Seite 84

85 Drei- CCD/CMOS -Chip Farbkamerasysteme Bei den 3 CCD/CMOS Farbkamerasystemen wird das einfallende Licht durch ein Prisma in Rot-,Grün- und Blauanteile zerlegt. Diese Anteile beleuchten jeweils ein einzelnes CCD / CMOS Array. In der Kamera- bzw. Rechnerelektronik können daraus Farbinformationen im RGB Farbraum für jedes Pixel berechnet werden. Dieses Verfahren liefert sehr gute Bilder, ist aber durch das aufwändige Herstellungsverfahren und die Vielzahl an Komponenten (Prisma, 3 Array) sehr teuer. Zusatzinfo Kapitel 2.5 Seite 85

86 Ein- CCD/CMOS -Chip Farbkamerasysteme Bei den 1 CCD/CMOS Farbkamerasystemen wird über die Pixel ein Mosaik- oder Bayer Filter gelegt. Ein Pixel liefert nur einen Grauwert (R oder G oder B). Zur Visualisierung werden die jeweils fehlenden Farbwerte durch unterschiedliche Verfahren aus den Nachbarpixeln berechnet. Die Berechnung geschieht meist innerhalb der Kamera und ist über Parameter (Sharpness, Hue, Saturation) beeinflussbar. Die so erzeugten Bilder zeigen eine erstaunlich gute Qualität. Bei Vergrößerungen oder kontrastreichen Bildern zeigen sich aber doch erhebliche Qualitätsmängel. Für messtechnische Applikation ist die Werteergänzung durch Berechnung (Schätzung) nicht akzeptabel. Deshalb werden im Bereich der Technischen Bildverarbeitung die Daten oftmals als raw - data übertragen. Die auswertende Recheneinheit kann die Daten dann applikationsspezifisch verarbeiten. Kapitel 2.5 Seite 86

87 Foveon X3 Image Sensor Foveon ist ein Unternehmen in den USA das 1997 von Carver Mead (US-amerikanischer Informatiker und Pionier der modernen Mikroelektronik, Bachelor-of-Science, Master-of-Science, Doktor, Prof. am California Institute of Technology) gegründet wurde. Die Fa. Foveon entwickelte den CMOS Bildsensor Foveon X3, bei dem drei übereinander liegende Sensorelemente auf jedem Pixel alle drei Grundfarben aufzuzeichnen. Damit ist keine Interpolation fehlender Farbwerte nötig. Die Bilder haben nur eine geringe Neigung zu Farbrändern und Moireebildung. Leider ist die Farbsättigung nicht sehr hoch. Durch die dadurch notwendige hohe Verstärkung nimmt das Bildrauschen zu. Der Foveon X3 Sensor ist in Ausführungen von 4.5,10.2 und 14.1 MPixel (20,7*13,8 mm!) erhältlich. Abb Aufbau des Foveon X3 Bildsensors Quelle : Foveon, Inc., San Jose, USA Kapitel 2.5 Seite 87

88 Bildvergleich zwischen Bayer Mosaik Farbkamera und Kamera mit Foveon X3 Chip Bayer - Mosaik Foveon X3 Kapitel 2.5 Seite 88

89 Weitere Informationen finden Sie hier : CCD und CMOS - Sensoren Subpixel - Algorithmen Farbkameras Kapitel 2.4 Seite 89

90 2.6 Bildübertragung Dieses Skript ist eine Ergänzung zu der Vorlesung Technische Bildverarbeitung / Machine Vision. Es ist kein Lehrbuch. Dieses Skript darf ausschließlich als begleitendes Lehrmittel für die Vorlesung genutzt werden. Andere Nutzungen sind mit den Verfassern abzuklären. Vervielfältigung, Übersetzungen, Mikroverfilmung und die Einspeicherung und Bearbeitung in elektronischen Systemen (auch auszugsweise) ist nur nach Rücksprache und mit Erlaubnis der Verfasser zulässig. In diesem Skript werden Produkte einzelner Firmen als Beispiel verwendet. Die Auswahl dieser Produkte stellt keine Bewertung dar, sondern erfolgte ausschließlich nach didaktischen Gesichtspunkten. Die angegebenen Preise sind als Orientierungshinweis zu sehen. Bei Fragen, Kritik, Verbesserungsvorschlägen : Dipl.-Ing. Dirk Mohr Raum C2 05 Tel.: dirk.mohr@hs-bochum.de Bochum, den Kapitel 2.6 Seite 90

91 2.6 Bildübertragung Zur Übertragung der Bilddaten von einem bildgebenden System (hier i.d.r. eine Kamera) zu einer Verarbeitungseinheit (Rechner) werden unterschiedliche Schnittstellen bzw. Verfahren genutzt. Im Folgenden werden die Eigenschaften dieser Schnittstellen beschrieben und ein Vergleich in acht Kategorien durchgeführt. Durchsatz: Geschwindigkeit mit der Daten über die Schnittstelle übertragen werden können Effektive Kosten: Gesamtpreis für die Komponenten (Kamera, Kabel, Bilderfassungskarte...) Kabellänge: Standardisierte Schnittstelle: Maximal mögliche Entfernung zwischen der Kamera und dem Rechner ohne Leistungsverstärker Maßstab für die einfache Benutzung und zukünftige mögliche Erweiterbarkeit Stromversorgung über das Kabel: Möglichkeit über ein einziges Kabel (mehradrig!) die Kamera mit Spannung zu versorgen und die Bilddaten zu übertragen Kameraverfügbarkeit: Prozessorauslastung: I/O-Synchronisation: Maßstab für die Anzahl der am Markt verfügbaren Kameras, die Dauer der bisherigen Verfügbarkeit der Schnittstelle und die allgemeine Verbreitung des Standards in der industriellen Bildverarbeitung Belastung des Systemprozessors bei der Bilderfassung Einfachheit mit der eine mögliche Triggerung und die gesamte Kommunikation realisiert werden kann Die Systematik der Kategorien und Inhalte der Beschreibung wurden aus dem Tutorium Auswahl der geeigneten Kameraschnittstelle für Ihr Bildverarbeitungssystem, 2007, National Instruments entnommen Kapitel 2.6 Seite 91

92 2.6.1 Analoge Bildübertragung Bei der analogen Bilddatenübertragung werden die Bilddaten als Spannungssignal über Koaxialkabel übertragen. Die digitalen Pixeldaten (Grauwerte) werden nach der Datenübertragung durch Abtastung aus dem Analogsignal gewonnen. Die analoge Datenübertragung nutzt dieselben Videoformate, die von Fernsehstationen zur weltweiten Übertragung von Videosignalen eingesetzt werden. Standard Typ Bildgröße (Pixel) Bildgeschwindigkeit Zeilenrate (Bilder / s) (Zeilen / s) NTSC Farbe 640 * ,97 15,734 PAL Farbe 768*576 25,00 15,625 RS170 S / W 640*480 30,00 15,750 auch EIA, 60 Halbbilder / s 525 Zeilen CCIR S / W 768*576 25,00 15, Halbbilder / s, 625 Zeilen Abb Analoges Videosignal, Codierung und Dekodierung Abb CCIR - Signal Kapitel 2.6 Seite 92

93 Durchsatz: Analogkameras eignen sich für Anwendungen mit niedriger bis mittlerer Bandbreite. Der Datendurchsatz beträgt bei der Übertragung von 1 Byte / pe, 768 * 576 pe und 25 fps ca. 11 MByte / s. Kosteneffizienz: Da es analoge Kameras schon seit ca. 50 Jahren gibt und sie zahlreich im Einsatz sind, sind sie mit gutem bis sehr gutem Preis- Leistungsverhältnis verfügbar. Analoge Kameras, die kein Standardformat für die Bildübertragung verwenden (z.b. Progressive Scan) zeigen i.d.r. ein deutlich höheres Preisniveau. Für die Digitalisierung der analogen Bildsignale wird eine sog. Bilderfassungskarte (Framegrabber) benötigt. Diese sind in sehr unterschiedlichen Ausstattungen, Leistungsmerkmalen und Preisklassen verfügbar. Kabellänge: Abhängig von den Anforderungen an die Bildqualität und die Funktionalität der Datenübertragung ist die Verkabelung analoger Bildverarbeitungssysteme einfach bis komplex. Für die einfache Bildübertragung reicht oftmals eine Koaxialkabel aus. Werden aber noch weitere Daten ausgetauscht (Trigger, Pixelclock...) oder sind größere Störeinflüsse zu erwarten wie z.b. EMV Störungen sind oftmals spezielle und damit teure Kabel- und Steckverbindungen zu verwenden. Standardisierte Schnittstelle: Bei Verwendung der Standardformate für die Bilddatenübertragung gegeben. Bei Verwendung nicht standardkonformer Systeme oder erweiterter Funktionalität (z.b. Konfiguration) nicht gegeben und oftmals kaum realisierbar. Stromversorgung über das Kabel: Die Stromversorgung ist nicht über das Bilddatenkabel möglich. Deshalb werden weitere Kabel oder spezielle mehradrige Kabel und Steckverbinder (z.b. HIROSE) verwendet. Kameraverfügbarkeit: Obwohl die Verwendung analoger Bilddatentechnik in der industriellen Bildverarbeitung rückläufig ist, sind analoge Kameras in ausreichender Varianten- und Stückzahl verfügbar. Prozessorauslastung: Die Bilddaten werden von der Bilderfassungskarte meist per DMA Transfer in den Rechnerspeicher übertragen. Der Prozessor wird dabei kaum belastet. I/O Synchronisation: Einige analoge Kameras für die industrielle Bildverarbeitung verfügen über Funktionen wie asynchroner Reset und zusätzliche digitale Ein- und Ausgänge. Darüber hinaus stellt der benötigte Framegrabber noch weitere I/O-Kanäle zu Verfügung, die zur Kommunikation mit anderen Komponenten verwendet werden können. Leider gibt es für analoge Kameras keinen Standard, um Kameraattribute wie Belichtungszeit, Verstärkung oder Verschlusszeit per Software zu parametrieren. Diese Funktionen müssen teilweise noch mit DIP-Schaltern eingestellt werden. Kapitel 2.6 Seite 93

94 Beispiel für eine analoge Kamera, die JAI A1 22 MByte / s Kapitel 2.6 Seite 94 Abb Analoge Kamera JAI A1

95 Beispiel für einen analogen Framegrabber, der TIS DFG-SV1 Betriebstemperatur : C Softwareunterstützung : Gerätetreiber WDM Stream Class,.Net, Active X, C++ Class Library Preis : ca. 200 EUR Abb Framegrabber TheImagingSource DFG-SV1 Kapitel 2.6 Seite 95

96 Beispiel für einen analogen Framegrabber Matrox Imaging Odyssey XA Intelligenter Framegrabber mit G4 PowerPC (frei programmierbar)und Matrox Oasis Pixel Accelerator (in HW vorprogrammierte Routinen werden sehr schnell (peak 80/100 billionen operations per second (BOPS)) ausgeführt. Abb Framegrabber Matrox Imaging Odyssey XA Blockschaltbild Quelle : Matrox Electronic Systems GmbH, D Unterhaching und RAUSCHER GmbH - Systemberatung für Computer und angewandte Grafik, D Olching Kapitel 2.6 Seite 96

97 Preis: ab ca EUR Kapitel 2.6 Seite 97 Abb Framegrabber Matrox Imaging Video Input / Spezifikation

98 2.6.2 Digitale Bildübertragung Bei der Bilderzeugung in CCD- oder CMOS- Bildwandlern liegen die Ladungen der einzelnen Pixel separat vor. Die Ladungsmenge ist also einem Pixel bzw. dem entsprechenden ortsdiskreten Ausschnitt des betrachteten Gegenstands direkt zugeordnet. Zur analogen Datenübertragung werden diese Ladungsmengen einem kontinuierlichem Datenstrom aufmoduliert. Die pixelgenaue Rückgewinnung der ortsdiskreten Information ist mit erheblichem Aufwand (Pixelclock) verbunden. Zur Vermeidung dieses Aufwands, Erhöhung der Datentransferrate und der Datensicherheit und Erweiterung der Funktionalität wurden und werden digitale Schnittstellenstandards für die Bilddatenübertragung entwickelt. Die Standards CameraLink, USB, IEEE 1394 (FireWire) und GigE werden im Folgenden beschrieben CameraLink CameraLink ist ein Standard der Automated Imaging Association (AIA). Die AIA ist ein Zusammenschluss von namhaften Unternehmen der Bildverarbeitungsbranche. CameraLink ist eine Entwicklung für die industrielle Bildverarbeitung. Steckverbinder und Kabel sind entsprechend ausgelegt. CameraLink ist eine serielle, digitale Hochgeschwindigkeits Punkt zu Punkt Verbindung. Maximal zwei Kameras lassen sich über einen speziellen digitalen CameraLink-Framegrabber mit einem Rechner verbinden. Dabei werden drei Betriebsarten unterschieden : Base Konfiguration: Medium Konfiguration: Full Konfiguration: bis zu 255 MByte/s bis zu 510 MByte/s bis zu 680 MByte/s Kapitel 2.6 Seite 98

99 Durchsatz: Typische CameraLink Kameras liefern in der Base-Konfiguration 100 MByte/s. Damit lassen sich Bilder mit 1 Megapixel bei 50 FPS erfassen. In der Full-Konfiguration lassen sich 500 Bilder mit einer Auflösung von 1280 * 1024 pro Sekunde an das System übertragen. CameraLink eignet sich also für Anwendungen mit hohem bis sehr hohem Anspruch an die Bildübertragungsrate. Deshalb ist CameraLink mittlerweise ein quasi Standard bei Zeilenkamerasystemen. Kosteneffizienz: Um die hohen Datenraten zu erzielen ist ein hoher Aufwand auf Seiten der Kamera und der Framegrabber nötig. Die Systeme sind meist teuerer als analoge BV Systeme. Die Verwendung eines spez. Framegrabbers verursacht zusätzliche Kosten im Vergleich zu den anderen digitalen Verfahren. Jedoch darf bei der Kostenbetrachtung nicht der hohe Datendurchsatz und die grundsätzliche Industrietauglichkeit übersehen werden. Kabellänge: Die bei CameraLink verwendeten Kabel sind bezüglich Aufbau und Belegung standardisiert. Auf der Kamera- bzw. Framegrabberseite werden jeweils 28 parallele TTL Signale in vier differentielle Signalpaare (LVDS) konvertiert. Die Kabellänge ist auf max. 10 m definiert. Für die Base-Konfiguration wird ein Kabel, für die Medium- bzw. Full Konfiguration werden zwei Kabel benötigt. Standardisierte Schnittstelle: Die CameraLink-Spezifikation definiert einen Standard für Kabel, Anschluss, Signalformat und serielle Kommunikationsschnittstelle zur Konfiguration und Parametrierung von Kameras. Die Kommunikation ist, im Gegensatz zu IEEE1394 und GigE nicht festgelegt. Das bedeutet, dass jede CameraLink-Kamera eine spezielle Konfigurationsdatei erfordert. In der Praxis bedeutet dies, dass zu jeder Kamera eine Liste existiert in der kompatible Grabber aufgeführt sind. Herstellerübergreifende Kamera-Grabber Kombinationen sind evtl. nur mit erheblichem Aufwand zu realisieren. Stromversorgung über das Kabel: Bei Base-Konfigurationen kann die Spannungsversorgung über das Standard CameraLink-Kabel erfolgen (Power-over-CameraLink PoCL). Für die anderen Konfigurationen ist ein separates Kabel erforderlich. Kameraverfügbarkeit: Grabber und Kameras (bes. Zeilenkameras) sind von fast jedem großen Anbieter verfügbar. Prozessorauslastung: CameraLink-Grabber transferieren die Bilddaten per DMA in den Speicher des Rechners. Somit wird kaum Prozessorleistung benötigt. I/O Synchronisation: Die speziellen Befehle zur Einstellung von Belichtung, Verstärkung und Offset sind in der Spezifikation nicht festgelegt. Die Treibersoftware für den Framegrabber muss die kameraspezifischen Befehle kennen. Dies kann durch Konfigurationsdateien realisiert werden. Die CameraLink Spezifikation ermöglicht sehr kurze Triggerzeiten und hochgenaue Synchronisationen. Eine Plug-and-Play- Kompatibilität ist nicht gegeben. Trend : Weiterentwicklung zu CameraLink HS. Bis zu 6 GB/s. Max. Kabellänge 20m (auch Glasfaser, länger mit aktiven Kabeln). Nur wenige Komponenten verfügbar Kapitel 2.6 Seite 99

100 Beispiel für eine CameraLink Kamera, die DALSA FALCON 1.4 M 100 HG Preis: 2600,- EUR (Stand 2015) Abb CameraLink Kamera DALSA Quelle Bilder: Stemmer Imaging GmbH, Puchheim Kapitel 2.6 Seite 100

101 Kapitel 2.6 Seite 101

102 Beispiel für einen CameraLink Framegrabber, der DALSA X64-CL Express 1x Preis: ca. 1200,- EUR (Stand 2015) Abb CameraLink Framegrabber DALSA X64-CL Express 1X Quelle Bilder: Stemmer Imaging GmbH, Puchheim Kapitel 2.6 Seite 102

103 USB Für den Verbrauchermarkt entwickelt, hat dieser Bus auch im Industriemarkt seinen Platz gefunden. Durch die große Verbreitung von USB Schnittstellen ist eine Anschlussmöglichkeit an verschiedene Rechnersysteme ohne spez. Framegrabber gegeben. Obwohl USB Komponenten für unterschiedliche Aufgabenstellungen z.b. HUB s in zahlreichen Ausführungen vorhanden sind, sollte bedacht werden, dass im industriellen Umfeld Anforderungen gestellt werden, die durch Komponenten aus dem Office- und Konsumerbereich nicht erfüllt werden können. Abb USB Komponenten zum Einsatz im industriellen Umfeld HUB im Metallgehäuse, schleppkettentaugliches Kabel mit kameraseitiger Fixierung Kapitel 2.6 Seite 103

104 Durchsatz: Ab der Version 2.0 bietet USB eine (effektive) Bandbreite von ca. 40 MByte/s (USB 2.0) bzw. 400 MByte/s (USB 3.0). Kosteneffizienz: Die Kosten für einen speziellen Framegrabber entfallen. Auf der Kameraseite kann bei der Schnittstelle teilweise auf vorhandene Komponenten (Webcam) zurückgegriffen werden. Dies macht USB zu einer preiswerten Schnittstelle für die digitale Bilddatenübertragung. Die Realisierung von industrietauglichen Lösungen kann durch die nötige Verwendung spezieller Komponenten oder spezieller Maßnahmen die Kosten deutlich erhöhen. Kabellänge: Es sind (eingeschränkt) industrietaugliche Kabel bis zu einer Länge von 10m verfügbar (max. Kabellänge nicht spezifiziert voraussichtlich erreichbare Längen USB 2.0 5m und USB 3.0 3m). Größere Kabellängen sind durch Repeater und Hub s realisierbar. Hierbei muss aber die Industrietauglichkeit beachtet werden. Standardisierte Schnittstelle: Für die industrielle Bildverarbeitung fehlt z.zt. jegliche Spezifikation. Jeder Anbieter muss sein eigenes Hard- und Softwaredesign implementieren. Das ist aufwändig und erschwert dem Anwender die Komponentenauswahl. Abhilfe durch USB3 Vision (Protokollstandard der das Layout des Datentransfers definiert, Datenübertragung zwischen Geräten verschiedener Hersteller definiert, Dateninterpretation nicht) Stromversorgung über das Kabel: USB liefert Strom über das Kabel. In Abhängigkeit von der Systemkonfiguration sind evtl. externe Spannungsquellen nötig. Kameraverfügbarkeit: Webcams sind in großer Anzahl verfügbar. Diese Kameras eignen sich aber i.d.r. nicht für industrielle Anwendungen. Mittlerweile sind aber auch geeignete Kameras von einigen Anbietern verfügbar. Prozessorauslastung: Bei der USB Bilddatenerfassung wird oftmals auf Softwarekomponenten des Betriebssystems (z.b. DirectShow) zurückgegriffen. Diese Komponenten sind bewährt belasten aber den Prozessor. I/O Synchronisation: Da Komponenten des Betriebssystems keine Schnittstelle für Triggerung und Synchronisierung enthalten, muss diese Funktionalität durch Treiber- und Hardwareerweiterungen des Kameraanbieters realisiert werden Trend: Standardisierung der Dateninterpretation (evtl. nicht mehr realisiert wegen GigE) Kapitel 2.6 Seite 104

105 Beispiel für eine USB Kamera, die IDS µeye UI-1480-C Abb USB Kamera IDS ueye UI-1480-C IDS Imaging Development Systems GmbH Dimbacher Straße Obersulm Abb USB Kamera IDS ueye UI- 1220RE Kamera mit erweiterter Industrietauglichkeit und IP 65 bzw. 67 IDS Imaging Development Systems GmbH Dimbacher Straße Obersulm Kapitel 2.6 Seite 105

106 Preis: ca. 900,- EUR (Okt. 2007) Abb Spezifikation der USB Kamera IDS ueye UI-1480-C IDS Imaging Development Systems GmbH Kapitel 2.6 Seite 106

107 Firewire, IEEE-1394 Firewire wurde 1995 als IEEE Spezifikation verabschiedet. IEEE-1394 wird von der Fa. Apple als Firewire und von der Fa. Sony als ilink bezeichnet. Firewire wurde direkt für Bildverarbeitungsgeräte (im Konsumerbereich) entwickelt. Die Geschwindigkeit von IEEE 1394a lag bei 50 MByte / s. In der vorliegenden Spezifikation IEEE-1394b beträgt die max. Geschwindigkeit 100 MByte / s. Mit DCAM / IIDC existiert ein Protokoll das den Datenaustausch mit IEEE 1394-Kameras beschreibt. DCAM // IIDC beschreibt außerdem die Parametrierung der Kameras. Abb DCAM Standard Quelle: The Imaging Source Europe GmbH, Bremen 1 IEEE (gesprochen i-triple-e) ist ein Kürzel für "Institute of Electrical and Electronics Engineers", eine Organisation, die in den USA im Jahre 1884 von einer handvoll Technikern gegründet wurde. Mittlerweile hat das Institut mehr als Mitglieder mit Aktivitäten in 147 Ländern. Das IEEE ist insbesondere im Bereich der Standardisierung aktiv. Kapitel 2.6 Seite 107

108 Durchsatz: In der Version 1394a 50 (32) MByte/s, in der Version 1394b 100 (64) MByte/s. DCAM gibt verschiedene Videomodi vor. Einige dieser Modi mit der zugehörigen Busauslastung sind in folgender Tabelle dargestellt. Abb Videomodi lt. DCAM und sich ergebende Busbelastung Quelle: The Imaging Source Europe GmbH, Bremen Kapitel 2.6 Seite 108

109 Kosteneffizienz: Firewire Kameras gibt es in verschiedenen Preisklassen. Da (meist) kein spezieller Framegrabber benötig wird und die Kabel relativ preiswert sind, ist Firewire ein kosteneffizientes Bussystem für die Technische Bildverarbeitung. Im Einzelfall muss die Industrietauglichkeit der eingesetzten Komponenten geprüft werden. Kabellänge: IEEE 1394a: Max. 4,5 m, größere Entfernungen durch z.b. LWL Umsetzer, IEEE 1394b: Über 100m mit Glasfaserkabel oder Kabel der Kategorie 5 (CAT 5). Standardisierte Schnittstelle: Durch DCAM / IIDC gibt es ein herstellerunabhängiges Protokoll für den Bilddatenstrom und die Parametrisierung der Kameras. Das erleichtert die Auswahl der Komponenten, die Wartung und den Betrieb von IEEE 1394 Bussystemen. Stromversorgung über das Kabel: IEEE 1394 versorgt die Kameras über das Kabel mit Strom. Bei einer größeren Anzahl von Kameras (Daisy-Chain) oder Verbraucher mit einem höheren Stromverbrauch (> 1.5 A bei V) sind zusätzliche Netzteile nötig. Kameraverfügbarkeit: Da IEEE-1394 seit Jahren als ein Standard in der Technischen Bildverarbeitung etabliert ist, gibt es entspr. Kameras in großer Variantenvielfalt von diversen Herstellen. Prozessorauslastung: Da bei IEEE-1394 keine Framegrabber verwendet werden, erfolgt der Bilddatentransfer über die CPU in den Rechnerspeicher. Die CPU Belastung ist entsprechend hoch. I/O Synchronisation: IEEE-1394 Kameras verfügen i.d.r. über Trigger und Synchronisationsschnittstellen. Die Triggermodi sind durch DCAM vorgegeben. Für die Prozessankopplung sind kaum Schnittstellenkarten (z.b. 24V-Signale) verfügbar. Hier muss gegebenenfalls auf andere Komponenten zurückgegriffen werden. FireWire (Firewire S3200): Überarbeitung von 1394a/b mit Fehlerbeseitigung, Erweiterung der Spezifikation für eine Übertragungsbandbreite von 3,2 Gbit/s Kapitel 2.6 Seite 109

110 Beispiel für eine IEEE1394 Kamera, die Allied Vision Marlin Preise: F-033 B (sw) ca. 990,-EUR F-033 C (color) ca. 990,-EUR F-080 C (color) ca. 1300,-EUR Kapitel 2.6 Seite 110 Abb IEEE 1394 Kamera Allied Vision Marlin, Quelle Bilder: Stemmer Imaging GmbH, Puchheim

111 Gigabit Ethernet Vision GigE GigE Vision ist ein Schnittstellenstandard (AIA)für die Technische Bildverarbeitung. Dieser Standard basiert auf dem Gigabit Ethernet Protokoll. Mit GenICam existiert eine standardisierte, herstellerübergreifende Softwareschnittstelle. Die dabei verwendete Betriebssprache ist XML. Aufbauend auf dem Kommunikationsprotokoll UDP / IP kommuniziert die Kamera mit dem Host bzw. über Ports mit Applikationen. Abb GigE Vision im OSI - Modell Quelle: Basler Vision Technology Kapitel 2.6 Seite 111

112 Durchsatz: Die theoretische maximale Übertragungsrate beträgt bei Gigabit Ethernet 125 MByte/s. Bedingt durch Software-Overhead und Hardwarebeschränkungen beträgt die max. Übertragungsrate in der Praxis ca. 100 MByte/s. Kosteneffizienz: Ein Framegrabber wird nicht benötigt. Unter Beachtung der Industrietauglichkeit können Standard Komponenten genutzt werden. Bei höheren Ansprüchen müssen spezielle, hochpreisige aber verfügbare Komponenten verwendet werden. Kabellänge: Über 100m evtl. mit Glasfaserkabel, Repeater... Standardisierte Schnittstelle: Durch die Automated Imaging Association (AIA) ist mit GigE ein umfassender Standard definiert worden. Dieser Standard überwindet einige Defizite von Gigabit Ethernet, indem er Plug-and-play-Verhalten, Geräteerkennung, Fehlerbehebung und sichere Bilddatenübertragung bereitstellt. Zusammen mit GenICam bietet GigE Vision einen Standardisierungsgrad, der mit den IEEE-1394 Standards vergleichbar ist. Stromversorgung über das Kabel: Die Stromversorgung ist bei GigE Kameras über das Ethernetkabel möglich (PoE Power over Ethernet). Zur Zeit wird oftmals für jede Kamera ist ein separates Kabel für die Stromversorgung verwendet. Kameraverfügbarkeit: Obwohl der GigE Vision Standard erst im April 2006 verabschiedet worden ist, gibt es eine größere Anzahl von verfügbaren Kameras. Die Anzahl nimmt ständig zu und wird vermutlich mittelfristig mit z.b. IEEE-1394 vergleichbar sein. Prozessorauslastung: Die Prozessorbelastung kann beim Datenaustausch über Gigabit-Ethernet sehr prozessorlastig sein. Durch optimierte Treiber für bestimmte Netzwerkkarten lassen sich Aufgaben wie z.b. das Paketfiltern besser verteilen bzw. auf speziellen Netzwerkkarten durchführen. Diese Netzwerkkarten stellen dann eine speziellen Synthese von Netzwerkkarte und Framegrabber dar. Der Einsatz dieser Karten geht natürlich auf Kosten der Standardisierung. I/O Synchronisation: Triggerung und Synchronisierung sind wegen der nur begrenzt gültigen Echzeitfähigkeit von Gigabit-Ethernet besonders bei großen Netzausdehnungen schwierig. Die Kamerahersteller schaffen entsprechende Möglichkeiten an der Hardware oder durch spezielle Softwaretreiber. Dabei ist es nicht immer möglich, den Standard einzuhalten. Die Prozessanbindung ist durch zahlreich vorhandene und industrietaugliche Komponenten leicht möglich. Kapitel 2.6 Seite 112

113 Beispiel für eine GigE Kamera, die DALSA Spyder3 Preise : DALS SG-10-01K ,- EUR, DALS SG-10-01K ,- EUR, DALS SG-10-02K ,- EUR, DALS SG-10-02K ,- EUR Abb GigE Kamera DALSA Spyder3, Quelle: DALSA Europe, D Gröbenzell (Munich) und STEMMER IMAGING GmbH Puchheim Kapitel 2.6 Seite 113

114 2.6.3 Bildübertragung über herstellerspezifische (proprietäre) Schnittstellen Bei den standardisierten Schnittstellen ist es theoretisch möglich, Komponenten (Kamera, Grabber, Rechner, Software) verschiedener Hersteller zusammen zu nutzen. So ist es z.b. möglich, eine Sony Cameralink Kamera an einem Grabber der Fa. Coreco zu betreiben. Zur Programmierung kann eine Bibliothek von z.b. Matrox-Imaging verwendet werden. In der Praxis gibt es dabei leider manchmal Probleme. Durch unterschiedliche Realisierungsgrade (Vers.-Nr.) der Standards in den einzelnen Komponenten kann zu Unverträglichkeiten kommen. Der Anwender muss sich dann unter Umständen in Zusammenarbeit mit mehreren Lieferanten um eine Lösung bemühen. Bildverarbeitungssysteme werden oftmals auch als Komplettsysteme angeboten. Dabei kommen alle Komponenten von einem Hersteller. Die Schnittstellen zur Bilddatenübertragung sind dabei meist nicht standardisiert. Der Anwender hat also bei den einzelnen Komponenten keine Auswahl. Dafür gibt es keine Kompatibilitätsproblem unter den Komponenten des Komplettsystems. Die Komplettsysteme sind in allen Preisklassen vertreten. Das typische System gibt es deshalb nicht. Kapitel 2.6 Seite 114

115 Beispiel für ein Bildverarbeitungssystem mit herstellerspezifischer Schnittstelle - der OMRON ZFV Abb GigE Kamera DALSA Spyder3, Quelle: DALSA Europe, D Gröbenzell (Munich) und STEMMER IMAGING GmbH Puchheim Kapitel 2.6 Seite 115

116 - 90 FPS bei voller Auflösung -Auch als Farbsystem (ca EUR) Kapitel 2.6 Seite 116

117 2.6.4 Intelligente Bildverarbeitungssysteme smart sensor Bei den sog. intelligenten Bildverarbeitungssystemen sind Bilderfassungs- und Auswerteinheit in einem Gehäuse integriert. Diese Bildverarbeitungssysteme können die Bildauswertung ohne weiteren Rechner durchführen. Es sind meist Schnittstellen vorhanden, die die Kommunikation mit der Umwelt zulassen. Dies können Signalanschlüsse (24V), Feldbusschnittstellen aber auch Monitor bzw. Tastaturanschlüsse sein. Durch die Integration der Komponenten Bildwandlung (CCD,CMOS), Grabber und Prozessor lassen sich verschiedene Optimierungsziele erreichen. So lassen sich sowohl kostengünstige, einfache Systeme für Standardanwendungen als auch hochleistungsfähige, freiprogrammierbare Systeme für komplexe High-End-Anwendungen erstellen. Durch die Integration lassen sich industrietaugliche Systeme mit hohem Schutzgrad realisieren. Ein Problem bei intelligenten Systemen bereitet manchmal der integrierte Prozessor. Da auf die begrenzte Wärmekapazität (fanless) der integrierten Systeme Rücksicht genommen werden muss, können oftmals nicht die aktuell leistungsfähigsten Prozessoren, die i.d.r. eine hohe Verlustleistung haben, verwendet werden. Der Austausch (Upgrade) der Prozessoren ist oftmals nicht möglich, die Anpassung an wechselnde Prozessbedingungen (z.b. anderer Feldbus) schwierig. Als Rechensystem kommen oftmals speziell programmierte DSP (Digitaler Signalprozessor ) oder ASCIS (Anwendungsspezifische Integrierte Schaltung) zum Einsatz. Kapitel 2.6 Seite 117

118 Beispiel für ein Intelligentes Bildverarbeitungssystem - NANOview Abb Intelligente Zeilenkamera NANOview Kapitel 2.6 Seite 118

119 Abb NANOview - Architektur Kapitel 2.6 Seite 119

120 Beispiel für ein Intelligentes Bildverarbeitungssystem - DVT Vision Sensor Familie Auswahl von Kameras unterschiedlicher Leistungsklasse und Eigenschaften in nahezu identischen Gehäusen. Einheitliche Konfiguration bzw. Programmierung über Software Intellect und FrameWork. Abb DVT Vision Sensor Familie Kapitel 2.6 Seite 120

121 ca. 5500,- EUR Abb DVT Vision Sensor DVT 550MR Abb DVT Software INTELLECT Kapitel 2.6 Seite 121

122 Weitere Informationen finden Sie hier : /* Firewire */ /* Kameras, Technologie */ /* Kameras (USB,GigE), Grabber /* Kameras, Objektive, Grabber...*/ /* Kameras, Objektive, Grabber bes. Matrox Imaging*/ /* Kameras */ /* Bildverarbeitungssysteme */ /* Bildverarbeitungssysteme, Onlinekurse */ /* Hard- und Software, Ressource Kit!! */ /* Kamera, Grabber, White Paper */ Kapitel 2.4 Seite 122

123 2.7 Bildauswertung Dieses Skript ist eine Ergänzung zu der Vorlesung Technische Bildverarbeitung. Es ist kein Lehrbuch. Dieses Skript darf ausschließlich als begleitendes Lehrmittel für die Vorlesung genutzt werden. Andere Nutzungen sind mit den Verfassern abzuklären. Vervielfältigung, Übersetzungen, Mikroverfilmung und die Einspeicherung und Bearbeitung in elektronischen Systemen (auch auszugsweise) ist nur nach Rücksprache und mit Erlaubnis der Verfasser zulässig. In diesem Skript werden Produkte einzelner Firmen als Beispiel verwendet. Die Auswahl dieser Produkte stellt keine Bewertung dar, sondern erfolgte ausschließlich nach didaktischen Gesichtspunkten. Die angegebenen Preise sind als Orientierungshinweis zu sehen. Bei Fragen, Kritik, Verbesserungsvorschlägen : Dipl.-Ing. Dirk Mohr Raum C2 05 Tel.: dirk.mohr@hs-bochum.de Bochum, den Kapitel 2.7 Seite 123

124 2.7.1 Funktionen zur Bildauswertung Kapitel 2.7 Seite 124

125 Histogramm Bevor die Bildauswertung beginnt, ist es wichtig, die Bilderfassung zu optimieren. Wichtig ist ein guter Kontrast, also die Ausnutzung des gesamten Messbereichs (Helligkeitsstufen) und die Trennung von Bildhintergrund und auszuwertendem Merkmal. Um den Kontrast numerisch zu beschreiben, wird oftmals ein Histogramm berechnet und dargestellt. Beim Histogramm wird die Häufigkeit der einzelnen Graustufen dargestellt. Bild zu dunkel schlechter Kontrast sehr guter Kontrast Bild zu hell schlechter Kontrast Kapitel 2.7 Seite 125

126 Grauwertbereich spreizen Besonders bei der Visualisierung kann es sinnvoll sein, den Wertebereich des Bildes (Grauwerte) an die Möglichkeiten des darstellenden Gerätes anzupassen. Bei dem folgenden Beispiel aus der Medizin wird das Originalbild mit fast ausschließlich Informationen im GW- Bereich auf den Darstellungsbereich umgerechnet (gespreizt). Im gespreizten Bild lassen sich deutlich mehr Details erkennen. Solche Operationen lassen sich idealer weise hardwaretechnisch über eine LUT (Look-Up-Table) lösen. Kapitel 2.7 Seite 126

127 Binarisierung Bei der Binarisierung wird eine neue Zuordnung der Grauwerte vorgenommen. Grauwerte unter einem Schwellwert (Threshold) werden auf 0 (255) über dem Schwellwert auf 255 (0) gesetzt. Die Wahl des Schwellwert ist wesentlich für das erzielte Binärbild. So erhält man ein Bild mit zwei Grauwerten. Die Definition von z.b. Kanten für Messaufgaben ist dann einfach. Bei manchen Anwendungen ist es auch sinnvoll zwei Schwellwerte festzulegen. Mit steigendem Schwellwert (40 -> 80 -> 200) werden dunklere Objekte dem Grauwert 0 zugeordnet und werden unsichtbar. Kapitel 2.7 Seite 127

128 Zuordnung der Grauwerte bei der Binarisierung Eventuell auch in Hardware (LUT) realisierbar Kapitel 2.7 Seite 128

129 Filteroperationen Durch Filteroperation in der Bildvorverarbeitung ist es möglich, die Bildqualität zu verbessern. So ist es z.b. möglich, Rauschanteile zu minimieren oder Kanten hervorzuheben. Eine vollständige Aufzählung von möglichen Filteroperationen ist hier nicht möglich. An Beispielen soll ein Einblick gegeben werden. Verbesserung verrauschter (salt and pepper noise) Bilder durch Median- bzw. Mittelwertfilter Bilder erstellt mit der AdOculos Student Version Fa. The Imaging Source Originalbild + Rauschen Nach Medianfilter Nach Mittelwertfilter Mittelwertfilter (box filter) : Jedes Pixel wird durch den Mittelwert seiner Nachbarpixel ersetzt. Die Größe der Nachbarschaft ist einstellbar (3*3,9*9...) Medianfilter : Rangordnungsfilter bei dem jedes Pixel durch den Median (geometrische Mittelwert einer geordneten Liste) seiner Nachbarpixel ersetzt wird (s. nächste Seite). Kapitel 2.7 Seite 129

130 Durch die Filteroperation wir der Originalbildinhalt verändert (transformiert). In Abhängigkeit von der Applikation und der zur Verfügung stehenden Rechenzeit lassen sich Filter unterschiedlicher Güte realisieren. Kapitel 2.7 Seite 130

131 Kantenverstärkung durch Laplace - Transformation Bilder erstellt mit der AdOculos Student Version Fa. The Imaging Source Durch sog. Kantenverstärker wie z.b. den Laplace Operator lassen sich Grauwertübergänge detektieren, markieren und somit hervorheben. Der Bildinhalt wird auf die Grauwertübergänge (Gradienten) verdichtet also komprimiert. Die Definition von Messaufgaben oder Aufgaben zur Objektfindung werden vereinfacht. Kapitel 2.7 Seite 131

132 Morphologische Operationen Die Morphologie ist die Lehre der Formen (nicht zu verwechseln mit morphen). Die Morphologische Bildverarbeitung wendet Methoden der Nachbarschaftsfindung an um Bilder zu manipulieren. Quelle : Prof. Dr.-Ing. Heinz-Georg Fehn, Fachhochschule Münster Kapitel 2.7 Seite 132

133 Linienprofile Linienprofile zeigen die Grauwerte entlang einer Linie (Gerade, Kreis, Kreisbogen...). Die Grauwerte können auf ihre Intensität (Max-, Min- und Mittelwert) untersucht werden. Es können aber auch Merkmale z.b. Kanten gesucht werden um so Objekte zu finden und z.b. ihre Anzahl zu bestimmen. Hier im Beispiel werden die 2,5 mm Einteilungsstriche als Objekte detektiert. Kapitel 2.7 Seite 133

134 Blob Analyse Die Blobanalyse analysiert Bildbereiche, in denen benachbarte Pixel gleiche oder ähnliche Grauwerte aufweisen. So lassen sich Objekte finden, zählen und Objektmerkmale wie z.b. Fläche und Durchmesser der Objekte, Positionsangabe des Objektes, Schwerpunkt der Objekte, Umschreibendes Rechteck, Erstes und zweites Moment des Objekts und die Koordinaten der konvexen Hülle bestimmen. Durch Festlegung und Tolerierung der Parameter für z.b. Ähnlichkeit und Nachbarschaft der Grauwerte kann ein Kompromiss aus Robustheit und Genauigkeit der Algorithmen gefunden werden. Der Begriff wurde in Anlehnung an den Begriff Binary Large Object aus der Datenbanktechnik gewählt. Im ersten Beispiel werden vier Blobs gefunden aber nur einer entspricht den Vorgaben (weiss markiert). Bei diesem Blob wird auch die Orientierung festgestellt und angezeigt. Im zweiten Beispiel wird eine Vollständigkeitskontrolle von Tabletten vorgenommen. Da eine Tablette nicht die vorgeschriebene Grösse / Form hat werden nur drei Blobs gefunden und somit die fehlerhafte Palette detektiert. Quelle: DVT Corporation, SmartImage Sensor Installation & User Guide Kapitel 2.7 Seite 134

135 Vermessung Bei der Vermessung von z.b. Abständen, Radien, Winkeln ist es entscheidend, dass die Parameter für die Messung optimal bestimmt werden. Da Messoperation oftmals an Kanten (Grauwertübergänge über einen Schwellwert) definiert werden, ist die Wahl des Schwellwerts mitbestimmend für die Genauigkeit der Messung. Für eine hohe Genauigkeit werden oftmals Subpixelverfahren (s.kap ), Pixelclock und Telezentrische Objektive (s.kap ) verwendet. Vermessung des Elektrodenabstands bei einer Zündkerze Quelle : National Instruments Image Analysis and Processing Tutorial Abhängigkeit des Messergebnis vom Schwellwert trotz Subpixelauflösung Kapitel 2.7 Seite 135

136 Lagebestimmung Oftmals ist es im Produktionsprozess nicht möglich, dem optischen Kontrollsystem die zu kontrollierenden Teile in der gleichen Lage zuzuführen. Dann muss vor der eigentlichen Kontrolle die Position des Teils festgestellt werden. Die einzelnen Kontrollaufgaben werden dann relativ zu der gefundenen Lage ausgeführt. Bestimmung der Lage durch Antasten und Finden von Kanten Quelle : National Instruments Image Analysis and Processing Tutorial Kapitel 2.7 Seite 136

137 Mustervergleich, Mustererkennung (Pattern Matching, Pattern Recognition)) Beim Mustervergleich werden Objekte mit definierten oder erlernten Mustern (Referenz) mit neuen Objekten verglichen (korreliert) und der Grad der Übereinstimmung festgestellt. Der Vergleich muss robust gegenüber verschiedenen Einflüssen wie z.b. Lagetoleranzen, Helligkeitsschwankungen... sein. Bei einem Übereinstimmungsgrad von 100 % sind die Muster identisch, bei 0 % besteht keinerlei Ähnlichkeit. In der Praxis wird meist bei % eine Gleichheit angenommen. Wenn die Anforderungen höher sind (z.b. Unterscheidung sehr ähnlicher Muster) muss diese Prozentzahl höher gesetzt werden. Anwendung findet die Mustererkennung z.b. bei der Zeichenerkennung (OCR Optical character recognition) oder bei der Suche nach Strukturfehlern bei z.b. Stoffen, Papieren, Fußbodenbelägen) Auch das menschliche Bildverarbeitungssystem führt Mustervergleiche durch: Afugrnud enier Sduite an enier Elingshcen Unvirestiät ist es eagl, in wlehcer Rienhnelfoge die Bcuhtsbaen in eniem Wrot sethen, das enizg wcihitge dbaei ist, dsas der estre und lzete Bcuhtsbae am rcihgiten Paltz snid. Der Rset knan ttolaer Bölsdinn sien, und du knasnt es torztedm onhe Porbelme lseen.das ghet dseahlb, wiel wir nchit Bcuhtsbae für Bcuhtsbae enizlen lseen, snodren Wröetr als Gnaezs. Kapitel 2.7 Seite 137

138 Farbbildverarbeitung Die Farbbildverarbeitung verwendet ähnliche (teilweise gleiche) Algorithmen wie die Grauwert- und Binärbildverarbeitung. Durch die Berücksichtigung der Farbanteile nimmt die Datenmenge und damit auch die benötigte Rechenleistung zu. Durch die Farbbildverarbeitung lassen sich jetzt auch Operationen an Objekten durchführen, die im Grauwertbild den gleichen Grauwert zeigen. s.s.-84- Detektion von Farbstreifen auf der Lauffläche von Autoreifen Prüfmerkmale: Anzahl der Farbstreifen Farben der Streifen Abstand der Streifen zueinander Positionierung des Streifenbildes auf der Lauffläche Kapitel 2.7 Seite 138 Quelle : Fachhochschule Bochum, FB M, Labor für Informatik (LFI)

139 Prüfung des Anschlusssteckers von Airbags Prüfmerkmale: Korrekte Farbe der einzelnen Litzekombinationen im Gehäuse für bis zu 32 Farbzusammenstellungen Korrekte Steckergehäuse-Kombination gegenüber des gewählten Programmrezeptes Abisolierungslänge der einzelnen Litze Crimplänge der einzelnen Kontakte Präsenzkontrolle der Ferritkerne mit Dimensionsprüfung Stecker-Gehäuse Dimensionsprüfung als globale Plausibilitätsprüfung Prüfung der Anschlusskabel an Kleinmotoren Prüfmerkmale: Präsenzkontrolle der (manuell montierten) Anschlussdrähte Korrekte Farbe der Anschlussdrähte Kontrolle erfordert Robustheit gegenüber Positioniertoleranz und Farbabweichungen Besondere Schwierigkeit : schwarzes Kabel vor dunklem Hintergrund Beispiele für den Einsatz von Farbbildverarbeitung Quelle : Matsushita Electric Works Deutschland GmbH Applikationsbeispiele für die Farbbildverarbeitungssysteme AX30 und AX40 Kapitel 2.7 Seite 139

140 2.7.2 Erstellung von Software zur Technischen Bildverarbeitung Bei der Technischen Bildverarbeitung müssen folgende Aufgabenstellungen softwaregesteuert gelöst werden Parametrierung der Bilderfassung Die softwaregesteuerte Parametrierung (Belichtungszeit, Verstärkung...) erfolgt meist über eine Schnittstelle, die der jeweilige Hersteller offen legt oder für die er Treiber mitliefert. Bildeinzug Verfügt die Kamera über keine standardisierte Schnittstelle (z.b. DCAM, GigE...) wird die Bildübertragung vom Sensor zur Recheneinheit meist mit Treibern realisiert, die der Hersteller der Kameras mitliefert. Bei der Programmierung wird dieser Treiber als Schnittstelle genutzt. Es können teilweise auch Schnittstellen des Betriebssystems (Direct X, Direct Show) verwendet werden. Bildvorverarbeitung Zur Verbesserung der Bildqualität können Operationen wie z.b. die Filterung der Bilddaten (s Filteroperationen) ausgeführt werden. Diese Operationen können selbst programmiert werden (z.b: in C++) oder man greift auf sog. Bibliotheken zurück. Bildverarbeitung Zur Verarbeitung der Bilddaten können Algorithmen programmiert werden oder es werden bei (Standard-) Aufgabenstellungen Bibliotheken genutzt. Prozesskommunikation Für einen prozessgerechten Einsatz der Technischen Bildverarbeitung muss das optische System mit dem Prozess kommunizieren. Die Auslösung einer Aufnahme (Triggerung) und die Reaktion auf die Bildauswertung (Aussortieren, Markieren...) kann nur in Abstimmung mit dem Prozess erfolgen. Die Kommunikation kann über diverse Schnittstellen erfolgen (z.b. Schaltsignale, Feldbusschnittstelle). Dazu müssen in der Bildverarbeitungssoftware meist weitere Treiber integriert werden. Mensch-Maschine-Kommunikation (HMI Human Machine Interface) In einem Pflichtenheft für ein Technisches Bildverarbeitungssystem steht oftmals die Anforderung an eine prozessgerechte Mensch-Maschine- Schnittstelle. Die Ausprägung dieser Schnittstelle ist prozessabhängig und kann von Einstellmöglichkeiten des Systems, Wechsel von Kontrollprogrammen bis zur optischen Darstellung von Statistiken reichen. Die Programmierung wir i.d.r. applikationsspezifisch erfolgen. Die hier dargestellte Aufgabenteilung entfällt oftmals bei der Verwendung von Komplettsystemen eines Herstellers. Diese Systeme lassen sich oftmals nur über eine herstellerspezifische Software konfigurieren. Kapitel 2.7 Seite 140

141 Die Erstellung von Software für die Technischen Bildverarbeitung ist in höheren Programmiersprachen möglich. Meist wird in diesem Bereich die Programmiersprache C++ verwendet. Die Funktionen können komplett programmiert werden oder es können Funktionen aus zugekauften Bibliotheken eingebunden werden (die natürlich auch einmal programmiert wurden). Genauso ist es möglich komplette Anwendungen (runtimes) aus Bibliotheken aufzubauen. Im folgenden werden die Vor- und Nachteile dieser Verfahren gegenüber gestellt. Verwendung von in Hochsprache programmierter Funktionen + Individuell und applikationsspezifisch + Umfang entspr. spezieller Anforderung + Voller Zugriff auf alle Funktionen (editieren, anpassen, korrigieren) -Programmierung zeitaufwändig und kostenintensiv -Fehlerfreiheit der Routinen evtl. erst nach mehreren Iterationen bei der Entwicklung Verwendung von Bibliotheksfunktionen + Routinen können abgerufen werden + Kaum Fehler da bewährte Funktionen + Dokumentation wir mitgeliefert -Kosten für Entwicklung (Development) und Laufzeit (Runtime) -Installation bzw. Integration der kompletten Bibliothek obwohl nur Teile gebraucht werden - Abhängigkeit vom Hersteller (Entwickler) der Bibliothek Diese Gegenüberstellung ist sehr verallgemeinert. Die Gewichtung der einzelnen Punkte ist von verschiedenen Einflussgrößen und Vorgaben wie z.b. Anforderung an die Applikation, Zeitraum für die Entwicklung, Qualität der Programmierer, verwendete Bibliothek abhängig. Es ist eine große Anzahl von Bibliotheken erhältlich. Diese unterscheiden sich hinsichtlich des Funktionsumfangs, der Integration und des Preises. Kapitel 2.7 Seite 141

142 Die Kosten für die Erstellung einer Bildverarbeitungsapplikation setzen sich aus mehreren Punkten zusammen. Oftmals unterschätzt werden die sog. Nebenkosten (Handhabung, Schulung, Integration...) Kapitel 2.7 Seite 142

143 Weitere Informationen finden Sie hier : - /* kostenlose Software */ - /* Hard- und Software, Ressource Kit!! */ /* Software der Fa. Matrox Imaging */ - /*Software der Fa. MVTec Software GmbH */ - /* Software CVB Common Vision Blox */ Kapitel 2.7 Seite 143

144 2.8 Mechanische Komponenten für die Technische Bildverarbeitung Dieses Skript ist eine Ergänzung zu der Vorlesung Technische Bildverarbeitung / Machine Vision. Es ist kein Lehrbuch. Dieses Skript darf ausschließlich als begleitendes Lehrmittel für die Vorlesung genutzt werden. Andere Nutzungen sind mit den Verfassern abzuklären. Vervielfältigung, Übersetzungen, Mikroverfilmung und die Einspeicherung und Bearbeitung in elektronischen Systemen (auch auszugsweise) ist nur nach Rücksprache und mit Erlaubnis der Verfasser zulässig. In diesem Skript werden Produkte einzelner Firmen als Beispiel verwendet. Die Auswahl dieser Produkte stellt keine Bewertung dar, sondern erfolgte ausschließlich nach didaktischen Gesichtspunkten. Die angegebenen Preise sind als Orientierungshinweis zu sehen. Bei Fragen, Kritik, Verbesserungsvorschlägen : Dipl.-Ing. Dirk Mohr Raum C2 05 Tel.: dirk.mohr@hs-bochum.de Bochum, den Kapitel 2 Seite 144

145 Neben der Elektronik und der Informatik ist die Mechanik eine wichtige Komponente eines Technischen Bildverarbeitungssystems. Mechanische Komponenten werden gebraucht um die anderen Komponenten z.b. zu schützen, auszurichten und zu justieren. Dabei sind die unterschiedlichen Anforderungen (leicht zu justieren, aber stabil befestigt) oftmals schwer zu vereinbaren. Dazu kommt eine nahezu unendliche Anzahl an unterschiedlichen Komponenten und die unterschiedlichen Applikationen. Für die mechanischen Komponenten werden deshalb meist individuelle Lösungen gesucht oder es wird auf einen Systembaukasten zurückgegriffen. Komponenten des Systembaukasten der Fa. autovimation Peter Neuhaus Quelle: Fa. autovimation Peter Neuhaus Kapitel 2.8 Seite 145

146 Quelle: Fa. autovimation Peter Neuhaus Kapitel 2.8 Seite 146

147 Weitere Informationen finden Sie hier : - autovimation Peter Neuhaus /* Systembaukasten */ - Maschinenbau Kitz GmbH /* Alu-Profile */ - RK Rose+Krieger GmbH /* Rohrverbindungssysteme, mechanische Komponenten */ Kapitel 2.8 Seite 147

148 2.9 Bildverarbeitungsapplikationen Dieses Skript ist eine Ergänzung zu der Vorlesung Technische Bildverarbeitung / Machine Vision. Es ist kein Lehrbuch. Dieses Skript darf ausschließlich als begleitendes Lehrmittel für die Vorlesung genutzt werden. Andere Nutzungen sind mit den Verfassern abzuklären. Vervielfältigung, Übersetzungen, Mikroverfilmung und die Einspeicherung und Bearbeitung in elektronischen Systemen (auch auszugsweise) ist nur nach Rücksprache und mit Erlaubnis der Verfasser zulässig. In diesem Skript werden Produkte einzelner Firmen als Beispiel verwendet. Die Auswahl dieser Produkte stellt keine Bewertung dar, sondern erfolgte ausschließlich nach didaktischen Gesichtspunkten. Die angegebenen Preise sind als Orientierungshinweis zu sehen. Bei Fragen, Kritik, Verbesserungsvorschlägen : Dipl.-Ing. Dirk Mohr Raum C2 05 Tel.: dirk.mohr@hs-bochum.de Bochum, den Kapitel 2.9 Seite 148

149 Kapitel 2.9 Seite 149

150 Kapitel 2.9 Seite 150

151 Kapitel 2.9 Seite 151

152 Smart Kameras bei der automatisierten Türenmontage im Karosseriebau des neuen Audi A3 - Vollautomatischer Türanbau - Kameras generieren Korrekturdaten für Roboter Kapitel 2.9 Seite 152

153 Smart Kameras bei der automatisierten Türenmontage im Karosseriebau des neuen Audi A3 A A: Verschraublöcher B: Smart Kameras LSIS 400i B Kapitel 2.9 Seite 153

154 Smart Kameras bei der automatisierten Türenmontage im Karosseriebau des neuen Audi A3 Kapitel 2.9 Seite 154

155 Kontrolle des Thermodrucks und des Dichteinsatzes von Deckeln für Bremsflüssigkeitsbehälter Omron ELECTRONICS GmbH, Deutschland Kapitel 2.9 Seite 155

156 Muster- und Lageerkennung von eingebrannter Folie 1. Vergleich des Folienmusters mit Vorgabe durch Produktionssystem 2. Kontrolle der korrekten Lage der Folie Omron ELECTRONICS GmbH, Deutschland Kapitel 2.9 Seite 156

157 Optische Inspektion von Flügelzellenpumpen für Servolenkungen 1. Vollständigkeitskontrolle der (12) Drehschieber 2. Kontrolle der Lage der Drehschieber Omron ELECTRONICS GmbH, Deutschland Kapitel 2.9 Seite 157

158 Optische Inspektion von Flügelzellenpumpen für Servolenkungen Drehschieber falsch eingesetzt (Kontur abgerundet) Omron ELECTRONICS GmbH, Deutschland Kapitel 2.9 Seite 158

159 Querlenkerkontrolle 1. Typerkennung über Dimensionsbestimmung 2. Verifikation von Bar- bzw. Zahlencode Omron ELECTRONICS GmbH, Deutschland Kapitel 2.9 Seite 159

160 Prüfung von Steckverbinder für PKW Prüfung auf Vorhandensein von Steckerkomponenten Omron ELECTRONICS GmbH, Deutschland Kapitel 2.9 Seite 160

161 Prüfung von Steckverbinder für PKW Prüflinge mit fehlenden oder falsch montierten Komponenten Omron ELECTRONICS GmbH, Deutschland Kapitel 2.10 Seite 161

162 Kapitel 2.9 Seite 162

163 Kapitel 2.9 Seite 163

164 Kapitel 2.9 Seite 164

165 Entwicklung eines technischen Bildverarbeitungssystems zur Bündelkontrolle Prof. Dr.-Ing. Reiner Dudziak und Dipl.-Ing. Dirk Mohr Fachbereich Mechatronik und Maschinenbau BV in der Schneideanlage Farbbildverarbeitung Kapitel 2.9 Seite 165

166 Weitere Informationen finden Sie hier : imess GmbH Leuze electronic GmbH + Co. KG Omron ELECTRONICS GmbH, Deutschland ThyssenKrupp Steel Europe Hochschule Bochum, Labor für Informatik, Industrieprojekte Kapitel 2.9 Seite 166

167 2.10 Die Deutsche Bildverarbeitungstechnologie als Branche Dieses Skript ist eine Ergänzung zu der Vorlesung Technische Bildverarbeitung / Machine Vision. Es ist kein Lehrbuch. Dieses Skript darf ausschließlich als begleitendes Lehrmittel für die Vorlesung genutzt werden. Andere Nutzungen sind mit den Verfassern abzuklären. Vervielfältigung, Übersetzungen, Mikroverfilmung und die Einspeicherung und Bearbeitung in elektronischen Systemen (auch auszugsweise) ist nur nach Rücksprache und mit Erlaubnis der Verfasser zulässig. In diesem Skript werden Produkte einzelner Firmen als Beispiel verwendet. Die Auswahl dieser Produkte stellt keine Bewertung dar, sondern erfolgte ausschließlich nach didaktischen Gesichtspunkten. Die angegebenen Preise sind als Orientierungshinweis zu sehen. Bei Fragen, Kritik, Verbesserungsvorschlägen : Dipl.-Ing. Dirk Mohr Raum C2 05 Tel.: dirk.mohr@hs-bochum.de Bochum, den Kapitel 2.10 Seite 167

168 2.8 Die Deutsche Bildverarbeitungstechnologie als Branche Die folgenden Diagramme sind der Präsentation Industrielle Bildverarbeitung weiter auf hohem Niveau von Dr. Olaf Munkelt, MVTec Software GmbH, Vorstandsvorsitzender VDMA Industrielle Bildverarbeitung entnommen. Diese Präsentation wurde beim VISION Presselunch am in Stuttgart vorgestellt. Kapitel 2.10 Seite 168

169 Kapitel 2.10 Seite 169