Streiflichter zu 3D-Techniken in der Bildverarbeitung

Transkript

1 VISION Academy - eine Gemeinschaftsveranstaltung von Messe Stuttgart und Vision Academy Erfurt. Streiflichter zu 3D-Techniken in der Bildverarbeitung Dipl.-Ing. Ingmar Jahr Schulungsleiter Ein Wissensbaustein aus Modulen der Vision Academy - Kurse 2

2 Die Vision Academy Dienstleister für die Industrie - Aus- und Weiterbildungseinrichtung für Machine Vision verschiedene Anwendergruppen herstellerneutral, effektiv und fachrichtungsübergreifend weltweiter Aktionsradius: in Erfurt, In-house, beim Kunden Mehr Zeit! Mehr Unabhängigkeit! Mehr Sicherheit! Wir schulen das, was Sie an Wissen benötigen. Selbständiges Verstehen und Beherrschen von Machine Vision. BV-Know-how macht zukunftsfähig. Geschäftsfelder Aus- und Weiterbildung Beratung und Coaching 3 Und das erwartet Sie heute 3D-Bildverarbeitung in der Industrie Triangulation Stereo Streifenlichtprojektion Laufzeitverfahren Shape from Shading Weißlichtinterferometrie Deflektometrie Ausblick 4

3 3D-Bildverarbeitung in der Industrie schnell, genau, berührungslos, verknüpfbar, Basiert auf eingeführter 2D-Technologie Vorstoß in unstrukturierte Umgebungen (Service, Automotive, ) Komplexes in-line-messen und Prüfen Steuerungs- und Regelungsmöglichkeiten rundum 100%-Kontrolle mit Nachweis Dream-Team BV & Roboter braucht 3D-Informationen Quelle: VDMA 5 3D-Bildverarbeitung in der Industrie Erwartungen Einfache Bedienung Variabilität für breites Teilespektrum Störlichttoleranz Lage- / Drehlageinvarianz in 6 Freiheitsgraden Größeninvarianz (Skalierung) schnelle Verfahren Robustheit: Temperatur, Schwingungen Objektivität (kleinste Fehler mit hoher Präzision erkennen) Integrierbarkeit in IT-Umgebung (CAD, CAQ) 6

4 3D-Bildverarbeitung in der Industrie Vorrangige Aufgaben Bestimmung von Formeigenschaften (und Oberfläche) Anwesenheits- / Vollständigkeitskontrolle einzelner räumlicher Teile Soll-Ist-Vergleich komplexer Objekte (3D-Lehre) Robotersteuerung Vermessung 3D-Objekte Zugriffs-, Zutrittskontrolle, Arbeitsraumüberwachung Vorrangige Prüfobjekte Eigentlich alles 7 3D-Bildverarbeitung in der Industrie Verknüpfung mit anderen Technologien Robotik Oberflächenkontrolle 3D-BV Montage- / Handhabungstechnik 2D-BV 8

5 Überblick BV-basierte 3D-Verfahren Phys. Größe Beleuchtung Verfahren Zeitl. Codierung Triangulation Winkel / Abstände aktiv aktives Stereo Lichtschnitt Streifenprojektion Phasenshift Phasenshift mit Farbcodierung Moiré passiv passives Stereo Laufzeitmessung Deflektometrie aktiv Shape from Shading Fokussierung Kontrast / Gradient aktiv motorisiertes Mikroskop konfokale Mikroskopie Zeit aktiv PMD Laserscanner Interferometrie (glatt) aktiv Michelson Mireau Wellenlänge Photogrammetrie Deflektometrie Flächenneigung Weißlichtinterferometrie (rauh) aktiv WLI 9 Triangulationsverfahren

6 Triangulationsverfahren 1D 2D 3D 11 Punkttriangulation Triangulationssensoren Typisch mit Laserlichtquelle Lasertriangulation Bild auf Zeilensensor Prinzip: Triangulationswinkel α Proportionalitätsfaktor ß * sin α konst. x = ß * sin α * z Abweichung x / z kalibrierbar Größe Sensor begrenzt Messbereich Tiefenauflösung besonders abhängig von Triangulationswinkel und Bildpunktauflösung Faustformel Tiefenauflösung = Messbereich / Anzahl Pixel 12

7 Lichtschnittverfahren Robuste Methode zur 3D-Datengewinnung Lichtschnitte in schneller Folge zusammengesetzte Höhenprofile ergeben 3D-Profilbild Viele Maschinen haben Linear- / Drehantriebe Wenn Teile stehen: Bewegung des Sensors Quelle: VDMA 13 Triangulationsgeometrien Genauigkeitssteigerung: mit mehreren Kameras auf eine Linie sehen Zweck entscheidet über Geometrie α groß: kleiner Messbereich, hohe Tiefenauflösung, viel Abschattung α klein: großer Messbereich, geringe Tiefenauflösung, wenig Abschattung 14

8 Vorteile, Nachteile, Grenzen, Problemzonen Vorteile Laserlichtschnittverfahren Einfach Flexibel Nachteile Laserlichtschnittverfahren Setzt Relativbewegung voraus Speckles Rauschen große Messunsicherheiten Wo ist die Mitte der Laserlinie? Einflußfaktoren Laser Kameraobjektiv Specklemuster Belichtung Fremdlichtunterdrückung 15 Vorteile, Nachteile, Grenzen, Problemzonen Grenzen: Reflexionsgrad Streuung (Hochglanz geht nicht) Hinterschneidungen, steile Kanten Messunsicherheit nimmt mit Quadrat der Entfernung zu Konkrete Messunsicherheit hängt von Oberflächengüte ab Systematischer Messfehler < 0,1 % Gesichtsfeld Laterale Auflösung < 0,1 % Gesichtsfeld Lasergefahrenklasse 16

9 Resümee Triangulationsverfahren Einfacher Aufbau / Triangulationssensoren Serielle Abarbeitung einzelner Schnitte Einfluss der Hardware Synchronisation mit Mechanik Leistungsfähige Lichtquelle Laser schwierig zu handhaben Abschattung 17 Stereoverfahren

10 Stereoverfahren 2+ Kameras / Bilder notwendig, Photogrammetrie mehr Voraussetzung: gemeinsame Eigenschaft im Stereobildpaar zu erkennen (2D-BV) Rektifikation Korrespondenzanalyse / korrespondierende Bildpunkte = zentraler Bestandteil Stereo-BV Tiefenberechung über Winkel und Abstände (Triangulation) Anwendung: Verformungsanalyse, Koordinatenmesstechnik, 3D-Vermessung, Applikationen mit Industrie-, Service- oder mobilen Robotersystemen, Forderungen: flächenhaft und dynamisch Nachteil: Genauigkeit, bei großer Basisweite Überlappungsbereich zu gering Messvolumen wird durch Kameraverstellung geändert, ebenso Auflösung fixieren! 19 Prinzip Passives Stereo Schritte zur Auswertung: 1. Festlegen Merkmal Bild 1 2. Suchen Merkmal in 2. Bild (z.b. Mustersuche) 3. Ermittlung Disparität (Versatz) 4. Mit geometrischen Daten (Brennweite, Basislinie, Pixelgröße, Winkel) Ermittlung der Entfernung Tiefen-Auflösung Stereo: Je kürzer der Abstand, desto genauer (quadratisch) Je größer die Basisweite, desto genauer (linear) Je größer die Brennweite, desto genauer (linear) Je kleiner die Pixel, desto genauer (linear) 20

11 Resümee Stereo-Verfahren Gerätetechnisch einfach U. U. rechen- / zeitaufwändig Geometrie bestimmt Auflösung Benötigt aussagekräftigen Bildinhalt, ggf. aktives Stereo nutzen Große Gesichtsfelder Mit mehreren Kamerapaaren Auflösungssteigerung Problematisch sind: verschiedene Reflexionen verschieden verdeckte Bildteile Bereiche ohne Textur 21 Streifenlichtprojektionsverfahren

12 Streifenlichtprojektionsverfahren Basis: Triangulation Streifenlichtverfahren = Erweiterung Lichtschnittverfahren Sequenz von Streifen auf ruhendes Objekt projiziert Anwendungen: Formkontrolle Metallteile (Karosserien) Medizintechnik (Zähne, Kieferstellung, Weichgewebe) Typische Messunsicherheiten: einfache Systeme: µm (abstandsabhängig) gehobene Systeme: µm Quadratmetergroße Flächen möglich Automobilindustrie Problem Liniengitter: Höhensprünge: Zuordnung der Linien kein absolutes Messverfahren Quelle [10] 23 Prinzip klassischer Codierter Lichtansatz Vorteile Einfach, stabil, da binär: Schwelle aus je dunklen/hellem Bild Schwelle für jedes Pixel individuell (auch aussortieren) Kein Korrespondenzproblem wie Stereo Schnell, da einfache BV-Operationen Bekannte Geometrie absolute Position der beobachteten Punkte Nachteile Schlechte lokale Auflösung Subpixeling an Gray-Code-Daten nicht möglich 2-schrittiges Verfahren Schlechte lokale Auflösung Gray-Code (Quelle [101]) 24

13 Aktuell: 2-schrittiges Verfahren 1. Codierter Lichtansatz (Graycode) Große Höhenunterschiede absolut erkannt, auch mit mehreren Ansichten aktives Stereo, homologe Punkte habe gleiche Codierung 2. Phasenmessendes Verfahren (subpixelfähiges Phasenshift) Nicht nur in Position, auch im Grauwert sind Höheninformationen enthalten Auswertung Genauigkeitssteigerung 25 Phasenmessendes Verfahren Messunsicherheit bei Multi-View (mehrere Ansichten): > 1/ des Gesichtsfeldes Genauigkeit durch Rauschen (Speckles, Kamera, ) begrenzt Messunsicherheit wächst mit Quadrat der Entfernung Glänzende Teile Funktion nur bei diffusem Reflexionsanteil Glänzende Teile Projektion Muster auf Projektionswand von dort Projektion auf Objekt ( Deflektometrie) 26

14 Resümee Streifenlichtprojektionsverfahren Hohe Genauigkeit Auch für große Objekte Ruhende Objekte Projektionstechnik ist wesentlicher Schlüssel zum Erfolg Probleme bei spiegelnden Objekten 27 Laufzeitverfahren

15 Laufzeitverfahren Laufzeit = ToF = time of flight Optisches Echo = rückgestreute Strahlung v = s / t c = s / t c = 2d / t mit c Lichtgeschwindigkeit t - Zeitdifferenz senden-empfangen d - Arbeitsabstand Berechnung im Prinzip einfach: d = c / 2 t d typisch in Industrie: cm m Lichtweg / 1 ns 30 cm Elektronik muss ps auflösen! 29 Laufzeitverfahren Verschiedene Laufzeitverfahren cw-verfahren (PMD): Laufzeitmessung durch Amplitudenmodulation Bestimmung der Phasenverschiebung von ausgesendeter und empfangener Welle Ermittlung der Phasenverschiebung für jedes Pixel gesondert Tiefeninfo / Pixel schnelles 2,5D-Bild der Oberfläche in einem Schuss PMD CamCube Indirekte Time-of-Flight-Messung: einzelner Lichtpuls auf Objekt geschossen zurückkehrender Puls über zwei unterschiedlich lange Integrationsfenster gemessen Zeitmessung der Verzögerung von ausgesendetem und empfangenen Puls 30

16 Laufzeitverfahren Allgemeine Einflussfaktoren auf Laufzeitverfahren Prüfobjekt Beleuchtung Elektronik Software Reflexionseigenschaften, Oberfläche (diffus gut geeignet) Problematisch: absorbierende, reflektierende Oberflächen (geringes Signal) halbdurchlässige Flächen (Glas) Bewegungsartefakte Bündelungsfähigkeit Beleuchtung (Tiefe), Modulationsgüte, Umgebungslicht Zeitauflösung bestimmt Tiefenauflösung: 67 ps Laufzeit für 1cm hin+zurück Verschiedener Dunkelstrom der Pixel, Rauschen, Temperaturdrift umfangreiche Kalibrierung, Intensitätsabhängigkeit der Tiefenmessung 31 Typische Einsatzfelder Technische Chancen und Beschränkungen bestimmen Einsatz: Automotive Geschwindigkeitsregelung Fußgängererkennung Einparkhilfe Sitzbelegungserkennung Konsumelektronik / Medien Bluescreen MMI / Gestikerkennung Sicherheits- / Überwachungstechnik Zugangskontrolle Personenzählung Gesichtserkennung Automation Positionsmessung / -erkennung Muster- / Formvergleich Objektlokalisation- / -verfolgung Füllstandskontrolle Navigation autonomer Transportsysteme 32

17 Resümee Laufzeitverfahren Laufzeitkameras erst am Anfang der Entwicklung Automotive ist Treiber Geringe Auflösung Sofort Tiefendaten in hoher Frequenz Viele zu kalibrierende / korrigierende Parameter Tiefenauflösung gering Zukunftspotential: Kombination Bildaufnahmetechnik Bildvorverarbeitung 33 Shape from Shading

18 Shape from Shading Würfel, aus 2 verschiedenen Richtungen beleuchtet verschiedene Intensitätsprofile Astronomie: Krater und Berge erkennen und vermessen durch Schattierung und Wissen, wo die Beleuchtung steht Neigungsmessendes Verfahren an ruhenden Objekten Beleuchtung aus verschiedenen Richtungen Auswertung der Schattierungen 3D-Bild aus Sequenz von 2D-Schattenbildern Anwendung für Formabweichungen Nachweis gewünschte Struktur Nachweis lokaler Defekte Voraussetzung: Reflektanzfunktion (BRDF) bekannt = Zusammenhang von Lichteinfallsrichtung, Beobachtungsrichtung, Neigungswinkel, ermittelter Helligkeit 35 Shape from Shading Vorteile: Qualitative Aussage zu Defekten bis in µm-tiefenbereich bei großem Gesichtsfeld Verschiedene Materialien, auch gekrümmt 3D-Information mit 4 2D-Bildern Geschwindigkeit wie 2D-BV Robust, fremdlichtunabhängig bei Einhausung Hardwarearm Höhen-Tiefenempfindlichkeit änderbar (Beleuchtungswinkel) ohne Änderung Auflösung Nachteile: Objekt muss ruhen (mehrere Bildaufnahmen) keine absoluten Entfernungen - Höhen relativ zu einem Bezugspunkt Oberfläche darf keine Sprünge haben - Gradienten müssen überall definiert sein Einschränkung auf diffus reflektierende Objekte (mit anteilig gerichtetem Licht), da sonst Reflektanzfunktion zu komplex wird 36

19 Shape from Shading Anwendung Schlagstellen, Kontur, Spanfreiheit Vermessung von Bohrungen im Auflicht (+/- 0,01 mm!) 30 Teile / min Brillenteile 37 Shape from Shading Anwendung Braille-Schrift auf Pharma-Verpackungen lesen und bewerten (Quelle [76]) 2D-Erkennung unsicher (Bedruckung) Messraum mit 4 Beleuchtungen Extrahierte Punkte Höhenbild 38

20 Resümee shape from Shading Grenzbereich zwischen 3D-BV und Oberflächenkontrolle Sehr empfindlich für kleinste Höhenänderungen Nur qualitative Aussagen Schwierigkeiten bei ungleich reflektierenden Teilen 39 Weißlichtinterferometrie

21 Weißlichtinterferometrie Vorteile: Sehr genau Messunsicherheit unabhängig von der Entfernung auch für tiefe Bohrungen geeignet! Keine Probleme bei Volumenstreuenden Objekten Messungen an nahezu allen Materialien möglich nahezu unabhängig von Mikrotopografie und Oberfläche, auch transparente Objekte wie Haut, Papier Messungen an sehr großen Objekten möglich Rauhigkeitsmessungen aus großem Abstand möglich Grenzen / Nachteile: Rechenpower! Objekt muss ruhen Verfahren des Aufnahmesystems (max. 100 µm / s) Tiefe Teile dauern lange Erschütterungsempfindlich! Kein fertigungsnahes Messen 41 Resümee Weißlichtinterferometrie Großer Rechenaufwand Sehr genau In der Fertigung online selten, aber im Labor Auflösung abstandsunabhängig Hardware-Vorverarbeitung zeigt Perspektiven 42

22 Deflektometrie Deflektometrie Betrachtung des vom Prüfobjekt reflektierten Lichtmusters Abweichung von Ebene: lokale Änderung Reflexionsrichtung Auswertung des deformiert reflektierten = deflektierten Musters Keine Messung lokaler Höhen oder Formen lokale Objektneigungen werden ermittelt lokaler Gradient erkennbar Neigungskarte entsteht Form kann später durch Integration gewonnen werden Quelle [5] 44

23 Deflektometrie Anwendungen Brillenglasprüfung links Oberfläche (eine Seite) rechts Brechkraft Gleitsichtglas (Differenz beider Seiten) auf 1/100 dpt möglich Krümmungskarte Kfz-Frontscheibe ästhetisches Problem der Autokäufer, wenn Reflexbild der Umgebung verzerrt ist (für die Nutzung des Kfz kein Problem) Fusion von 7 Einzelmessungen / -bildern zu Gesamtdarstellung. 45 Resümee Deflektometrie Ein Verfahren für spiegelnde Objekte! Empfindlicher Nachweis für lokale Störungen In Labor, QS und in Fertigung Fremdlichtschutz 46

24 Fazit und Ausblick 3D-Bildverarbeitung bietet wesentlich mehr Informationen Verschiedene Verfahren bestehen parallel Oberfläche des Objektes gibt Verfahren vor Neue Verfahren versprechen Besserung 47 Wissensaufbau und Know How - Beschaffung Training Beratung Coaching verschiedene Anwendergruppen in Branchen verschiedene Leistungsniveaus praxisnah und neutral Anwendungsberatung Machbarkeitsuntersuchungen Lösungsworkshops Komponentenauswahl Vermittlung von Lösungspartnern Begleitung von Projekten Know-How-Aufbau Kundenservice Termine 2013 unter

25 Knacken Sie mit uns die harten Nüsse! Fragen Sie jetzt! Besuchen Sie 49