Objective and Automated Stray Light Inspection of High-Dynamic-Range Cameras

Transkript

1 Berichte aus der Automatisierungstechnik Carina Raizner Objective and Automated Stray Light Inspection of High-Dynamic-Range Cameras D 93 (Diss. Universität Stuttgart) Shaker Verlag Aachen 2012

2 Bibliographic information published by the Deutsche Nationalbibliothek The Deutsche Nationalbibliothek lists this publication in the Deutsche Nationalbibliografie; detailed bibliographic data are available in the Internet at Zugl.: Stuttgart, Univ., Diss., 2012 Copyright Shaker Verlag 2012 All rights reserved. No part of this publication may be reproduced, stored in a retrieval system, or transmitted, in any form or by any means, electronic, mechanical, photocopying, recording or otherwise, without the prior permission of the publishers. Printed in Germany. ISBN ISSN Shaker Verlag GmbH P.O. BOX D Aachen Phone: 0049/2407/ Telefax: 0049/2407/ Internet: info@shaker.de

3 Frau Dipl.-Ing. Carina Raizner promovierte am an der Fakultät für Luft- und Raumfahrttechnik und Geodäsie der Universität Stuttgart mit der Arbeit Objective and Automated Stray Light Inspection of High-Dynamic-Range Cameras zum Dr.-Ing. Referent: Prof. Dr.-Ing. Dieter Fritsch, Stuttgart; Korreferenten: Prof. Dr. rer. nat. Hans-Peter Röser, Stuttgart Abstract: Night vision improvement is gaining increased importance in the domain of video-based driver assistance systems. In comparison to conventional low-beam headlights, the active infrared night vision system of Bosch provides an extended visibility at night without blinding oncoming traffic. Since night sceneries in the automotive environment are characterized by uncontrolled and strongly varying light intensities, high-dynamic-range (HDR) video cameras with an image sensor in modern, nonlinear CMOS technology are applied in order to acquire the outperforming wide luminance range of at least five decades of brightness difference between darkest and brightest object. The downside of using these HDR cameras is that their performance is especially critical if exposed to glaring situations, which, for example, might be caused by uncontrollable illumination in typical street sceneries due to oncoming traffic or reflections at traffic signs. In these situations, unwanted and disturbing stray light artefacts might occur in the acquired images which mainly arise from reflections and scattering due to mechanical defects, impurities or other effects of the image sensor or lens. Therefore, the night vision cameras are currently tested for stray light by means of subjective visual inspection according to a failure catalogue which represents one of the most important steps in the quality control among other optical inspection methods. To guarantee a realistic test in a glaring situation, the camera is shifted manually in dark surroundings with respect to an external light source which is mapped as a bright spot on dark background at different positions in the acquired images. In order to improve repeatability and reproducibility of test results, to enhance test coverage and to reduce inspection error rates at acceptable inspection times, the main focus of the thesis lies in the automation and development of an objective stray light inspection procedure. After introducing an overall inspection framework, the first part of the thesis describes the development of a motorized concept which replaces the current manual swivel unit in order to realize automated spot positioning and image acquisition. For the sake of determining the spot position in different regions inside and outside the image field, approaches such as the weighted centroid algorithm, affine transformation in combination with a Gauss-Helmert adjustment as well as extrapolation are implemented. In a second step, an algorithm based on supervised machine learning is presented which aims to objectively detect different types of stray light artefacts in the acquired images. This algorithm is composed of a combination of specific approaches for image preprocessing, feature extraction and classification using a random forest ensemble classifier. The task of the proposed procedure is to separate the inspected images into two distinct classes: those that indicate any type of stray light artefact (nio, defect) and those without any artefacts (io, non-defect). While the steps of image preprocessing and feature extraction are explained by the concrete example of wide beam artefacts, the performance of the classification is evaluated with respect to different types of stray light artefacts by means of a k- fold cross-validation procedure. In the scope of performance assessment, the out-of-bag estimation error as an internal error measure of random forests is compared with the receiver operating characteristic based on predicted artefact probabilities. Finally, the thesis discusses two different approaches for feature analysis and selection in order to evaluate individual extracted features with respect to their importance in the scope of decision making. The first procedure represents a significance test of differences between the distributions of feature values extracted from io and nio images. In the second approach, feature selection is realized by the ranking of variable importance scores which are determined as internal estimation measures during the training phase of a random forest. The outcome of both approaches is evaluated by repeating the classification procedure based on the reduced feature subsets and by comparing the classification results with those found using the original set of features. While the significance test is rather deemed to be an approach for an a priori interpretation of each feature s ability to separate io from nio distributions, the outstanding advantage of feature selection based on variable importance scores is that the multivariate interactions between all features and the

4 random forest model are taken into account. In conclusion, the thesis demonstrates that the proposed approach for automated and objective stray light inspection enables highly reproducible and repeatable classification results at improved false negative rates and acceptable inspection times which are almost independent of subjective human perception. Kurzfassung: Kamerabasierte Fahrerassistenzsysteme werden in steigendem Umfang zur Nachtsichtverbesserung eingesetzt. Verglichen mit konventionellem Abblendlicht bietet das aktive Infrarot-Nachtsichtsystem von Bosch eine erhöhte Sichtweite bei Nacht, ohne dabei den Gegenverkehr zu blenden. Da das nächtliche Fahrzeugumfeld von unkontrollierten und stark variierenden Lichtintensitäten geprägt ist, werden Videokameras mit hochdynamischem Bildsensor (high-dynamic-range, HDR) basierend auf moderner, nichtlinearer CMOS-Technologie eingesetzt, um den enorm hohen Helligkeitsbereich von mehr als fünf Dekaden zwischen dunkelstem und hellstem Objekt erfassen zu können. Der Nachteil beim Einsatz von HDR-Kameras ist jedoch, dass sich deren Auflösungsvermögen besonders in Gegenlichtsituationen als kritisch erweist. In diesen Situationen, die durch unkontrollierbare Beleuchtung im typischen Straßenumfeld hervorgerufen werden, wie z.b. durch entgegenkommenden Verkehr oder durch Reflexionen an Verkehrsschildern, können unerwünschte und störende Streulichtartefakte in den aufgenommenen Bildern entstehen. Diese sind hauptsächlich auf Reflexionen und Streuung aufgrund mechanischer Fehler, Verschmutzung oder anderer Effekte des Bildsensors oder der Linse zurückzuführen. Folglich werden die Nachtsichtkameras derzeit mittels einer subjektiven Sichtprüfung basierend auf einem Fehlerkatalog hinsichtlich ihrer Streulichtcharakteristik untersucht, die neben anderen optischen Prüfungen einen der wichtigsten Schritte in der Qualitätskontrolle der Kameras darstellt. Um eine Prüfung in realistischer Gegenlichtsituation garantieren zu können, wird die Kamera manuell in dunkler Prüfumgebung relativ zu einer externen Lichtquelle bewegt, welche somit als heller Leuchtfleck auf dunklem Hintergrund an verschiedenen Positionen in den aufgenommenen Bildern abgebildet wird. Um die Wiederholbarkeit und Reproduzierbarkeit der Prüfergebnisse zu verbessern, die Prüfabdeckung zu erhöhen und die Detektionsfehlerraten bei gleichzeitig zulässigen Prüfzeiten zu reduzieren, liegt der Schwerpunkt der Dissertation auf der Automatisierung und Entwicklung einer objektivierten Streulichtprüfung. Nach der Einführung in die Konzeption der Prüfung beschreibt die Dissertation zunächst die Entwicklung einer motorischen Kameraführung zur Realisierung einer automatischen Positionierung des Leuchtflecks sowie Bildaufnahme, die die gegenwärtige manuelle Schwenkeinrichtung ersetzen soll. Um die Positionen des Leuchtflecks in verschiedenen Bereichen innerhalb und außerhalb des Bildfelds bestimmen zu können, wurden außerdem verschiedene Ansätze einschließlich einer gewichteten Schwerpunktsberechnung, einer Affintransformation in Kombination mit einer Gauss-Helmert- Ausgleichung sowie einem Extrapolationsansatz implementiert. In einem zweiten Schritt wird ein Algorithmus zur objektiven Erkennung verschiedener Streulichtartefakt-Typen in den aufgenommenen Bildern dargestellt, der auf überwachtem, maschinellem Lernen basiert. Dieser Algorithmus besteht aus einer Kombination spezifischer Ansätze aus den Bereichen der Bildvorverarbeitung, Merkmalsextraktion und Klassifikation unter Verwendung eines Ensemble Klassifikators, dem sogenannten Random Forest. Die Aufgabe des vorgeschlagenen Verfahrens beinhaltet die Trennung der zu untersuchenden Bilder in zwei verschiedene Klassen: in diejenigen Bilder, die ein beliebiges Streulichtartefakt enthalten (nio, mit Fehler) und in diejenigen ohne jegliches Artefakt (io, ohne Fehler). Während die Einzelschritte der Bildvorverarbeitung und Merkmalsextraktion am konkreten Beispiel der Fehlerklasse Strahligkeit erklärt werden, evaluiert die Arbeit die Leistungsfähigkeit des Klassifikationsverfahrens hinsichtlich aller Fehlerklassen mittels k-facher Kreuzvalidierung. Im Rahmen dieser Leistungsbewertung wird der sogenannte OOB (out-of-bag) Schätzfehler als interne Fehlergröße des Random Forests mit der Receiver-Operating-Characteristic Kurve (ROC) verglichen, die auf geschätzten Artefaktwahrscheinlichkeiten basiert. Am Ende diskutiert die Dissertation zudem zwei verschiedene Ansätze der Merkmalsanalyse und Merkmalsselektion, um die extrahierten Einzelmerkmale hinsichtlich ihrer Bedeutung im Prozess der Entscheidungsfindung des Klassifikators zu bewerten. Im ersten Ansatz werden die Unterschiede zwischen den Verteilungen der verschiedenen Merkmalswerte, die einerseits aus io und andererseits aus nio Bildern extrahiert wurden, anhand eines Signifikanztests

5 überprüft. Das zweite Merkmalsselektionsverfahren beruht auf einer Rangfolgenanalyse der sogenannten VI-Kennzahlen (variable importance), die während der Trainingsphase des Random Forests als interne Schätzgröße bestimmt werden. Indem das Klassifikationsverfahren basierend auf den reduzierten Merkmalssätzen wiederholt und die resultierenden Klassifikationsergebnisse anschließend mit denjenigen basierend auf dem originalen Merkmalssatz verglichen werden, kann die Effektivität der beiden Selektionsansätze beurteilt werden. Während der Signifikanztest eher als Methode zur a priori Auswertung der Fähigkeit eines jeden einzelnen Merkmals gilt, io von nio Verteilungen zu unterscheiden, ist der herausragende Vorteil der Merkmalsselektion mittels VI-Kennzahlen, dass die multivariaten Wechselwirkungen zwischen den einzelnen Merkmalen und dem Model des Random Forests berücksichtigt werden. Zusammenfassend zeigt die Dissertation, dass der vorgeschlagene Ansatz einer automatisierten und objektivierten Streulichtprüfung nicht nur gut reproduzierbare und wiederholbare Klassifikationsergebnisse bei leicht vermindertem Schlupf und zulässigen Prüfzeiten liefert, sondern zudem nahezu unabhängig von subjektiver, menschlicher Wahrnehmung prüft. Die Dissertation erscheint in der Reihe Berichte aus der Automatisierungstechnik im Shaker Verlag, Aachen 2012 unter der ISBN-Nr