Wie es Euch gefällt Pixelvorverarbeitung oder RAW-Format

Transkript

1 Wie es Euch gefällt Pixelvorverarbeitung oder RAW-Format Je nach Anwendung werden an die Bilddaten unterschiedliche Anforderungen gestellt. Beim schnellen Schnappschuss möchte Sie ein fertiges Bild von der Kamera erhalten. Das Bild sollte gleich möglichst gut aussehen und keine weitere Nachbearbeitung erfordern. Wollen Sie dagegen das Bild digital auswerten und selbst weiterverarbeiten, so sind meist die Rohdaten vom Sensor gefordert. Hintergrund Die Bilddaten einer Kamera können auf zwei verschiedene Arten übertragen werden: als unbearbeitete Rohdaten (RAW-Format) oder als fertiges Bild mit Pixelvorverarbeitung. Sensor-Rohdaten Mit Pixelvorverarbeitung Arbeitsschritte Pixelvorverarbeitung In der Pixelvorverarbeitung werden mehrere Bearbeitungsschritte durchgeführt, um aus den Rohdaten ein aufbereitetes Bild zu erzeugen. 1

2 Datenformatierung Da die Daten vom Sensor nicht in der Reihenfolge Pixel 1, Pixel 2, Pixel 3 etc. ausgegeben werden, müssen die Daten formatiert werden. Auch werden bspw. 10-Bit-Daten intern in ein 12-Bit-Format gewandelt. Hotpixel-Korrektur Wenn Pixel nicht oder nicht proportional auf einfallendes Licht reagieren, werden diese in der Hotpixel-Korrektur automatisch über ihre Nachbarpixel korrigiert. Bildspiegelung Spiegelt das Bild in vertikaler oder horizontaler Richtung. Subsampling Beim Subsampling werden mehrere Pixel auf dem Sensor beim Auslesen übersprungen. Das aufgenommene Bild hat eine kleinere Auflösung, zeigt aber den gleichen Bildausschnitt wie ein Bild mit der vollen Auflösung. Gesamt- und RGB-Verstärkung Nach der Bildaufnahme gibt der Sensor für jeden Pixel eine Spannung proportional zur eingefallenen Lichtmenge aus. Um die Bildhelligkeit und den Kontrast zu erhöhen, kann diese Spannung vor der Digitalisierung analog verstärkt und mit einem Offset versehen werden. Wenn diese Funktionalität nicht sensorseitig implementiert ist, wird dies in der Kamerahardware ausgeführt. Gamma Das menschliche Auge arbeitet im Gegensatz zum Sensor nicht linear sondern logarithmisch. Das bedeutet, dass es bei einer linearen Wiedergabe dunkle Bildstellen nur schwer unterscheiden kann. Die Gammafunktion hebt dunkle Bildstellen mittels einer nichtlinearen Kennlinie an und optimiert den Verlauf der Grauoder Farbwerte für das Sehempfinden des menschlichen Auges. LUT (Lookup-Tabelle) Mit einer Lookup-Tabelle können Sie Kennlinien auf digitale Bilder anwenden. Dies ist vor allem bei der Bewertung und Korrektur von Farbräumen von Vorteil. Eine LUT kann auch für Falschfarben- und Negativdarstellungen verwendet werden. Gamma wird ebenfalls über die LUT-Funktion realisiert. Farbinterpolation (Debayering) Um aus Sensordaten die RGB-Farbinformation zu gewinnen, wird eine sogenannte Bayer-Konvertierung durchgeführt. Dies wird auch als Debayering bezeichnet. Farbkorrektur Die Farbkorrektur ist eine digitale Bildkorrektur auf Basis einer für jeden Sensor individuell eingemessenen Farbmatrix. 2

3 Farbsättigung Die Intensität der Farben kann gesteigert oder abgeschwächt werden. Ohne Farbsättigung erhalten Sie ein richtig gewichtetes Monochrombild. Farbraumwandelung/Bitkürzung & Packing Die Formatoption bestimmt, in welchem Format und mit welcher Bittiefe die Bilddaten im Speicher abgelegt werden. Die folgende Tabelle stellt beispielhaft die beiden Formate RGB24 und RGB32 mit der jeweiligen Bittiefe gegenüber: Software: RGB24 Software: RGB30 Hardware: RGB24 Hardware: RGB 30 Sensor: Genutzte Bittiefe 8 Bit 10 Bit 12 Bit 12 Bit Kamera Farbberechnung: Bits/Farbe Bit 12 Bit Übertragung: Effektive Bittiefe 8 Bit/Pixel 10 Bit/Pixel 24 Bit/Pixel 8 Bit/Farbe 30 Bit/Pixel 10 Bit/Farbe Übertragung: Gesamte Bytes pro Pixel Software Farbberechnung: Bits/Farbe 1 Byte 2 Bytes 3 Bytes 4 Bytes 8 Bit 10 Bit - - Zielspeicher: Bits pro Farbe 8 Bit 10 Bit 8 Bit 10 Bit Endergebnis: Qualität Einstellungen im ueye Cockpit Um festzulegen, ob Sie die Bilddaten als Rohdaten oder mit Pixelvorverarbeitung verwenden, öffnen Sie im ueye Cockpit in den Kameraeigenschaften den Reiter Format. Benötigen Sie die unbearbeiteten Rohdaten, so wählen Sie entweder Sensor raw 8, Sensor raw 10 oder Sensor raw 12 aus. Deaktivieren Sie gegebenenfalls die Hotpixel-Korrektur. Für vorverarbeitete Bilder verwenden Sie ein anderes Farbformat wie bspw. RGB32. Über die Debayering-Qualität wählen Sie den Konvertierungsalgorithmus des Farbformats. Hier stehen Ihnen je nach Farbkamera verschiedene Möglichkeiten zur Verfügung: Software Die Konvertierung findet softwareseitig im PC statt. OpenCL Die Verwendung von OpenCL setzt voraus, dass die Grafikkarte OpenCL unterstützt, da die Konvertierung auf dem Prozessor der Grafikkarte stattfindet. Beachten Sie dass Monochromkameras OpenCL nicht unterstützen. Hardware Die Konvertierung findet in der Kamera-Hardware statt. Diese Option ist nur für USB 3 ueye CP/LE/ML Kameras verfügbar. Bei Verwendung des Hardware-Debayering können die Funktionen LUT, Gamma und Hotpixel- Korrektur in der Kamera durchgeführt werden. 3

4 Einstellen des Farbformats Für die Konvertierung läuft eine Filtermaske über das Bild, die für jeden Bildpunkt einen Farbwert aus den umliegenden Pixeln errechnet. Die ueye API stellt bei der Konvertierung per Software oder OpenCL zwei Filtermasken zur Verfügung, die sich hinsichtlich Bildqualität und CPU-Belastung unterscheiden: Normale Qualität Dieser Algorithmus zeichnet sich durch eine niedrige CPU-Belastung aus. Bedingt durch die Mittelwertbildung des Filters können leichte Unschärfen entstehen. Das Bildrauschen wird verringert. Dieses Filter wird für Bildverarbeitungsaufgaben empfohlen. Hohe Qualität Dieser Algorithmus verwendet eine größere Filtermaske und zeichnet sich durch eine sehr exakte Farbpositionierung und höhere Detailschärfe aus. Die CPU-Belastung ist höher als bei der normalen Qualität. Dieses Filter wird für Visualisierungsanwendungen empfohlen. Die Software-Konvertierung mit hoher Qualität sollte nur bei Sensoren verwendet werden, deren grüne Pixel eine identische Empfindlichkeit aufweisen. Dies gilt für alle ueye CCD-Sensoren und den CMOS-Sensoren der UI-122x/UI-322x/UI- 522x. Ansonsten empfehlen wir die Verwendung der normalen Filtermaske. Anwendungsgebiete Die Sensorrohdaten verwenden Sie, wenn Sie ein absolut originales Bild benötigen, bspw. für Messauswertungen, Bildverarbeitung oder wenn Sie ein eigenes Programm zur Bildaufbereitung verwenden. 4

5 Bilder mit Pixelvorverarbeitung setzen Sie bspw. für Visualisierungen oder bei Verarbeitung von Farbbildern ein also immer, wenn Sie ein fertiges Bild benötigen. Fazit Wenn Sie alle Funktionen zur Pixelvorverarbeitung deaktivieren, erhalten Sie zwar theoretisch ein RAW Format, aber die direkte Auswahl des RAW-Formats ist komfortabler und sicherer. Wenn Sie das RAW-Format verwenden, können Sie trotzdem die Hotpixel-Korrektur oder Subsampling verwenden. Bei den Modellen UI-124x/UI-324x/UI-524x und UI-125x/UI-325x/UI-525x müssen Sie die sensoreigene Hotpixel-Korrektur deaktivieren, wenn Sie speziell für Messungen die unbearbeiteten RAW-Daten benötigen. Je nach Kameramodell ist es möglich, die Pixelvorverarbeitung direkt in der Kamerahardware auszuführen und so die CPU zu entlasten. Auch ist die Berechnung exakter, da diese intern mit 12 Bit pro Farbe erfolgt. Allerdings müssen Sie beachten, dass sich bei Farbkameras die zu übertragende Datenmenge erhöht und dadurch die Bildrate bei einer niedrigen Bandbreite reduziert wird. Die Pixelvorverarbeitung in der Kamerahardware bietet insbesondere für Embedded-Systeme viele Vorteile. Hier können unter anderem gepackte Farbformate für die Datenübertragung verwendet werden. Die folgende Tabelle zeigt, welche Schritte der Pixelvorverarbeitung in der Kamerahardware durchgeführt werden können: USB 3.0 GigE USB 2.0 CCD- Sensoren Rev. 3 USB 2.0 CMOS- Sensoren Datenformatierung x x x Hotpixel-Korrektur x x x Bildspiegelung x x Subsampling x x x Gesamt- und RGB-Verstärkung x x x Gamma x x x LUT x x x Farbinterpolation (Debayering) Farbkorrektur Farbsättigung x x x Farbraumwandlung/Bitkürzung & Packing x x x Mit den ueye API-Funktionen is_setcolormode/is_setcolorconverter oder der ueye.net-klasse Converter können Sie die Einstellungen für das Farbformat setzen. Weitere Informationen zu den Farbformaten finden Sie im ueye Handbuch unter 5

6 Autoren Dana Diezemann, Senior Vision Consultant Marion Gentele, Technische Dokumentation Kontakt IDS Imaging Development Systems GmbH Dimbacher Straße Obersulm Deutschland Tel.: Web: IDS Imaging Development Systems GmbH Weitere TechTipps und Applikationsberichte finden Sie auf unserer Website. 6