Bachelorarbeit. Systeme erweiterter Schärfentiefe in der industriellen Bildverarbeitung -Evaluation eines wellenfrontkodierenden Systems-

Transkript

1 Bachelorarbeit Systeme erweiterter Schärfentiefe in der industriellen Bildverarbeitung -Evaluation eines wellenfrontkodierenden Systems- von Markus Seidl Erstkorrektor: Prof. Dr. rer. nat. Manfred Fickenscher Zweitkorrektor: Thomas Schäffler, Qioptiq Tag der Einreichung: Hochschule München Fakultät 06 für Angewandte Naturwissenschaften und Mechatronik Bachelorstudiengang Mechatronik/Feinwerktechnik Studienrichtung Gerätetechnik

2 Abstrakt Systeme erweiterter Schärfentiefe in der industriellen Bildverarbeitung -Evaluation eines wellenfrontkodierenden Systems- Große Schärfentiefe führt in klassischen optischen Systemen zwingend zu Abstrichen bei anderen Schlüsselparametern der industriellen Bildverarbeitung. Dadurch entsteht ein Entwicklungsspielraum für, diese Nachteile umgehende, Systeme erweiterter Schärfentiefe. Verschiedene solcher die Schärfentiefe erweiternden Konzepte werden in dieser Arbeit vorgestellt. Intensiver wird sich mit dem vielversprechenden Ansatz der Wellenfrontkodierung auseinandergesetzt. Durch optische Kodierung der Wellenfront gelingt es der Methode, ein von Defokussierung unabhängiges Bild zu erzeugen. Einfache Algorithmen der Bildrestauration stellen anschließend die durch den Kodierungsvorgang verlorene Schärfe wieder her. Ob und wie gut das Konzept funktionieren kann, wird anhand eines als Vertreter dieses Verfahrens vorliegenden optischen Systems evaluiert. Testaufnahmen werden gemacht und ausgewertet. Funktionsweise, Vor- und Nachteile, sowie tatsächliches Potenzial der Technologie sollen in der Arbeit aufgezeigt werden. Dazu sind auch die Prüfung eines Bedarfs im Bildverarbeitungsmarkt, die Beleuchtung der Patentsituation und ein Vergleich mit den dargestellten alternativen Verfahren notwendig. Die vorliegende Arbeit soll einen ersten Einblick in die Technologie gewähren und als Basis eines Entscheidungsprozesses dabei helfen, einen Einstieg in die Technologie Wellenfrontkodierung zu prüfen.

3 Inhalt 1. Nutzen erweiterter Schärfentiefe Bildverarbeitung Historie und Abgrenzung Einsatzgebiete Abbildung Qioptiq Schärfentiefe Geometrische Schärfentiefe Wellenoptische Schärfentiefe Through Focus MTF Computational Imaging Bildrestauration Unschärfemessung Depth from (de)focus Entwurf der Störfunktion Systeme erweiterter Schärfentiefe Variation der Blendenöffnung als Standardverfahren Coded Aperture Focus Stacking Lichtfeldkamera Single Shot Multi Picture Fokusinvarianz Wavefrontcoding Tabellarische Zusammenfassung Die Theorie des Wavefrontcodings Wellenfront Entstehung Phasenplattenoptimierung Phasenplattenformen Kubische und logarithmische Phasenplatte... 52

4 6.4.2 Generalisierte kubische Phasenplatte Verbesserte logarithmische Phasenplatte Exponentielle Phasenplatte Sinusförmige Phasenplatte Vergleich Adaptive Phasenplatten Symmetrische Phasenplatten Paarung Weitere Einsatzmöglichkeiten von WFC Evaluierung eines bestehenden Systems EDOF Serie Ricoh Kamera EV-G200B Objektiv EL-HC Vergleichssystem Messmethodik Messaufbau und Bildaufnahme Methodik der Bildanalyse Ergebnisse Besonderheiten Through-Focus MTF Bildfehler Geschwindigkeit Patentsituation Chancen und Risiken einer WFC-Serienentwicklung Anhang A Anhang B Abbildungsverzeichnis Literaturverzeichnis

5 1. Nutzen erweiterter Schärfentiefe In der Photographie sind Veränderungen der Schärfentiefe ein beliebtes Mittel um Bildern eine ansprechende Wirkung zu verleihen. Man lässt bewusst Bildbereiche im Unscharfen, um den Blick auf das Wesentliche zu lenken oder eine Tiefenwirkung zu erzielen. Abbildung 1 Schärfentiefe in der Photographie [1] In der Bildverarbeitung liegt der Schwerpunkt nicht auf der Wirkung, sondern auf der Informationsfülle die eine Abbildung bereitstellt. Der Verlust an Information, der durch nicht fokussierte Bildbereiche entsteht, stellt viele Anwender deshalb vor ein großes Problem. Indem Anwendungsbeispiele mit Systemen großer und kleiner Schärfentiefe gegenübergestellt werden, soll zunächst unabhängig von den übrigen Systemeigenschaften der Vorteil deutlich vergrößerter Schärfentiefebereiche dargestellt werden. Abbildung 2 veranschaulicht am Beispiel der Produktionskontrolle an einem Fließband. Wie zu erkennen ist, kann durch einen größeren nutzbaren Schärfentiefebereich die Notwendigkeit einer zweiten, auf einen anderen Objektabstand fokussierten Kamera, wegfallen. Abbildung 2 erweiterte Schärfentiefe in der Produktkontrolle [2] 1

6 Die Einsparung einer oder mehrerer Kameras zieht weitere Vorteile nach sich: - der Platzbedarf reduziert sich - die Zeit zur Inbetriebnahme verringert sich - Neujustierungen bei Objektwechseln sind seltener nötig - die Datenmenge und die Anzahl der Bilder sinkt - die Analysegeschwindigkeit erhöht sich - die Bildqualität ist nahezu gleichbleibend über die Objektabstände So sinken bei Nutzung eines Systems mit erweiterter Schärfentiefe (engl. Extended depth of field, EDOF) in obigem und in äquivalenten Beispielen die Kosten für Inbetriebnahme und Instandhaltung, Minitaturisierung wird ermöglicht und Umrüstzeiten werden verringert. Wird bereits mit nur einer Kamera gearbeitet, hat geringe Schärfentiefe häufig zu folge, dass nicht alle Abstände eines Objekts scharf genug abgebildet werden können. Auch wenn in einer Anwendung unterschiedliche Objekte, die sich nicht im selben Abstandsbereich befinden, erwartet werden, sind Unschärfen die Folge. Hier müssen dann mehrere Bilder aufgenommen werden. Zwischen den Aufnahmen ist ein weiterer Arbeitsschritt nötig. Auf drei verschiedene Arten kann in diesen Fällen ausreichend Schärfe im gesamten relevanten Bereich bzw. für jedes erwartete Objekt gewährleistet werden: Nachfokussierung der Kamera oder des Objektivs (Sensor- oder Linsenverschiebung), Veränderung der Objektposition und Veränderung der Kameraposition. Alle drei Vorgänge ziehen Kosten und Probleme nach sich. Für den ersten Lösungsansatz benötigt man ein fokussierbares Objektiv mit beweglichen Teilen und aus diesem Grund höheren Toleranzen sowie geringerer Robustheit. Verschiebt man Kamera oder Objektauflage wird ein ziemlich genauer mechanischer Aufbau zur Linearbewegung nötig. Neben Platzbedarf, Einbau- und Materialkosten können die Kosten für ein solches System bei höheren Genauigkeitsanforderungen schnell exorbitant steigen. Für alle drei Möglichkeiten ist, sofern nicht mit wenigen bekannten Standardabständen gearbeitet wird, ein Autofokussystem nötig, welches wiederum Kosten verursacht. Abbildung 3 EODF bei Objekten unterschiedlicher Höhe [2] 2

7 Verwendet man ein optisches System mit großer Schärfentiefe kann dieser Schritt wegfallen. Dabei ist nicht selten die daraus erfolgende Zeitersparnis das wichtigste Argument für EDOF. Vor allem bei zeitkritischen Anwendungen wie Pick-and-Place Applikationen oder der Kontrolle hoher Produktstückzahlen kann der Wegfall des Arbeitsschritts zwischen der Bildaufnahme die Arbeitsfrequenz entscheidend erhöhen. Der so nur ein Bild vorliegend habende und damit schnellere und einfachere digitale Bildverarbeitungsprozess tut sein Übriges. Um zu verstehen, was es neben Schärfentiefe braucht, damit Bildaufnahmesysteme mit erweiterter Schärfentiefe in der IBV eingesetzt werden können, ist es nicht von Nachteil, diese Branche und Ihre Bedürfnisse genauer zu kennen. Eine kurze Vorstellung der IBV wurde deshalb in Kapitel 2 verfasst. Kapitel 3 soll ein tieferes theoretisches und praktisches Hintergrundwissen über die Schärfentiefe bereitstellen, ohne das EDOF-Systeme nicht verstanden werden können. Aus dem gleichen Grund wird in Kapitel 4 das Computational Imaging vorgestellt. Seine Abschnitte über Bildverarbeitungsalgorithmen machen deutlich, wie aktuell die Thematik EDOF in der IBV gerade ist. Denn große Fortschritte konnten, obwohl die Grundideen schon lange bekannt sind, erst mit der fortschreitenden Digitalisierung der Bildaufnahme in den letzten 20 Jahren gelingen. So sind auch die meisten der vorgestellten Konzepte in Kapitel 5 Kinder des neuen Jahrtausends, und die wenigsten haben es, Stand heute, zur Marktreife gebracht. Ein besonders vielversprechendes Konzept jedoch, ist seit 2013 in einer Produktserie erhältlich. Grund genug sich in Kapitel 6 einmal genauer mit dem Wavefrontcoding (WFC, dt. Wellenfrontkodierung) zu beschäftigen. Ob WFC und speziell Ricohs Produktserie halten kann was es verspricht soll der praktisch Teil dieser Arbeit in Kapitel 7 zeigen. Ziel der Arbeit ist, mit den Erkenntnissen aus den vorderen Kapiteln, eine Abschätzung der Chancen und Risiken einer WFC-Serienentwicklung zu treffen und möglicherweise auch Alternativmethoden zu empfehlen. Ob dies gelungen ist, kann im abschließenden letzten Kapitel in Erfahrung gebracht werden. 3

8 2. Bildverarbeitung Die nötigen Informationen zur Darstellung der industriellen Bildverarbeitung wurden hauptsächlich aus dem Fachbuch Einführung in die industrielle Bildverarbeitung, erschienen 2006 im Franzis Verlag, gewonnen [1]. 2.1 Historie und Abgrenzung Bildverarbeitung (BV) ist aus heutigen Industriebetrieben nicht mehr wegzudenken. Die automatische und korrekte Auswertung komplexer und hochaufgelöster Bildinformation wurde in den letzten 30 Jahren zum wichtigen Produktionsfaktor. Einige Umstände begünstigten den Aufstieg einer Spezialdisziplin zum Milliardenmarkt industrielle Bildverarbeitung (IBV). Zunächst ist die Ausarbeitung der ISO 9000 zu nennen, die zusammen mit dem Anstieg der Qualitätsanforderungen der Firmen an sich selbst und damit einhergehenden Nullfehlerprogrammen zu einem enormen Bedarf an Qualitätskontrollen führte. BV konnte hier durch einfache Implementierung von Hundertprozentkontrollen in den laufenden Produktionsablauf die fehlerbehafteten, vom Menschen durchgeführten visuellen Kontrollen schnell verdrängen. Fehlerhafte Teile wurden sicherer erkannt und früher aussortiert oder korrigiert. BV als Werkzeug zur Produktions- und Prozessoptimierung etablierte sich. Ein weiterer begünstigender Trend war der Ruf nach immer mehr Automatisierung. Mit dem Siegeszug der Roboter wurde der Begriff Maschinelles Sehen oder Machine Vision zum geflügelten Wort. Im Hinblick auf den menschlichen Bezug erscheint es logisch, dass Roboter sich selbst, durch Interpretation von selbst aufgenommenen Bildern, steuern sollten. Der Roboter wird autonomer und kann flexibler agieren. Neben der Kontrolle der Fertigungsprozesse findet die BV in Gestalt des Fertigungsroboters so immer mehr Verwendung in der Fertigungssteuerung selbst. Das Bildverarbeitungssystem erhält Einzug in die Fertigungsmaschine, in den Fertigungsroboter. Diese zwei Kernkompetenzen der IBV hatten großen Einfluss auf die Entwicklung moderner Industrieprozesse. Mit der optischen Präzisionsmesstechnik, begünstigt durch immer höhere Anforderungen an Genauigkeit und der fortschreitenden Miniaturisierung, sowie der im öffentlichen Diskurs allgegenwärtigen Überwachungstechnik sollen zwei weitere Wachstumsfelder zumindest Erwähnung finden, die allerdings der IBV nur im weiteren Sinne zuzuordnen sind. Der Einführung von komplexen Bildverarbeitungssystemen im Wege standen immer hohe Kosten und niedrige Leistungsfähigkeit. In Konkurrenz zu Lohnkosten und menschlichem Auge stehend, konnte nur die rasende Entwicklung der Halbleitertechnologie den entscheidenden Vorteil bringen. Bildsensoren entwickelten eine enorme Leistungsstärke zu niedrigen Preisen. Rechenkapazitäten zur Verwertung der großen Bilddatenmengen und Berechnung hochkomplexer Analysealgorithmen wurden ebenfalls immer billiger. Der Konsumentenmarkt für Digitalkameras und Videospiele schuf hier für die BV heute kaum ausschöpfbare Leistungsgrenzen zu einem enorm niedrigen Preis. Erst diese Entwicklung ermöglichte den effizienten Einsatz der BV in den umfassenden Bereichen wie wir sie heute kennen. 4

9 2.2 Einsatzgebiete Die wichtigsten Einsatzgebiete industrieller Bildverarbeitung sind Identifikation, Prüfung, Lokalisierung, Platzierung und Vermessung [3 S. 13] Im Bereich Identifikation (Objekterkennung) wird festgestellt, ob die Merkmale eines gesehenen Objektes mit gewissen Merkmalen eines Referenzteils innerhalb vorgegebener Toleranzen übereinstimmen. Hauptaugenmerk liegt hierbei auf Form (Kantenerkennung), Farbe (Farberkennung) und Oberflächenstruktur (Reflexion, Intensität). Verbunden mit Positionserkennung können so in Bereichen wie Verpackung auch Vollständigkeitsanalysen durchgeführt werden. Daneben ist in der Fertigung auch die Mustererkennung (Platinen, Textilien) ein wichtiger Aspekt. Dem Bereich Identifikation ist auch die Zeichenerkennung (Beschriftung) sowie das Lesen von Code (Strich-, Matrixcode) zuzuordnen. Die Herausforderung besteht hier insbesondere in der Beleuchtung. Ausreichender Kontrast und Ausschluss von Tageslichteinflüssen sind unabdingbar. Zudem sind Störungen durch Schäden wie beispielsweise Risse oder Striche auf der Verpackung bei der Identifikation problematisch. Im Applikationsfeld Prüfung liegt der Schwerpunkt auf einer messtechnischen Merkmalserfassung. Die Frage, ob ein Merkmal dem eines Referenzteils ähnelt wird von der Anforderung, einem Merkmal einen bestimmten Messwert zuzuordnen, weiter präzisiert. Man unterscheidet zwischen Prüfung, die als Ergebnis nur ein o.k. oder nicht o.k. kennt und Messung, die einen Wert aufzeichnet. Ersteres findet Hauptanwendung in vollautomatischen Produktionskontrollen, letzteres bei der statistischen Prozessanalyse. Hochgenaue Messung geometrischer Merkmale ist hier das Hauptanwendungsgebiet. Tastende Verfahren werden durch berührungslose optische Verfahren ersetzt. Große Objekte können ebenso vermessen werden wie mikroskopisch kleine, sowie Formen die tastende Verfahren unmöglich machen (Hohlraumvermessung). Temperatur- und Rauhigkeitsmessungen sind weitere Beispiele. Lokalisierung stellt vor allem in der sogenannten Robot-Vision eine Herausforderung dar. Durch Erkennung angebrachter oder vorhandener Merkmale in der Umgebung wird ein Roboter durch sein Bildverarbeitungssystem befähigt, seine eigene Position im Raum zu lokalisieren. Damit einher geht die Möglichkeit seine Geschwindigkeit und Bewegungsrichtung zu ermitteln. Die Antriebe eines Roboterarms können so mittels Interpretation von, von der(n) Kamera(s) aufgenommenen, definierten Referenzpunkten gesteuert werden. Dieser Prozess setzt hohe Echtzeitfähigkeit des Systems voraus. Die Platzierung als weitere Anwendung der Bewegungssteuerung durch Bilder von Kameras wird in sogenannten pick&place Verfahren eingesetzt. Die Anforderungen an pick&place-systeme variieren dabei stark. Sind die Genauigkeitsansprüche beispielsweise in Etikettiervorgängen am Fließband noch relativ niedrig, reizt man in der Leiterplattenbestückung die technischen Möglichkeiten aus. Die Position und Intaktheit kleinster Elemente muss hochgenau ermittelt werden. Deshalb setzt man in diesem Bereich häufig Vergrößerungsobjektive ein. Meist sind Anwendungen in diesem Bereich zudem äußerst zeitkritisch. Pick&Place Verfahren haben so häufig höchste Qualitätsansprüche. In der Vermessung sind weniger die Koordinaten einzelner Punkte von Interesse sondern vielmehr die Gesamtausmaße des Objekts. Es wird zwischen 2- und 3D Vermessung unterschieden. In der 2-5

10 dimensionalen Vermessung sind vor allem eine saubere Abbildung und exakte maschinelle Erkennung von Objektkanten von Bedeutung. Andere Aspekte die das menschliche Auge für die Bewertung eines Bildes kennt, werden vernachlässigt. Die immer wichtiger werdende optische 3D- Vermessung stellt für Systementwickler eine neue, große Herausforderung dar. Beispielsweise mittels Triangulation werden hierbei die 3-Dimensionalen Objektausmaße berechnet. Stereokameras oder strukturierte Beleuchtung sind hier die vorherrschenden Methoden. 2.3 Abbildung Die Anwendungen der BV sind also vielfältig. Das einzelne System ist jedoch in der Regel gleich aufgebaut. Die Beleuchtung kontrastiert das Objekt so, dass die Details sichtbar werden, die von anderen Unterschieden werden sollen. Das Objektiv überträgt die lichtmodulierte Objektinformation auf einen Detektor. Dieser fängt die Lichtinformationen auf und leitet sie digitalisiert über eine Kameraschnittstelle zum Rechner. Dort installierte Software wertet die Bilder aus und leitet eventuell weitere Schritte ein. Unter Umständen entwickelt sie das Bild indem sie einige Bildbearbeitungsoperationen durchführt. Einleuchtend ist, dass in der IBV zur Bewertung eines Bildes nicht wichtig ist, dass es ansprechend auf den Betrachter wirkt. Vielmehr ist die Lesbarkeit der Information für eine Maschine, die Verwendbarkeit des Bildes für eine Software das Entscheidende. Für eine Maschine besteht ein Bild aus einer großen Anzahl einzelner Werte auf einem Koordinatensystem. In der BV wird üblicherweise von Grauwerten gesprochen, da meist schwarzweiß Modi zum Einsatz kommen. Sensoren weisen jedem Pixel einen solchen Grauwert abhängig von der einfallenden Lichtmenge zu. Algorithmen können zum Beispiel durch Prüfung auf große Wertunterschiede benachbarter Bildpunkte Kanten erkennen. Die Herausforderung an die Bildverarbeitungskette besteht darin, die vom Objekt reflektierte und ins Objektiv einfallende Lichtintensität möglichst unverfälscht weiterzugeben. Am Ende steht ein Bild mit einer gewissen Bildqualität zur Verfügung. Die wichtigsten Kriterien zur Qualitätsbewertung dieses Bildes sind Auflösung und Kontrast. Der Kontrast entspricht der Differenz zwischen hellstem und dunkelstem Grauwert. Die Auflösung bezeichnet die Fähigkeit feine Strukturen zu unterscheiden, welche dann nicht mehr gegeben ist, wenn eine Lücke zwischen zwei Objekten nicht mehr durch Grauwertänderung nachweisbar ist. Beide Kriterien spielen allerdings zusammen, da kontrastarme Bilder schneller an Auflösungsvermögen verlieren als kontrastreiche. Abbildung 4 Beitrag von Kontrast und Auflösung zur Bildqualität [3 S. 86] 6

11 Häufig werden vor der eigentlichen Bildanalyse noch Algorithmen ausgeführt, die die Grauwerte manipulieren um Beispielsweise Rauschen zu unterdrücken oder Sprünge hervorzuheben. Das Bild wird dann für die Software besser interpretierbar, auch wenn andere Informationen eventuell verloren gehen oder zumindest verfälscht werden. Bei Vermessungsaufgaben ist vor allem die Exaktheit des Grauwertsprungs (Kantenschärfe) wichtig um Kantenerkennung sinnvoll durchführen zu können. Die Grauwerte an sich sind vor allem bei Oberflächenprüfungen wie Rauhigkeitsuntersuchungen von Bedeutung. Die Grauwerte beeinflussen kann neben den im Objektiv entstehenden Streueffekten auch Signalrauschen. Auflösung und Kontrast werden in der BV mit großem Aufwand maximiert. Verschiedene Beleuchtungstechniken (Hellfeld, Dunkelfeld) und Megapixelsensoren sind nur zwei Beispiele dafür. Die Aussagekraft eines Bildes hängt jedoch von weiteren Faktoren ab. Wichtig, besonders in der BV, ist der Ausschluss abbildungsbedingter Verzerrungen. Korrigiert der Mensch leichte Abweichungen von der erwarteten Form unterbewusst, gelingt dies der Maschine nicht. Identifikation kann trotz Verzerrungen gelingen, Vermessung wird jedoch unmöglich. Ebenfalls entscheidend ist eine weitestgehend gleichbleibende Bildqualität über das gesamte Bildfeld. Objekte haben häufig im gesamten Bildraum die gleiche Relevanz. Das Bildfeld soll zudem häufig möglichst groß gehalten werden, damit ein großer Bereich mit nur einer Kamera abgedeckt werden kann. Objektive mit großer Öffnung und Sensoren mit hoher Bilddiagonale werden deshalb immer beliebter. Zusätzlich haben Objektive mit großer Öffnung eine hohe Lichtstärke, die einen ausreichenden Lichteinfall in angemessener Belichtungszeit garantiert. Je lichtstärker ein Objektiv, desto weniger lichtempfindlich muss der Sensor sein. Das bringt insofern Vorteile für die Bildqualität mit sich, als dass lichtempfindliche Sensoren durch hohes Rauschen den Kontrast spürbar reduzieren. Je kleiner die Pixelgrößen, desto mehr Lichtstärke wird ebenfalls benötigt. Einen besonderen Einfluss auf die Bildqualität hat die Beleuchtung des Objekts selbst. Beleuchtung mit Weißlicht (breites Linienspektrum) führt zu unterschiedlichen Brechungen im Objektiv und deshalb zu Unschärfe. In vielen Fällen wird deshalb mit nur einer Wellenlänge beleuchtet. Häufig ist das Objektiv dabei bereits für die entsprechende Wellenlänge optimiert (z.b. Infrarotobjektive). Im industriellen Umfeld spielt auch der Temperatureinfluss eine Rolle. Abwärme von Industriemaschinen oder der Kamera selbst führt zu Materialausdehnung und verschlechterter Abbildungsqualität. Auch mögliche Erschütterungseinflüsse müssen berücksichtigt werden. Schnelle Bildfolgen sind bei schnellen Prozessen notwendig, da ansonsten nur ein kleiner Teil des Prozesses abgebildet wird. Hier stößt man dann relativ bald auf das in den letzten Jahren größte Hindernis in der BV. Schnell folgende Bilder mit großer Auflösung erzeugen rasch eine große Datenmenge, der die heutigen Datenleitungen (CameraLink, Ethernet) noch nicht gewachsen sind. Nicht zuletzt deshalb geht der Trend immer mehr in Richtung SmartCamera. Bilder werden direkt vor Ort bearbeitet und analysiert. Die entsprechend kürzeren Datenleitungen vom Sensor bis zur Rechenkapazität können mehr Bilder schneller und fehlerfreier übertragen. Der Anspruch an die Rechenkapazität und Software in der Kamera selbst steigt allerdings enorm. Die Herausforderung aussagekräftig abzubilden ist also groß. Ob es gelingt hängt von vielen von Anwendung zu Anwendung unterschiedlich wichtigen Parametern ab. Als komplexer Wachstumsmarkt ist BV so ein Eldorado für Spezialisierung, Nischentechnologien und -produkte. Die große allgemeingültige Lösung gibt es nicht. Die Anbieter von Bildverarbeitungskomponenten und Lösungen sind deshalb zahlreich und vielfältig. Mit der Qioptiq SAS wird ein auf optische Komponenten spezialisierter Anbieter vorgestellt. 7

12 2.4 Qioptiq Die Informationen für diese Kapitel wurden hauptsächlich der Qioptiq Homepage entnommen [4]. Qioptiq ist ein Unternehmen welches sich auf die Fertigung und Entwicklung optischer Komponenten spezialisiert hat. Als solches konzentriert es sich vor allem auf die Märkte Medizin, Industrie, Verteidigung und Luftfahrt sowie die Bereitstellung von R&D Equipment. Es hat sich die Ausstattung dieser Märkte mit modernsten und qualitativ hochwertigen optischen Lösungen zur Aufgabe gemacht. Heute hat Qioptiq 2100 Mitarbeiter an 11 Standorten und erwirtschaftet einen Umsatz von knapp 400 Mio. US-Dollar. Hauptstandorte sind im US-Bundesstaat New York, im Vereinigten Königreich, in Singapur sowie in Deutschland in Regen, Göttingen und München anzutreffen. Daneben gibt es natürlich weltweit Vertriebsniederlassungen. Der Firmenname Qioptiq als solcher existiert erst seit 2005 und ist aus dem Verkauf der High Tech Optik Sparte des US-Unternehmens Thales an den Finanzinvestor Candover Investments plc. hervorgegangen. Dieses Private Equity Unternehmen, notiert am Englischen Stock Exchange und auf schnelle Firmenkäufe und verkäufe spezialisiert, kaufte weitere Firmen der Optikbranche und formte das Unternehmen Qioptiq in der heutigen Form. Heute gehören der Qioptiq-Gruppe Firmen wie Gsänger, Linos, Optem, Pilkington und Point Source an. Die unterschiedlichen Firmen als solche weisen somit vor 2005 keine gemeinsame Geschichte auf. Aus der Sicht der IBV in Deutschland lohnt es sich die Geschichte speziell zwei dieser Unternehmen zu beleuchten, nämlich derjenigen aus dem der jetzige Standort in Feldkirchen bei München hervorgegangen ist. Zum einen ist da das Münchner Traditionsunternehmen Rodenstock, welches seit 1877 als Pionier im Brillenmarkt tätig ist, zum anderen das Göttinger Unternehmen Spindler und Hoyer. Letztgenanntes ist 1898 gegründet und seitdem in der Optikbranche aktiv, sei es um Lösungen für Militär ( WK), Industrie oder Forschungseinrichtungen bereitzustellen wurde S&H nach einem Management-Buy-Out in Linos umbenannt. Nach einer Restrukturierung war Linos wieder ein funktionierendes Unternehmen und suchte nach Erweiterungsmöglichkeiten. Gleichzeitig entfernte sich Rodenstock in München immer weiter von ihrer Kernkompetenz Brille und Design. Stattdessen entwickelten sich unterstützt vom vorhandenen Know-How Unternehmensbereiche wie Photografie und mit steigender Nachfrage auch BV. Rodenstock wollte sich auf seine Kernkompetenzen konzentrieren und Linos sich erweitern, sodass schließlich Ende der Neunziger Jahre Rodenstock Präzisionsoptik von Linos übernommen wurde und Rodenstock selbst sich deutlich verschlankte. Nach anderen kleineren Übernahmen ging Linos 2000 schließlich an die Börse, 2006 erwarb die Qioptiq Gruppe die nach etlichen Verlusten angeschlagene, aber sich gerade wieder erholende Linos AG durch den Kauf von 75 Prozent der Aktien und einem anschließenden Squeeze Out. Der Name Linos blieb auf bestehenden und zukünftigen Produkten aber als Markenname erhalten. 8

13 Abbildung 5 Qioptiq und Excelitas Während meiner Zeit als Absolvent wurde die Qioptiq Gruppe vom oben genannten Finanzinvestor wieder abgestoßen und von der Excelitas Technologies Corp. erworben. Im Gegensatz zur Private Equity Gesellschaft hat die Excelitas Corp. nicht ausschließlich finanzielles Interesse an der Qioptiq Gruppe, sondern auch ein strategisches. Sie sieht als den asiatischen und amerikanischen Markt bedienendes Unternehmen, welches sich als Anbieter von OEM-Systemlösungen durch Knowhow vor allem in Beleuchtung und Sensortechnik auszeichnet, mit der sich auf Optik und den europäischen Markt konzentrierenden Qioptiq die ideale Ergänzung. Deshalb werden tiefgreifende Veränderungen im Unternehmen erwartet. Die erste dieser Art ist, dass im Laufe des Jahres 2015 der Excelitas-Standort Pfaffenhofen mit 50 Mitarbeitern komplett nach Feldkirchen verlagert wurde. Der Qioptiq-Standort Feldkirchen ist einer der Hauptstandorte der Qioptiq-Gruppe. Als solcher wurde er erst im Jahr 2009 bezogen. Der Neubau im Osten Münchens befindet sich in einem Gewerbegebiet und ist mit der S-Bahn oder mit dem Auto leicht zu erreichen. Zuvor war man im zentrumsnahen Rodenstockgebäude untergebracht. Von der Idee bis zum Versand werden hier, abgesehen von der Linsenfertigung, alle Entwicklungsschritte durchlaufen. Im Bereich der Fertigung hat sich der Standort, auch historisch bedingt, vor allem auf Metallbearbeitung spezialisiert. CNC-Fräsmaschinen und auch eine vollkommen automatische laufende CNC-Einheit stehen Maschinenhalle. In der High-End-Optik werden allerdings nicht solch große Stückzahlen gefertigt als dass sich größere Hallen lohnen würden. Eine Besonderheit des Werkes ist die Galvanik-Abteilung. Diese hat große Kapazitäten und sich über Jahrzehnte einen in diesem alten chemischen Prozessablauf wichtigen, großen Erfahrungsschatz aufgebaut. Dabei wurde eine äußerst gute Galvanisierungsqualität erreicht. Die hohe Qualität in der Galvanisierung nutzen auch andere Firmen gerne. Die optischen Elemente werden vor allem in Regen oder in Asien gefertigt, allerdings hat Qioptiq Feldkirchen Kompetenzen in Feindrehen asphärischer Spiegelflächen und in der Kristallzüchtung. Auch Beschichtungstechnologien sind hier verfügbar. Am Standort gibt es daneben eine große Montageabteilung, in der die Monteure hochpräzise Linsen verkleben. Dabei werden auch Kleberoboter verwendet. Manche Kunden haben eigens Montage und Prüfplätze gemietet oder vollständig bezahlt. Zur Prüfung stehen neben einigen anderen Messgeräten auch zwei große MTF-Messanlagen zur Verfügung. Ein Lager, zertifiziert nach dem bekannter Versender Prinzip, ermöglicht unkompliziertere Zollabfertigung, im Gegenzug verbietet es unautorisierten Zugang. In der Entwicklung liegen die Schwerpunkte vor allem auf der Optikrechnung, aber auch in der Konstruktion. Elektromechanische und elektrotechnische Komponenten werden meist zugekauft. Die Entwicklungsvielfalt in den Feldkirchner Business-Units 9

14 reicht von Endoskopen über Lenkraketendome bis zu Kamerasystemen die Plastikmüll nach Farbe sortieren und stellt somit einen Querschnitt durch die Qioptiq Gruppe dar. Der Zielmarkt Industrie ist in der Qioptiq neben Medizin, Verteidigung und Luftfahrt, sowie der Forschung einer der vier Hauptvermarktungsbereiche. Die entsprechend große Businessline Semiconductor und Inspection wurde hierfür aufgestellt. Das deutet bereits auf die Wichtigkeit des Halbleitermarktes in der BV hin. So haben einige große Kunden in diesem Bereich eine solche Strukturierung sinnvoll erscheinen lassen. Sie fordern hochspezialisierte OEM-Lösungen in hoher Stückzahl. Der vielfältige Rest des industriellen Bildverarbeitungsmarkts ist in der Feldkirchener Business Unit Vision Technologys konzentriert. Sie ist nach mehreren Umstrukturierungen aus der BU Machine Vision entstanden, dessen Name vielleicht aussagekräftiger ist. Hier werden Serienoptiken (Katalog) verkauft und OEM-Lösungen für verschiedenste optische Industrieanwendungen entwickelt. Das Produktportfolio umfasst hochauflösende Optiken mit verschiedensten Brennweiten und unterschiedlichsten Auflösungen bis in den Bereich weniger Mikrometer hinein. Dabei reicht die Palette von einfach zu realisierenden 5-Linsern, über asphärische Formen mit extremen und hochgenauen Spezifikationen bis zu OEM-Gesamtsystemen mit elektromechanischen Elementen. Je nach Kundenwunsch können auch Spezialversionen entwickelt werden, die etwa Infrarotbeleuchtung ermöglichen, automatisch fokussieren oder besonders robust sind. Die Projektleiter der Abteilung haben Zugriff auf Ressourcen in der Optikrechnung und Konstruktion und sprechen ihre geplanten Projekte und den zeitlichen Verlauf mit diesen ab. Mein Arbeitsplatz war in der Zeit bei Qioptiq im dritten Stock des Firmengebäudes untergebracht. Ich teilte mir mein Büro mit zwei Kaufleuten, die mir so einen Einblick in den Arbeitsalltag als solcher ermöglicht haben. Nicht weit waren jedoch der Betreuer dieser Arbeit sowie seine Vertretung angesiedelt, sodass ich mich immer an jemanden wenden konnte. Mit Optikrechnern und Messingenieuren anderer Abteilungen war jederzeit reger Austausch möglich. Neben Schreibtisch und Rechner nutzte ich auch ein Labor im ersten Stock als Raum für meine Messaufnahmen. Dort fand ich einen optischen Tisch sowie verschiedenste mechanische Komponenten zum Aufbau eines Messplatzes vor. Auch unterschiedliche Linienmuster waren als Objekte vorhanden. 10

15 3. Schärfentiefe Abbildung 6 geringe bis hohe Schärfentiefe [5] Schärfentiefe ist nicht nur in dieser Arbeit sondern vor allem auch in der BV, in der meist 3- dimensionale, tiefenausgedehnte Elemente abgebildet werden sollen, ein besonders wichtiger Begriff. Schärfentiefe oder auch Fokuslänge, nicht jedoch Tiefenschärfe (DIN ), gibt dabei den Bereich vor und hinter dem Brennpunkt an, innerhalb dessen das Bild als scharf anzusehen ist. Hier liegt genau die Schwierigkeit. Denn wann ein Bild als scharf zu betrachten ist, ist nicht immer so einfach zu bestimmen wie im geometrischen Modell (vgl. Kap. 3.1). Praktikabler wäre mit Sicherheit zu fragen, in welchem Bereich ein Bild scharf genug ist, was dann für jeden Anwendungsfall neu entschieden werden muss. Man kann einer Optik also keinen eindeutigen Schärfetiefebereich zuweisen, vielmehr wird je nach Anforderung an die Mindestbildqualität der nutzbare Tiefenbereich größer oder kleiner ausfallen. Vergleicht man nun zwei optische Systeme bezüglich ihrer Schärfentiefe, bleibt zunächst die einzige zu treffende Aussage, dass eines der beiden vermutlich invarianter bezüglich Defokussierung als das andere ist. Alternativ spezifiziert man Anforderungen an die Bildqualität in einem bestimmten Abstand vom Brennpunkt und kann so sagen, ob die Systeme eine ausreichende Schärfentiefe besitzen und welches der beiden in der relevanten Entfernung eine bessere Bildqualität erreicht. Dabei ist die Schärfentiefe zuallererst kein Gütekriterium einer Optik des Herstellers A oder B, wie vom Anwender oft angenommen, sondern wird vorrangig von den gewählten Grunddaten des Systems (Brennweite, Öffnung) bestimmt [3 S. 94]. Sind die Grunddaten so gewählt, dass der Bereich der Schärfentiefe klein werden muss, verliert der Anwender möglicherweise wichtige Informationen die vor oder hinter der Brennweite liegen. Zudem ergeben sich bei sehr kleinem Schärfetiefebereich hohe Anforderungen an die Positionierung des Objektes und die Positionierungstoleranz des Sensors gegenüber der Optik sinkt. 3.1 Geometrische Schärfentiefe Zum besseren Verständnis der Schärfentiefe und ihrer Abhängigkeiten von anderen optischen Größen wird zunächst ein idealisiertes, geometrisch-optisches Modell einer Optik ohne jeglichen Abbildungsfehler angenommen. Ein solches Modell wird häufig als beugungsbegrenzt bezeichnet. [6 S. 331]. 11

16 Abbildung 7 Schärfentiefegrenzen a F,a N bei max. Zerstreuungskreisdurchmesser u [7 S. 118] Objektpunkte der gleichen Entfernung werden auf Punkte in der gleichen Ebene fokussiert und erscheinen bei Positionierung des Bildaufnehmers in dieser Ebene auf jenem scharf. Objektpunkte mit anderem Abstand schneiden sich bereits vor oder würden sich theoretisch nach dem Aufnehmer schneiden. Sie werden durch einen sogenannten Zerstreuungskreis unscharf abgebildet. Nutzt man als Bildaufnehmer einen Sensor, wird ein Objektpunkt bildseitig so lange als scharf wahrgenommen, wie sein Zerstreuungskreis u die Pixelgröße u des aufnehmenden Sensors unterschreitet. Als Schärfentiefe bezeichnet man dann den Bereich, in dem das Objekt axial verschoben werden kann, ohne dass der Zerstreuungskreis auf dem in der Brennebene liegenden Sensor die Größe eines Pixels überschreitet. Die bildseitige Schärfentiefe, auch Abbildungstiefe, bezeichnet den Bereich, in dem der Sensor des Systems liegen kann, ohne dass die Bildpunkte eines in der Einstellebene a liegenden Objektes die Pixelgröße überschreiten. Die geometrisch-optische Abbildungstiefe entspricht dem Abstand der durch das System konjugierten Nah- und Fernpunkte a N und a F auf der Objektseite. Definition 1: Als Schärfentiefe bezeichnet man den Bereich vor und hinter der Einstellebene, innerhalb dessen ein Objekt axial verschoben werden kann, ohne dass auf dem in der zur Einstellebene optisch konjugierten Auffangebene eine merkliche Unschärfe entsteht. Definition 2: Als Abbildungstiefe bezeichnet man den Bereich, in dem ein Bildaufnehmer ein auf der Einstellebene liegendes Objekt abbilden kann, ohne dass dem Bild eine merkliche Unschärfe entsteht. Der Abbildungstiefe ist die Schärfentiefe somit im Objektraum optisch konjugiert. Umgekehrt gilt dass die Schärfentiefe der Abbildungstiefe im Bildraum optisch konjugiert ist. Die Entfernungen a N und a F sind dabei die durch die Gleichungen (1) und (2) vorzeichenunabhängig berechneten Nah- und Fernpunkte und begrenzen den Bereich der Schärfentiefe. (1) 12

17 (2) Der Schärfentiefebereich ergibt sich dann aus der Subtraktion beider Gleichungen. Hinzuweisen ist noch darauf, dass der Schärfentiefebereich zur nominellen Objektentfernung a asymmetrisch ist. Um ein Gefühl für die übliche Größenordnung von auf dieser Weise ermittelten Schärfetiefen zu bekommen wird in Beispiel 1 das Verfahren für ein sich im Handel befindliches Hochleistungsobjektiv das mit einem üblichen Sensor gepaart wurde durchgeführt. Beispiel 1: Für ein Hochleistungsobjektiv wie das MeVis-C 1.6/16 errechnet sich gepaart mit einem 2 MP Sensor mit 4.5x4.5 μm Pixelgröße (vgl. Abschnitt 7.2) bei Einstelltiefe a=250 mm und Blende k=3 nach dem geometrisch-optischen Modell folgende Schärfentiefe: In einem Bereich von 6.17 mm also überschreitet bei oben aufgeführten Systemdaten der Zerstreuungskreis die Pixelgrenze nicht. Gleichungen (1) und (2) zeigen anschaulich den indirekt proportionalen Zusammenhang von Blende und Schärfentiefe. Die Ausnutzung dieses Zusammenhangs durch immer kleinere Blenden zur Ausweitung der Schärfentiefe wird in Abschnitt 5.1 näher betrachtet. Auch der große Einfluss der Brennweite f`, der gewünschten Auflösung u und der Einstellentfernung a wird durch die obigen Gleichungen deutlich. Häufig von Bedeutung bei Systemen die kein Nachfokussieren erlauben ist die Fixfokus- oder Hyperfokalentfernung. Sie bezeichnet die kürzeste Einstellentfernung a HF, ab der alle Gegenstände von einem Nahpunkt bis Unendlich scharf dargestellt werden. Vorzeichenunabhängig berechnet durch Gleichung (3). ( ) Daraus ergibt sich die Entfernung des Nahpunktes für die Hyperfokalentfernung mit (3) durch und (4) 13

18 Die geometrisch-optische Betrachtung kann in der Praxis häufig nur als erste Orientierung dienen. Denn neben Abbildungsfehlern verringern Beugungserscheinungen die Aussagekraft des Strahlenmodells in der Optik. Oft sind diese so groß, dass selbst der kleinste Zerstreukreis eines Strahlenbündels die Pixelgröße moderner Sensoren überschreitet. Nach obiger Definition wäre also kein einziger Bildpunkt scharf (vgl. Einführung in die industrielle Bildverarbeitung, S.97). So muss man noch weitere Bewertungskriterien von Schärfentiefe einführen, um der Realität gerecht zu werden. 3.2 Wellenoptische Schärfentiefe Ein Objektpunkt, der durch eine Optik konjugiert auf einem Bildfeld wiedergegeben wird, wird nie als Punkt erscheinen. Vielmehr wird der Lichtstrahl durch Beugung an der Öffnungsblende erweitert, so dass er theoretisch das gesamte Bildfeld erreicht. Dabei ist jedoch die Lichtenergie in einem engen Gebiet um den Bildpunkt konzentriert. Mithilfe der Betrachtung des Lichtes als Welle kann die Wellenoptik Gesetzmäßigkeiten aufstellen, die den Verlauf der Lichtintensität berechenbar machen. Die Intensitätsverteilung der Lichtenergie eines durch ein beugungsbegrenztes System abgebildeten Achsenpunktes wird in Abbildung 8 beispielhaft gezeigt. Besonders interessant bezüglich der Schärfentiefe ist hierbei weniger die Intensitätsverteilung in achssenkrechten Ebenen, sondern die Lichtverteilung längs der optischen Achse. Die Intensität nimmt vom geometrisch-optischen Bildpunkt längs der optischen Achse ab. Üblicherweise definiert man die wellenoptische Abbildungstiefe als den achsparallelen Bereich in dem die Intensität auf 0.8 abnimmt (vgl. [6 S. 335]). Im unteren Bild ist diese Bedingung zwischen dem ersten und zweiten Ring erfüllt. Abbildung 8 Intensität im Bildraum eines Beugungsbegrenzten Systems [6 S. 332] Definition 3: Die wellenoptische Abbildungstiefe ist der achsparallele Bereich in dem die Intensität auf 0.8 abnimmt. 14

19 In Haferkorns Optik, physikalisch-technische Grundlagen [6], wird für die Grenzen der wellenoptischen Abbildungstiefe b folgende Gleichung angenähert: (5) Eine Beispielrechnung bei einer angenommenen Wellenlänge λ = 550 nm und einer Blende k=3 ermöglicht es uns ein Gefühl für die wellenoptische Abbildungstiefe zu bekommen. Beispiel 2: = Man erkennt am quadratischen Zusammenhang von Abbildungstiefe und Blendenzahl dass vor allem die Blende für die wellenoptische Abbildungstiefe entscheidend ist. Darüber hinaus ist zu beachten, dass im Beispiel nur die Abbildung eines einzigen sich auf der optischen Achse befindlichen geometrisch-optischen Objektpunktes berechnet wurde. Die tatsächlichen wellenoptischen Phänomene, über das gesamte Bildfeld hinweg, unter Berücksichtigung von nicht ideal auf der Bildebene auftreffenden Zerstreuungskreisen ist sehr komplex und wenn überhaupt nur durch Simulationen zu berechnen bzw. anzunähern, sodass das Ergebnis aus Beispiel 2 allenfalls eine Größenordnung der zu erwartenden wellenoptischen Abbildungstiefe liefern kann. Durch Konjugation mit dem optischen System wird abhängigen Grenzwert des Schärfentiefebereichs: b zu einem vom Abbildungsmaßstab β β (6) Somit wurde die wellenoptische Abbildungstiefe als der Bereich definiert, innerhalb dessen die Lichtintensität entlang der optischen Achse um weniger als 20% abnimmt und unter Einbeziehung des Abbildungsmaßstabs die Schärfentiefe berechnet. Es wurde also im Gegensatz zum geometrischen Modell nicht der Bereich bestimmt, in welchem ein Lichtkegel die Größe eines Pixels gerade noch unterschreitet, sondern der Bereich, in welchem die Lichtwellen eines Objektpunktes eine ausreichende Intensität besitzen um vom Sensor als Bildpunkt erkannt und innerhalb des Pixels nicht durch andere Objektpunkte überlagert werden. Ein Zuzug der Blende erhöht zunächst immer die allgemeine Bildqualität. Jedoch steigt auch der Effekt der Beugungsunschärfe durch den Wellencharakter des Lichtes. Der Punkt an dem die Auflösung durch Blendenzuzug sein Maximum erreicht, wird kritische Blende genannt. Der Punkt an dem die Auflösung bereits niedriger ist, die Tiefenschärfe durch Blendenzuzug aber sein Maximum erreicht, wird förderliche Blende genannt. Verändert man mit der Blendenzahl den einzigen Parameter von dem geometrische und wellenoptische Schärfentiefe abhängig sind, erkennt man recht schnell, dass eine Einbeziehung der wellenoptischen Schärfentiefe durch die quadratische Abhängigkeit vor allem bei großer Blende sinnvoll ist. Im Normalfall reicht eine strahlenoptische Abschätzung aus, um die theoretische Schärfentiefe zu bestimmen. Umgekehrt hat die geometrische Schärfentiefe bei hoher Blendenzahl 15

20 recht bald nur noch geringen Einfluss auf die theoretische Schärfentiefe, sodass eine wellenoptische Betrachtung unter Umständen ausreichen kann. Beleuchtet man mit höheren Wellenlängen gewinnt die wellenoptische Schärfentiefe ebenfalls schneller an Bedeutung. Gleichung (5) erweckt den Eindruck, dass die Schärfentiefe durch Zuzug der Blende nahezu unbegrenzt erhöht werden kann. Das ist, betrachtet man die Schärfentiefe isoliert, tatsächlich der Fall (vgl. Abschnitt 5.2). Im Hinblick auf andere Systemeigenschaften kommen zwei Aspekte hinzu, die bereits angesprochen wurden. Zum einen die nötige einfallende Lichtmenge, die nur durch lange Belichtungszeiten erreicht werden kann und zum anderen die gerade eingeführte Beugung, die die Intensität nicht nur längs der optischen Achse beeinflusst sondern sie auch senkrecht zur Achse immer weniger stark abfallen lässt, sodass durch ein mehrfaches Überschreiten der Pixelgröße die Auflösung rapide sinken kann. In den Kapiteln 5.1 und 5.2 wird näher auf die Beeinflussung der Schärfentiefe durch Blendenveränderung eingegangen. 3.3 Through Focus MTF Niedrige Schärfentiefen kommen in der Praxis häufig bei hochauflösenden, nahe an der Beugungsgrenze agierenden Systemen vor. Konventionelle Methoden zur Ausweitung der Schärfentiefe wie verkleinern der Blende (vgl. Kap. 5.1) schlagen hier mit einem erheblichen Auflösungsverlust zu Buche. Auflösung und Schärfentiefe verhalten sich komplementär. Erhöht man das eine reduziert sich aufgrund physikalischer Gesetzmäßigkeiten das Andere (vgl. Kap.6.2). Auch die Entwicklung hin zu immer größeren Sensoren und der häufig damit verbundenen Vergrößerung der Brennweiten führt immer mehr zu einer ungewollten Reduktion der Schärfentiefe. Die schwierige Klassifikation, das komplementäre Verhalten der Schärfentiefe zur Auflösung und die neuen Sensorgrößen die zu immer größeren Brennweiten führen, sind Hauptgründe dafür, dass der Erhaltung einer angemessenen Schärfentiefe in der Optik und insbesondere in der BV immer wieder zu wenig Beachtung geschenkt wird. Häufig wird mit hoher Bildqualität geworben, aber verschwiegen, dass diese Bildqualität aufgrund der rein auf Auflösungsoptimierung getrimmten Spezifikationen nur in einem sehr engen Bereich erreicht wird. Weicht die Objektentfernung aber nur leicht ab, was in so gut wie jedem Anwendungsfall eintreffen wird, so kann unter Umständen eine massive Verschlechterung des Ergebnisses beobachtet werden. Dies kann dazu führen, dass eine Optik trotz auf den ersten Blick guter Bildqualität für die vorgesehene Anwendung dennoch unbrauchbar ist. (vgl. [3]) Ob ein System eine ausreichende Schärfentiefe besitzt kann man als Anwender über die Modulationsübertragungsfunktion (MTF) herausfinden. Im Anhang befindet sich zur Orientierung eine kurze Anleitung wie man MTF-Diagramme richtig liest und interpretiert. Neben der im Anhang erklärten Grundform der MTF gibt es eine Reihe von MTF-Arten, die unterschiedliche Objektivspezifikationen zeigen. Zum Beispiel können zur Darstellung des Chromasieverhaltens anstelle unterschiedlicher Linienpaarfrequenzen unterschiedliche Wellenlängen im Diagramm verzeichnet sein. Auch für die Abbildung unter Defokussierung wurde eine Darstellungsform der MTF entwickelt. Anstelle des Abstands zur Bildmitte trägt man auf die x-achse die Position des Bildsensors auf. Die MTF wird für verschiedene Abstände des Sensors vom Objektiv vermessen. Als y-wert wird der für die jeweilige Ortsfrequenz höchste MTF-Wert der vermessenen Position in die Grafik eingetragen. So entsteht eine MTF-Funktion wie sie in Abbildung 9 zu sehen ist. 16

21 Abbildung 9 MTF bezüglich der Schärfentiefe [8 S. 24] Die orange Linie gibt den Abstandswert an, bei dem die mittlere Linienpaarfrequenz den höchsten Wert erreicht. Hier wird im Graph der 0-Punkt der x-achse gesetzt. Hier sollte auch der Sensor positioniert sein. Die schwarzen Dreiecke zeigen die rein geometrisch berechnete, bildseitige Schärfentiefe (Abbildungstiefe) für einen Zerstreukreis von 0.03 mm (vgl. Kap. 3.1). An der Grenze dieses als scharf angenommenen Bereichs liegen die MTF-Werte der Frequenz von 40 lp/mm im Bereich von 20%. Bei MTF- Werten von unter 20% spricht man in der Praxis spätestens von einer nicht mehr sinnvoll nutzbaren Abbildung. Die geometrische Schärfentiefe wird also nur bis zu einer Frequenz von 40 lp/mm erreicht. Die Graphen zeigen zudem deutlich die bereits angesprochene Asymmetrie der Schärfentiefe sowie die durchaus mögliche Verschiebung des MTF-Maximums bei unterschiedlicher Ortsfrequenz ( focus shift ). Anhand von Diagrammen obigen Schemas lässt sich die Invarianz eines Objektivs oder auch eines optischen Gesamtsystems bezüglich Defokussierung auf den ersten Blick richtig feststellen, wenn man die angesprochenen Detailangaben bei der Interpretation berücksichtigt. In Abschnitt 7.6 wird mit einfachen Mitteln selbst eine solche Through Focus MTF erstellt. 17

22 4. Computational Imaging Computational Imaging (CI) ist ein recht neuer Begriff der in der Literatur noch nicht klar definiert ist. Er fasst einen Bereich von Verfahren zusammen in denen ein anderes Verständnis vom Verhältnis digitaler Bildverarbeitung zur digitalen Bildaufnahme besteht. Denn digitale Bildverarbeitung ist im Normalfall ein recht strikt vom vorangehenden digitalen Bildaufnahmeprozess getrennter Bereich. Den Einfluss nämlich, den nach der Bildaufnahme durchgeführte digitale Prozesse auf den Bildaufnahmeprozess selbst haben, ist in üblichen Systemen verschwindend gering. Die Hardware in der Bildaufnahme veränderte sich durch digitale Nachbearbeitung allenfalls dahingehend, dass die Anforderungen an sie aufgrund der erweiterten Möglichkeiten Fehler nachträglich zu entfernen, in bestimmten Bereichen sanken. Dennoch bleibt meist die Vorgabe, von der Realität möglichst wenig abweichende Bilder aufzunehmen. Verfahren des CI gehen dahingehend anders vor. Die Hardware der Bildaufnahme wird mit dem Wissen erstellt, dass die Aufnahmen einem bestimmten, umfangreichen Bildbearbeitungsprozess unterzogen werden um Informationen zu gewinnen, welche mit üblichen Verfahren nicht zugänglich wären. Die für die optimale Durchführung der Bildbearbeitungsalgorithmen konstruierte Hardware liefert dann Bilder, die vom menschlichen Auge oft nicht mehr sinnvoll interpretierbar sind. Die von der Realität stark abweichenden Zwischenbilder sind Ergebnis einer vorangegangenen integrierten, also gleichzeitigen und gleichwertigen, Optimierung von Bildaufnahme, Bildbearbeitungs- und Bildverarbeitungsalgorithmen beim Systementwurf. Abbildung 10 Computational Imaging In Abbildung 10a) stehen die roten Rahmen für die üblicherweise getrennt ablaufende Entwicklung und Optimierung von Bildaufnahme und Bildbearbeitung. Bei b) erkennt man die integrierte Entwicklung von optischem und digitalem System um aus einem der Wirklichkeit oft nur noch wenig entsprechendem Zwischenbild eine möglichst optimale Erzeugte Abbildung zu rekonstruieren. 18

23 4.1 Bildrestauration Anhand des Zwischenbildes lässt sich auch sehr anschaulich die Modellvorstellung einer Abbildung in der Mathematik erläutern. Eine Abbildung wird als mit einer Störfunktion belegte Funktion des realen Objektes angesehen. Gelingt es die Einflüsse der Störfunktion vollständig zu entfernen, entsteht eine Abbildung welche exakt der Realität entspricht. Die Entfernung der Störfunktion wird auch Bildrestauration genannt. Im Falle der Defokussierung durch mangelnde Schärfentiefe geht man von einer Unschärfe durch vergrößerte Zerstreuungskreise (vgl. 3.1) als Störfunktion aus. Die Voraussetzungen für Bildrestauration sind die Kenntnis des gestörten Bildes sowie die Kenntnis der Störung, die mathematisch in einer invertierbaren Form dargestellt sein muss. Eine Störung kann beispielsweise die durch Defokussierung hinzugefügte Unschärfe sein. Eine Störung wird in der Betrachtung des Bildes als mathematisches Modell als linearer Operator beschrieben: (7) A := Störung f := ungestörtes Bild g := gestörtes Bild Ist die Störung A bekannt und invertierbar kann das ungestörte Bild folgendermaßen berechnet werden: (8) Der Störoperator muss für die Bildrestauration zudem Verschiebungsinvariant sein. Das bedeutet er wirkt im gesamten zu restaurierenden Bildbereich gleich. Trifft Verschiebungsinvarianz zu, können alle Zeilen der Störungsmatrix A durch zyklische Verschiebung aus einer einzigen Zeile von A gewonnen werden. (1D, Zeilenkamera) ( ) Aufgrund dieses Zusammenhangs kann man die Störung A auch als Faltung betrachten. Die Faltung des Bildes f wird mit einem Störoperator h ausgeführt. (9) (10) 19

24 Die Faltungsfunktion beschreibt jede verschiebungsinvariante, lineare Operation vollständig, beschreibt die Funktion für beliebige Bilder, kann als Resultat der Veränderung eines Punktes erzeugt werden. Damit ist die Faltungsfunktion nichts anderes als die Punktantwort (Point Spread Funktion, PSF, siehe Anhang A). Mit Kenntnis der PSF kann durch inverse Faltung also wieder das ungestörte Bild erzeugt werden. Für den Fall der Defokussierung als Störung überführt man den scharfen Bildpunkt in die folgende einfache PSF-Abbildung: Abbildung 11 PSF bei reiner Defokussierung Der Grad der Unschärfe, der durch die obige PSF dargestellt wird, kann im Bild gemessen (s. Abschnitt 4.2), wie in obigem Bild durch Aufnahme eines Testobjekts angenähert oder auch als theoretischer Zerstreuungskreis berechnet werden (vgl. Abschnitt 3.1). Allgemein kann ein Bildpunkt f, dem seine korrekte PSF zugeordnet wurde, durch die inverse Faltung von g mit dieser PSF wieder hergestellt werden. Die Inverse Faltung in linearen Gleichungssystemen führt allerdings zu enormem Rechenaufwand. Ein Bild mit NxN Pixeln führt zu einem Gleichungssystem mit NxN unbekannten, was bei heute üblichen Auflösungen und Rechnern nicht in vernünftiger Zeit berechenbar ist. Besser ist es, die inverse Faltung im Frequenzbereich durchzuführen und dazu gestörtes Bild und Störsignal h in ebendiesen zu überführen. Bei der Umkehrung der Faltung im Frequenzbereich spricht man nun von Dekonvolution (dt. Entfaltung ) oder inverser Filterung. Mathematisch betrachtet stellt sich die Transformation in den Frequenzbereich folgendermaßen dar: [ ] [[ ] ] (11) Nach der Transformation in den Frequenzbereich wird die inverse Filterung durchgeführt: [ ] (12) In Gleichung (12) kann man ein Hauptproblem der inversen Filterung in der Praxis erkennen. Denn kaum eine Störfunktion h besitzt im Frequenzbereich keine Nullstellen. Für die optimale inverse Filterung wäre allerdings eine solche nullstellenfreie Störfunktion nötig. Bei Störfunktionen mit Nullstellen wird im wiederhergestellten Bild ein von der Größe der Nullstellenbereiche abhängiges addiertes Rauschen feststellbar sein. 20

25 Im Idealfall hat man nach der Transformation von gestörtem Bild und PSF in den Frequenzbereich, einer einfachen Dekonvolution und einer Rücktransformation des Dekonvolutionsergebnisses das ursprüngliche, ungestörte Bild erzeugt. In der Praxis allerdings sind Bilder nicht nur durch die Störung verfälscht, sondern auch bereits vor der inversen Filterung mit unterschiedlichen Arten von Rauschen belegt. Das Bildrauschen stört die inverse Filterung, da man aufgrund seines stochastischen(weißes Rauschen) oder frequenzabhängigem (rosa Rauschen), auf jedem Fall seines nicht wiederholbaren Charakters, von ihm nicht als verschiebungsinvariante Störgröße sprechen kann. Die einfache Entfaltung führt dann zu bis zur Unkenntlichkeit verrauschten Bildern. [ ] Addiertes Rauschen im Normal- und im Frequenzbereich (13) (14) Gelöst kann das Problem werden, indem man die inverse Filterung mit einem das Rauschen entfernenden Tiefpassfilter kombiniert. Zum Beispiel führt man die inverse Filterung an der durch G veränderten Funktion durch. ( ) (15) G:= Tiefpass in Form einer Gaußglocke Bei der Benutzung eines Tiefpassfilters muss man allerdings damit rechnen, dass Bildinformationen höherer Frequenzen verloren gehen. In der Praxis wird das optische System weniger hochauflösend, auf Testcharts verschwimmen zunächst Bereiche höherer Linienpaarfrequenzen. Die BV sucht deshalb nach inversen Filtern, die möglichst unabhängig vom Rauschvorgang sind. Besonders hervorgetan hat sich hierbei der Wiener-Filter, der als abschließendes Beispiel erläutert werden soll. Zur Herleitung stellt man sich ungestörtes vor. Ziel ist es nun ein Filter W zu entwickeln, das den quadratischen Fehler aus Gleichung (16) minimiert. { } (16) e := Fehler E := erwarteter Fehlerwert 21

26 Vereinfacht ergibt sich nach [9 S. 78] die Übertragungsfunktion von W als: (17) Spektrum des Rauschens Spektrum des ungestörten und unverrauschten Bildes Steuerungsparameter für die Dämpfung (>0) Anstatt G(u,v) mit H -1 (u,v) zu multiplizieren wird bei der inversen Filterung nach Wiener also mit der obigen Funktion transformiert. Der Wiener-Filter hat gegenüber der normalen inversen Filterung mit H -1 (u,v) noch einen weiteren Vorteil. Durch einen zusätzlichen Faktor H(u,v) wird eine Polstelle der Störfunktion kompensiert. Auch dadurch erhält man deutlich bessere Ergebnisseals durch die direkte Filterung mit H -1. Die inverse Filterung zur Bildrestauration weist in der Praxis trotz verschiedenster Filtertechniken viele Probleme auf. Diese werden abschließend noch einmal zusammengefasst: 1. Identifikation der Störfunktion h Viele der im nächsten Kapitel vorgestellten Methoden haben hauptsächlich die genaue Bestimmung der Störfunktion zum Ziel 2. Nullstellen bzw. sehr kleine Werte von H an vielen Stellen Bei Defokussierung ähnelt h einer Gaußglocke. Folglich wird H bei hohen Frequenzen sehr klein. Artefakte an Bildkanten und addiertes Rauschen sind häufig die Folgen. 3. Gestörtes Bild g liegt nur in Graustufen vor (8 bit = 256 Graustufen) Durch Rundungseffekte entstehende Fehler wirken sich besonders dort aus wo H sehr klein und daher H -1 sehr groß ist. Deshalb begrenzt man H -1 meist nach oben hin und setzt bei Nullstellen von H H -1 gleich Null. Das verfälscht zwar das Ergebnis der Konvolution, macht sie aber immerhin näherungsweise möglich. 4. Häufige Tiefpasscharakteristik der bildverschlechternden Faltung mit h Beispielsweise Defokussierung aus 2. Durch große H -1 verstärkt man das in Bild f enthaltene Rauschen (z.b. Quantifizierungsrauschen) (vgl. [9 S. 77f]) Die unterschiedlichsten Algorithmen inverser Filterung können die Probleme 2-4 unterschiedlich stark vermindern. 22

27 4.2 Unschärfemessung Die Unschärfemessung ist ein Werkzeug um die in Abbildung 11 dargestellte PSF digital aus einer 2- dimensionalen Abbildung zu gewinnen. Häufig wird modelhaft angenommen, dass die Unschärfe ausschließlich durch den vorwiegend vorliegenden Abbildungsfehler, zum Beispiel Defokussierung, entstanden ist. Bei Kenntnis des Unschärfegrades eines Bildbereichs kann diesem dann eine modelhafte PSF zugeordnet werden und anschließend wie im obigen Abschnitt Bildrestauration durchgeführt werden. In der Literatur werden zahlreiche Möglichkeiten zur digitalen Messung von Unschärfe vorgeschlagen. Hauptsächlich konzentrieren sich diese auf drei Bereiche. Man kategorisiert sie deshalb in statistische, ableitende und energetische Verfahren. Statistische Verfahren berechnen Standardabweichung, Varianz und andere statistische Größen um den Grad der Unschärfe zu bestimmen. Ableitende Verfahren bestimmen die Unschärfe aus dem Bildkontrast und der ersten oder zweiten Ableitung des geglätteten Bildes. Die Energie eines Bildes wird meist durch diskrete Kosinustransformation (DCT) oder Diskrete Fouriertransformation (DFT) ermittelt. Die verschiedenen Verfahren zeigen unterschiedlich gute Ergebnisse in unterschiedlichen Bereichen. Die kurze Vorstellung dieser Prinzipien wurde hauptsächlich aus [10] entnommen. Der für gewöhnlich meistgenutzte Messalgorithmus für die Unschärfe U ist die Tenengrad-Methode von Krotkov: ( ) (18) Die Gradienten g x und g y werden mittels Sobel-Operator ermittelt und in x und y-anteil aufgespalten. Zur Bildglättung werden benachbarte Gradienten addiert bevor die Summe ihrer Quadrate gebildet wird. Ohne Glättung führen Kanten schnell zu stark erhöhten Werten. Hohe Frequenzen würden verstärkt und das Rauschen erhöht. Mittels einer Gaußableitung in Verbindung zum obigen Gradientenfilter kann man die Glättung noch verbessern. Ein 2 dimensionaler Gaußscher Ableitungsfilter in x-richtung stellt sich wie folgt dar. ( ) (19) Sigma bestimmt den Grad der Glättung. Durch diese Operation wird die Unschärfemessung noch unempfindlicher gegen Rauschen. Die zweite Ableitung wird verwendet um eine sehr empfindliche Unschärfemessung zu erzeugen. Bereits geringe Unschärfe führt zu hohem Ausschlag. 23

28 ( ) (20) Der Betrag wird verwendet, da es möglich ist, dass sich die beiden Gradienten aufgrund von gegensätzlichen Vorzeichen aufheben. Verwendet man Energiesignale wie sie beispielsweise nach einer diskreten Fourier- oder Cosinustransformation (DFT, DCT) entstehen ist wichtig zu wissen, dass der Unschärfegrad als das Verhältnis von niedrigen zu hohen Frequenzkoeffizienten errechnet wird. Relevant für die Auswahl der richtigen Messmethode sind meist folgende Attribute: -Unabhängigkeit vom Bildinhalt -Monotones Verhalten gegenüber Unschärfe -Robustheit gegen Rauschen -Große Veränderung auch bei kleiner Unschärfeänderung (hohe Empfindlichkeit) -Niedrige Berechnungskomplexität Bei Messung an einer Kante auf die unterschiedlich starkes Gaußsches Rauschen aufgetragen wurde kann man das Verhalten der Algorithmen prüfen und folgende Ergebnisse erzielen: Abbildung 12 Kennlinien von Unschärfemessverfahren und ihre Rauschempfindlichkeit [10 S. 51f] Die linken Graphen zeigen den Verlauf und die Empfindlichkeit der verschiedenen Unschärfemessverfahren. Die dritte Methodik (grün) besitzt die größte Varianz, ist allerdings stark abfallend und somit bei weiten am Empfindlichsten bei kleiner Unschärfe. Die erste Variante besitzt nur niedrige Empfindlichkeit bezüglich Unschärfeänderung und ist wie die DCT nahezu linear. Aus den vier Schaubildern rechts lässt sich bei Betrachtung der Fehler herauslesen wie robust das jeweilige Verfahren gegen Rauschen ist. Die beiden unteren Verfahren sind sehr Anfällig gegenüber Bildrauschen, weisen aber die größte Empfindlichkeit gegenüber Unschärfeänderungen auf. Die Methode der DCT stellt den besten Kompromiss zwischen Robustheit und Empfindlichkeit dar. 24

29 4.3 Depth from (de)focus Unschärfemessung und Bildrestauration lassen die Frage aufkommen warum Unschärfe durch Defokussierung nicht ein schon vor langer Zeit zu den Akten gelegtes Problem ist. Die Kombination dieser zwei Verfahren sollte es doch möglich machen jegliche Unschärfe eines zweidimensionalen Bildes durch Defokussierung mittels inverser Filterung zu entfernen. Betrachtet man ausschließlich ein Bild und dessen Unschärfeverlauf ist es allerdings nur schwer möglich herauszufinden, welcher Anteil der Unschärfe durch Defokussierung zustande kam und in welchem Anteil Rauschen oder andere Abbildungsfehler dafür verantwortlich sind. Die Frage, die sich zudem stellt, ist, ob man ein unscharfes Bild eines scharfen Objektes betrachtet oder bereits das Objekt Unschärfe aufweist. Auch wäre das Ergebnis doppeldeutig, da Objekte die näherungsweise (vgl. 3.1) symmetrisch vor und hinter der Abbildungsebene liegen dieselbe Defokussierungsunschärfe aufweisen. Diese Probleme können durch eine Untersuchung von nur einem Bild nicht beantwortet werden. Es ist in der Folge schwierig bis unmöglich die inverse Filterung richtig zu skalieren. Bereits geringe Abweichungen der angenommenen Störfunktion können jedoch zu Rauschen und anderen Artefakten beim entstörten Bild führen. Eine einfache Möglichkeit diese Problematik zu umgehen ist die Erzeugung zweier oder mehrerer Bilder deren einziger Unterschied die Fokussierung darstellt. Der Vergleich der Unschärfe in denselben Bildbereichen relativ zueinander ergäbe dann einen Datensatz der im Grunde die Entfernung dieses Bildbereiches von der Fokusebene angibt. Diese Daten können in eine sogenannte Tiefenkarte übertragen werden. Die Ermittlung einer Tiefenkarte auf diese Weise fasst man unter der Bezeichnung Depth from Defocus zusammen. Jedem Tiefenwert wurde zuvor eine Störfunktion und damit eine inverse Faltungsoperation zugewiesen. Einer Entfernung der Tiefenunschärfe durch Faltungsoperationen steht nun nichts mehr im Wege. Deutlich wird hier, dass im Grunde alle Verfahren, die es ermöglichen den Abstand von Objekten in aufgenommenen Bildern zu ermitteln der Erweiterung der Schärfentiefe dienen können. Hier sind vor allem auch etablierte Verfahren zur 3D-Vermessung, wie beispielsweise die 3D-Stereomessung durch Triangulation oder Time-of-Flight- Kamers anzuführen. Dichte und Genauigkeit der Tiefenkarte sowie der Aufwand zur Bestimmung der Tiefenkarten werden zu wichtigen Kenngrößen wenn Bildrestauration durchgeführt werden soll. Viele EDOF-Methoden konzentrieren sich auf Ermittlung der Tiefenkarte durch Depth from Defocus. Des Weiteren sind einige Methoden unter dem Stichwort Depth from Focus zusammenzufassen. Hier nutzt man den Umstand unterschiedlich fokussierte Bilder vorliegend zu haben dazu, die jeweils schärfsten Bildbereiche zu einem Neuen Bild zusammenzufügen. Alle Methoden die Unschärfemessung verwenden unterliegen allerdings den Verfahren aus Abschnitt 4.2 zugrundeliegenden folgenden Einschränkungen: Tiefe nach obigem Vorgehen kann nur bei texturbehafteten Objekten ermittelt werden, da bei glatten, einfarbigen Objekten Unschärfe kaum gemessen werden kann. Natürlich ist es bei texturarmen Gebieten wie zum Beispiel einfarbiger, glatter Flächen nicht unbedingt nötig die Unschärfe zu ermitteln. In der Praxis jedoch entstehen bei so gut wie jedem Bild nach der Tiefenmessung große Bereiche denen keine Unschärfe zugewiesen werden kann. Bei falscher Entfernungszuweisung dieser Bereiche können Artefakte entstehen. 25

30 Eine weitere Einschränkung betrifft die Bildgröße. Da beim Glättungsvorgang Pixel um den dargestellten Pixel herum herangezogen werden und in den Randbereichen nun mal keine Pixel mehr sind, wird die maximale Bildgröße in jeder Richtung um die zur Glättung in dieser Richtung herangezogenen Pixel verringert. Auch wird eine gewisse Einfachheit der Szenerie vorausgesetzt. Gleichzeitig durchsichtige und reflektierende Flächen stören die Messung und können nicht beherrscht werden. Insgesamt sind auf Unschärfeberechnungen angewiesene Verfahren deshalb in der Flexibilität der Objektauswahl teils erheblich eingeschränkt (vgl [10 S. 55]). Zur Vervollständigung von etwa durch diese Einschränkungen entstandenen Löchern in der Tiefenkarte sind zwei Möglichkeiten bekannt. Eine ist, das Bild in verschiedene Unschärfeebenen anhand scharfer Kanten einzuteilen und so nicht zugeordneten Bereichen eine Ebene automatisch zuweisen zu lassen. So entstehen allerdings Schwierigkeiten bei der Erkennung der definierten Ebenen wenn Elemente benachbarter Ebenen von ähnlicher Struktur sind und sich nicht durch eine klare Kontrastkante abzeichnen. Optimisierungsalgorithmen hingegen versuchen Lücken mit möglichst optimalen Werten zu füllen. Dazu errechnen sie den Wert für einen Pixel, der einen im Vergleich zu umliegenden Pixeln minimalen Unterschied aufweist. Diese Berechnung ist sehr komplex und wird deshalb häufig an downgesampelten, niedrigauflösenden provisorischen Bildern durchgeführt, die anschließend wieder hochgerechnet werden. a) Originalbild b) Tiefe von Kanten c) Segmentiert d) Optimiert Abbildung 13 Tiefenkarten [10 S. 65] 26

31 Selbst bei einer perfekten Tiefenkarte wäre die resultierende PSF nur eine grobe Annäherung. Denn ein Bildaufnahmesystem weist oft stark variierende PSF auf. So ist zum Beispiel der erzeugte Bildfehler stark von der jeweiligen Position des Pixels im Bildbereich abhängig. Um diesen Umstand auszugleichen kann man jedem Pixel eine eigene Störfunktion zuweisen. Doch dann kommen weitere die PSF beeinflussende Faktoren wie Objektfarbe oder Herstellungsfehler hinzu. Um eine perfekte Lösung zu erreichen würden auf diesem Weg unendlich komplexe Definitionen entstehen, deren Algorithmen die Rechenkapazitäten übersteigen. Depth from Defocus Methoden können also immer nur Approximationen darstellen. 4.4 Entwurf der Störfunktion Zu Beginn dieses Kapitels wurde das grundlegende Konzept des CI erläutert: Die Bildaufnahme wird bereits an die zukünftigen Bildverarbeitungsschritte angepasst. Die durch die Bildaufnahme addierte Störfunktion wird also nicht darauf optimiert ein qualitatives Zwischenbild zu erzeugen, sondern dieses Zwischenbild soll möglichst gut bearbeitbar sein. Im Beispiel der Defokussierung stehen hier die Messung der Defokussierungsunschärfe sowie die anschließende Restauration dieses Fehlers im Vordergrund. Die wichtigsten Kriterien beim Entwurf der Hardware und somit beim Entwurf der Störfunktion sind 1. eine einfache Bestimmung der Störfunktion h zu ermöglichen, 2. eine exakte Bestimmung der Störfunktion h zu ermöglichen, 3. schädliche Nullstellen bei der Störfunktion h zu vermeiden, 4. die Verwendung einfacher Restaurierungsalgorithmen zu ermöglichen. Eine Veränderung der Störfunktion gelingt häufig durch spezielle Linsen oder Blenden. Aber auch vor dem Sensor angebrachte Filter und Softwareoperationen können angewandt werden. Abbildung 14 EDOF schematisch Somit wurden die drei wesentlichen Schritte, die bei EDOF-Verfahren zum Einsatz kommen, vorgestellt. Die nebenstehende Abbildung zeigt die Vorgehensweise noch einmal schematisch auf. Dabei müssen nicht immer alle Schritte erfolgen. Beispielsweise ist beim WFC die Defokussierungsunschärfe bereits im Vorhinein bekannt, sodass eine Messung dieser entfällt. Die Störfunktion wird oft durch technisch sehr unterschiedliche und gewagte Konzepte in der Bildaufnahme optimiert, die häufig auch zu mehreren verschiedenen Aufnahmen führt. Dagegen beruhen Messung und Bildrestauration oft auf sehr ähnlichen, hier bereits angedeuteten, Konzepten. Eine Differenzierung setzt sehr tiefgreifendes Wissen in der Bildverarbeitung und ihrer vielfältigen Algorithmen voraus. Zudem kann es nicht gelingen systemisch bedingte Problematiken softwareseitig vollständig zu entfernen. Deshalb wird auf weitere Exkurse verzichtet. Es ist aber wichtig zu wissen, dass die Algorithmen sehr genau an ihre Anforderung angepasst werden können und ihre Leistungsfähigkeit durch stetige Entwicklung immer weiter steigt. 27

32 5. Systeme erweiterter Schärfentiefe In Abschnitt 5 werden die wichtigsten bisherigen Technologien, die die Schärfentiefe von optischen Systemen erweitern, überblicksartig vorgestellt. Dabei reicht der Entwicklungsstand der einzelnen Technologien von bisher rein theoretischen Überlegungen ambitionierter Forscher über in Forschungseinrichtungen und Universitäten bereits realisierten und unter Umständen mit hohem finanziellen Aufwand zu Höchstleistung getriebenen Technologien im Experimentierstadium bis hin zu jenen Entwicklungen, die, bereits in verschiedensten Produkten und in unterschiedlichsten Märkten etabliert, serienreife erlangt haben. Der Leser soll die grundlegenden Methoden zur Schärfentieerweiterung verstehen und in die Lage versetzt werden die unterschiedlichen Verfahren vergleichen zu können. 5.1 Variation der Blendenöffnung als Standardverfahren Systeme, die ausschließlich die Variation der Blendenöffnung zur Schärfentiefeerweiterung verwenden, dürfen aufgrund ihrer Historie eigentlich nicht den Systemen mit erweiterter Schärfentiefe zugeordnet werden. Denn seit Beginn der Fotografie werden Blenden zur Regulierung der Schärfentiefe eingesetzt. Man spricht bei blendenbasierten Systemen deshalb vielmehr vom gängigen Standard, den man keiner Spezialkategorie unterordnet. Dennoch, oder gerade deshalb, ist es an dieser Stelle zielführend das gängige Verfahren zur Schärfentiefeerweiterung einmal genauer zu betrachten. Denn die anschließend vorgestellten Alternativen müssen sich zunächst am Standardverfahren messen lassen. Erreichen sie keine höheren Schärfentiefen als ohnehin schon üblich sind sie zunächst einmal obsolet. Da, wie gezeigt wird, durch starke Verkleinerung von Blenden bereits unendliche Schärfentiefen erreichbar sind, ist allerdings ein differenzierter Vergleich von Standard- und neuen Verfahren nicht hauptsächlich über die Schärfentiefe, sondern über die Betrachtung der Nachteile der Schärfentieferweiterung zielführend. Blende k=22 Belichtungszeit t=4s Blende k=1.8 Belichtungszeit t=1/30s Abbildung 15 Einfluss der Blendenöffnung auf die Schärfentiefe [7 S. 119] 28

33 Die Blendenzahl k ist das Ergebnis der Division der Brennweite durch den Durchmesser der Eintrittspupille. (21) Eine große Blendenöffnung bedeutet somit eine kleine Blendenzahl k. Von den Objektivherstellern wird häufig eine Blendenreihe auf den Objektiven angegeben. Von einer angegebenen Blendenstufe zur nächsten fällt genau die halbe Lichtmenge ein. Um diesen zusammenhang zu gewährleisten wird von einer Blendenzahl zur nächsten mit multipliziert und abgerundet. Weshalb eine gößere Blendenöffnung einen niedrigeren Schärfentiefebereich aufweist, verdeutlicht am besten eine schematische Darstellung wie Abbildung 16. Schärfentiefe Große Blendenöffnung Maximaler Zerstreuungskreisdurchmesser Schärfentiefe Kleine Blendenöffnung Maximaler Zerstreuungskreisdurchmesser Abbildung 16 Funktionsprinzip Blendenvariation zur Schärfentiefeerweiterung [11] Durch die Reduktion der Blendenöffnung kann vom oberen zum unteren Fall die Schärfentiefe erhöht werden. Man erkennt, dass im oberen Fall auch Strahlen eines Objektpunkts durch das Objektiv gelangen, welche einen großen Abstrahlwinkel besitzen. Man sagt es wird ein großer gegenstandsseitiger Öffnungswinkel zugelassen. Dadurch gelangt zwar mehr Licht in das Objektiv, der Zerstreuungskreisdurchmesser einzelner Bildpunkte vergrößert sich allerdings. Die Schärfentiefe sinkt. Die Schärfentiefeberechnung zu einem Modell analog der obigen Abbildung wurde in Kapitel 3.1 gezeigt. Bei sehr kleinen Blendendurchmessern addieren sich schließlich noch Beugungseffekte analog 3.2. Die mögliche Schärfentiefe ist durch Zuzug der Blende theoretisch unendlich. Abbildung 17 zeigt den Einfluss der Blende auf die Modulationsübertragungsfunktion eines Objektivs. 29

34 Abbildung 17 MTF des Objektivs aus Abbildung 9 (links) bei Blende 4 (rechts) [12] Die Abbildungstiefe hat sich im Vergleich zum mit Blende 1.4 aufgenommenen Graphen aus Abbildung 9 fast vervierfacht. Die schwarzen Punkte im Bild zeigen die Entfernung des Objekts welche am rechten Bildrand mit einer zusätzlichen Skala abzulesen ist. Die geometrisch berechnete Abbildungstiefe, aufgetragen als graue Linie, beträgt ca mm. Mittels des gepunkteten Graphen liest man eine Schärfentiefe von ungefähr 60 cm ab. Zu beachten ist die Verschiebung der Funktionsmaxima vom Objektiv weg. Will man am Auflösungsmaximum abbilden, sollte dieser, Focus Shift genannte Effekt, ausgeglichen werden. In der Praxis stellt der verringerte Lichteinfall bei gleicher Belichtungszeit und verringerter Blendenöffnung ein großes Problem dar. Dieses Problem wird mit der MTF nicht explizit erfasst. Zur objektiven Bewertung der Belichtung eines Bildes hat man den Lichtwert eingeführt. Der Lichtwert berechnet sich aus folgender Formel. (22) E Sensorempfindlichkeit nach ASA Verringert man die Blendenöffnung muss also um den gleichen Lichtwert zu erzielen entweder ein lichtempfindlicherer Sensor verwendet werden oder die Belichtungszeit t erhöht werden. Übliche Werte für die Sensorempfindlichkeit sind 100, 200 oder 400. Verringert man beispielsweise bei ASA 100 die Blendenöffnung um eine Stufe, muss die Belichtungszeit verdoppelt werden um den gleichen Lichtwert zu erreichen. Je lichtempfindlicher ein Sensor ist, desto schlechtere Bildqualität kann er aufgrund von Rauscheffekten im Normalfall erzeugen. Das bedeutet man muss sich bei Erhöhung der Blendenzahl zwischen einem erhöhtem Rauschen oder einer längeren Belichtungszeit entscheiden, wenn man den Lichtwert erhalten will. Gleichung (22) zeigt deutlich die sinnvollen Grenzen einer Schärfentieferweiterung durch Erhöhung der Blendenzahl k. Besonders in zeitkritischen Anwendungen, die gleichzeitig eine hohe Bildqualität erfordern, darf, wie aus Gleichung (22) hervorgeht, die Blendenöffnung nur vorsichtig verkleinert werden. Durch diesen Zusammenhang entsteht ein Entwicklungsspielraum für Verfahren, die die 30

35 Schärfentiefe ohne Erhöhung der Belichtungszeit oder erhöhtem Rauschen vergrößern können. Dennoch reicht die Blende im Regelfall aus und ist, wie eingangs gesagt, als Standardverfahren in der Bildverarbeitung anzusehen. 5.2 Coded Aperture Die Blende als frühes photographisches Element war die konsequente Weiterentwicklung eines Prinzips, das sich bereits vorher Maler und Architekten zu Nutzen gemacht hatten. Sogenannte Lochkameras ließen mittels kleiner Öffnung zwar lichtschwache aber unverfälschte Bilder auf dem Schirm zurück. Architekten nutzten diesen Effekt in Torbögen und Maler zeichneten von durch die Lochkamera, auch camera obscura genannt, erstellten Bildern ab. Auch frühe Astronomen nutzten sie um Himmelserscheinungen zu verfolgen. Dagegen sagt man aus heutiger Sicht häufig, dass die Lochkamera das Prinzip der Blende durch Verwendung einer unendlich kleinen Öffnung ins Extreme führt. Im Englischen spricht man von pinhole Kameras. Die Öffnung durch die das Licht gelangt kann also so klein wie ein von einer Stecknadel gestochenes Loch sein. Von Lochkameras aufgenommene Bilder haben nahezu unendliche Schärfentiefe. Das Prinzip der Lochkamera entwickelte man in den 1970er Jahren weiter. Anstatt eines Lochs verwendete man viele verschiedene statistisch verteilte oder später auch definiert angeordnete. Durch optische oder digitale Rekonstruierung (Entfaltung) des ursprünglichen Bildes erhält man lichtintensivere, rauschärmere Abbildungen bei ansonsten gleichbleibender Bildqualität. Abbildung 18 schematisches Prinzip des Coded Imaging [13] Anwendung fand und findet dieses Prinzip vor allem um das Signal-Rausch-Verhältnis von Bildern intensitätsschwacher Quellen zu reduzieren. Insbesondere in linsenlosen Verfahren und hier speziell in der Röntgentechnik wurde und wird es eingesetzt. Der zweite Grund für den Einsatz von codierten Blenden war das Erzeugen einer gut diversifizierten Abstandsinformation mit nur einem Bild. So konnte beispielsweise in tomographischen Verfahren eine Tiefeninformation bereitgestellt werden. Bei der Suche nach geeigneten Blendenmustern verabschiedeten sich Fennimor und Cannon 1978 (vgl. [13]) mit der Entwicklung des URA (Uniformly Redundant Array) als erste von der zufälligen Lochverteilung. Seitdem wurden zahlreiche verschiedene Ansätze für das Blendenlayout publiziert. Neben den Konzepten für medizintechnische und astronomische Anwendungen, die hier ausgeklammert werden, gibt es aktuell zwei Publikationen die sich auf die Erweiterung der 31

36 Schärfentiefe von handelsüblichen Digitalkameras konzentrieren. Blenden können mit den Methoden von Levin sowie nach Veeraraghavans Berechungen (Abbildung 19) aufgebaut werden. Levin et al ( [14]; [15]) legten ihren Schwerpunkt mehr auf die optimale Entfernungsmessung während Veeraraghavan et al [16] sich mehr auf eine einfache Störfunktion und damit eine einfachere inverse Filterung konzentrierten. Abbildung 19 Kodierte Blenden nach Levin (links) und Veeraraghavan (rechts) [14] [16] Der Grundgedanke hinter der Codierung der Blende zur Schärfentiefeerweiterung ist die gezielte Erzeugung von im hochfrequenten Bereich relativ stark schwankenden Bildern. Falsche Skalierung des Filters führt dann zu Nullstellen, die im Bereich der großen Ausschläge des aufgenommenen Bildes liegen. Dadurch entsteht nach der Division der inversen Filterung ein berechnetes Originalbild, welches ebenfalls große Ausschläge zeigt. Durch mathematische Begrenzung der Gradienten der berechneten, entstörten Bilder werden dann ungeeignete Filterskalierungen leicht aussortiert. Bei geeigneter Filterskalierung liegen die Nullstelen exakt auf den Nullstellen des gestörten Bildes. Auch ohne Codierung ist dies der Fall. Allerdings hat das gestörte Bild in den hochfrequenten Bereichen normalerweise nur geringe Spektralwerte, sodass das bei falscher Skalierung des Filters berechnete Bild im Frequenzraum nicht die nötigen Ausschläge zeigt um verlässlich herausgefiltert zu werden. Im entfalteten Bild sind hohe Varianzen durch das Artefaktphänomen des sogenannten ringings optisch zu beobachten. Eine Tiefenkarte oder vielmehr Parameterkarte besteht am Ende aus den so ermittelten korrekten Filterskalierungen. Diese ist notwendig, da auch wenn der Unschärfedurchmesser schon aufgrund des Abschattungsmusters auf dem Sensor leichter zu identifizieren ist, die Methode letztlich den in 4.3 gefundenen Einschränkungen unterliegt und somit Lücken im Feld der Tiefeninformationen entstehen, die in der Tiefenkarte aufgefüllt werden. Wichtige Kenngrößen bei der Entwicklung einer kodierten Blende sind die Lichtdurchlässigkeit, die Differenzierungsmöglichkeiten des Objektabstands sowie eine geringe Anzahl von Nullstellen im Frequenzspektrum. Letzteres vereinfacht eine rauscharme Dekodierung der Bildinformation durch FFT. Als mit inverser Filterung arbeitende Methode ist EDOF mittels Coded Aperture grundsätzlich mit den in 4.1 erläuterten Nachteilen behaftet. Allerdings ist zu erwarten, dass Artefakte und Rauschen in geringerem Maße auftreten, da das gesamte Verfahren ja darauf abzielt die Filterung so exakt wie möglich zu machen. 32

37 Die offensichtlichste Problematik bei der Blendenkodierung ist die Reduzierung des Lichteinfalls. Ungefähr 50% des Lichtes werden beim Coded Aperture Verfahren nicht hindurch gelassen. Die Konsequenzen wurden im vorhergehenden Abschnitt angesprochen. Der Schärfentiefegewinn ist nach den Publikatoren dennoch massiv höher als bei einem der Lichstärkereduzierung von 50% Äquivalenten Zuzug der blende um eine Stufe. Die Komplexität der nötigen Algorithmen und ihr Berechnungsaufwand sind relativ hoch, wohingegen der materielle Aufwand sich mit einer modifizierten Blende sehr gering darstellt. Der Bereich der erweiterten Schärfentiefe ist durch die Begrenzung der Zerstreuungskreise auf wenige Pixel eingeschränkt. Bei Veeraraghavans 7x7 Blende beträgt die Begrenzung zum Beispiel einen 20 Pixel großen Durchmesser. Man kann bei Levin von einem Schärfentiefebereich von wenigen (2-3) Metern ausgehen. Der große Vorteil der Methode ist der so gut wie vollständige Erhalt der Bildauflösung bei gleichzeitiger Erweiterung der Schärfentiefe mit nur einem einzigen Bild. Das Verfahren befindet sich bezüglich des EDOFs noch im Forschungsstadium. Exkurs: Ein verwandtes Verfahren ist das der codierten Beleuchtung (Coded Exposure). Während der Belichtungszeit wird mit einem Binärcodemuster beleuchtet. Dieses Verfahren soll hauptsächlich das Problem der Bewegungsunschärfe lösen. Wie die Codierte Blende arbeitet es hauptsächlich mit Faltung und Entfaltung. Es gibt auch Ansätze beide Technologien miteinander und mit anderen Verfahren zu verknüpfen (auch mit WFC). Für einen Einsatz in der IBV ist es aufgrund der obigen Einschränkungen allerdings noch zu früh. Dennoch kann dem Verfahren ein gewisses Potential nicht abgesprochen werden, da bis jetzt meist Hardware (v.a. im Sensorbereich) verwendet wurde die nicht auf die codierten Blenden abgestimmt war. Hier erhoffen sich die Entwickler noch bessere Leistungen zu erzielen. Daneben setzen sie auf weitere Fortschritte im Entfaltungsbereich um komplexere Blenden einsetzen zu können. 5.3 Focus Stacking Beim Focus Stacking werden aus mehreren Bildern die jeweils schärfsten Bildinhalte ausgefiltert und zusammengefügt (merging). Die einzelnen Bilder unterschieden sich dabei im Idealfall ausschließlich durch die verwendete Fokussiereinstellung. Die Herausforderung liegt in der korrekten Identifikation der jeweils schärfsten Bildbereiche sowie dem korrekten Zusammenfügen trotz geänderter Abbildungsmaßstäbe und verschobener Einzelbilder. Focus Stacking ist in der Photographie bereits weit verbreitet. Bekannte Marken wie Adobe Photoshop bieten die Softwarepakete hierfür an, aber auch freie Software ist verfügbar. Die Auswahl der verwendeten Pixel kann beispielsweise durch Unschärfeermittlung erfolgen. Aber auch eine Kontrastermittlung kann Aufschluss darüber geben ob ein Bildbereich im Fokus liegt oder nicht. Ebenfalls bekannt ist der Pyramidenalgorithmus. Die Verwendung der Gauß-Laplace-Pyramide liegt diesem zu Grunde. Er erzielt besonders gute Ergebnisse bei komplexen Aufnahmen. Der die Qualität limitierende Faktor ist die Anzahl der Aufnahmen. Diese beeinflussen wiederum die Geschwindigkeit mit der Focus Stacking Anwendungen arbeiten können. In der Regel werden 33

38 mindestens zehn Bilder aufgenommen um gute Ergebnisse zu erzielen. Je nach Anwendung können zugunsten der Geschwindigkeit auch weniger Aufnahmen gemacht werden. Bis zu 30 fps können mit mechanischem Verfahren der Linsen erreicht werden. Es ist auch möglich statt der direkten Änderung der Fokusebene am Objektiv den Sensor oder das Objekt über die Aufnahmezeit zu verfahren. Besonders hohe Geschwindigkeiten erlaubt ein Ansatz der die Flüssiglinse verwendet. Bis zu 1000 FPS wurden so möglich. [17] Focus Stacking ist das Standardverfahren der Depth from Focus Methoden und wird in verschiedenen weiteren Verfahren angewandt. 5.4 Lichtfeldkamera Lichtfeldkameras oder auch plenoptische Kameras versuchen anders als herkömmliche, projizierende Kameras nicht nur die Position des auftreffenden Lichtstrahls zu ermitteln sondern auch die Richtung aus der der Lichtstrahl kommt zu bestimmen. Das Lichtfeld ist dabei durch die plenoptische Funktion (deshalb auch: Plenoptische Kamera) beschrieben. Die Plenoptische Funktion soll ein Bild zu jeder Position, von jedem Blickwinkel und zu jeder Zeit beschreiben und wird beispielsweise im Bereich Animation verwendet. Die 5-dimensionale plenoptische Funktion bezieht sich nur auf die Position im Raum und den Blickwinkel. Anstatt sich also auf x- und y-koordinaten (2D) zu beschränken macht die Erfassung der Einfallswinkel und das projizierte Bild zu einem 4-dimensionalen Bild. Die Tiefe z kann dann errechnet werden und ergibt die Plenoptische Funktion im Fünfdimensionalen. Die Erfassung des Blickwinkels gelingt bei der Lichtfeldkamera mittels eines Mikrolinsenarrays, welches sich direkt vor dem Bildsensor befindet. Zwei Verfahren sind hierzu bekannt. Zunächst wurden die Mikrolinsen direkt auf die eigentliche Sensorebene positioniert (Abbildung 20a), was zur Methode der sogenannten unfokussierten plenoptischen Kameras führte. Abbildung 20 Typen von Lichtfeldkameras, schematisch [18] Die Vorgehensweise zur Bestimmung des Einfallswinkels und damit zur Bestimmung des Objektabstands nach Abbildung 20a kann schematisch wie in Abbildung 21 dargestellt werden. Der vergrößerte Ausschnitt zeigt vereinfachend ein Pinhole-Array. Dieses kann aber durch ein Mikrolinsenarray ersetzt werden. Ist ein Objektpunkt im Fokus, so wird er auch auf das 34

39 Mikrolinsenarray (MLA) fokussiert. Das ist die Hauptcharakteristik der ersten Generation von plenoptischen Kameras. Man spricht von unfokussiertem Linsenarray, da Objektpunkte im Fokus unfokussiert auf den Sensor abgebildet werden. Ist ein Objektpunkt in Fokus, werden ausschließlich die der Mikrolinse zugeordneten Subpixel (r, s, t ) beleuchtet. Objektpunkte, die näher als die Fokusebene sind, erzeugen Lichtstrahlen die den Subpixel r der rechten und den Subpixel t der linken Pixelanordnung treffen. Bei weiter als die Fokusebene entfernten Objektpunkten wird das ganze umgekehrt aufgezeichnet. Abbildung 21 unfokussiertes Linsenarray schematisch [18] In Abbildung 21 wird deutlich wie die Objektentfernung die Messergebnisse des Sensors beeinflusst. Das fokussierte Strahlenbündel wird, wie die beiden anderen Strahlenbündel, auf (im Beispiel drei) Subpixel aufgeteilt. Die Objektentfernung bestimmt auf welche Subpixel das Strahlenbündel aufgeteilt wird. Algorithmen gelingt es durch ray-tracing, ähnliche, verteilte Strahlen zu identifizieren, die dann dem Objektpunkt eigentlich entsprechendem zentralen Subpixel s zugeordnet werden können. Durch Auswertung der Lage der den zentralen Pixeln s zugeordneten Subpixeln kann so eine Abstandsinformation generiert werden. Des Weiteren liefern die Subpixel r, s und t gesonderte Informationen über in verschiedene Richtungen ausgesandte Lichtstrahlen. Man spricht von verschiedenen Blickwinkeln die die Subpixel auf das Objekt werfen lassen. Denn verfolgt man beispielsweise den von Subpixel r aus Abbildung 21a ausgehenden Strahlengang trifft man von schräg rechts vorne auf den Objektpunkt. Wiederum komplexen Algorithmen gelingt es alle Subpixel die von einem identischen Blickwinkel aus auf das Objekt blicken, zu einem 2 dimensionalen Bild zusammenzufügen. Damit erhält man zahlreiche zweidimensionale Bilder aus jeweils leicht verschiedenen Blickwinkeln. Beispielsweise wird aus den Informationen aller Subpixel s das 2- dimensionale Bild zusammengesetzt, das entsteht, wenn man zentral von vorne auf das Objekt blickt. Der große Nachteil der frühen Methode ist die durch die Anzahl der Mikrolinsen begrenzte Auflösung. Die Winkelauflösung der plenoptischen Kamera wiederum ist durch den Durchmesser der Mikrolinsen begrenzt. Dadurch muss man sich zwischen hoher Auflösung und hoher Winkelauflösung entscheiden, will man eine vernünftige Gesamtgröße des Systems beibehalten. 35

40 Abbildung 22 fokussierte plenoptische Kamera [19 S. 34] Die zweite, neuere Methode der fokussierten plenoptischen Kameras zeigt Abbildung 22. Die Mikrolinsen sind auf die Fokalebene der Hauptoptik fokussiert. Im Wesentlichen bilden die Mikrolinsen dadurch kleine, sich unterschiedlich stark überschneidende Bildausschnitte ab. Die Auflösung ist nicht mehr durch die Anzahl der Mikrolinsen begrenzt sondern durch die Auflösung dieser sogenannten Mikrobilder. Diese kann durch Verwendung eines hochauflösenden Megapixel- Sensors um ein vielfaches höher sein als die durch die Anzahl der Mikrolinsen begrenzte Auflösung von unfokussierten Lichtfeldkameras. Die Rechenschritte die nötig sind um ein Bild zu erhalten sind ungleich schwieriger ersichtlich als bei ersterer Methode. Die Richtungsinformationen die man benötigt um ein 2 dimensionales Bild eines Blickwinkels zusammenzusetzen sind nun nämlich über mehrere Mikrolinsen verteilt (blauer Strahlengang). Die Mikrolinse selbst wirkt nun wie eine einzelne Punktlochkamera mit der man auf einen kleinen unverfälschten Teil des virtuellen Bildes der Szene blickt. Um ein Bild zu erzeugen nimmt man zunächst eine bestimmte Größe des virtuellen Bildes jeder Mikrolinse an. Die Größe entspricht einem virtuellen Bild das im Fokus liegt. Diese Bilder setzt man anschließend zusammen. Da aber Defokussierung zu größeren respektive kleineren Mikrobildern führt entstehen Lücken und Überschneidungen. Im Detail enthält der Algorithmus zur Bildzusammensetzung zudem einen Parameter, welcher den Blickwinkel des so erzeugten Bildes bestimmt. In einem zweiten Schritt, Refokussierung genannt, versucht man die Lücken und Überschneidungen beispielsweise mittels Schnitt- und Interpolationsverfahren der Photomontage wieder zu entfernen. Insgesamt entstehen Bilder verschiedener Blickwinkel, welche an defokussierten Stellen durch die Refokussierung unschärfer sind. Bezüglich EDOF ergeben sich durch das MLA viele verschiedene Möglichkeiten. Will man den Umweg über eine Tiefenkarte gehen, kann man die zur Verfügung gestellten Tiefeninformationen verwenden. Diese sind in der Praxis allerdings nur schwer zu extrahieren. Eine andere Möglichkeit die Tiefeninformation zu gewinnen wird durch die verschiedenen Blickwinkel ersichtlich. Die Verfahren der Stereoskopie lassen sich zur Tiefenbestimmung hier sehr gut einsetzen. Jeder unterschiedliche Blickwinkel entspricht einer einzelnen Kamera in der Stereoskopie. Besonders photometrische Stereoverfahren aber auch jedes Standardverfahren ist einsetzbar. Des Weiteren können Depth of Defocus Verfahren eingesetzt werden. Dazu nimmt man bei der Bildzusammensetzung zwei Mikrobilder unterschiedlicher Größe an und erhält so zwei Bilder verschiedener Fokussierung. Vergleicht man die zwei Bilder ermöglicht der relative Unterschied der Schärfe einzelner Bildbereiche die Berechnung des Objektabstands, was wiederum in einer Tiefenkarte mündet. 36

41 Am meisten jedoch profitiert die direkte Berechnung des Bildes erweiterter Schärfentiefe mittels Depth of Focus. Durch die Veränderung der angenommenen Mikrobildgrößen nämlich kann nachträglich digital die Fokusebene verschoben werden. Dadurch entstehen mehrere Bilder mit unterschiedlichen Fokusebenen. Wie beim Focus-Stacking können diese anschließend zu einem einzigen komplett scharfen Bild zusammengefügt werden. Zu erwähnen ist, dass der Lichtverlust, der durch die Aufteilung des Bildes in verschiedene Blickwinkel zwangsweise entstanden ist, durch Zusammenführung dieser Bilder mathematisch revidiert werden kann. Für EDOF-Anwendungen ist diese Möglichkeit unverzichtbar um ein ausreichend lichtstarkes Bild zu erhalten. Sind die Algorithmen für diesen Prozess als Software-Paket einer Lichtfeldkamera integriert, spricht man von der sogenannten All-in-Focus Option. Das bedeutet, das Bild kann über die gesamte Tiefe scharf gerechnet werden. Ist die Schärfentiefe unbegrenzt, ist ein beschränkender Faktor jedoch die Auflösung, die ohne Verwendung eines zweiten Sensors maximal 25% des Bildsensors beträgt. Ein im März 2014 eingetragenes Patent [20] setzt den Sensor zur Tiefenbestimmung hinter den Sensor zur Bestimmung des 2D-Bildes, der zeitweise lichtdurchlässig ist. Es erreicht so eine 100% Auflösung des Bildsensors. Durch die geringe effektive Auflösung bisheriger Systeme müssen vor der Nachbearbeitung unnötig hohe Datenmengen transportiert werden, was aufgrund des Flaschenhalses Datenleitung zu Geschwindigkeitseinbußen führt. Es konkurrieren im Wesentlichen zwei Hersteller von Lichtfeldkameras. Lytro [21] sieht seine Zielgruppe hauptsächlich in der Photobranche und verwendet eine abgewandelte Form der unfokussierten Lichtfeldkamera. Die neueste Generation erreicht mittels eines 40 MP Bildsensors eine effektive Auflösung von 4 MP. Für die Rechenlast wird ein 4 Kerne Qualcomm Prozessor mit bis zu 2.5 GHz CPU und 330 GHz GPU verwendet. Ein Bild ist ungefähr 50 MB groß. Sie erreicht eine Geschwindigkeit von 3fps. Interessanter für die IBV ist die mehr auf industrielle Kunden konzentrierte Lösung der deutschen Firma Raytrix [22]. Sie hat eine fokussierte plenoptische Kamera entwickelt. So ist die Auflösung nicht durch das MLA begrenzt sondern durch den verwendeten Sensor. Als weitere Besonderheit werden innerhalb des MLAs Linsen verschiedener Brennweite verwendet, was die effektive Auflösung von 10 auf 25% des Sensors steigert und die Schärfentiefe des aufgenommenen Zwischenbildes erhöht. In Raytrix-Kameras wird EDOF durch Focus-Stacking erreicht. Das zusammengesetzte Bild besteht aus den Pixeln, die für den jeweiligen Tiefenwert am schärfsten sind. Abweichungen können noch interpoliert werden (Depth of Defocus). Die ermittelten 2D-Bilder erreichen dadurch bis zu 6-fache Schärfentiefe gegenüber üblichen Systemen. Die Geschwindigkeit kann bei 1MP effektiver Auflösung mit USB 3.0 bis zu 30FPS und CameraLink bis zu 180 FPS betragen. 37

42 Abbildung 23 Kennlinie Raytrix-Kamera [22] Die erweiterte Schärfentiefe der Raytrix ist allerdings nur ein zusätzliches Feature. Wichtigste Funktion ist die mögliche 3D-Rekonstruierung von Objekten und Prozessen, welche in der Industrie vielfältige Anwendung findet. 5.5 Single Shot Multi Picture Plenoptischen Kameras gelingt es also mit einem einzigen Schuss mehrere Bilder zu erzeugen. Wie in 4.3 angesprochen, basieren einige weitere technisch aufwendige Konzepte darauf, aus einer einzigen Aufnahme verschiedene, nur durch ihre Fokussierung unterscheidbare Bilder zu erzeugen um anschließend Depth from Focus oder Depth from Defocus durchzuführen. Dazu werden häufig einige physikalische Aspekte des Lichts ausgenutzt. Der naheliegendste Aspekt ist die Ausnutzung der Chromasie des Lichts. Etwa durch Verwendung eines RGB-Sensors hinter einer stark achromatischen Optik entstehen drei sehr unterschiedlich Fokussierte Bilder. Diese können nach relativer Unschärfemessung in eine Tiefenkarte umgesetzt werden. Um bessere Ergebnisse zu erzielen können etwa die im Vergleich mit den anderen schärfsten Bildbereiche der einfarbigen Bilder als Fokusebene angenommen werden oder RGBW- Sensoren verwendet werden. Einschränkungen sind die zwingende Vielfarbigkeit des Objekts und relativ geringe Bereiche in denen das Nachschärfen gelingt. Detailliertere Informationen sind beispielsweise in [10] nachzulesen. Auf ähnliche Weise kann die Polarisierung des Lichtes ausgenutzt werden [23]. Wie beim Patent auf den Sensor hinter dem Sensor im obigen Abschnitt abzulesen ist, ist eine praktikable Methode einen extra Sensor zur Bestimmung der Tiefeninformation zu verwenden. Er kann ein Vergleichsbild erzeugen, mit dessen Hilfe die relative Berechnung der Tiefe gelingt. Ist der zweite Sensor, wie hier, nur durch die Brennweite verschieden, kann EDOF durch Depth of Focus/Defocus durchgeführt werden. Ist der zweite Sensor senkrecht zur optischen Achse versetzt, kann aus diesem Bildversatz über Stereoskopie die Tiefeninformation und damit eine Depth Map (vgl. 4.3) hergeleitet werden. Ein Beispiel für diese Methode ist die U-Focus genannte EDOF-Variante in HTCs Smartphone HTC One M8 [24]. 38

43 5.6 Fokusinvarianz Einen anderen, gänzlich neuen Ansatz verfolgte 1972 als einer der Ersten G. Häusler [25]. Ein absolut fokusinvariantes Bild zu erzeugen war sein Ziel. Ein solches nämlich weist im gesamten Bild den gleichen Defokussierungsfehler auf. Kennt man diesen, ist es einfach, ihn mittels Restaurierung herauszurechnen. Technisch gelang Häusler die Realisierung durch eine einfache Methode. Er verschob das Objekt während der Belichtungszeit entlang der optischen Achse. Mathematisch beschrieb er das so erhaltene Bild als Integration über die optische Achse. Im Frequenzraum wies er nach, dass diese Integration gleich der Summe aller Punktbilder über den gesamten Verfahrweg ist. Er ermittelte eine analytische OTF die das aufgenommene Bild beschrieb. Anschließend konnte er auf einfache Weise einen passenden, zur OTF indirekt proportionalen Dekonvolutionsfilter erstellen und berechnete ein scharfes Bild. Abbildung 24 Doppelspalt mit einer Tiefe von 5μm. [25] a: Aufnahme mit einer Apertur von b: Aufnahme mit einem Verfahrweg von 10μm. c: Bild nach der Dekonvolution Auffällig bei Abbildung 24 ist, dass bereits das ungefilterte Bild (b) etwas besser ist als Bild a. Ist die Methode noch als sehr unausgereift zu bezeichnen, so setzte dennoch der Gedankengang Häuslers neue Maßstäbe und ermöglichte erst die im Folgenden vorgestellte Methodik des WFCs. 5.7 Wavefrontcoding Das sogenannte Wavefrontcoding (WFC) ist das zentrale Thema dieser Arbeit. Dieser Abschnitt soll zunächst nur einen kurzen Überblick über die Funktionsweise und Leistungsfähigkeit eines wellenfrontkodierten Systems geben. Es soll dem Leser ermöglicht werden sich schnell über Wellenfrontkodierung informieren zu können und sie direkt mit den anderen Technologien vergleichbar machen. In Kapitel 6 wird WFC ausführlich dargestellt. WFC verwendet wie angesprochen denselben Grundgedanken wie G. Häusler. Es verwirft jedoch den klassischen Ansatz fokussierter Bildpunkte und versucht bereits in der Bildebene einen Strahlenverlauf zu erzeugen, der in einem gewissen Bereich nahezu fokusinvariant ist. Abbildung 25 zeigt einen typischen Strahlengang wellenfrontkodierter Systeme (Abbildung 26B+D) im Vergleich zu einem herkömmlichen Strahlengang (Abbildung 25A+C). 39

44 Abbildung 25 üblicher Strahlengang (li) im Vergleich mit fokusinvariantem, kodierten Strahlengang (re) [26] Die Erzeugung des in Abbildung 25B dargestellten Strahlengangs gelingt mittels eines Wellenfront formenden Phasenelements, das in die Aperturöffnung eingesetzt wird. Abbildung 26 Einsatz der Phasenplatte am Beispiel Mikroskop [27] Das System liefert dadurch für einen relativ großen Objektabstandsbereich nahezu identische Bilder. Der Zerstreuungskreisdurchmesser eines einzelnen Bildpunktes ändert sich kaum. Das Bild jedoch ist aufgrund von recht großen Zerstreuungskreisdurchmessern unscharf. Da die Übertragungsfunktion des Objektivs durch das Phasenelement auf eine vom Objektabstand unabhängige fest definierte Art und Weise verändert wird, gelingt es aber mittels digitaler Nachverarbeitung ein Bild zu erzeugen welches nahezu die Bildqualität eines ideal fokussierten Bildes erreicht. 40

45 Abbildung 27 Verlauf der Spotgößen [27] Abbildung 27 zeigt Simulationsergebnisse, die die konstante Spotgröße bei WFC noch einmal veranschaulicht. Man erkennt, dass die Spotgröße vor der digitalen Nachverarbeitung recht groß aber konstant ist (grüne Linie). Im Gegensatz dazu steht die mit steigender Defokussierung ansteigende, aber kleine Spotgröße klassischer optischer Systeme (blaue Linie). Der enorme Effekt der digitalen Nachverarbeitung auf die Spotgröße konnte ebenfalls gezeigt werden (rote Linie). Erst dadurch wird das mittels WFC erzeugte Bild konkurrenzfähig mit anderen Technologien. Typischerweise verwendet man als Phasenelement kubische Phasenplatten analog Abbildung 28. Die Stärke der Ausprägung der kubischen Form kann dabei variieren und hängt von der Anwendung ab (vgl. Kap 6.3). Die optimale Form des Phasenelements ist jedoch noch nicht gefunden. Es wird mit vielen verschiedenen Formen experimentiert (vgl. Kap. 6.4) Abbildung 28 kubische Phasenplatte zur Wellenfrontkodierung und ihre Punktabbildung (C+D) [26] Abbildung 28 zeigt auch die Punktabbildung eines üblichen optischen Systems (A+B) und eines Systems mit kubischer Phasenplatte (C+D) bei Fokussierung (A+C) und bei Defokussierung (B+D). Die Fokusinvarianz des WFC-Systems wird noch einmal deutlich. 41

46 Die theoretische Vergrößerung des Schärfentiefebereichs bezifferten die beiden wichtigsten Forscher Edward R. Dowski und Thomas W. Cathey von der Universität Colorado zu Beginn ihrer Arbeit auf das 10-fache des Üblichen [28]. Verglichen wird hier jedoch mit zweilinsigen Systemen ohne Blende. Die von beiden Wissenschaftlern entwickelte Theorie hat bereits Einzug in reale Produkte erhalten. Besonders die Mikroskopie macht stark Gebrauch von WFC. Doch auch in Anwendungen in denen keine mechanische Fokussierung möglich ist, wie in verschiedenen Endoskopieanwendungen oder der Handyfotografie wird WFC bereits erfolgreich eingesetzt. Anbieter von Mobiltelefonen werben mit völligem Verzicht auf andere Fokussierverfahren. Trotz hoher Anforderungen wird mittlerweile ebenfalls versucht WFC im Bildverarbeitungsmarkt zu etablieren. Ein Beispiel ist hier die EDOF-Reihe von Ricoh. Im Kapitel 7 wird das Ricoh EV-G200 vorgestellt. Es wirbt mit 3-facher Vergrößerung des Schärfentiefebereichs. Die tatsächliche Leistungsfähigkeit der Ricoh EV-G200 wird im weiteren Verlauf von Kapitel 7 ermittelt. Aufgrund des Funktionsprinzips sind durch WFC keine größeren Abschattungen im Bild zu erwarten. Da die Schärfe des Bildes erst nachträglich hergestellt wird, ist allerdings mit Verlusten zu rechnen. Nachträglich errechnete sind Bilder nicht so brillant wie bereits scharf abgebildete. Hier hängt vieles von der endgültigen Gestaltung der Phasenplatte ab. Stärker ausgeprägte Formen der Phasenplatte führen zu höheren Verlusten in Form von Rauschen (vgl. Kap. 6.3), ermöglichen aber größere Schärfentiefen. Bei der Realisierung von WFC stößt man auf zwei Problemfelder. Die komplexe asphärische Form der Phasenplatte stellt zunächst hohe Anforderungen an Fertigungsverfahren. Die hochgenaue Herstellung asphärischer Formen ist nur mit hohem Aufwand realisier- und beherrschbar. Um WFC sinnvoll realisieren zu können sollte die Beherrschbarkeit dieser Herstellungsverfahren gewährleistet sein. Das zweite Problem stellt sich komplexer dar. Die Abstimmung jedes einzelnen Objektivs mit dem Kamerasystem erfordert hochspezifisches Know-How in allen Bereichen der Bildverarbeitungskette, das in den spezialisierten Bildverarbeitungsunternehmen häufig nicht vorhanden ist. Es reicht zudem nicht einen Bildverarbeitungsalgorithmus, einen Sensor und ein Objektiv separat zu entwickeln. Stattdessen muss ein komplexer Algorithmus auf die Abbildungseigenschaften jedes einzelnen komplexen Objektivs angepasst werden um ein gutes Ergebnis zu erzielen (vgl. Kap. 6.5). Sollte eine WFC-Entwicklung angestrebt werden, werden am Ende dieser Arbeit die Patentsituation sowie die Chancen und Risiken einer solchen Entwicklung noch einmal zusammengefasst 42

47 5.8 Tabellarische Zusammenfassung Die verschiedenen Möglichkeiten Schärfentiefebereiche zu vergrößern sollen nun in einer Tabelle zusammengefasst werden. Folgende Methoden werden verglichen: Blende, Coded Aperture (CA), Focus Stacking (FS), Lichtfeldkameras (LFK) 1/2, Wavefrontcoding (WFC). Die Kategorien orientieren sich in ihrer Reihenfolge zunächst an Abbildung 14 EDOF schematisch. 1 Objekteinschränkungen 3 Zwischenbilder (Anzahl) 5 Tiefenkarte 2 Störfunktion 4 Unschärfemessung 6 Bildrestauration Die von den Entwicklern angegebenen maximalen, noch sinnvollen Schärfentiefeerweiterung in Relation zu einem identischen mit Blende aufgenommenen Bild gibt Kategorie 7 an. Kategorie 8 gibt einen Überblick über die möglichen Geschwindigkeiten. Nummer 9 zeigt den Trade-off, den man für eine erweiterte Schärfentiefe hinnehmen muss. Nummer 10 schließlich zeigt die die Schärfentiefeerweiterung verändernde Größe. 7 EDOF 9 Trade-Off 8 Geschwindigkeit 10 DOF beeinflussender Parameter Blende CA FS LFK WFC Keine extra 2 Blendenmuster Keine extra addierte Mikrolinsen Phasenplatte addierte = Anzahl Mikrolinsen 4 - J J J J J J Dekonvolution Merging Focus Stacking Dekonvolution 7 1x >Blende 8 9 Begrenzt durch Datenleitung Lichtstärke Beugung Begrenzt durch Datenleitung + Rechengeschwindigkeit Lichtstärke Entfaltungsrauschen 10 Blendenöffnung Feinheit des Musters Maximaler Fokusunterschied Anzahl der Aufnahmen Fokussiergeschwindigkeit Mehrere Aufnahmen Maximaler Fokusunterschied 7x 3-10x 3FPS(4MP)/ 180 FPS (3MP) Aufwand Dateigröße Anzahl Mikrolinsen Sensorauflösung Begrenzt durch Datenleitung + Rechengeschwindigkeit Entfaltungsrauschen Ausprägung der Phasenplatte 43

48 6 Die Theorie des Wavefrontcodings 6.1 Wellenfront Definition 4: Eine Wellenfront ist die Verbindung von Ortspunkten gleicher Phase [7 S. 5]. Im zweidimensionalen sind Wellenfronten immer Linien, im dreidimensionalen (Kugel-)Flächen. Die Ausbreitungsrichtung von Wellen oder in der geometrischen Optik Strahlen ist immer senkrecht zur Wellenfront. Abbildung 29 konvergierende Wellenfront [7 S. 93] Man unterscheidet zwischen konvergierender, divergierender und ebener Wellenfront. Letztere besitzt zueinander parallele Ausbreitungsrichtung. Abbildungsfehler können gut durch die Abweichung einer Wellenfront zu einer Referenzwelle beschrieben werden. Mathematisch kann aus Wellenfrontaberrationen mittels schneller Fouriertransformation die Abbildung eines Punktes (Point Spread Function, PSF) berechnet werden. Daraus wiederum kann die Modulationsübertagungsfunktion berechnet werden. In Abbildung 30 wurden simulierte Wellenfrontaberrationen in eine PSF umgeformt. Abbildung 30 Wellenfrontaberration und daraus berechnete PSF [7 S. 117f] Die Messung der Wellenfront und ihrer Abweichung von Referenzwellenfronten ist ein wichtiger Bestandteil der Qualitätsprüfung von Optiken. Gemessen werden die Wellenfronten häufig entweder in einem Interferometer durch Überlagerung mit einer Referenzwelle oder nach dem Hartmann- Shack-Prinzip. 44

49 Abbildung 31 Hartmann-Shack-Sensor [29] Ein Mikrolinsenarray fokussiert die einfallenden Strahlen auf einen Detektor. Ist die Wellenfront nicht parallel zur optischen Achse ausgerichtet, ergibt sich ein Versatz der Fokuspunkte. So können Abweichungen der Wellenfront von der idealen, achsparallelen Wellenfront ermittelt werden. Eine kodierte Wellenfront ist im Grunde nichts anderes als eine Wellenfront die durch Durchgang durch ein optisches System mit einer optischen Übertragungsfunktion verändert wird. So kann man prinzipiell jede von einem optischen System veränderte Wellenfront als kodiert bezeichnen. Dennoch hat sich der Begriff Wavefront-Coding für das in 5.7 beschriebene Verfahren etabliert. Der Begriff weist auf die bewusst und absichtlich kodierte Bildinformation im Zwischenbild hin, die erst durch Nachverarbeitung (Dekodierung) wieder voll nutzbar gemacht wird. 6.2 Entstehung Der Pionier des Wavefrontcodings, Edward R. Dowski, arbeitete zunächst in der Radartechnik. Das klassische Problem der Radartechnik besteht darin, dass man Sendesignale sucht, die gleichzeitig hohe Genauigkeit in der Schätzung von Laufzeiten und Geschwindigkeiten ermöglichen [30 S. 358] Die Laufzeit beschreibt die Zeitdifferenz zwischen dem Senden des Signals und der Rückkehr seines Echos und wird zur Ortsberechnung des Objektes verwendet. Den Zusammenhang zwischen Laufzeit und Geschwindigkeit gibt die Ambiguitätsfunktion an. Mit dieser beschäftigte sich Dowski. Man nennt die Funktion auch Zeit-Frequenz-Autokorrelationsfunktion. A xx (v,τ) = ( ) ( ) A xx (v,τ) = ( ) ( ) (23) x(t) = vom Radarsystem übertragenes Sendesignal (komplex) x* = komplex konjugiert τ = Zeitverschiebung des Ursprungssignals v = Frequenzverschiebung des Ursprungssignals Ambiguitätsfunktion in der Radartechnik bezüglich Zeit und Frequenz Die zeitliche Verschiebung des Sendesignals wird zur Berechnung der Laufzeit herangezogen. Die durch die Geschwindigkeit des Objektes hervorgerufene Frequenzverschiebung lässt Rückschlüsse auf ebendiese zu (Dopplereffekt). Das Maximum der Ambiguitätsfunktion liegt im Ursprung A(0,0) und ist durch die Signalenergie E x festgelegt [30 S. 358]. 45

50 { } (24) Frequenzmodulation und/oder Zeitverschiebung führen zwar zu Veränderungen der Ambiguitätsfunktion, die prinzipielle Lage der Funktion mit ihrem Maximum verändert sich jedoch nicht. Die Autokorrelation erreicht immer ihr Maximum, wenn weder Frequenz- noch Zeitverschiebungen stattgefunden haben. Dieses Maximum entspricht der Signalenergie. Um nach obigem Zitat geeignete Signale zu finden betrachtet man von Gleichung (26) hauptsächlich das Quadrat des Betrags, also dessen Leistung A(ν,τ) ². Sie gibt Aufschluss über die erreichbare Auflösung eines Signals x(t) in der Ebene (v,τ). Die Auflösung ist begrenzt durch folgenden Zusammenhang: (25) Die maximale Leistung ist also analog zu oben dort erreicht, wo keine Verschiebungen stattgefunden haben und entspricht der ursprünglichen Signalleistung E x 2. Viel wichtiger jedoch ist, dass das Integral über alle Zeit- und Frequenzverschiebungen durch die Konstante der ursprünglichen Signalleistung begrenzt ist. Die Summe aller Leistungen kann einen bestimmten Wert nicht überschreiten. Somit hängt die Auflösung von der Leistungsverteilung ab. Häufig ist beispielsweise das Ziel die Auflösung um den Ursprung A(0,0) möglichst hoch zu halten, um kleine Verschiebungen hoch Auflösen zu können. Da sich ein Großteil der zu Verfügung stehenden Leistung E x 2 eines Signals dann um den Ursprung bündelt, muss im Umkehrschluss die Leistung und damit die Auflösung bei stärkeren Verschiebungen sinken. Genauso muss durch die Verwendung eines die Ortsgenauigkeit möglichst hoch auflösenden Signals der Leistungsanteil der Geschwindigkeitsverschiebung sinken und umgekehrt. Dieses Phänomen nennt man das Unschärfeproblem der Radartechnik. Dessen Hauptaussage ist, dass eine genauere Messung der Entfernung eines Signals ausschließlich auf Kosten der Genauigkeit der Geschwindigkeitsmessung realisiert werden kann. Es kann nur zwischen hoher Orts- und hoher Geschwindigkeitsgenauigkeit verschoben werden und muss deshalb zwischen ihnen entschieden werden. Bereits vor Dowskis Arbeit wurde von Brenner et al [31] gezeigt, dass mit abweichender Definition der Variablen mithilfe der Ambiguitätsfunktion der Radartechnik die optische Übertragungsfunktion (OTF) eines eindimensionalen optischen Systems für verschiedene Defokussierungswerte ausgedrückt werden kann. { ( ) * + } { ( ) * + } (26) p(x) = Funktion der Austrittspupille (komplex) * = komplex konjugiert Ψ = Defokussierungsparameter u = Ortsfrequenz OTF eines eindimensionalen optischen Systems bezüglich verschiedener Werte des Defokussierungsparameters ψ 46

51 Der Defokussierungsparameter wurde folgendermaßen definiert: ( ) (27) L = Blendenöffnung d 0 = Abstand Objekt erste Hauptebene d i = Abstand Objekt zweite Hauptebene W 20 = Defokussierungsgrad Ein Vergleich beider Funktionen zeigt, dass gilt: ) (28) Damit können die Ergebnisse der zahlreichen mathematischen Untersuchungen, die in der Radartechnik mit der Ambiguitätsfunktion durchgeführt wurden, entsprechend auf die Optik übertragen werden. Tabelle 1 Radartechnik Funktion des Sendesignals Leistung (Auflösung) Zeitverschiebung Frequenzverschiebung Optik Funktion der Austrittspupille Gesamtschärfe Defokussierung Ortsfrequenz (Auflösung) Dowski folgerte in Bezug auf die Erkenntnisse der Radartechnik, dass das Gesamtmaß an erreichbarer Schärfe konstant ist. Jedes optische System kann über alle Defokussierungsgrade hinweg nur eine festgelegte Gesamtschärfe übertragen. Anders formuliert erkannte er, dass man durch die Maximierung der Schärfe im Fokuspunkt ψ 0 zwangsweise Schärfe in den Bereichen in denen gilt ψ 0 verliert. Eine hohe Schärfe im Fokusbereich führt also zu Verlust von Schärfentiefe. Schärfentiefe verhält sich komplementär zur Schärfe. Diese mittels der Ambiguitätsfunktion respektive der OTF nun mathematisch-physikalisch nachgewiesene These wurde bereits Eingangs der Arbeit formuliert (vgl. Kap. 3) Edward Dowskis und Thomas Cathys, dem zweiten Pionier des WFCs, Leistung bestand nun darin die These radikal anders zu interpretieren. Sie erkannten und akzeptierten, dass eine höhere Schärfentiefe nur auf Kosten von Fokussierung erreicht werden kann. Aufgrund dieser Erkenntnis verzichteten sie auf eine Maximierung der Schärfe in einem Fokusbereich. Stattdessen war ihr Ziel eine über die Defokussierungsgrade möglichst konstante Unschärfe zu erreichen. Die gesamte erreichbare Schärfe wird auf alle Defokussierungsgrade sozusagen verteilt. Der geplante Verzicht auf starke punktuelle Fokussierung und die Inkaufnahme niedriger dafür aber konstanter Schärfe (s. Abbildung 27) hat den Vorteil, dass bei gleichbleibender Unschärfe bereits im Vorfeld der Grad der Unschärfe bekannt ist. So kann mittels mathematischer Operationen wie dem Wienerfilter (vgl. Kap. 4.1) die Schärfe über das gesamte Bild wieder eingerechnet werden. Der Algorithmus ist nicht mehr wie in 4.3 auf aufwendig gemessene Abstandswerte angewiesen sondern kann pauschal über das 47

52 gesamte Bild angewendet werden. Vom Zwang der Fokussierung befreit entwickelten Dowski und Cathey 1995 ein optisches System wie es bereits in 5.6 vorgestellt wurde und konnten so die Schärfentiefe bereits zu Beginn ihrer Arbeit um den Faktor zehn gegenüber identischen Systemen ohne WFC erhöhen [28]. Im weiteren Verlauf wandten sich die beiden Forscher von der Universität ab und beantragten ein Patent welches sie ab 1996 in ihrer eigenen Firma CDM Optics gewinnbringend nutzen wollten. Durch einige Aufsehen erregende Erfolge wurden sie 2005 von OmniVision Technologies übernommen und als Tochter unter Leitung von Edward Dowski als OmniVision CDM Optics weiter geführt. Sie besitzt die Patentrechte auf das Verfahren der Wellenfrontkodierung ging unter der Marke dieses Unternehmens weltweit das erste Produkt mit integrierter Wellenfrontkodierung auf den Markt. Weiteres zur derzeitigen Patentsituation kann man unter Kapitel 8 erfahren. 6.3 Phasenplattenoptimierung Das zentrale Element beim WFC ist die Phasenplatte. In der ersten Generation von WFC-Systemen verwendeten Dowski und Cathey kubische Phasenplatten (vgl. 5.6). Es gibt jedoch zahlreiche weitere Möglichkeiten. Die Herleitung funktionierender Phasenplattenformen und die Optimierung ihrer Parameter soll im Folgenden vorgestellt werden. Es werden exemplarisch die beiden wichtigsten Optimierungsmethoden herausgegriffen. Für ein funktionierendes optisches System nach dem WFC-Prinzip ist es von entscheidender Bedeutung, dass das Zwischenbild und die ihm zugrunde liegende PSF möglichst unabhängig von der Fokussierung sind. Es muss also gelten: (29) Gleichung (29) bedingt Achsensymmetrie zur Bildebene (30) In [32] wurde gezeigt, dass eine solche OTF nur mit einer durch eine ungerade Funktion definierten Phasenplatte erzeugt werden kann. Die Voraussetzung für eine Phasenplatte in WFC-Systemen ist somit, dass sie ungerade ist. In [33] wurde durch Simulation von Strahlenverläufen und Spotgrößen allgemeiner gerader und ungerader Phasenplatten dieser Zusammenhang anschaulich bewiesen. Folgende Funktionsarten kommen also in Frage: die Vorzeichenfunktion die identische Funktion die kubische Funktion oder höherwertige ungerade Exponenten 48

53 die Sinusfunktion die Tangensfunktion die Gaußsche Fehlerfunktion Fast alle dieser Funktionen wurden bereits zumindest experimentell oder theoretisch als Phasenplatte verwendet [34]. Auch Kombinationen der Funktionen sind denkbar. In den meisten Herleitungen werden die Phasenplatten zunächst als rechteckig definiert. Dadurch entsteht eine PSF die auf die Defokussierung bezogen in x- und y-richtung teilbar ist. Durch diese Bedingung kann die Lösungsfindung auf eine Dimension beschränkt werden. Die zu findende Funktion ф(x,y) ist mathematisch auf jeden Fall in ihren x und y-anteil aufteilbar. Die x- und y-anteile sind identisch. Ein großer Vorteil dieser Annahmen ist des Weiteren, dass bei der späteren inversen Filterung schnelle, lineare Algorithmen verwendet werden können, die Zeilen und Spalten des Bildes unabhängig voneinander betrachten. Die Form der Phasenplatte geht bei Annahme eines eindimensionalen Systems durch folgende Gleichung in die OTF (26) ein. { (31) Ф(x)= Formfunktion der Phasenplatte x= normalisierter Abstand vom Mittelpunkt der Phasenplatte Die Funktion ф(x) gibt gelöst für jeden Punkt x der Phasenplatte ihre dortige Dicke d an. Lässt man als einzige Variable der OTF diesen Parameter zu, ergeben alle Dickenwerte, die zur Erfüllung von Gleichung (29) führen zusammen eine mögliche Formel ф(x) für die Phasenplatte. Theoretisch müssen auf den oben genannten ungeraden Gleichungen basierende Formeln existieren die Gleichung (29) exakt erfüllen. Diese können dann als ф(x) verwendet werden. In seiner grundlegenden Arbeit [28] beispielsweise setzte Dowski αx³ als Formfunktion. Der Parameter α bestimmte dabei die Ausprägung der Steigung der Phasenplatte. So zeigte Dowski, dass fokussierungsunabhängige Phasenplatten theoretisch möglich sind. Der tatsächliche Grad der Defokusierungsunabhängigkeit der Phasenplatte bzw. des Systems lässt direkt auf die mögliche Schärfentiefeerweiterung schließen. Er hängt von der verwendeten Phasenplatte und ihren Formparametern, sowie von den weiteren, teils fokussierenden optischen Komponenten eines Systems ab. Schärfentiefe und Abbildungsqualität im Fokus sind auch beim WFC komplementäre Größen. Je niedriger die Schärfe eines durch Phasenplatte und weiterer Linsen erzeugten Zwischenbildes ist, desto stärker muss später Dekonvolution zur Bildrestaurierung angewandt werden um ein ausreichend scharfes Bild zu erhalten. Dies sorgt durch Bildrauschen und andere Restaurierungsartefakte für eine geringere Gesamtqualität des endgültigen Bildes. Je stärker das Zwischenbild jedoch auf hohe Schärfe um den Fokuspunkt optimiert wird, desto geringer fällt die Schärfentiefeerweiterung aus. So liegt auf der Hand, dass zur Gestaltung von WFC-Systemen 49

54 Optimierungsalgorithmen verwendet werden müssen. Sie müssen den maximalen Wert der Schärfentiefeerweiterung bei vorgegebenem OTF-Minimum des Zwischenbildes (oder andersherum) finden und in Formparameter umsetzen können. Eine Möglichkeit zur Angabe der Defokussierungsunabhängigkeit bietet dabei die Fisher-Konstante. Abseits der Optik wird diese üblicherweise genutzt um den Informationsgehalt eines gegebenen Signals bezüglich eines bestimmten Parameters zu beschreiben. Unter Einbeziehung der aus der Ambiguitätsfunktion hervorgegangenen OTF eines optischen Systems von Gleichung (26) kann die Fischer Konstante J mit dem Defokussierungsparameter ψ verknüpft werden. (32) Je niedriger die Fisher-Konstante J( einer bestimmten Fokusebene, desto weniger variiert die OTF bei Fokussierfehlern. Für eine ideale WFC-Anwendung sollte das Ergebnis für alle Defokussierungsparameter Null sein. Das Ziel ist also, dass folgendes Integral Null oder zumindest sehr niedrig ist. (33) = anwendungsabhängiger, relevanter Fokussierbereich Da der Ansatz der Wellenfrontkodierung ist, die Fokusinvarianz durch die Phasenplatte zu gewährleisten, versucht man die formgebenden Parameter der Phasenplatte so zu wählen, dass (33) minimiert wird. Durch Numerische Lösungsverfahren können Parameter gefunden werden, welche Gleichung (33) minimieren. Mathematisch wird folgende Gleichung gelöst. (34) = Menge aller zu optimierender Parameter Für kubische Phasenplatten ist ausschließlich α zu variieren, bei logarithmischen Phasenplatten beispielsweise (vgl ) wird aus der zu optimierenden Größe der Vektor *β,γ+ T. Die Ungleichbedingung verhindert zu einfache Lösungen und legt im Vorhinein eine praktikable Mindestgröße des jeweiligen Parameters fest. Um einfache, die MTF stark herab setzende Ergebnisse zu verhindern wird im numerischen Lösungsprozess eine weitere Ungleichung berücksichtigt. (35) Mit der Bedingung g(x) κ kann man durch geeignete Festlegung von κ einen Mindestwert der OTF H am Fokuspunkt ψ=0 gewährleisten und dadurch eine bestimmte Qualität des Zwischenbildes fordern. 50

55 Die Minimalisierungsaufgabe wird unter Einbeziehung der beiden Ungleichungen zu einem nichtlinearen, beschränkten Optimierungsproblem und kann von Programmen wie MatLab oder einem optischen Rechenprogramm gelöst werden. Eine andere Möglichkeit Fokusinvarianz numerisch bzw. simulatorisch zu ermitteln um eine möglichst optimale Phasenplatte zu finden bietet der Hilbertraumwinkel [32]. Dieser trifft Aussagen über die Unterschiedlichkeit von Funktionen. Der Hilbertraumwinkel ist folgendermaßen definiert: (36) Das Produkt im Zähler wird einmal fokussiert und einmal defokusiert mittels folgender Gleichungen ermittelt: * + (37) * + (38) Der Unterschied zwischen den zwei berechneten Winkeln ergibt dann ein Maß für die Defokussierungsunabhängigkeit des optischen Systems. Hilbertraumwinkel und Fischerkonstante werden bei der Bewertung von Phasenplatten und EDOF- Systemen häufig als Vergleichsparameter verwendet, was sie zu wichtigen Größen im WFC macht. Da die OTF aus Gleichung (26) bei Berücksichtigung aller physikalischen Gegebenheiten unendlich kompliziert ist, kann sie nur durch Approximation dargestellt werden. Auch aus Rücksichtnahme auf gegebene Rechenkapazitäten erscheint eine Approximation notwendig. In unterschiedlichen Approximationsverfahren liegt eine Ursache unterschiedlicher Formentwürfe von Phasenplatten. In den Herleitungen werden beispielsweis Blenden als rechteckig vereinfacht um komplizierte Kreisintegrale zu vermeiden oder die Wellennatur des Lichts ausgeklammert. So kommt es, dass der Lösungsweg zur Herleitung einer Phasenplattenform häufig der Selbe ist, die OTF-Ausgangsfunktion aber meist verschieden. Die Funktionalität der Phasenplatte hängt dann auch von der Qualität der OTF-Approximation ab. 6.4 Phasenplattenformen Wie bereits erwähnt, wurde bereits eine Vielzahl von Phasenplattenformen evaluiert. Das folgende Kapitel soll eine Auswahl dieser vorstellen und wenn möglich die Formen vergleichbar machen. Am Ende wird noch ein kleiner Exkurs zum verwandten, aber doch abzutrennenden Verfahren der Schärfentiefeerweiterung mittels symmetrischer Phasenplatten durchgeführt. 51

56 6.4.1 Kubische und logarithmische Phasenplatte Dowski und Cathey verwendeten zunächst eine kubische Phasenplatte (KPP). In Abbildung 28 sieht man eine typische KPP. Ihre Form kann man mit folgender Formel beschreiben: (39) In [28] kann man nachvollziehen wie sie diese Grundform gefunden haben. Der Parameter α setzt sich aus folgender Gleichung zusammen: (40) ξ=summe der durch die Phasenplatte eingeführte optische Pfaddifferenz Da der optische Weg sich für jede Wellenlänge geringfügig anders verändert muss bei der Festlegung des Parameters die Wellenlänge λ mit einbezogen werden. α ist dimensionslos und bewegt sich im zwei bis dreistelligen Bereich [35]. Durch Variation des Formparameters α in obiger Gleichung lässt sich die optische Übertragungsfunktion nach den Bedürfnissen in der Anwendung anpassen. Neben der kubischen Phasenplatte ist die logarithmische Phasenplatte (LPP) die typischste. In [32] wurde sie zum ersten Mal eingeführt. Ein typisches Profil der LPP kann wie in Abbildung 32 ausgeführt sein. Abbildung 32 li: LPP re: Vergleich des Hilbert-Raumwinkels von LPP und CPP [32] In [32] wurde diese Form aufwendig hergeleitet. Am Ende der Herleitung stand eine formgebende Gleichung für die logarithmische Phasenplatte: 52

57 ф(x,y)= (41) Die in Abbildung 32 gezeigte PP wurde mit den Parameterwerten α=4.23*10^-4; β=0.57 und u`= 0 berechnet. Diese Werte wurden bei Annahme eines typischen Anwendungsfall (Wellenlänge, Brennweite, ) und Minimierung bestimmter, die Schärfentiefe anzeigenden Funktionsteilen der OTF mittels eines optischen Rechenprogramms ermittelt. Unter vergleichbaren Bedingungen wurde die optimierte logarithmische PP mit der KPP simulatorisch verglichen. Es zeigt sich, dass zunächst keine deutlichen Unterschiede feststellbar sind. Nur in den Bereichen höherer Defokussierung lässt sich ein besseres Verhalten der logarithmischen Platte feststellen Generalisierte kubische Phasenplatte Bei der Herleitung der generalisierten, kubischen Phasenplatte [36] wurde neben der Fischerkonstante auch die Strehl-Zahl berücksichtigt. Diese gibt das Intensitätsverhätnis von beobachteter Punktquelle in der Bildebene zur theoretisch maximalen Intensität des Bildpunktes an. Versuche haben ergeben, dass diese Form weniger hohe MTF-Werte erzielt. Vorteilhaft ist der gleichstarke Abfalll der MTF in alle Bildrichtungen. Die übliche kubische Phasenplatte erzielt hier nur gute Werte in horizontaler und vertikaler Bildrichtung. Nach dem Rechnereinsatz weist Letztere stärkeres Rauschen, die GCPM hingegen weist ein gleichmäßiger verteiltes Rauschen welches richtungsunabhängig ist, auf. (42) Verbesserte logarithmische Phasenplatte In [37] wurde die von Dowski vorgeschlagene logarithmische Phasenplatte noch einmal verbessert und mit folgender Gleichung definiert: ( ( ( ))) (43) Das Profil der verbesserten logarithmischen Pasenplatte (VLPP) stellt sich nun im Vergleich folgendermaßen dar: 53

58 Abbildung 33 Phasenprofil KPP, LPP, VLPP [37] Die Maske wurde entwickelt um die Stabilität der MTF über die Defokussierungsparameter zu erhöhen und somit bessere Restauration zu ermöglichen. Abbildung 34 zeigt, dass dies gelang. Abbildung 34 li.: MTF der LPP bei versch. Defokussierungen; re.: verb. LPP bei versch. Defokussierungen [37] Exponentielle Phasenplatte Eine sehr anschauliche Darstellung einer auf der Exponentenfunktion basierenden Phasenplatte (EPP) gibt [35]. Die dort vorgeschlagene Phasenplatte wird durch folgende Gleichung definiert: β und γ sind die zu variierenden Parameter. Die Autoren gehen davon aus, dass durch zwei anstatt einem zu adaptierenden Parameter die Phasenplatte genauer und zielgerichteter den optischen Gegebenheiten angepasst werden kann. Die Analyse der Phasenplatte wurde anhand eines Vergleichs mit der kubischen Phasenplatte durchgeführt. Mittels Fischerkonstante wurden analog zur Vorgehensweise in 6.3 optimale Parameterwerte errechnet. Es wurden also, für vorgegebene κ, Parameter verwendet, die eine möglichst niedrige Fisherkonstante erzeugen. Der Defokussierungsbereich ψ wurde als *-30,30] angenommen. (44) 54

59 Abbildung 35 Phasenplattenprofile: gleiches κ blau und rot; gleiche maximale Phasenverschiebung rot und gün [35] Nach einer ausführlichen Analyse von Fischerkonstante, Hilbertraumwinkel und MTF der vor der digitalen Bearbeitung entstandenen Bilder kommen die Autoren zu dem Schluss, dass eine Phasenplatte nach der Exponentialfunktion leicht defokussierungsunabhängigere Zwischenbilder liefert und somit der kubischen Phasenplatte vorzuziehen ist. Auch die letzten Endes bearbeiteten Bilder bestätigen diesen Eindruck Sinusförmige Phasenplatte Die Sinusförmige Phasenplatte (SPP) wurde in [34] hergeleitet. Sie wurde im Zuge des folgenden Vergleichs entwickelt und wird deshalb dort behandelt. (45) Vergleich In derselben Arbeit wie die sinusförmige PP wurden kubische, exponentielle, verbesserte logarithmische und sinusförmige Phasenplatte miteinander verglichen. Zunächst wurden die optimalen Parameter über die Fischerkonstante ermittelt: Tabelle 2 [37] κ KPP α EPP α,β VLPP α,β SPP α,β 0, ,69; 1,03-166,66; -1,23 444,44; 2,04 0,23 154,05 97,17; 1,13-211,18; -1,29 375,01; 1,90 0,25 131,23 62,12; 1,39-166,85; -1,25 306,69; 1,84 0,27 111,45 43,50; 1,61-211,03; -1,35 253,37; 1,78 0,30 90,11 31,03; 1,75-211,03; -1,40 192,99; 1,78 0,33 74,94 32,27; 1,47-211,02; -1,46 149,20; 1,84 55

60 Anschließend wurde die Fischerkonstante mit ansteigender Defokussierung und unterschiedlichen Anforderungen an die Bildqualität (variierendes κ) rechnerisch ermittelt: CPP EPP VLPP SPP CPP EPP VLPP SPP Abbildung 36 Vergleich Fischerkonstanten EPP, VLPP, SPP, KPP bei verschiedenen ψ und κ [34] EPP und SPP sind nach den FI-Graphen wohl die beste Wahl wenn die Anforderungen an die Bildqualität nicht allzu hoch sind. Bei steigender Anforderung an die Bildqualität wird die VLPP immer konkurrenzfähiger und sollte schließlich bevorzugt verwendet werden. Ist die SPP recht unempfindlich gegenüber steigender Anforderungen fällt die EPP doch relativ deutlich ab. Bei geringer Defokussierung sind die Unterschiede von SPP, EPP und VLPP allerdings nicht sehr deutlich ausgeprägt. Bei größerer Defokussierung zeigt sich, dass die EPP stark verschlechterte Eigenschaften aufweist, während die Fischerkonstante von SPP und VLPP recht langsam und gleichmäßig ansteigt. Nur die KPP ist in keinem Szenario konkurrenzfähig und sollte daher nicht verwendet werden. Des Weiteren ist der PSF-Shift nicht außer Acht zu lassen der bei unterschiedlichen Phasenplatten unterschiedlich stark auftritt. Abbildung 37 PSF-Shift (Reihen: KPP, EPP, VLPP, SPP; Spalten: κ= 0,21; 0,25; 0,27; 0,30; 0,33) [34] 56

61 KPP und SPP haben den geringsten Versatz, die exponentielle Phasenplatte weist deutlich den größten PSF-Shift auf. Digital wurden aus den Zwischenbildern schließlich die endgültigen Abbildungen: Abbildung 38 Aus den Zwischenbildern berechnete Bilder (Reihen: W 20 = π; 3π; 6π; 9π; Spalten: ohne PP; CPP; EPP; VLPP; SPP) [34] Verschieden stark ausgeprägte Artefakte können beobachtet werden. Zum Beispiel fällt in Spalte zwei, CPP, besonders stark sogenanntes ringing ins Auge. Die SPP leidet in den ersten beiden Reihen, π und 3π, besonders stark unter Artefaktrauschen und auch diejenigen Bilder der EPP weisen dieses auf. Wie Phasenplatten mit etwaigen anderen Komponenten im optischen System harmonieren ist schwer zu sagen und benötigt ausführliche Analysen für jeden einzelnen Fall. Anmerkung: Leider konnte die originale digitale Datei von [34] nicht aufgetrieben werden und ein originalgetreues scannen der in der Zeitschrift recht kleinen Bilder war nur schwer möglich. Ich bitte dies zu entschuldigen Adaptive Phasenplatten Will man flexibel agieren, das heißt, den Bereich der Schärfentiefeerweiterung ohne Wechsel der Phasenplatte verändern, gibt es verschiedene Ansätze Phasenplatten so zu gestalten, dass sie ihre hinzugefügte optische Pfaddifferenz verändern können. Flüssiglinse mit abgeflachter Oberfläche: Ein erster Versuch die EDOF-Technologie des WFCs mit der Flüssiglinse zu verknüpfen wurde 2010 durchgeführt [38]. Die Herstellung einer Flüssiglinse aus elastischem Kunststoff ist offensichtlich schwieriger und weniger genau möglich als die einer festen Glaslinse. Aus diesem Grund war das Augenmerk der Forscher hier hauptsächlich darauf gerichtet, eine möglichst einfach zu fertigende Form zu verwenden. Sie entschieden sich für die biquadratische Funktion: ; (46) 57

62 Die Autoren konnten nachweisen, dass ihre produzierte Linse in mm Entfernung deutlich bessere Ergebnisse liefert als die Vergleichsflüssiglinse Dennoch steht man in diesem Bereich noch ganz am Anfang und es muss noch einiges verbessert werden um die Flüssiglinse mit der EDOF- Technologie des WFCs effektiv zu verbinden. Membranspiegel Ein weiterer Versuch WFC variabel zu gestalten wird in [39] gemacht. Hier werden Membranspiegel verwendet, um die Ausprägung der Phasenplatte zu variieren. Membranspiegel sind optische Elemente die ihre Dicke je nach Spannungszufuhr verändern (genaueres z. B. unter [7 S. 136ff]) Abbildung 39 Membranspiegel und WFC [39] Da die Anzahl der Elektroden, die letztendlich die Dicke verändern, begrenzt ist, muss man sich die tatsächliche Dickenabstufung gröber aufgelöst als in obiger Abbildung vorstellen. In Simulationen konnten die Autoren nachweisen, dass WFC mittels Membranspiegeln möglich ist. Sie streichen heraus, dass sich durch Dickenveränderungen im Millisekundentakt zudem Möglichkeiten bei der Artefaktreduzierung und Dynamikerweiterung ergeben. Verschiebbare Phasenplatten der biquadratischen Funktion Den letzten hier vorgestellten Ansatz beschreibt am besten untenstehende Abbildung aus [40]. Abbildung 40 Verschiebemethodik [40] Zwei auf der x 4 -Funktion basierenden Phasenplatten werden gegensätzlich, hintereinander angeordnet und erzeugen so letztlich eine Phasenverschiebung die der der KPP gleicht. Durch 58

63 Verschiebung der Ausrichtung dieser Phasenplatten kann nun die Stärke der Phasenverschiebung variiert werden. Die Wissenschaftler der Universität Aalen konnten ein solches System realisieren und ein zufriedenstellendes Ergebnis erzielen [40]. Zusammenfassend kann gesagt werden, dass es viele verschiedene Möglichkeiten gibt eine Phasenplatte des WFCs variabel zu gestalten. Dadurch kann der Bereich der erweiterten Schärfentiefe auf die jeweilige Aufgabe zugeschnitten werden ohne die Hardware zu verändern. Der Vorteil daran ist, dass auf diese Weise der Verlust an Bildqualität (Trade-off) so gering wie möglich gehalten werden kann, indem man die Schärfentiefeerweiterung genau auf das nötige Maß kalibriert. Über das Forschungsstadium hinweg ist allerdings noch kein Ansatz des variablen WFCs gekommen Symmetrische Phasenplatten Liest man zum Thema EDOF mittels Phasenplatte, stößt man auf unterschiedlichste Vorschläge zu Phasenplattenformen, die einen erweiterten Schärfetiefebereich ermöglichen. Verwunderlich ist dann oft, dass diese Formen durchaus auch symmetrisch, gerade bzw. sphärisch sind. Diese Form des WFCs hat mit dem WFC Dowskis nicht viel gemein. Denn weder ist Fokusinvarianz das Ziel, noch wird anschließend Bildrestauration durchgeführt. Stattdessen wird versucht, die Bildinformation auf einen größeren Bereich der optischen Achse zu verteilen. Der aufmerksame Leser hat hierfür möglicherweise bereits ein Beispiel entdeckt. Denn die Quartic Function des Flüssiglinsen-WFCs beruht eigentlich nicht auf dem WFC-Prinzip von Dowski. Eine asphärische Flüssiglinse kann aber, sofern sie hergestellt werden kann, durchaus für WFC verwendet werden. Vorteile dieser Art von EDOF sind, durch die fehlende Nachbearbeitung, ihre Echtzeitfähigkeit und ihr Erhalt des SNRs. Außerdem sind sphärische PP leichter zu fertigen. Dafür sind andere grundsätzliche Probleme zu lösen. Augenscheinlich ist, dass sich durch die Verteilung der Bildinformation auf ein breiteres Band ohne Bildrestauration hohe Schärfe nicht erreichen lässt. Des Weiteren problematisch ist, dass durch Schwingungen und Fresnelbeugung die Lichtintensität über den als scharf definierten Bereich nicht gleich ist. Stattdessen schwankt die Intensität dort stark [41]. Natürlich wurden in der Forschung Konzepte entwickelt, diese Probleme abzuschwächen versuchen. Beispiele für symmetrische PP zur EDOF sind: Axiconförmige Phasenplatten (Symmetrische PP erster Ordnung) [42] Quartic Phase Masks (QPM, symm. PP vierter Ordnung) [43] Refraktive und diffraktive Hybridlinsen (symm. PP mit eingelassenen Kanten ) [44] 59

64 Abbildung 41 Axicon, QPM bzw RPM und Hybridlinse [45], [41], [46] Ein typisches Intensitätsprofil zeigt Abbildung 42. Die stärkeren Schwingungen weist die traditionelle QPP (engl. QPM) auf. Die, um dieses Problem abzuschwächen, entwickelte rationale Phasenplatte (RPP; engl. RPM) zeigt sich bereits stark verbessert. Sie benutzt, anstelle der biquadratischen Funktion, gebrochen rationale Funktionen um im Optimierungsvorgang flexibler agieren zu können [41]. Abbildung 42 Intensitätsverlauf QPM und RPM [41] 60

65 6.5 Paarung Sehr wichtig bei der Bildrestauration mittels Wiener- und ähnlichen Filtern ist die genaue Kenntnis der Störfunktion (vgl. kap.4.1). Deshalb ist in allen Anwendungen des WFCs essentiell, die tatsächliche, reale OTF des vorgeschalteten optischen Systems zu kennen, welche von der simulierten aus unterschiedlichen Gründen stark abweichen kann (vgl. Anhang A). Exakte Messungen jedes einzelnen optischen Systems sind daher genauso unabdingbar wie die Verwendung von Software deren Parameter genau auf die jeweilige Hardware (Optik und Sensor) zugeschnitten wurde. Dies bedeutet, dass jede produzierte Optik zunächst genau vermessen und dann die Software darauf aufbauend angepasst werden muss. Nur diese beiden Stück Hardware und Software zusammen können anschließend sinnvoll verwendet werden. Dieser, Paarung genannte, Vorgang ist der Hauptgrund, aus dem die Serienproduktion von hochqualitativen WFC-Systemen immer recht teuer sein wird und die Flexibilität der WFC-Systeme beispielsweise bei Defekten oder neuen optischen Anforderungen eingeschränkt ist. 6.6 Weitere Einsatzmöglichkeiten von WFC Neben dem Einsatz zur Schärfentiefeerweiterung heben etliche Publikationen weitere Möglichkeiten heraus, die WFC bietet. Einsparungen: Ganz allgemein kann zunächst einmal davon gesprochen werden, dass, durch die Fokusinvarianz eines wellenfrontkodierenden Systems, Aberrationen, die durch fehlerhafte Fokussierung entstehen, unproblematischer werden. Im Speziellen können hier chromatische Aberrationen [47] und temperaturbedingte Aberrationen, wie sie häufig in NIR Anwendungen [48] vorkommen, genannt werden. In fokussierenden Systemen wird ein hoher Aufwand betrieben, um diese Fehler auszugleichen. Zur Vermeidung dieser Aberrationen wird meist eine relativ komplexe Optik konstruiert, die in Planung und Fertigung sehr aufwendig ist. Verwendet man den wellenfrontkodierenden Ansatz, verschiebt sich der Aufwand von der Hardware hin zur Software. Dadurch ergibt sich Einsparpotential in Größe, Gewicht und letzten Endes auch Kosten [48]. Immer im Hinterkopf behalten muss man, dass im Gegenzug für diese Einsparungen durch die Filteranwendungen ein Verlust an SNR hingenommen werden muss. Links: traditionelles System; zwei Komponenten nötig um Spezifikation einzuhalten Rechts: WFC-System; nur eine Komponente nötig (grün: MTF vor dem Rechnereinsatz) Einsparung: 45% Gewicht; 50% Kosten Trade-Off: 50% SNR [48] Abbildung 43 Einsparungen 61

66 Passive Entfernungsmessung: Den zu ihren bisherigen Methoden genau gegenteiligen Effekt erzeugen Dowski et al in [49] und [50] mit folgender Phasenplatte: Abbildung 44 Phasenplatte [49] und MTF im Nah bzw. Fernbereich [50] Anstelle eines fokusinvarianten Bildes wird ein stark von der Fokussierung abhängiges Bild erzeugt. Definiert wird obige Phasenplatte durch folgende, diesmal gerade, Funktion: Durch diese Phasenplatte kann der Schärfentiefebereich mehr als halbiert werden ohne jegliche weiter optische Leistung zu verlieren. Es wird auch von Reduced Depth of Field (RDF) gesprochen. Über Fouriertransformation und einfache Algorithmen zur Bestimmung von Maxima kann die Entfernungsmessung von Gegenständen gelingen. Der Leistungsgraph weist Maxima abhängig von der jeweiligen Entfernung auf. (47) Abbildung 45 Abstandsinformation enthaltende Leistungsgraphen und Parameter des simulierten RDF-Systems [49] 62

67 Kantenerkennung kann beispielsweise einen Gegenstand identifizieren und gibt einen ROI- Bereich vor. Dann kann durch obige Vorgehensweise der Abstand des identifizierten Gegenstandes ermittelt werden. Die Ergebnisse der so ermittelten Tiefenkarten weisen einen Fehler von nur 0.2% auf. Die hier vorgestellte Methode wurde meines Wissens bisher noch nicht in ein professionelles WFC-Entfernungsmessungssystem umgesetzt. 63

68 7 Evaluierung eines bestehenden Systems Erst nachdem die Theorie des WFCs nun verstanden ist, kann das vorliegende optische WFC-System mit dem nötigen Hintergrundwissen evaluiert werden. Denn es tun sich jetzt einige interessante Fragen auf, die man so vielleicht gar nicht erwartet hätte. Fragen, die man sich nun stellt, und die im Folgenden möglichst beantwortet werden sollen, sind: - Was ist die tatsächliche Schärfentiefeerweiterung bzw. - Welcher Kompromiss zwischen EDOF und Bildqualität wurde gefunden? - Welche Menge an Rauschen handelt man sich ein bzw. - Wie stark verschlechtert sich das Signal-Rausch-Verhältnis (SNR)? - Kann man weitere der Bildrestauration geschuldete Aberrationen nachweisen? - Wie wirkt sich der Rechenvorgang auf die Aufnahmegeschwindigkeit aus? - Sind die Angaben Ricohs stimmig? Dies sind Informationen, die man durch einige Testaufnahmen durchaus ermitteln kann. Dabei wurde aus Rücksichtnahme auf den zeitlichen Umfang der Arbeit, den Kenntnisstand des Studenten und der Möglichkeiten vor Ort im folgenden Abschnitt keine umfassende qualitative und quantitative Bewertung des Systems vorgenommen. Die Messmethodik wurde auf das Einfachste heruntergebrochen und kann deshalb nicht unbedingt mit in Datenblättern quantifizierten Angaben verglichen werden. Aus diesem Grund entwickeln die Ergebnisse der Arbeit ihre Aussagekraft erst dann, wenn sie mit auf dieselbe Weise ermittelten Werten eines Vergleichsobjektivs in Relation gesetzt werden. So können die Einflüsse unzureichender Messmethodik bei der Bewertung des Ergebnisses relativiert werden. Die digitale Nachbearbeitung, die dem CI zu Grunde liegt, begrenzt allerdings auch die Aussagekraft eines solchen Vergleichs. Denn die Messungen begleitete von Beginn an die Überlegung, welchen Einfluss Schärfen auf die Ergebnisse hat. Schärfen kann die MTF, wie gezeigt wird, deutlich erhöhen. Übliche optische Systeme in der BV und auch das eingesetzte Vergleichssystem verwenden kein Schärfen. Schärfen gehört allerdings gewissermaßen zum Konzept des WFCS, da Restauration eines Defokussierungsfehlers im Grunde nichts anderes als ein Schärfevorgang ist. Zudem ist der FPGA- Prozessor des EDOF-Systems vermutlich in der Lage andere Bildfehler, die die Objektiv-Sensor- Kombination produziert, nachträglich herauszurechnen. Man kann das EDOF-System also nicht einfach ohne weiteres mit einem üblichen Kamerasystem vergleichen. Doch bevor diese Problematik geklärt werden kann, wird zunächst das vorliegende System und das Vergleichssystem vorgestellt. 7.1 EDOF Serie Ricoh Pentax, seit August 2013 unter dem Namen Ricoh firmierend, hat 2012 als erstes Unternehmen eine WFC-Kamerasystemserie für den Bildverarbeitungsmarkt entwickelt. Es wirbt in seinen Broschüren mit dreifacher Erhöhung des Schärfentiefebereiches gegenüber normalen VGA-Kameras und fünffacher Erhöhung gegenüber handelsüblicher UXGA (2 Megapixel) Kamerasystemen. Zur Veranschaulichung wird im Werbematerial folgende MTF-Abbildung verwendet: 64

69 Abbildung 46 MTF des EDoF zu Werbezwecken [2] Erhältlich sind im Moment drei EDof Kameratypen: Tabelle 3 Zur Auswahl steht somit eine Monochrom VGA-Kamera (648x494) und sowohl eine Monochrom als auch eine Color-Version mit UXGA (2-Megapixel Auflösung). Alle drei Modelle verfügen über einen CCD-Sensor und sowie einem FPGA und sind im selben Standardgehäuse eingefasst. Gepaart werden können diese mit acht verschiedenen Optiken: Tabelle 4 65

70 Die ersten drei Modelle sind allesamt ausschließlich für VGA-Anwendungen ausgelegt. Sie besitzen eine Brennweite von 8.5mm. VGA und UXGA-fähig sind die restlichen 5 Optiken. Es sind hier 12mm sowie 35mm Brennweiten verfügbar. Jeweils unterschieden werden die Optiken noch durch die Blendenzahl. Der Hinweis die Komponenten nur gepaart zu kaufen findet sich im Werbematerial häufig. Im Vorfeld der Arbeit wurde, um einen Praxistest des Objektivs durchführen zu können, eine Kombination der EV-G200B1 und des EL-HC-1228 im Gesamtwert von ca erworben. Für diese Kombination gibt Ricoh die folgenden erreichten Werte für die Schärfentiefe an: Tabelle 5 Diagramm 1 Die Komponenten Kamera und Linse sollen nun einzeln vorgestellt werden. 66

71 7.1.1 Kamera EV-G200B1 Abbildung 47 Kamerasystem mit Objektiv [2] Die vorhandene Kamera EV-G200B1 ist mit einem monochromem 1/1.8 UXGA (2 Megapixel) CCD- Sensor ausgestattet. Die Pixelgröße beträgt 4.4 µm. Die maximale Framerate der Kamera beträgt 15fps. Die Abmessungen der Kamera werden in Abbildung 48 dargestellt. Abbildung 48 Kameraabmessungen und Anschlüsse, Angaben in mm [2] Betrieben wurde die Kamera über eine PoE-fähige Ethernet-Schnittstelle. Die Übertragungsgeschwindigkeit betrug im Versuch mangels Gigabit Netzkarte maximal 100 MB/s. Alternativ ist eine Stromversorgung auch über einen Hirose HR10A-10R-12PB Stecker möglich. Diese Schnittstelle fungiert zudem als I/O Signalverbindung. Mit dem Input Signal ist es beispielsweise möglich, Bildaufnahmen extern zu Triggern. Das Output Signal bietet die Möglichkeit, momentane Kameraeinstellungen wie die Belichtungszeit ausgeben zu lassen. Der DC iris lens connector steuert in anderen Kameramodellen die Blende an. Da in der Ricoh EDOF-Serie ausschließlich manuelle Blendeneinstellung möglich ist, hat diese Steckverbindung keine Funktion. Das Gehäuse der Kamera ist metallisch und damit sehr robust. Zudem besitzt es dadurch gute 67

72 Wärmeableitungseigenschaften. Das Gehäuse ist abnehmbar. Es ist zudem möglich, Verlängerungstuben zu benutzen. Die Schnittstelle zum Objektiv ist hierbei C-Mount. Hergestellt wurde die Kamera laut Etikett in Japan. Informationen über den verwendeten Sensor können später Tabelle 6 entnommen werden. Die Entwicklung wurde auf GigE Vision und GenICam Standards aufgebaut. Damit ist es möglich bei der Programmierung der Steuerungssoftware unternehmenseigene Softwarebibliotheken zu benutzen, die ebenfalls auf diesen Standards aufgebaut sind. C++, C# und VB Sample Codes sind zudem Verfügbar. Auch Area of Interest Modi (AOI) sind unterstützt. Die für WFC nötigen Bildverarbeitungsalgorithmen sind bereits auf die Kamera aufgespielt. Die Rechenleistung des FPGA- Prozessors konnte leider nicht ermittelt werden Objektiv EL-HC-1228 Abbildung 49 Objektivabmessungen [2] Das gewählte Objektiv EL-HC-1228 besitzt eine Brennweite von 12mm. Die kleinste auf dem Verstellring der Fokussierung angegebene Objektdistanz beträgt 0,25m. Dennoch lässt sich noch um ca. eine Viertelumdrehung weiterdrehen. Die Blende kann ab dem Wert 1.4 mittels eines separaten Einstellrings in den üblichen Blendenstufen 2, 4, 8 und 16 eingestellt werden. Bei der Betrachtung des Objektivs ist aufgefallen, dass die Blende bei Zuzug erst relativ spät sichtbar wird. Ein Blick ins Datenblatt ließ dann erkennen, dass die Beschriftung auf dem Objektiv irreführend ist. Eine Blende ist erst ab dem Wert 2.8 wirksam. Erst ab dieser Einstellung kann eine Veränderung des Bildes auch im Versuch festgestellt werden. Fünf Blendenlamellen bewirken eine weniger runde sondern vielmehr fünfeckige Blendenöffnung. Die Verstellringe können jeweils mit 3 Schrauben festgezogen werden. Produziert wurde die Optik nach Beschriftung in Vietnam. Die mechanischen Maße illustriert Abbildung 49. Verschraubt mit der Kamera EV-G200B1 besitzt das optische System einen horizontalen Kamerawinkel von Neben der Ricoh EV-G200B1 sind Linsen dieser Bauart mit der Farbversion EV-G200C1 kombinierbar. Auffällig bei der Betrachtung der Linse ist ein von der Bildseite aus sichtbarer ringförmiger Planspiegel. Dieser ist einige Millimeter vor (von der Bildseite aus gesehen) der Blende angebracht. In diesem ist ein Quadrat zu sehen das sich durch eine Kante abhebt. Was es mit diesem auf sich hat, 68

73 kann nur spekuliert werden. Eventuell ist dort der kodierende Teil der Optik eingelassen. Es ist möglich, dass der Spiegel zur Reduzierung von Bildfehlern oder von Streulicht eingebracht wurde (Aussage Optikentwickler). Nach Aussagen von Ricoh arbeitet das System mit einer Form der logarithmischen Phasenplatte. Die genaue Form der Phasenplatte ließ sich leider nicht in Erfahrung bringen. 7.2 Vergleichssystem Das Vergleichssystem (VGS) war ein MeVis C-Objektiv 1.6/16 von Qioptiq und eine UI-1250SE-M-GL Kamera von ueye. Die folgende Tabelle stellt die beiden Systeme gegenüber. Tabelle 6 EDOF VGS Sensorbezeichnung ICX274AL (Sony) EV76C570ABT (e2v) Sensortyp CCD CMOS Sensorgröße 1/1.8`` 1/1.8`` Pixel (aktiv) 1624x1236 k.a. Pixel (empfohlen) 1600x x1200 Chipgröße 8.5x6.8 k.a. Pixelgröße 4.4 μm 4.5 μm Optische Sensordiagonale mm 9mm Geschwindigkeit (max. Auflösung) 15 fps 50 fps Anschluss GigE USB 2.0 Mount C-Mount C-Mount Brennweite 16 mm 12mm MOD 0.25m 0.22 m Blendenzahl Auflösungsvermögen Bis zu 220 lp/mm - Die MeVis Produktreihe ist das Serienprodukt von Qioptiq mit der höchsten Auflösung. Es ist möglich bis zu 12 MP Sensoren mit Pixeln kleiner als 2 μm zu verwenden. Die Vergleichskamera schöpft die Leistungsfähigkeit der Optik also bei weitem nicht aus. In Abschnitt 3.1 wurde die geometrische Schärfentiefe des Vergleichssystems für einen Objektabstand von 250 mm mit 6.17 mm berechnet. 7.3 Messmethodik Zur Aufnahme von Messdaten wurde folgende grundlegende Methodik vereinbart: In einem bestimmten Abstand wird auf einen Messchart fokussiert und anschließend ein Bild aufgenommen. Anschließend wird bei Beibehaltung der Fokussiereinstellung der Objektabstand variiert und für jede Variation wiederum ein Bild aufgenommen. Dies soll für EDOF- und Vergleichssystem erfolgen. Anhand der Unschärfezunahme in den einzelnen Bildern kann die Schärfentiefe ermittelt werden. 69

74 Unabhängig von Messchart und Bildanalyse waren bei der Ausgestaltung des Messplatzes folgende Punkte zu beachten: -gleichmäßige, diffuse Beleuchtung über den gesamten Objektraum -Beleuchtung und Belichtungszeit ist so zu wählen, dass Pixel nicht über- oder untersteuert werden und gleichzeitig ein breites Spektrum der Grauwerte (256 bei 8bit) ausgeschöpft wird -Kamera möglichst parallel zur Objektebene ausrichten -fehlerfrei reproduzierbare Objektabstände ermöglichen Die Interpretation der aufgenommenen Bilder kann auf verschiedene Weise erfolgen. Möchte man sich nicht auf den Schärfeeindruck der aufgenommenen Bilder verlassen sondern ein objektives, quantifiziertes Ergebnis ergeben sich verschiedene Möglichkeiten. Je nachdem wie man Bilder mathematisch Interpretieren möchte sind unterschiedliche Testcharts nötig. Die einfachste Möglichkeit ist die Analyse der Grauwerte einer Aufnahme von Linienpaaren. Beispielsweise ermöglicht es das Programm imagej eine Linie durch ein solches Muster zu ziehen und sich die Grauwerte der Pixel entlang dieser Linie anzeigen zu lassen. Geht man davon aus, dass bei Steigerung der Bildunschärfe die Minima und Maxima dieser Messung zusammenrücken hat man ein Grundlegendes Maß der Bildschärfe bereits ermittelt (vgl. Anhang A). Natürlich ist das Ergebnis abhängig von der Frequenz der Linienpaare. Diese ist bildseitig wiederum abhängig vom Abbildungsmaßstab. Der Abbildungsmaßstab ändert sich allerdings bei einer Änderung des Objektabstandes. Somit ist für jedes Bild, das von einem gleichbleibenden Linienpaarmuster als Objekt aufgenommen wurde, ein Abbildungsmaßstab zu berechnen und die beiden Kontrastwerte aufzuzeichnen. Dies ist, gemessen an der Information, die erzeugt wird, sehr aufwendig. Denn auf diese Weise wird nur die MTF für eine bestimmte Objektfrequenz in einer Richtung bestimmt. In Abbildung 71 entspräche dies einem einzigen Punkt des Graphen. Für Vergleichsmessungen wie sie hier angestrebt werden wäre dieses Messverfahren ausreichend, zumal der Vorteil gegenüber komplexeren Verfahren in der Nachvollziehbarkeit liegt. Deshalb wird dieses Verfahren zur groben Kontrolle des Ergebnisses anderer Vorgehensweisen herangezogen. Unabhängig vom Abbildungsmaßstab und der Objektentfernung ist die geneigte-kanten-messtechnik (slanted edge). Die allgemeine Vorgehensweise ist die Ermittlung eines Grauwertverlaufs an einer geneigten Kante. Die Ableitung dieser Funktion stellt die Linienbildfunktion dar (Line Spread Function, LSF). Die absoluten Werte der Fouriertansformation dieser Funktion ergeben dann die MTF. Diese Methode wird hauptsächlich angewandt. Verwendung fand hierfür eine Testversion der Software Imatest (Imatest Studio 3.10). 70

75 7.4 Messaufbau und Bildaufnahme Abbildung 50 Messaufbau und ISO Messchart bei Abbildungsmaßstab 1:100 Obige Abbildung zeigt links den Messaufbau. Der Objektabstand konnte durch Verfahren des Schlittens auf einem Messtisch durchgeführt werden. Für etwaige feinere Einstellungen ist auf dem Schlitten eine zweite Vorrichtung angebracht. Mit dieser kann man die Kamera über eine Kurbel um bis zu 5cm verfahren. Der Abstand des Objektivs zur Magnetwand musste einmalig manuell vermessen und einem Wert auf der Skala des Tisches zugewiesen werden. Die parallele Ausrichtung der Kamera zur Wand konnte mechanisch nicht gewährleistet werden. Sie wurde durch eine Aufnahme des Messcharts bei einem Abbildungsmaßstab von 1:1 eingestellt, indem darauf geachtet wurde, dass die Ränder des Bildes möglichst exakt auf den das Seitenverhältnis 4:3 angebenden Pfeilen liegen. Zur Beleuchtung wurde der Einfachheit halber das Raumlicht herangezogen. Als diffuse, das Objekt komplett gleichmäßig ausleuchtende Lichtquelle war dieses geeignet. Dies konnte auch durch Grauwertanalyse in verschiedenen schwarzen und weißen Bereichen des Bildraums nachgewiesen werden. Um Tageslichteinflüsse auszuschließen, wurden die Jalousien im Raum natürlich geschlossen. Der ISO Messchart (Abbildung 50 rechts) wurde verwendet. Neben den Balken für die Messung der MTF nach der Slanted-Edge-Methode bietet er viele weitere Möglichkeiten, sodass er flexibel eingesetzt werden kann. Beispielsweise weist er auch Linienpaarmuster verschiedener Frequenz auf, sodass Kontrollmessungen mittels imagej durchgeführt werden konnten. Anhand des im Hintergrund sichtbaren Linienmusters, welches exakt Horizontal an der Wand befestigt war, wurde der Messchart ausgerichtet, sodass dieser sich möglichst gerade an der Wand befand. 71

76 Mit diesem Aufbau wurden folgende Bildreihen aufgezeichnet: Tabelle 7 Versuchsreihe System Objektabstand Intervalle Bereich Blende fok. 1:10 EDOF EDOF 450 mm 5, 10, 50 mm mm 2.8 1:10 VGS VGS 450 mm 5, 10, 50 mm mm ~2.8 MOD EDOF EDOF 250 mm 5, 10, 20 mm mm 2.8 MOD VGS VGS 250 mm 5, 10, 20 mm mm ~2.8 KOMB VGSK+EDOFO 450 mm 5, 25, 50 mm mm 2.8 SNR OECD Alle Systeme 450 mm Die ersten beiden Messreihen wurden ausgehend von dem Objektabstand durchgeführt, bei dem der Messchart sich zu 100% im Bild befand. Dadurch können die angegebenen Zahlenwerte für die Linienpaarfrequenzen einfach mit 10 multipliziert werden um die bildseitige Linienpaarfrequenz zu ermitteln. Die zweite Messreihe wurde von der Mindestobjektdistanz an durchgeführt. Vor dem Hintergrund, dass die Schärfentiefe rapider abnimmt, je kleiner man den Objektabstand fasst, erschien das eine gute Wahl. Es wurden hier ausschließlich Aufnahmen gemacht, die weiter als die MOD entfernt waren, da das Verhalten bei Unterschreitung der MOD nicht vorhersagbar war. Die dritte Messreihe wurde durchgeführt, um zu sehen, wie sich das Objektiv ohne nachgeschalteten FPGA-Prozessor verhält. Dazu wurde die ueye Kamera mit der Ricoh Optik kombiniert. Hier war das Ziel, die Bildverarbeitungsalgorithmen auszublenden und gewissermaßen ein Zwischenbild zu ermitteln. Dieses gibt soll Aufschluss über die ohne Bildrestauration erreichte MTF geben. Es wurde sich des Weiteren erhofft, Verzerrungen und andere Aberrationen sichtbar zu machen. Zuletzt wurde mit allen drei Kombinationen eine Aufnahme eines Iso gemacht. Hier war der mittige OECF-Chart von Interesse. Mit diesen 12 Flächen unterschiedlicher Grauabstufungen sollte eine korrekte Berechnung des SNRs möglich sein. Abbildung 51 ISO

77 Die Bilder der Messreihen wurden als *.bmp abgespeichert, um Fehler durch Komprimierungsvorgänge zu vermeiden. Alle Bilder können im mitabgegebenen Ordner geöffnet werden. Zudem sind alle daraus gewonnenen Tabellen und Graphen dort zu finden. 7.5 Methodik der Bildanalyse Die Vorgehensweise bei der Auswertung der aufgenommenen Bilder der ersten drei Messreihen soll nun einmalig beispielhaft vorgestellt werden. Es soll gezeigt werden, welche Einstellmöglichkeiten Imatest bietet und was zu beachten ist. Es soll die Bedeutung der in den späteren Abschnitten verwendeten Messdaten aufgezeigt werden. Verschiedene Einstellungen werden verglichen. Abschließend wird für dasselbe Bild ein anderes Verfahren herangezogen um die Methode zu verifizieren. Zum Anfang steht die Auswahl eines Bildausschnittes. Die Länge sollte mindestens 80 Pixel betragen und die Breite mindestens die Hälfte davon. Eine Länge über 300 Pixel verbbessert wenig am Ergebnis. Es wird ein Bildausschnitt zwischen 120x80 und 300x140 empfohlen. Dieser wird im Folgenden nach Möglichkeit auch eingehalten. Es wird darauf geachtet, dass insbesondere bei Bildern, die verglichen werden sollen, identische Bildausschnitte gewählt werden. Abbildung 52 Empfohlener Bildausschnitt (imatest Hilfe) Anschließend erscheint ein Einstellungsfenster, mit welchem genaue Einstellungen zur Berechnung der MTF getroffen werden können. Die wichtigsten Optionen werden kurz angesprochen. 73

78 Abbildung 53 Einstellungsfenster Im ersten Aufklappmenü wurde für eine gewohnte Darstellung der MTF cycles/mm (cycles per Picture Height) ausgewählt. Eine Angabe der Pixelgröße macht diese Einstellung möglich. Die Einstellung Secondary Readout kann je nach Interesse verändert werden. Die zu plottenden Frequenzen können nachträglich verändert werden. Die Methode bietet die Möglichkeit die MTF über der Nyquistfrequenz darzustellen was bei auf Linienpaaren basierenden Verfahren nicht möglich ist. Auf diesen Bereich wird im Folgenden jedoch nicht eingegangen. Speed-Up wurde nicht ausgewählt, um später Zugriff auf eine Noise-Funktion zu erhalten. SQF (Subjective Quality Factor) bezieht sich auf den Bildeindruck des Betrachters des Bildes bei Betrachtung eines Ausdrucks bestimmter Größe in bestimmtem Abstand und wird hier nicht benötigt. Edge Roughness war in der vorliegenden Version nicht einstellbar. MTF noise reducing ist im Wesentlichen ein Tiefpassfilter der LSF und glättet die Messergebnisse angenehm. Bei Untersuchungen in höherfrequenten Bereichen wie zum Beispiel Messungen zum Rauschverhalten wird diese Option nicht angewandt. Die Einstellmöglichkeit Gamma ermöglicht eine Einbeziehung des in der Kamera eingestellten Gamma-Wertes in die MTF Berechnung. Standardized Sharpening soll die Möglichkeiten verbessern, Kameras zu vergleichen, die ihre Bilder unterschiedlich stark nachschärfen. Man kann sich über diese Option anzeigen lassen wie sich MTF und Kante verändern wenn man das Bild nachschärft. Die so ermittelte Funktion wird zusätzlich in einer anderen Farbe angezeigt. Eventuell kann so die Nachbearbeitung der Ricoh-Kamera relativiert werden, indem man beim Vergleichssystem eine Nachbearbeitung simuliert. Diese Option wurde in dieser Arbeit 74

79 SFR (MTF) Edge profile (linear) allerdings nicht angewandt. Zonengewichtungen erfolgen bei der manuellen Auswahl einer einzigen Kante nicht. Die Wellenlänge wurde auf seinem Default-Wert belassen. Der gelbe Bereich bietet Einstellmöglichkeiten bei der Anzeige der Graphen. Im unteren Bereich sind noch Angaben zur Speicherung der Messergebnisse möglich. Diese Einstellmöglichkeiten beeinflussen die Berechnung der MTF nicht. Folgender Bildschirm wird anschließend angezeigt: 465.bmp Edge profile: Horizontal 07-Sep :53: x 1200 pixels (WxH) 1.92 Mpxls ROI: 90x170 pixels 91% above-l of ctr 4.4 um per pixel Y-channel (YAL91) No gamma corr. Edge degs!!! CLIPPING = 44.81% 10-90% rise = 2.42 pixels = per PH 10-90%(corr) = 1.48 pixels = per PH (R=2) Lt, dk lvls = 255, 69.5 Lt/dk = 3.67 Imatest 3.10 Evaluation Pixels (Horizontal) MTF50 = 52.5 Cy/mm = LW/PH = C/P MTF50(corr) = 67.9 C/mm (R=2) = LW/PH Undersharpening 28.9% Evaluation version MTF30 = 71.9 Cy/mm MTF at Nyquist = Purchase at Nyquist f MTF: Horizontal Frequency, Cycles/mm (4.4 um/pixel) Abbildung 54 Messreihe 1:10 VGS 465; o. li.: Kantenprofil o. re.: Bildausschnitt u. li.: MTF u. re.: Darstellungsoptionen Obiger Graph zeigt das Kantenprofil an. Die Violette Linie zeigt den Kantenverlauf bei nachträglicher Schärfung an. Im Beispiel tritt Clipping auf % der Pixel werden von der Software als abgeschnitten erachtet. Das bedeutet, dass diese Pixel den Maximalen/Minimalen Wert erreichen. Vermutlich wurden die Weißanteile übersteuert. Dies sollte durch adäquate Beleuchtung vermieden werden. Dennoch kann am schwarzen Graphen keine abrupte Kante festgestellt werden. Das lässt vermuten, dass die übersteuerten Pixel wenig Einfluss auf das Ergebnis haben. Es wurde entschieden, dass Clipping in diesem Falle zu vernachlässigen ist, auch wenn hier ein relativ hoher Wert angegeben wird. Unten befindet sich die daraus errechnete MTF-Funktion. MTF50 (52.5 cy/mm) und MTF30 (71.9 cy/mm) werden angegeben. Zudem wird die MTF bei der Nyquist Frequenz (0.0845) angegeben. Der obige Graph basiert auf einem Bild das mit dem Vergleichssystem bei einem Objektabstand von 465mm bei der Messreihe 1:10 aufgenommen worden ist, was hier und im weiteren Verlauf die Bildunterschrift angeben wird. 75

80 Um dem Verfahren gegenüber nicht zu leichtgläubig zu sein, wurde vor der Verwendung des Messsystems darauf geachtet, dass die Messwerte auch plausibel sind. Hierfür wurde manuell ein Vergleichswert berechnet, indem wie in folgender Abbildung zu sehen eine Messung mit imagej durchgeführt wurde. Abbildung 55 Vergleichsmessung mit imagej Nach Gleichung (48) ergibt die Differenz zwischen maximalen (198) und minimalem (123) Wert geteilt durch den maximalen Kontrast von 256 die MTF. Bei der Frequenz von 70 ermittelt sich so eine MTF von Dies liegt im Bereich der MTF30 womit das Ergebnis von Imatest bestätigt wurde. Eine Messung bei der Frequenz 50 ergab 0,46. Auch hier zeigt ein Vergleich mit dem Graphen die Vergleichbarkeit von Imagej und Imatest. 7.6 Ergebnisse Besonderheiten Es sollen, bevor ein Verlauf der MTF über die verschiedenen Abbildungsabstände ermittelt wird, einige interessante Kantenbilder und MTF-Funktionen herausgegriffen werden, um verschiedene Schlussfolgerungen daraus ziehen zu können. Schärfen: Abbildung 56 1:10A; 450 mm Obige Grafik macht deutlich wie Sharpening sich auf das Kantenprofil und die MTF auswirkt. Das Sharpening ist eindeutig am sogenannten Undershoot von 6.4% zu erkennen. Man spricht hier noch von einem nur leichtem Nachschärfen. Dennoch kann davon ausgegangen werden, dass die MTF dadurch signifikant erhöht wurde( [51], [52]). Leider kann die MTF nicht mittels imagej überprüft 76

81 werden, da in diesem Frequenzbereich bereits Moire-Effekte auftreten. Imatest gibt allerdings an, auch bei geschärften Bildern zuverlässige und sogar genauere Ergebnisse zu ermitteln als durch Linienpaarmethoden. Dieses Bild zeigt eindeutig, dass das EDOF-System Sharpening einsetzt. Schärfen und Rauschen: Abbildung 57 1:10A; 300 mm Diese Kombination ist typisch für ein geschärftes und gleichzeitig unscharfes Bild ( [51], [52]). Ist man näher am Objekt als fokussiert wurde, lässt sich dies bei Versuchsreihe 1:10EDOF bis mindestens 300mm Objektabstand beobachten. Ist man weiter von der Fokusebene entfernt, verhalten sich die Messergebnisse mehr wie von einem Standardsystem erwartet und zeigen nur einen starken Abfall in der MTF, der aber Plateau(s) aufweist: Abbildung 58 1:10A 500 mm Beide Ergebnisse für die MTF50 konnten durch imagej bestätigt werden. Anstiege und Plateaus in der MTF können im weiteren Verlauf irritieren. Denn aus der MTF an diesen Stellen entnommene Werte verhalten sich zu ihrer Frequenz dann nicht mehr so wie man es erwartet. In der Arbeit werden solche Werte markiert, sollten sie auftreten. 77

82 Vertikal-Horizontal: Abbildung 59 1:10 EDOF 450 mm, 300 mm, 500 mm links vertikal, rechts horizontal Der Vergleich von horizontaler zu vertikaler MTF lässt erkennen, dass vertikal ermittelte MTF beim EDOF-System schlechtere Ergebnisse erzielen als horizontal ermittelte MTF. Bei der In-Fokus MTF ist der Effekt insbesondere in niedrigen Frequenzbereichen deutlich zu erkennen. Bei den folgenden Untersuchungen wird in der Regel die Horizontale MTF herangezogen. 78

83 EDOF-VGS: Abbildung 60 Vergleich 1:10 VGS 460 mm und 1:10 EDOF 450 mm Durch das Schärfen kann die schärfste Einstellung des VGS nicht mit dem EDOF-System konkurrieren. Clipping als Ursache für die schwache Leistung des VGS kann ausgeschlossen werden, da Clipping die MTF in Sledge Edge Methode erhöht und nicht erniedrigt Through-Focus MTF Zur Erstellung einer Through-Focus MTF (TFMTF) analog zu Abbildung 9 wurde aus den Bildern der verschiedenen Objektabstände MTFs berechnet und jeweils die Werte bei den Linienpaarfrequenzen 10, 20, 40, 60, 80 und 100 ermittelt. Die Messwerte wurden als Abstandswerte zum Fokus angetragen. Messwerte, die zu einem zwischen Objekt- und Fokusebene aufgenommenen Bild gehörten wurden negativ, weiter entfernte Punkte positiv aufgetragen. MTF MTF Abstand[cm] Abstand[cm] Diagramm 2 Through-Focus-MTF; Messreihe 1:10; links: VGS; rechts: EDOF 79

84 MTF MTF Abstand[cm] Abstand [cm] Diagramm 3 Through-Focus-MTF; Messreihe MOD; links: VGS; rechts: EDOF Keiner der Graphen wurde bis hierhin bearbeitet. Das bedeutet, es wurden weder die Maxima der Graphen auf den 0-Punkt verschoben, noch Normierungen durchgeführt. Besonders bei Diagramm 3 EDOF ist es nicht ganz einfach festzustellen, auf welchem Abstand die Optik nun tatsächlich fokussiert war. Zum einen haben vermutlich aufgrund des Focus-Shifts verschiedene Frequenzen an verschiedenen Abstandswerten ihr Maximum. Zum anderen strebt das WFC-System als fokusinvariantes System ja eine möglichst horizontale TFMTF an. Der Graph lässt vermuten, dass dies in den Bereichen -20 bis 0 recht gut gelang. In diesem Bereich kann man, wenn man so will, von einem annähernd fokusinvariantem EDOF-System wie es in der Theorie beschrieben wird, sprechen. Bewertung: Betrachtet man obige Diagramme, will man zudem instinktiv eine Linie bei 0,2 oder 0,3 ziehen und die Ergebnisse vergleichen. Bei der TFMTF ist dies nicht unbedingt eine aussagekräftige Größe. Vor allem, wenn man ein schärfendes und ein nicht-schärfendes System miteinander vergleichen will. Richtiger ist meines Erachtens den relativen Verlust an Bildqualität bei bestimmten Defokussierungsgraden zu ermitteln, weil man dadurch die Schärfeproblematik umgeht und die absolute Bildqualität erst einmal außen vor lässt. Durch eine einfache Normung auf den maximal erreichten MTF-Wert kann man die relative Schärfentiefe darstellen. Diagramm 4 MOD; relativer Bildqualitätsverlust über den Objektabstand 1 0,9 0,8 0,7 0,6 0,5 0,4 0,3 0,2 0, Genormte Graphen der Messreihen MOD 40 und 60 LP von EDOF (grün, rot) und VGS. EDOF-Graphen fallen deutlich langsamer ab. Die Ordinate gibt den prozentualen Anteil der Bildqualität vom Maximalwert, die Abszisse den Objektabstand in cm an. Bei einem Abstand von 27 cm und 40LP erreicht beispielsweise das VGS 20% seiner maximalen Abbildungsqualität, das EDOF-System kann bei 40LP bis zu einem Abstand von 70cm zum Maximum diesen Wert erreichen. 80

85 Auf dieselbe Weise wurde folgende Tabelle erstellt: Tabelle 8 Messreihe MOD: relative Schärfentiefe LP/mm Fernpunkt [mm] VGS EDOF EDOF/VGS ,9 1,8 1, ,8 2,9 2, ,1 3,4 3, ,4 3,5 - Der Graph des Vergleichssystems fällt bei hohen Frequenzen über dreimal so schnell ab wie der des EDOF-Systems, die relative Schärfentiefe ist dort also mehr als dreimal so hoch. Auffällig ist, dass der Faktor nicht vom gewählten Prozentsatz, sondern von der Linienpaarfrequenz abhängt. Je höher die Frequenz, desto mehr scheint sich hier WFC auszuzahlen. Betrachtet man nur die Spalten des EDOF- Systems, sieht man, dass sein Fernpunkt relativ unabhängig vom Frequenzbereich ist. Obiges Diagramm und obige Tabelle zeigen am eindrucksvollsten, dass das EDOF-System funktioniert. Es wurde auch eine TFMTF aus der Messreihe Kombination erstellt, die keine Bildverarbeitung durchführt, um herauszufinden, wie stark die Algorithmen das Endergebnis im Vergleich zum Zwischenbild verbessern können: Wie in der Theorie beschrieben (vgl. Abbildung 27, Verlauf der Spotgrößen), ergibt Diagramm 5 als Darstellung des Bildes vor der Bildrestauration eine deutliche niedrigere MTF als nach der Restauration. Der Unterschied etwa bei 40 LP beträgt im Fokuspunkt 0,4 MTF-Punkte (vgl. Diagramm 2). Diagramm 5 TFMTF-KOMB 1zu10 81

86 In der Theorie wird im gleichen Zuge formuliert, dass die Schärfentiefe bereits vor der Bildrestauration feststeht und die Bildbearbeitungsalgorithmen hauptsächlich die Schärfe wiederherstellen. Um dies nachzuvollziehen wird wieder eine relative Ermittlung der Schärfentiefe durchgeführt. Diesmal von Zwischenbildern aus der Messreihe Kombination und Verarbeiteten Bildern aus der Messreihe 1:10 EDOF. Die Graphen wurden also auf ihr MTF-Maximum genormt und anschließend der Abstandswert bei bestimmten prozentualen Verlusten der MTF (50%, 20%) ermittelt. Tabelle 9 DoF MTF 50, MTF 20 LP/mm EDOF KOMB Tabelle 9 hervorgehobene Wert liest sich so: Bei einer geforderten Frequenz von 40LP/mm und einem maximal erlaubtem Einbruch der Bildqualität um 50% vom Fokuswert, kann das EDOF-System eine Schärfentiefe von 285mm erreichen. Die letzte Zeile zeigt dabei einen erlaubten Einbruch auf 20%. Die Werte der Spalten EDOF und KOMB sind ähnlich und zeigen keine Tendenz. Es kann also davon ausgegangen werden, dass die Schärfentiefe tatsächlich bereits vor den digitalen Operationen groß war und die Algorithmen die Graphen tatsächlich hauptsächlich nur hochgesetzt haben und die Schärfentiefe weder vergrößern noch zu Gunsten der Schärfe verringern. Auch eine absolute Betrachtung der Ergebnisse wurde durchgeführt: Die einzigen absoluten Zahlen, die Ricoh angibt, sind Tabelle 5 zu entnehmen. Bei 250mm Arbeitsabstand etwa, liegt der Fernpunkt bei 281,5mm. Diagramm 3 gibt aufgrund der angesprochenen Fokuspunktproblematik keine eindeutigen Vergleichswerte. Es kann keine klare Aussage darüber getroffen werden, ob dieser Wert im Versuch reproduziert werden konnte und welchen Datenpunkt der TFMTF Ricoh vermutlich für diese Angabe herangezogen hat. Es lässt sich aber klar erkennen, dass der hier ermittelte Fernpunkt bei Arbeitsabstand 250mm tatsächlich im ungefähren Bereich von 281,5 mm liegt. Je nachdem, welche Linienpaarfrequenz und welchen Mindest-MTF-Wert man sich vorgibt, können sogar noch deutlich bessere Ergebnisse abgelesen werden. Somit kann man den in der Tabelle angegebenen Wert durchaus nicht als Übertreibung, sondern als legitime Angabe betrachten. Des Weiteren wird mit dem Multiplikator geworben. Dieser beträgt bei allen Arbeitsabständen einen Wert von ungefähr 5 und konnte im Versuch nicht erreicht werden, da beim Vergleichssystem im Versuch eine höhere Schärfentiefe ermittelt wurde als Ricoh bei seinem VGS angibt. Vermutlich wurde von Ricoh ein System verwendet, welches im Bereich Bildqualität (max. MTF-Wert) mit dem des EDOF-Systems vergleichbar war. Somit musste beim dortigen VGS im Umkehrschluss die Schärfentiefe sinken. Die Messreihe 1zu10 lieferte beidseitig vom Fokuspunkt Daten. Ab einem gewissen Abstand sind allerdings Unregelmäßigkeiten bei beiden Graphen zu beobachten. Verstärkt treten diese allerdings beim EDOF-System auf. Die LP-Frequenzen 10 und 20 waren deshalb nicht zu verwenden. Bei 40 LP deuten sich diese schon an. Auch wenn der Vergleich von absoluten Schärfetiefenwerten, wie angedeutet, mit Vorsicht zu genießen ist, wurden in folgender Tabelle die absolute Schärfentiefe der beiden Systeme ermittelt. Wichtiger als das Vergleichsergebnis ist bei der Bewertung von Ricohs EDOF-System daher der absolute Schärfentiefewert dieses Systems (hervogehoben). 82

87 Die Tabelle zeigt die Nah- und Fernpunkte der MTF20, in Diagramm 3 sind das die Schnittpunkte der blauen Linie bei 0,2 mit den einzelnen Graphen. Tabelle 10 Schärfentiefe; MTF20; Messreihe 1zu10; VGS und EDOF im Vergleich VGS EDOF LP/mm Nahpunkt Fernpunkt Nahpunkt Fernpunkt EDOF/VGS Schärfentiefe [mm] Schärfentiefe [mm] x1.4 x2.7 x3.3 x4.8 Auch hier ist wieder zu beobachten, dass WFC seine Stärken bei höheren Frequenzen ausspielt. Das EDOF- System verliert über die Frequenzbereiche 40 bis 100 nur ungefähr ein Drittel seiner Schärfentiefe, während das VGS 80% einbüßt. Insgesamt kann man die Schärfentiefe des EDOF- Systems als hoch bewerten. Die Schärfentiefeerweiterung funktioniert Bildfehler Es werden im Folgenden einige Bildbereiche vergrößert dargestellt. Abbildung 61 Messreihe MOD, EDOF 330 Durch die Bildrestauration entsteht ein Rauschen an den geschärften Kanten anstelle eines leichten aber stetigen Grauabfalls bei üblichen Systemen (vgl. Abbildung unten). Dadurch ist die Kante klarer erkennbar, jedoch von Pixelrauschen umgeben. Abbildung 62 rechts zeigt ebenso eine deutliche Aufhellung über dem Bereich der Kante. Hier tritt dasselbe Phänomen auf wie in Abbildung 63. Abbildung 62 Messreihe 1:10 KOMB 250; VGS 250 und EDOF

88 Das Rauschen kann also auch anstelle verdunkelter Bereiche außerhalb der Kanten, erhellte schwarze Bereiche zur Folge haben. Abbildung 63 Messreihe 1:10 EDOF 250 Das EDOF-System kann bei, auch objektivbedingter, schlechterer Ausleuchtung am Bildrand keine mit der Bildmitte vergleichbaren Ergebnisse erzielen. Abbildung 64 Messreihe 1zu Links: Bildrand; Rechts: Bildmitte Grobe Fehler wie Verzerrungen oder Bildartefakte konnten im Bild weder vor, noch nach der Bildrestauration festgestellt werden. Im Gesamteindruck des Bildes fallen vor allem die durch Nachschärfen erzielte höhere maximale Schärfe des EDOF Systems und das Rauschen auf. Die Dunklen Flächen wirken sehr dunkel und Beispielsweise Unreinheiten auf dem Blatt wirken stark verstärkt und vergrößert, wohingegen sie im unbearbeiteten Bild kaum auffallen. Abbildung 65 Messreihe MOD: Links: EDOF 250 Rechts: Mevis 250 8x vergrößert, Eckbereich Das Rauschen ist sehr auffällig und macht aus schlechter belichteten weißen Bereichen sehr verpixelte Graubereiche, wo sie im unbearbeiteten Bild noch einfach als glatte graue Fläche wahrgenommen werden. Deshalb wird es nun genauer betrachtet. 84