Technische Universität München Fakultät für Informatik Forschungs- und Lehreinheit Informatik V Autofokus Hauptseminar Johann Nepomuk Dichtl Dozent: Prof. Dr. Thomas Huckle Abgabetermin: 3. Januar 27
Inhaltsverzeichnis 1 Einleitung 3 1.1 Wann ist ein Bild fokussiert.......................... 3 1.2 Kontrast..................................... 4 2 Methoden zur Fokussierung 5 2.1 Obscuration Methode.............................. 5 2.2 Astigmatisches Verfahren............................ 5 2.3 Kontrastmessung................................ 6 2.3.1 Kontrastbeurteilung mit der Fouriertransformation......... 7 2.3.2 Kontrastbeurteilung per Entropiemaximierung............ 9 2.3.3 Depth from Focus - Fokusserienbasiertes Verfahren......... 9 2.3.4 Depth from Defocus.......................... 9 2.4 Phasenvergleich................................. 1 2.5 Laufzeitmessung................................. 1 3 Ganz ohne Autofokussierung 11 3.1 Fixfokus Objektive............................... 11 4 Quellen 13 4.1 Bücher und Artikel............................... 13 4.2 Internetadressen................................. 13 4.3 Grafiken..................................... 14 1
Inhaltsverzeichnis 2
1 Einleitung 1.1 Wann ist ein Bild fokussiert Ein Bild wird als scharf empfunden wenn es kontrastreich ist und man auch feine Details noch erkennen kann. Umgekehrt wirkt ein Bild unscharf, wenn es verschwommen ist und man nur wenig erkennen kann. Aber wie kann man das mathematisch klassifizieren, wie kann man berechnen ob ein Objekt im Fokus ist? Und kann man mit Bildern noch etwas anfangen, wenn sie unscharf sind? Das sind die Fragen mit denen wir uns hier beschäftigen werden. Der Autofokus, der bei vielen digitalen optischen Sensoren zum festen Bestandteil gehört und bei Photoapparaten sowie Kameras schon lange Standard ist, übernimmt die Aufgabe das Objektiv so einzustellen, dass das resultierende Bild scharf ist. Nicht weiter beschäftigen werden wir uns hier mit der Fragestellung welchen Bildausschnitt wir bevorzugen, wenn wir nicht das ganze Bild scharf einstellen können, obwohl das natürlich in der Praxis auch von Bedeutung ist, ob wir lieber nur das Zentrum oder aber zum Beispiel einen möglichst großen Bildausschnitt scharf haben wollen. Ebenfalls vernachlässigt wird hier die Mechanik, also das Objektiv bzw. das Linsensystem, mit dem wir fokussieren. Soweit es zum Vorstellen des Prinzips ausreicht werden wir uns auf eine einfache Sammellinse beschränken und kein komplexes Linsensystem benutzen. Die gleiche Szene mit verschiedenen Fokuseinstellungen Betrachten wir zu Beginn einmal, wann ein Objekt im Fokus ist wenn wir eine einfache Sammellinse benutzen. Ist das Objekt weit genug entfernt, so kommen die Lichtstrahlen, die von ihm ausgehen, nahezu parallel an der Linse an (wir sprechen hier von einem unendlich weit entfernten Fixpunkt). Um scharf abbilden zu können müssen wir die Bildebene in den Brennpunkt schieben. Ist ein Objekt näher an der Kamera, so kommen die Lichtstrahlen nicht mehr parallel an der Linse an und die Bildebene muss verschoben werden, damit wieder scharf abgebildet wird. Beide Fälle werden in den folgenden Skizzen dargestellt. 3
1 Einleitung 1.2 Kontrast Abbildung 1.1: Funktionsweise einer Sammellinse Haben die Objekte, die wir abbilden möchte, unterschiedliche Abstände zur Linse, so kann man nicht alle gleichzeitig fokussieren und wir müssen uns entscheiden, welchen Bereich wir im Fokus haben möchten. Für uns steht diese Frage aber nicht im Mittelpunkt. Wir wollen im allgemeinen den gesamten Bildabschnitt, der uns zur Verfügung steht, mit maximalen Kontrast haben. Wollen wir dann einen bestimmten Bereich scharf haben, so betrachten wir nur einen Teilbereich des Bildes und wenden darauf unsere Methoden an. Welcher Bereich dann im Fokus liegt ist uns im Rahmen dieser Arbeit nicht wichtig. Später bei den Fixfokusobjektiven werden wir sehen, dass wir für den Abstand der Objekte eine gewisse Toleranz haben, innerhalb der wir scharf abbilden können. Abbildung 1.2: Verschiedene Fokusierebenen durch unterschiedlichen Abstand 4
2 Methoden zur Fokussierung 2.1 Obscuration Methode Die Obscuration Methode ist vom Aufbau her sehr einfach: eine einfache Sammellinse, eine halbseitige Blende und zwei Photozellen sind alles was man benötigt. Die halbseitige Blende schneidet die Hälfte der einfallenden Strahlen ab, so dass vor erreichen des Brennpunktes die Strahlen einen Halbkreis auf der offenen Seite bilden und nach dem Brennpunkt einen Halbkreis auf der verdeckten Seite erzeugen. Das Verfahren macht nur Sinn, wenn man einen kleinen lichtstarken Punkt hat, auf den man fokussieren möchte. So wird in aller Regel dieses Verfahren als aktiver Autofokus verwendet und kommt vor allem in CD- und DVD-Laufwerken zum Einsatz. Abbildung 2.1: Obscuration-Verfahren 2.2 Astigmatisches Verfahren Beim astigmatischem Verfahren wird zwischen dem eigentlichen Linsensystem und dem Fokussensor noch eine konkave Zylinderlinse eingesetzt. Dadurch werden die Strahlenbündel ungleichmäßig gebrochen, so dass in Abhängigkeit vom Abstand die Strahlen ovalförmig verteilt sind oder - falls der Fokus richtig eingestellt ist - kreisförmig und damit dann die Sensoren gleichmäßig ausleuchten. Über die Sensoren wird der Fokus so lange geändert, bis das Bild im Fokus ist. In unserem Beispiel bedeutet ein in x-richtung gedehnter Kreis, dass das Bild zu weit weg ist, und wir ranzoomen müssen um zu fokussieren, bei einem in y-richtung gedehnten Kreis sind wir zu nahe dran. So kann man die 5
2 Methoden zur Fokussierung Sensordaten direkt zur Steuerung des Motors von unserem Objektive verwenden, ohne viel berechnen zu müssen. Der Nachteil ist, dass wir ein klares, möglichst kreisrundes Motiv zum Fokussieren benötigen. Ein Anwendungsgebiet, wo dies automatisch zutrifft sind wie schon beim Obscuration-Verfahren Leseköpfe von CD- und DVD-Laufwerken. Auch das astigmatische Verfahren wird in der Regel als aktiver Autofokus implementiert. Abbildung 2.2: Astigmatisches Verfahren 2.3 Kontrastmessung Die Fokussierung mit Kontrastmessung ist vom Prinzip her sehr einfach. Man sucht die Fokuseinstellung, bei der das Bild maximalen Kontrast hat, man macht also mehrere Probefokussierungen. Dies bietet sich grundsätzlich bei allen digitalen Systemen an, in denen man praktisch jederzeit die Bildinformationen zur aktuellen Fokuseinstellung zur Verfügung hat. Zum Bestimmen des Kontrast gibt es mehrere Methoden, besonders erwähnenswert sind hier vor allem die Beurteilung mit Hilfe der (diskreten) Fouriertransformation, insbesondere in Bereich der Digitalkameras. Hierbei wird das Bild mit der Fouriertransformation in den Frequenzraum transformiert und der Anteil an hochfrequenten Schwingungen untersucht. Ist das Bild nicht im Fokus, so ist das Bild eher verschwommen und der Anteil an hochfrequenten Schwingungen nimmt stark ab. Eine weitere Möglichkeit ist das Maximieren der Entropie, mit dem Ziel dabei die korrekte Fokuseinstellung zu treffen. Der Vorteil gegenüber der Fouriertransformation ist hierbei die bessere Laufzeit (linear statt O(n log n) bei der FFT). Ebenfalls ein gängiges Verfahren ist die Beurteilung des Kontrastes mit Hilfe eines Kantenfilters, wobei man hier versucht den Gradienten zu maximieren. Aber egal welches Verfahren wir tatsächlich verwenden, in jedem Fall benötigen wir ein ausreichend kontrastreiches Motiv um per Kontrastmessung den Autofokus zu steuern. Betrachten wir zunächst die beiden Metho- 6
2.3 Kontrastmessung den zur Kontrastmessung und werfen anschließend einen Blick auf die beiden Prinzipien zur Fokussierung mit Kontrastmessung: Depth from Focus und Depth from Defocus. 2.3.1 Kontrastbeurteilung mit der Fouriertransformation Der Grundgedanke bei dieser Methode ist folgender: ist das Bild unscharf, so sind die Farb- und Helligkeitsverläufe sehr verschwommen und man hat keine harten Kanten. Betrachtet man jetzt den Verlauf der Punkte auf einer Geraden, so bekommen wir eine Kurve mit einer betragsmäßig geringen Steigung, da wie durch einen Diffusionsprozess alle abrupten Änderungen sich verlaufen. Wird eine solche Funktion in den Frequenzraum transformiert, so hat sie dort fast keine Anteile an hochfrequenten Schwingungen - die niederfrequenten Anteile dominieren. Habe ich im Gegensatz dazu ein scharfes Bild, so habe ich in der Regel lokal betrachtet viele Änderungen in den Farb- und Helligkeitswerten. Als Graph betrachtet haben wir relativ starke Schwankungen der ersten Ableitung und im Frequenzraum dadurch bedingt einen hohen Anteil an hochfrequenten Schwingungen. Wir stellen also fest, dass wir bei steigendem hochfrequentem Anteil im Frequenzraum ein zunehmend schärfers Bild erhalten, also immer besser Fokussieren. Die folgende Grafik soll dies an einem einfachen Beispiel zweier überlagerter Schwingungen mit unterschiedleichen Frequenz verdeutlichen. In der unteren Reihe wurde dazu der Hochfrequente Anteil entfernt. Graph 1.8.6.4.2.5 1 Graph 1.8.6.4.2.5 1 5 Frequenzraum (real) 5.5 1 5 Frequenzraum (real) 5.5 1 5 Frequenzraum (imag) 5.5 1 5 Frequenzraum (imag) 5.5 1 Abbildung 2.3: Fouriertransformation auf einen Graphen die hochfrequenten Anteile der FT wurden unten auf Null gesetzt 7
2 Methoden zur Fokussierung 2 2 2 2 4 4 4 4 6 6 6 6 8 2 4 6 8 8 2 4 6 8 8 2 4 6 8 8 2 4 6 8 2 2 2 2 4 4 4 4 6 6 6 6 8 2 4 6 8 8 8 2 4 6 8 2 4 6 8 8 2 4 6 8 Abbildung 2.4: 2-Dimensionale Fouriertransformation auf ein Bild oben ein 8x8 Pixel Bild, unten 8x8 Pixel Bei der 2-Dimensionalen Fouriertransformation wird zuerst spaltenweise und anschließend zeilenweise (oder umgekehrt, die Reihenfolge spielt keine Rolle) in den Frequenzraum transformiert. Anschließend werden üblicherweise noch für die visuelle Darstellung die Werte geshiftet, so dass danach die hochfrequenten Anteile in der Mitte liegen und die niederfrequenten am Rand. Zur Kontrastmessung betrachtet man den Bereich am Rand und kann dann einfach beurteilen ob sich bei der Änderung des Fokus der Kontrast erhöht oder nicht. Die folgenden Grafiken verdeutlich dies nochmal. Auserdem wird hier auch wie in der Einleitung schon erwähnt demonstriert, dass das Ergebenis der besten Fokuseinstellung davon abhängt, auf welchen Teil des Bildes ich fokusiere. Ortsraum Frequenzraum Ortsraum Frequenzraum 2 2 2 2 4 4 4 4 6 6 6 6 8 8 8 8 1 1 1 1 12 12 12 12 2 4 6 8 1 12 2 4 6 8 1 12 2 4 6 8 1 12 2 4 6 8 1 12 Ortsraum Frequenzraum Ortsraum Frequenzraum 5 5 5 5 1 1 1 1 15 15 15 15 2 2 2 2 25 1 2 3 4 25 1 2 3 4 25 1 2 3 4 25 1 2 3 4 Abbildung 2.5: oben: links im Fokus, rechts deutlich auserhalb des Fokus unten: diesmal die ganze Scene und plötzlich ist das rechte Bild besser fokussiert 8
2.3 Kontrastmessung 2.3.2 Kontrastbeurteilung per Entropiemaximierung Die Entropie (= Unordnung) eines Bildes gibt uns an wie stark die Farb- und Helligkeitsverteilung im Bild gestreut ist. Haben wir ein kontrastreiches Bild mit vielen Details so erhalten wir eine hohe Entropie, ist das Bild sehr verschwommen und dadurch bedingt wenig Action im Bild, so haben wir eine niedirge Entropie. Betrachten wir dazu ein kleines Beispiel: 1 Bildpunkte 1 Histogramm 1 Bildpunkte 1 Histogramm.8.8.8.8.6.6.6.6.4.4.4.4.2.2.2.2.2.4.6.8 1.2.4.6.8 1.2.4.6.8 1.2.4.6.8 1 Abbildung 2.6: Histogramm von zwei Pixelfolgen links eine harte Kante, rechts ein linear abgestufter Übergang In der linken Grafik haben wir eine Kante mit einem abrupten Sprung von 1 auf, links behandeln wir einen linearen Übergang. Wie in diesem Beispiel, so liefert uns auch allgemein die Entropie ein Maß dafür, wie Kontrastreich ein Bild ist, und damit auch wie gut wir fokussieren. 2.3.3 Depth from Focus - Fokusserienbasiertes Verfahren Das Depth from Focus Verfahren testet mehrere Fokuseinstellungen bei gleichbleibender Kameraposition und wählt anhand der Ergebnisse die Einstellung aus, bei der die gewünschten Schärfekriterien am besten erfüllt werden. Dadurch erklärt sich auch der deutsche Name: Fokusserienbasiertes Verfahren. Entscheidend für dieses Verfahren ist ein Kriterium dafür zu haben, wann ein Bild scharf ist. Ist hierfür eine Methode gegeben, so wird einfach solange die Fokuseinstellung variiert, bis das Maximum an Kontrast gefunden wurde. Damit arbeitet das Verfahren praktisch genauso, wie man den Fokus von Hand einstellen würde. Ein Nachteil dieses Verfahrens ist unter anderem, dass man zunächst über den Fokuspunkt hinauslaufen muss um den genauen Punkt zu finden, was einen gewissen Zeitverlust mit sich bringt. 2.3.4 Depth from Defocus Depth from Defocus ist ein absolutes Verfahren, das heißt es nimmt die Messergebnisse zur Hand und berechnet ohne weitere Messungen direkt die richtige Fokuseinstellung. Dazu 9
2 Methoden zur Fokussierung reichen in der Regel wenige Messungen aus. Wie bei Depth from Focus wird bei gleichbleibender Kameraposition die Fokuseinstellung variiert. Das Verfahren ist im Allgemeinen sehr rechenintensiv und von den mathematischen Grundlagen komplizierter als das Depth from Focus Verfahren. Vor allem die benötigte Rechenleistung ist oft ein Grund, der gegen dieses Verfahren spricht. 2.4 Phasenvergleich Beim Phasenvergleich wird die Entfernung über Triangulation bestimmt. Dazu werden zwei Sensoren mit einem bekannten Abstand belichtet. Da hier zusätzliche Sensoren und Mechanik benötigt werden ist das Verfahren teurer und kommt damit eher in den teureren Kameras zum Einsatz. Gleichzeitig ist es aber auch eine schnelle und zuverlässig Methode. Bereits mit der ersten Messung kann die Fokussierrichtung bestimmt werden. In der Praxis gibt es mehrere Varianten wie der Autofokus technisch realisiert wird. Die folgende Skizze zeigt eine gängige Variante. a c = b d a = b c d Abbildung 2.7: Prinzip der Triangulation 2.5 Laufzeitmessung Die Laufzeitmessung funktioniert genau wie ein Sonar: es wird ein Impuls ausgesendet und die Zeit gemessen, bis die Reflektion am Sensor ankommt. Die Ausbreitungsgeschwindigkeit der Welle ist bekannt und somit kann man sehr einfach auf die Entfernung zurückrechnen und die Elektronik stellt dann den Fokus richtig ein. Üblich sind Ultraschall oder Radarstrahlen sowie Infrarotblitze. Der Nachteil ist hier, dass man so nicht durch Glasscheiben hindurch fokussieren kann, da der Impuls bereits dort reflektiert wird. Außerdem wird hier zusätzliche Technik benötigt, was ein weiterer Kostenfaktor ist. Als Vorteil kommt zur Geltung, dass eine einzige Messung ausreicht um den Abstand (und somit die richtige Fokuseinstellung) zu bestimmen, sowie die gering nötige Rechenleistung und damit einhergehende schnelle Fokussierung. Laufzeitmessungen sind immer aktive Verfahren, da sie ohne das Aussenden des Impulses nicht funktionieren. 1
3 Ganz ohne Autofokussierung 3.1 Fixfokus Objektive Fixfokus Objektive haben - wie der Name bereits suggeriert - einen fest eingestellten Fokus, den man nicht mehr ändern kann. Um trotzdem in einen möglichst großen Bereich scharf Abbilden zu können ist es von Vorteil die Blende und die Brennweite sehr klein zu halten. Anwendungsgebiete, wo dies zutrifft und deswegen dort Fixfokus Objektive verwendet werden, sind beispielsweise Handykameras und Webcams. Die feste Linse ist zudem günstiger in der Herstellung und weniger fehleranfällig als verstellbare Objektive. Eine kleine Blende ist deshalb von Vorteil, weil dadurch die Tiefenschärfe steigt. Eine kleine Brennweite hat zur Folge, dass sich die Bildebene nicht so stark verschiebt, wenn sich die Entfernung zum Objekt ändert. Abbildung 3.1: Fokussierbereich ohne Blende Abbildung 3.2: Fokussierbereich mit Blende In den beiden Grafiken wird nochmal der Einfluss der Blende verdeutlicht. Eine perfekte Fokussierung auf genau einen Punkt ist in der Praxis nicht möglich. Man akzeptiert ein Objekt im Fokus, wenn die Fokusierten Strahlen innerhalb eines Kreises liegen, dessen 11
3 Ganz ohne Autofokussierung Radius hinreichend klein ist. Was hinreichend in diesem Zusammenhang bedeutet hängt von mehreren Faktoren ab, zum Beispiel von der Auflösung des Films (beziehungsweise des lichtempfindlichen Chips) oder der gewünschten Qualität der Aufnahme. Ohne Blende haben wir einen relativ kleinen Bereich, in dem alle Strahlen innerhalb dieses Kreises liegen. Mit Blende hingegen habe wir einen deutlich größeren Bereich, in dem wir unser Bild immer noch scharf sehen. Bei einem Fixfokus Objektiv wird die Bildebene nun so eingestellt, dass alles in unserem Bereich möglichst scharf abgebildet wird. Die kleine Blende hat allerdings auch Nachteile: es kommt insgesamt weniger Licht am Film bzw. Sensor an. Das bedeutet gleichermaßen eine höhere Belichtungszeit und / oder ein deutlich stärkeres Rauschen im Vergleich zu einer größeren Blendeneinstellung. 12
4 Quellen 4.1 Bücher und Artikel in willkürlicher Reihenfolge SIAM News, Volume 36/Number 6 July/August 23 Dana Mackenzie, Novel Imaging Systems Rely on Focus-Free Optics Spektrum der Wissenschaft, September 23 Bernhard Gerl, Der Autofokus Diplomarbeit, Fachhochschule Regensburg Ulf Wittl, Implementierung von Bildverarbeitungsmodulen [... ] (http://www.opus-bayern.de/fh-regensburg/volltexte/24/11/pdf/ Diplomarbeit.pdf) Studienarbeit an der TU Berlin, 19. März 24 Olga Ebers, Überblick über aktuelle Verfahren zur Tiefenschätzung [... ] (http://www.nue.tu-berlin.de/lehre/sa-da/sa_ebers4.pdf) Studienarbeit, 9.1.22 Sven Schellinger, Analyse und Bewertung verschiedener Methoden [... ] (http://www.lti.uni-karlsruhe.de/rd_download/studienarbeit_ Schellinger_Inhaltsverzeichnis.pdf) Proc. International Conference on Pattern Recognition, 1998 Schechner und Kiryati, Depth from Defocus vs. Stereo [... ] (http://www.ee.technion.ac.il/~yoav/publications/icpr98t1.pdf) 4.2 Internetadressen in willkürlicher Reihenfolge Folien zum Seminar elektrische und optische Sensoren (Uni Mannheim), 8.7. 23 Matthias Lang, Autofokus und Tracking in optischen Pickups (http://sus.ti.uni-mannheim.de/lehre/seminar3/9.pdf) 13
4 Quellen Laboratoire d Automatique de Grenoble Hnilièka et al., Modelling the optical part of a DVD player (http://www-laog.obs.ujf-grenoble.fr/activites/hra/photon22/ pdffolder/b-hnilicka.pdf) Wikipedia, Thema: Fokus (http://de.wikipedia.org/wiki/fokus) Wikipedia, Thema: Schärfentiefe (http://de.wikipedia.org/wiki/sch\%c3\%a4rfentiefe) Paolo Favaro, Depth from focus/defocus (http://homepages.inf.ed.ac.uk/rbf/cvonline/local_copies/favaro1/ dfdtutorial.html) DIVA Workshop, 5.7. 22 Bernd Kraus, Praktische Anwendungen der Fourier-Transformation [... ] (http://www.physik.uni-regensburg.de/forschung/zweck/dge/diva/diva_ Kraus.pdf) 4.3 Grafiken In chronologischer Reihenfolge: Seite 3, ohne Nummerierung Wikipedia, Thema Fokus (http://de.wikipedia. org/wiki/fokus) Abbildungen 1.1, 1.2, 2.1, 2.2 eigene Grafiken, erstellt mit Inkscape Abbildungen 2.3, 2.4 eigene Grafiken, erstellt mit Matlab 7 (R14) Abbildungen 2.5, 3.1, 3.2 eigene Grafiken, erstellt mit Inkscape 14