Vergleich der beiden Programme Bundler und Aurelo zur automatischen Kameraorientierung

Transkript

1 Vergleich der beiden Programme Bundler und Aurelo zur automatischen Kameraorientierung Bachelorarbeit im Studiengang Geodäsie und Geoinformation angefertigt an der Universität Bonn - Institut für Geodäsie und Geoinformation Professur für Photogrammetrie vorgelegt von Florian Zimmermann geboren am in Quito (Ecuador) April 2011 Betreuer: Prof. Dr.-Ing. Wolfgang Förstner Dipl.-Ing. Falko Schindler

2 INSTITUT FÜR GEODÄSIE UND GEOINFORMATION PROFESSUR FÜR PHOTOGRAMMETRIE, NUSSALLE 15, BONN Aufgabenstellung für Herrn Florian Zimmermann Vergleich der beiden Programme Bundler und Aurelo zur automatischen Kameraorientierung Zur Kameraorientierung bei 3D-Rekonstruktionsaufgaben kommen häufig vollautomatische Verfahren zum Einsatz, die sowohl die unbekannte Kameraorientierung als auch die Objektgeometrie mit Hilfe einer Bündelausgleichung bestimmen. Eine frei verfügbare Software ist das Programm Bundler 1. Außerdem verfügt die Professur für Photogrammetrie über das eigens entwickelte Programm Aurelo. Ziel dieser Bachelorarbeit ist die Analyse beider Programme in Hinblick auf theoretische und technische Realisierung Funktionalität, Grenzen der Anwendbarkeit und Bedingungen an Geometrie oder Bildmaterial, sowie Qualität der Ergebnisse und Rechenzeiten Dafür ist ein geeignetes Auswertekonzept zu entwerfen und für die gegebenen Programme zu realisieren. Beide Programme beruhen auf der Verwendung von SIFT Keypoints 2 und der Sparse Bundle Adjustment 3. Der Fokus der Arbeit liegt daher insbesondere auf den Unterschieden beim Filtern der Punktzuordnungen und der Generierung von Näherungswerten für die Augleichung und deren Auswirkuungen auf das Rekonstruktionsergebnis. Die Untersuchung soll sowohl an synthetisch generierten Daten, an online verfügbaren Benchmarks 4 als auch an selbst erzeugten Testdatensätzen durchgeführt werden. Ausgegeben am: Abgabetermin: Abgegeben am: Prof. Wolfgang Förstner Betreuer: Dipl.-Ing. Falko Schindler 1 phototour.cs.washington.edu/bundler/ 2 lowe/keypoints/ 3 lourakis/sba/ 4 z. B. cvlab.epfl.ch/ strecha/multiview/

3 Erklärung Ich erkläre hiermit, dass ich diese Bachelorarbeit selbstständig ohne Hilfe Dritter und ohne Benutzung anderer als der angegebenen Quellen und Hilfsmittel verfasst habe. Alle den benutzten Quellen wörtlich oder sinngemäß entnommenen Stellen sind als solche einzeln kenntlich gemacht. Diese Arbeit ist bislang keiner anderen Prüfungsbehörde vorgelegt und auch nicht veröffentlicht worden. Bonn, den Florian Zimmermann

4

5 Vergleich der Programme Bundler und Aurelo zur automatischen Kameraorientierung Zusammenfassung Die automatische Kameraorientierung dient der Berechnung der inneren und äußeren Orientierungsparameter einer oder mehrerer Kameras ohne vorherige Passpunktbestimmung und Angabe von Näherungswerten. Die Programme Bundler und Aurelo verwenden hierzu Bilder der jeweiligen Kamera und detektieren mit dem SIFT-Keypoint-Detektor Lowe-Punkte in den Bildern. Nach einer Zuordnung der Bilder anhand der detektierten Punkte berechnen beide Programme innerhalb einer Bündelblockausgleichung die Orientierungsparameter der Kameras und die 3D-Objektkoordinaten des aufgenommenen Objekts. Das Ziel dieser Arbeit besteht in einem Vergleich der beiden Programme. Neben einer Darstellung der Vor- und Nachteile soll sie auch als Entscheidungshilfe dienen, bei welchem zu Grunde liegenden Datensatz welches Programm am besten für die Kameraorientierung geeignet ist. Eine detaillierte Analyse der Programmabläufe zeigt, dass die wesentlichen Unterschiede in der Wahl des initialen Bildpaares, in der Näherungswertbestimmung für die Bündelausgleichung und in der Integration weiterer Bilder in den Berechnungsablauf liegen. Ein Schwerpunkt der Arbeit liegt auf der Untersuchung des Einflusses dieser Unterschiede auf die folgenden Aspekte. Die Präzision der Orientierung soll im Vergleich zu Sollwerten von online verfügbaren Benchmarks und geometrischen Forderungen aus Drehtelleraufnahmen geprüft werden. Benchmarks nutzen frei zugängliche Bilddaten im Internet und stellen Sollwerte für Kameraorientierung und 3D-Objektkoordinaten zur Verfügung. Zur Untersuchung der benötigten Rechenzeit und des Umgangs mit objektgeometrischen Spezialfällen generieren wir synthetische Testdaten. Hierzu geben wir die Orientierungsparameter der Kameras vor und übernehmen die Schritte der Merkmalsextraktion und der Zuordnung für die Programme. So können wir prinzipiell beliebig große Datensätze erzeugen und gezielt Spezialfälle simulieren. Ein Vergleich des Umgangs mit Amateuraufnahmen erfolgt mit eigenem Bildmaterial. Die Ergebnisse unserer Untersuchungen zeigen, dass Aurelo eine höhere Präzision der Kameraorientierung erreicht und somit für Anwendungen mit hohen Genauigkeitsanforderungen besser geeignet ist als Bundler. Bundler hingegen ist auf Grund der sehr geringen Laufzeit und der detaillierten Objektrekonstruktion die geeignete Wahl bei großen Datensätzen und Vorarbeiten für weiterführende Structure-from- Motion-Anwendungen.

6 Comparison of Bundler and Aurelo for automatic camera orientation Automatic camera orientation serves the computation of interior and exterior orientation parameters of one or several cameras without prior information about control points and approximate values. To do this, Bundler and Aurelo use images of the respective cameras and extract Lowe-Points using the SIFT- Keypoint-Detector. After matching all image pairs with the help of the detected points, both systems compute orientation parameters and 3D-coordinates for the objectpoints within a bundle block adjustment. The goal of this paper is to provide a comparison of the Bundler and Aurelo systems. As well as providing a representation of the advantages and disadvantages the paper should serve as a decision support aid, regarding the question of which system using which base dataset is most suitable for automatic camera orientation. A detailed analysis of the program flow shows that the main differences lie in the choice of the initial image pair, in the determination of approximate values for the bundle block adjustment and in the integration of additional images into the workflow. A main focus of this paper lies therefore on the analysis of the influence of these differences on several different aspects. The accuracy of the camera orientation will be checked in comparison to nominal values from online benchmarks and prescribed geometrical arrangements of a photography turntable. Benchmarks use freely accessible image datasets and provide nominal values for camera orientation and 3D-objectpoint coordinates. We will generate synthetic test datasets to analyse computing time and handling of special object geometry, for which we will simulate orientation parameters and undertake the tasks feature extraction and image matching. Thus we will in principle be able to generate datasets of an arbitrary size and to simulate particular cases specifically. We will compare the handling of amateur pictures using our own images. The findings of our analyses show that Aurelo achieves higher precision in camera orientation and hence is more suitable for tasks with a high demand on accuracy than Bundler. Due to the low computing time and the more detailed object reconstruction Bundler is the more suitable choice for large datasets and preliminary work for continuative structure from motion tasks.

7

8 Seite 1 Inhaltsverzeichnis Inhaltsverzeichnis 1 Einleitung Motivation Aufgabenstellung Strukturierung der Arbeit Bundler und Aurelo Programmabläufe Eingabebilder Detektion der Lowe-Punkte und Zuordnung Näherungswertbestimmung für die Bündelausgleichung SBA und Optimierung Konzeptionelle Besonderheiten Unterschiede in Funktionalität und Handhabung Evaluierung Fragestellungen Verwendete Daten Eigenes Bildmaterial Benchmarks Synthetische Daten Empirische Ergebnisse Eigenes Bildmaterial Benchmarks Synthetische Daten Zusammenfassung und Ausblick Zusammenfassung Ausblick Literaturverzeichnis 43 Abbildungsverzeichnis 44 Tabellenverzeichnis 45 Anhang 46

9 Seite 2 Inhaltsverzeichnis A Oberseminar 46 B Liste der verwendeten Matlab-Skripte 57 C Plakative Darstellung 58 D CD-ROM 60

10 Seite 3 1 Einleitung 1 Einleitung Die automatische Kameraorientierung ist seit langem ein Forschungsschwerpunkt der Photogrammetrie. Sie dient der Berechnung der inneren und äußeren Orientierungsparameter einer oder mehrerer Kameras aus einer Sammlung von Bildern ohne vorherige Passpunktbestimmung und Vorgabe von Näherungswerten. Für die Orientierung von Luftbildern kalibrierter Kameras stehen bereits diverse Programme zur Verfügung (Match-AT INPHO, Phodis-AT ZEISS). Pollefeys stellte 1999 erstmals ein Verfahren zur vollautomatischen Kameraorientierung ohne Kenntnis der Kamerakalibrierung vor [Pollefeys, 1999]. Speziell Structure-from-Motion-Prozesse (SfM) [Faugeras, 1993, Hartley u. Zisserman, 2003] erfordern ein solches Verfahren. Hier wird aus einer Sammlung ungeordneter Bilder über eine Merkmalsextraktion eine Zuordnung der Bilder vorgenommen und dann in einer Bündelausgleichung die unbekannten Orientierungsparameter der Kameras bestimmt. Das Ergebnis des SfM-Prozesses ist neben den orientierten Kameras eine 3D-Rekonstruktion des aufgenommenen Objekts. SfM-Prozesse dienen unter anderem als Grundlage für weiterführende Anwendungen wie zum Beispiel die Verdichtung der Rekonstruktionen (PMVS2 5, CMVS 6 ). 1.1 Motivation Das an der Universität Washington entwickelte frei verfügbare Programm Bundler [Snavely u. a., 2006] ist ein Beispiel für eine SfM-Software und die Grundlage für zahlreiche SfM-Projekte wie Modelling the World from Internet Photo Collections [Snavely u. a., 2008] oder Building Rome in a day [Snavely u. a., 2009]. Die Fortschritte auf dem Gebiet der automatischen Kameraorientierung und speziell die Entwicklung des 5-Punkte-Algorithmus von Nister [Nister, 2004] gab 2004 am Institut für Photogrammetrie der Universität Bonn den Anstoss zur Entwicklung von Aurelo [Läbe u. Förstner, 2006]. Prinzipiell handelt es sich bei Aurelo ebenfalls um eine SfM-Software zur vollautomatischen Kameraorientierung. Im Gegensatz zu Bundler ist hier allerdings die Kenntnis der Kamerakalibrierung notwendig. Beide Programme arbeiten nach dem gleichen Prinzip und verwenden mit dem SIFT-Keypoint-Detektor [Lowe, 2004] zur Merkmalsextraktion und der Sparse Bundle Adjustment (SBA) [Lourakis u. Argyros, 2009] als Bündelblockausgleichung die gleichen Grundlagen. Ein Analyse der Eigenentwicklung Aurelo und der populären SfM-Software Bundler soll uns einen Vergleich der beiden Programme ermöglichen

11 Seite 4 1 Einleitung 1.2 Aufgabenstellung Das Ziel dieser Arbeit ist der Vergleich der Programme Bundler und Aurelo im Hinblick auf verschiedene Aspekte. Neben Funktionalität und Handhabung sollen die Qualität der Ergebnisse und die benötigte Rechenzeit untersucht werden. Die Analyse erfolgt empirisch. Das bedeutet, dass wir nicht die Implementierung der Programme untersuchen, sondern anhand von erzeugten Testdaten die Programmergebnisse auf die genannten Aspekte hin analysieren und bewerten. Die erste Aufgabe dieser Arbeit besteht in der genauen Analyse der Programmabläufe, um die zu untersuchenden Fragestellungen zu konkretisieren. Für eine effiziente Untersuchung der einzelnen Aspekte sind geeignete Testdaten notwendig. Daher besteht die zweite Aufgabe in der Generierung dieser Datensätze. Neben selbst erstellten Bildern verwenden wir hierzu frei online verfügbare Benchmarks und synthetisch generierte Datensätze. Die dritte Aufgabe ist die Entwicklung und Realisierung von Tests und Untersuchungen zum Vergleich der Ergebnisse von Bundler und Aurelo. Der Vergleich und die Bewertung der Ergebnisse soll uns zum einen einen Überblick über die Vorund Nachteile der Programme liefern. Zum anderen soll er uns auch als Entscheidungshilfe dienen, bei welchen zu Grunde liegenden Daten, welches Programm am besten für eine automatische Kameraorientierung geeignet ist. 1.3 Strukturierung der Arbeit In Kapitel 2 führen wir zunächst eine detaillierte Beschreibung der Programme durch und stellen Unterschiede und Gemeinsamkeiten in den Abläufen dar. Anhand der beschriebenen Unterschiede stellen wir in Kapitel 3.1 gezielte Fragestellungen, die die Gegenstände der Untersuchungen darstellen sollen. Die Generierung der benötigten Testdaten erfolgt in Kapitel 3.2. Die Untersuchungen der Programme und die Bewertung der Ergebnisse im Hinblick auf die erarbeiteten Fragestellungen nehmen wir in Kapitle 3.3 vor. Eine Zusammenfassung der Ergebnisse der Arbeit und ein Ausblick in Kapitel 4 schließen diese Arbeit ab.

12 Seite 5 2 Bundler und Aurelo 2 Bundler und Aurelo In diesem Kapitel stellen wir zunächst die Unterschiede und Gemeinsamkeiten in den Abläufen der Programme dar. Anschließend gehen wir gezielt auf konzeptionelle Besonderheiten ein und beschreiben Unterschiede in der Funktionalität und Handhabung von Bundler und Aurelo. 2.1 Programmabläufe Abbildung 1: Schematische Darstellung der Programmabläufe Abbildung 1 zeigt schematisch die Programmabläufe von Bundler und Aurelo. Das Grundkonzept beider

13 Seite 6 2 Bundler und Aurelo Programme ist sehr ähnlich und gliedert sich im Wesentlichen in folgende vier Punkte: Eingabebilder Detektion der Lowe-Punkte und Zuordnung Näherungswertbestimmung für die Bündelausgleichung SBA und Optimierung Eingabebilder Aurelo benötigt entzerrte Eingabebilder. Das bedeutet, dass die Bilder um eventuell vorhandene Verzeichnungen korrigiert werden müssen. Demnach ist die Kamerakonstante c der einzige Übergabeparameter für Aurelo. Für Bundler ist eine Entzerrung der Bilder nicht notwendig, da Bundler intern eine Schätzung nichtlinearer Verzeichnungen vornimmt und die Bilder entsprechend korrigiert. Bundler benötigt keine weiteren Übergabeparameter, sondern entnimmt die notwendigen Werte den EXIF-Daten der Bilder. In den EXIF- Daten sind Parameter wie z.b. Kamerakonstante, Sensorgröße oder Blendenzahl der Kamera dokumentiert. Sind diese Daten nicht vollständig, entnimmt Bundler die fehlenden Daten einer vorgefertigten Liste (extractfocal.pl) mit einer Sammlung von 267 verschiedenen Kameratypen. Vor dem Programmstart ist somit zu prüfen, ob diese Liste den verwendeten Kameratyp enthält. Fehlt der Kameratyp, muss die Liste um die erforderlichen Angaben ergänzt werden Detektion der Lowe-Punkte und Zuordnung Sowohl Bundler als auch Aurelo detektieren mittels des SIFT-Keypoint-Detektors die Lowe-Punkte in allen Eingabebildern. Bei Bundler erfolgt dann eine Zuordnung zwischen allen Bildpaaren. Aurelo bietet für diesen Schritt die Möglichkeit zwischen verschiedenen Zuordnungsstrategien zu wählen. So steht neben der Zuordnung aller Bildpaare auch eine Strategie für Bilder, die in Bildsequenzen oder Bildblöcken angeordnet sind, zur Verfügung, in welcher nur eine Zuordnung benachbarter Bilder durchgeführt wird. Das Ergebnis ist bei beiden Programmen eine Liste mit korrespondierenden Punkten für die zugeordneten Bildpaare Näherungswertbestimmung für die Bündelausgleichung Die Abläufe zur Berechnung der Näherungswerte für die Bündelausgleichung unterscheiden sich bei Bundler und Aurelo. Bundler wählt hier einen inkrementellen Ansatz. Das bedeutet, dass zunächst die relative Orientierung

14 Seite 7 2 Bundler und Aurelo zwischen einem initialen Bildpaar über den 5-Punkte-Algorithmus von Nister bestimmt wird. Die Auswahl des initialen Bildpaares geschieht in einer RANSAC-Prozedur [Fischler u. Bolles, 1981]. Gesucht wird hier das Bildpaar, welches eine einzelne Homographie zwischen den Bildern am wenigsten unterstützt, um Extremfälle wie inzidente Kameras zu vermeiden. Mit den berechneten Näherungswerten erfolgt schließlich die Bestimmung der Kameraparameter und der 3D-Objektpunktkoordinaten. Aurelo berechnet zunächst in einer RANSAC-Prozedur die relativen Orientierungen zwischen allen Bildpaaren mit dem 5-Punkte-Algorithmus von Nister. Wurde zuvor die Zuordnungsstrategie für Bildsequenzen gewählt, erfolgt die Berechnung nur für benachbarte Bildpaare. Anschließend folgt eine Validierung der Ergebnisse in einem Bild-Tripel-Test. Hier wird geprüft, ob für ein Bild-Tripel das Produkt der drei Rotationsmatrizen der Einheitsmatrix entspricht und ob die drei Basisvektoren koplanar sind. Das Bildpaar, welches gute Ergebnisse in der Validierung liefert und eine große Anzahl an korrespondierenden Punkten aufweist, wird dann als initiales Bildpaar ausgewählt. Analog zu Bundler folgt hier die Bestimmung der Kameraparameter und der 3D-Objektpunktkoordinaten aus den berechneten Näherungswerten SBA und Optimierung Nach der Bestimmung der Kameraparameter für das initiale Bildpaar fügt Bundler nun eine weitere Kamera in die Berechnnung ein und bestimmt mittels Direkter Linearer Transformation (DLT) in einer RANSAC-Prozedur die Orientierung dieser Kamera. In einer SBA werden anschließend die zuvor bestimmten Kameraparameter optimiert und die Koordinaten der von der Kamera beobachteten Objektpunkte berechnet. Diese Prozedur wird solange wiederholt, bis alle Kameras bearbeitet wurden. Bei Aurelo wird sukzessive dasjenige Bild zugefügt, das bei der relativen Orientierung eine große Überlappung mit mindestens zwei Bildern aufweist, um den Maßstab der relativen Orientierungen zu übertragen. Dieser Vorgang wird solange wiederholt, bis alle Bilder bearbeitet wurden, oder kein weiteres Bildpaar mehr in die Berechnung integriert werden kann. Die SBA erfolgt hier in einer Iterationsschleife, in der zur Optimierung die größten Residuen in der Ausgleichung heruntergewichtet werden. Als letzter Schritt in beiden Programmabläufen wird nochmals eine globale Bündelausgleichung mit allen integrierten Bildern vorgenommen. Wie auch in Abbildung 1 auf Seite 5 zu erkennen, treten die größten Unterschiede zwischen den beiden Programmabläufen hauptsächlich in den Schritten Wahl des initialen Bildpaares Näherungswertbestimmung der Orientierungsparameter Hinzufügen weiterer Bilder in den Berechnungsablauf

15 Seite 8 2 Bundler und Aurelo auf. Neben weiteren Aspekten werden diese Unterschiede Gegenstand unserer Untersuchungen sein. 2.2 Konzeptionelle Besonderheiten Um die zuvor aufgezeigten Unterschiede zu untersuchen müssen wir direkt in den Ablauf der Programme eingreifen können. Die Möglichkeiten bei Bundler sind hierzu begrenzt. Es stehen Optionen zur Verfügung, die direkt über die Kommandozeile, oder mittels eines Options-Textfiles dem Programm übergeben werden können. Hier handelt es sich jedoch vor allem um Optionen, die die Speicherung des Ergebnisses, die Bearbeitung zusätzlicher Bilder oder die Berechnung zusätzlicher Parameter betreffen. Mit der Option das initiale Bildpaar zu setzen, kann direkt in die Bündelausgleichung eingegriffen werden. Die Auswirkung dieser Option auf das Ergebnis der Rekonstruktion werden wir in Kapitel 3 untersuchen. Hierzu verwenden wir das initiale Bildpaar, welches von Aurelo für den gleichen Datensatz verwendet wurde, da Aurelo einen hohen Aufwand betreibt um diese Wahl abzusichern. Aurelo bietet auf Grund der Steuerung über eine implementierte Benutzeroberfläche gegenüber Bundler vielseitige Möglichkeiten in den Programmablauf einzugreifen. Prinzipiell kann hier jeder einzelne Schritt in der Berechnung aktiviert oder deaktiviert werden. Es können zusätzliche Einstellungen wie maximale Anzahl an Iterationen in der Ausgleichung, Ausreißerschwellen oder zusätzliche Berechnungen manuell hinzugefügt oder gesteuert werden. Wir werden uns bei unseren Untersuchungen auf die Auswahl der Zuordnungsstrategie und ihre Auswirkung beschränken. Die Untersuchung der Wahl des initialen Bildpaares und das Hinzufügen weiterer Bilder in die Berechnung werden wir also durch direkten Eingriff in die Programmabläufe vornehmen und die Näherungswertbestimmung anhand von passenden Datensätzen testen. 2.3 Unterschiede in Funktionalität und Handhabung Die von uns vorgenommene Evaluierung beschränkt sich auf die Untersuchung der Abläufe innerhalb der Programme und der Qualität der Ergebnisse. Eine Bewertung der Programme bezüglich Funktionalität und Handhabung führen wir hier nicht durch, da sich diese an rein subjektiven Eindrücken orientieren würde. Eine reine Darstellung der Unterschiede in Bezug auf Funktionalität, Handhabung und weitere Aspekte, die die Nutzung der Programme betreffen, ist aber sicherlich sinnvoll und kann von uns auch objektiv vorgenommen werden.

16 Seite 9 2 Bundler und Aurelo Bereitstellung und Installation Bei Bundler handelt es sich um ein Softwarepaket, das kostenlos angeboten wird und frei zugänglich aus dem Internet heruntergeladen werden kann 7. Die Installation kann anhand einer Anleitung vorgenommen werden. Da Aurelo primär in Matlab implementiert wurde, ist prinzipiell nur eine Verfügbarkeit der Matlab- Routinen notwendig. Da es sich hier aber um eine rein intern genutzte Entwicklung handelt, existiert keine genaue Anleitung zur Nutzung von Aurelo, weshalb eine Einführung in das Programm zwingend notwendig ist. Handhabung Die Steuerung von Bundler erfolgt direkt über eine Konsole. Der Anwender kann sich bei der Steuerung des Programms an den verfügbaren Anleitungen orientieren. Nach einer korrekten Installation aller notwendigen Programmteile sind keine weiteren Einstellungen mehr vorzunehmen und Bundler kann direkt genutzt werden. Da Aurelo entzerrte Eingabebilder fordert, müssen hier die Bilder zuvor entzerrt werden. Die eigentliche Steuerung erfolgt dann in Matlab über eine Benutzeroberfläche und kann auch ohne besondere Kenntnisse über Aurelo intuitiv vorgenommen werden. Visualisierung der Ergebnisse Bundler verfügt über keine eigene Möglichkeit seine Ergebnisse darzustellen. Das Ergebnis des Programms enthält ply-dateien, welche mit 3D-Visualisierungsprogrammen, wie zum Beispiel Meshlab 8, genutzt werden können. Die ply-dateien enthalten neben den 3D-Koordinaten der Objektpunkte und der Kameras auch RGB-Werte, mit deren Hilfe die Objektpunkte entsprechend der zugehörigen Bildpunkte eingefärbt werden, um einen besseren visuellen Eindruck zu erhalten. Aurelo bietet verschiedene Möglichkeiten der Ergebnisdarstellung. Neben einem Plot der verwendeten Lowe-Punkte, kann zum Beispiel auch ein Plot der 3D-Objektpunkte und der Kameras vorgenommen werden. Die 3D-Punkte werden hier nicht zusätzlich eingefärbt. Datenmengen Tabelle 1 auf Seite 10 zeigt eine Gegenüberstellung der von Bundler und Aurelo erzeugten Datenmengen und des benötigten Speicherplatzes. Die angebenen Werte enthalten alle erzeugten Dateien inklusive Protokolldateien. Die Eingabebilder werden hier nicht miteinbezogen. Die Unterschiede entstehen hauptsächlich durch die unterschiedliche Speicherung der Zuordnungsergebnisse. Aurelo legt für die Zuordnungsergebnisse zwischen jedem einzelnen Bildpaar eine separate Datei an. Bundler dagegen speichert alle Ergebnisse in eine Datei. Ein weiterer Grund für die Unterschiede ist, dass Aurelo zu Beginn der Berechnungen alle Eingabebilder

17 Seite 10 2 Bundler und Aurelo 11 Eingabebilder ( Pixel) Programm Anzahl erzeugter Dateien benötigter Speicherplatz Aurelo 92 8,46 MB Bundler 32 4,07 MB 30 Eingabebilder ( Pixel) Programm Anzahl erzeugter Dateien benötigter Speicherplatz Aurelo ,2 MB Bundler 79 33,8 MB Tabelle 1: Übersicht erzeugter Datenmengen in Grauwertbilder konvertiert und speichert. Bundler führt diese Konvertierung ebenfalls durch, speichert diese Bilder aber nicht.

18 Seite 11 3 Evaluierung 3 Evaluierung Die Evaluierung der Programme Bundler und Aurelo erfolgt in drei Schritten. In Kapitel 3.1 konkretisieren wir zunächst die Aspekte der Untersuchungen. Anschließend folgt in Kapitel 3.2 die Beschreibung der verwendeten Testdaten und deren Generierung und schließlich in Kapitel 3.3 die Darstellung und die Bewertung der Ergebnisse beider Programme hinsichtlich der in Kapitel 3.1 formulierten Fragestellungen. 3.1 Fragestellungen Auf Grund der Vorüberlegungen in den Kapiteln 2.1 und 2.2 treten insgesamt sechs Fragestellungen auf, die Gegenstand unserer Evaluierung sein werden. 1. Wie hoch ist die benötigte Rechenzeit bei unterschiedlichen Datenmengen? 2. Wie präzise ist die Orientierung der Kameras im Vergleich zu Sollwerten? 3. Wie verhalten sich die Programme bei objektgeometrischen Spezialfällen? 4. Was für einen Einfluss hat die Wahl des initialen Bildpaares? 5. Was für einen Einfluss hat die Wahl der Zuordnungsstrategie bei Aurelo? 6. Wie sind die Ergebnisse im Vergleich bei Amateuraufnahmen? Für alle diese Fragestellungen sind verschiedene Tests und Testdaten notwendig. In unseren Tests werden wir auch mehrere Fragestellungen gleichzeitig bearbeiten, da zum Beispiel die Wahl der Zuordnungsstrategie sowohl einen Einfluss auf die Qualität der Ausgleichung, als auch auf die benötigte Rechenzeit haben wird. Zur Untersuchung der benötigten Rechenzeit verwenden wir synthetische Daten, da hier ohne großen Aufwand prinzipiell beliebige Datenmengen erzeugt werden können. Wir erwarten hinsichtlich der Laufzeiten signifikante Unterschiede. Die bei Aurelo implementierten Tests zur Sicherung und Erhöhung der Qualität der Bündelausgleichung benötigen sehr viel Rechenzeit, was aber eventuell durch eine geeignete Wahl der Zuordnungsstrategie kompensierbar ist. Die Präzision der Kameraorientierung werden wir in einem Soll-Ist-Vergleich analysieren. Zum einen stehen uns durch die Benchmarks Soll-Werte für die Kameraorientierungen zur Verfügung. Zum anderen führen wir Drehtelleraufnahmen durch, aus deren Messaufbau sich direkte Anforderungen an die Lage der Projektionszentren der Kameras ergeben. Hier können wir die Qualität der Kamerarekonstruktion im Bezug auf eine geforderte geometrische Anordnung der Kameras überprüfen. Auf Grund der

19 Seite 12 3 Evaluierung zusätzlichen Tests im Ablauf von Aurelo erwarten wir hier eine höhere Präzision als bei Bundler. Als objektgeometrische Spezialfälle verwenden wir in der Evaluierung planare Objektpunkte und schleifende Schnitte. Schleifende Schnitte treten dann auf, wenn sich auf Grund einer kleinen Basis zwischen zwei Kameras die Projektiosstrahlen nicht exakt in einem Punkt schneiden, sondern der Schnitt schleifend verläuft. Auch hier bieten sich synthetische Daten an, da so gezielt diese Problematiken untersucht werden können und sonstige störende Effekte ausgenommen sind. Aurelo testet die Daten während der Berechnung gezielt auf schleifende Schnitte und entfernt gegebenenfalls entsprechende Punkte. Daher sollte Aurelo hier keine Schwierigkeiten haben. Ob bei Bundler auch entsprechende Tests implementiert wurden ist uns nicht bekannt, weshalb wir keine Prognosen bezüglich der Ergebnisse treffen können. Planare Objektpunkte sollten dagegen bei beiden Programmen zu Problemen führen, da hier eine Bestimmung der Orientierungsparameter mathematisch nicht möglich ist [Faugeras, 1993]. Selbst erstellte Aufnahmen von Gebäuden und Ähnlichem dienen uns als Testdaten für Fragestellung 6. Theoretisch sollten hier beide Programme ähnliche Ergebnisse liefern, da hier nicht gezielt nach Schwachpunkten im Berechnungsablauf gesucht wird. 3.2 Verwendete Daten Bei der Evaluierung der beiden Programme kommen grundsätzlich drei verschiedene Arten von Testdaten zur Anwendung. 1. Eigenhändig erstellte Aufnahmen 2. Frei verfügbare Benchmarks 3. Synthetisch erzeugte Datensätze Im Folgenden werden wir die Generierung dieser Daten näher erläutern und anhand von Übersichtstabellen die verwendeten Datensätze darstellen. Neben den auch im weiteren Verlauf der Arbeit verwendeten Namen der Datensätze ist je ein Beispielbild und die Anzahl der Bilder pro Datensatz abgebildet Eigenes Bildmaterial Bei den eigenständigen Aufnahmen kommen drei verschiedene Kameratypen zum Einsatz. Wir nutzen zum einen eine handelsübliche Digitalkamera vom Typ Samsung ES55 und eine integrierte Handykamera des Handys Nokia 6710s Navigator, als Beispiele für Amateuraufnahmen. Da es sich hier gezielt um normale Photografien handelt, werden alle Aufnahmen ohne Stativ oder sonstige Hilfsmittel getätigt. Bei den aufzunehmenden Objekten handelt es sich um Bauwerke oder Objekte mit markanten Geometrien.

20 Seite 13 3 Evaluierung Digitalkamera Samsung ES55 Datensatz Bildanzahl Datensatz Bildanzahl PRISMA 35 TREPPE 23 STATUE1 20 SÄULE 30 Handykamera Nokia 6710s Navigator Datensatz Bildanzahl Datensatz Bildanzahl EINGANG 13 STATUE2 11 Tabelle 2: Übersicht eigener Datensätze - Die Übersicht enthält ein Beispielbild, die Anzahl der Bilder pro Datensatz und die im Weiteren verwendete Bezeichnung Zum anderen verwenden wir eine hochwertige Spiegelreflexkamera des Typs Nikon D70 für die Drehtelleraufnahmen. Hierzu wird die Kamera auf einem Stativ und das zu erfassende Objekt auf einer rotierbaren Plattform montiert. Diese wird nun in 15 -Schritten gedreht und je eine Aufnahme des Objekts gemacht. Hierbei ist auf einen möglichst homogenen und einfarbigen Hintergrund zu achten. Bei der Auswertung können sonst markante Punkte auf dem fixen Hintergrund als Lowe-Punkte detektiert werden und somit die korrekte Verknüpfung der Bilder und die daraus resultierende Rekonstruktion behindern. Spiegelreflexkamera Nikon D70 Datensatz Bildanzahl Datensatz Bildanzahl HOLZ 24 QUADER 24 Tabelle 3: Übersicht der Drehtelleraufnahmen - Beschreibung siehe Tabelle 2

21 Seite 14 3 Evaluierung Wie in Kapitel 2.1 beschrieben müssen wir die Eingabebilder von Aurelo um eventuell vorhandene Verzeichnungen korrigieren. Hierzu verwenden wir das in [Abraham u. Hau, 97] vorgestellte Verfahren der Kamerakalibrierung und entzerren damit die Bilder. Die Tabellen 2 und 3 auf Seite 13 geben einen Überblick über die verwendeten Datensätze Benchmarks Die von uns verwendeten Benchmarks laden wir von der Homepage von Christoph Strecha 9 herunter (siehe Tabelle 4). Bei den sechs Datensätzen handelt es sich um Photografien von Gebäuden oder sonstigen Bauwerken. Die Daten enthalten neben den Bildern selbst Informationen bezüglich der inneren und äußeren Orientierung der Kameras in einer Textdatei. Tabelle 4 gibt einen Überblick über die verwendeten Benchmarks. Wir extrahieren die Orientierungsparameter mit dem Matlab-Skript readcamparam.m aus der Textdatei jeder Kamera und speichern die jeweiligen Projektionszentren und Rotationsmatrizen für die weitere Verwendung. Datensatz Bildanzahl Datensatz Bildanzahl CASTLE 19 CASTLE- LARGE 30 FOUNTAIN 11 HERZJESU 8 LARGE 25 HERZJESU- CASTLE- ENTRY 10 Tabelle 4: Übersicht der Benchmarks - Beschreibung siehe Tabelle 2 auf Seite Synthetische Daten Bei der Erzeugung der synthetischen Daten wird die Aufnahme eines 3D-Objekts mit unterschiedlich positionierten Kameras simuliert. Die weitere Idee hierbei ist, dass wir die Schritte Detektion der Lowe- Punkte und Zuordnung bereits im Vorfeld für die Programme übernehmen, um so beide Programme im Prinzip erst nach diesen Schritten zu starten (vgl. Abbildung 1 auf Seite 5). Die Generierung der 9 strecha/multiview/densemvs.html

22 Seite 15 3 Evaluierung synthetischen Daten gliedert sich also in die Punkte Kamerapositionierung 3D-Objekterzeugung Simulation der photographischen Aufnahme Detektion der Lowe-Punkte Zuordnung Wir werden nun zunächst allgemein die Erzeugung der synthetischen Daten erläutern und dann Besonderheiten für die einzelnen, in Kapitel 3.1 genannten, Untersuchungsaspekte darstellen. Allgemeine Erläuterungen Die Positionierung der Kameras erfolgt mit dem Matlab-Skript eval- CamParam_circle.m. Die Projektionszentren der Kameras werden in einem Halbkreis mit Radius r angeordnet, wobei die Kamerapositionen noch zufällig verrauscht werden. Die Aufnahmerichtungen der Kameras zeigen jeweils in Richtung des Koordinatenursprungs. Somit haben wir die äußere Orientierung der Kameras festgelegt. Da wir die Kameras als kalibriert annehmen, hat die Kalibriermatrix die Form c 0 H x K = 0 c H y (1) Die Kamerakonstante c wird auf 1000 Pixel festgesetzt und der Hauptpunkt [H x H y ] liegt in der Bildmitte. Die Abbildung 3 auf Seite 17 zeigt ein Beispiel dieser Kameraanordnung. Nachdem wir die Kameras positioniert haben, folgt nun die 3D-Objekterzeugung der aufzunehmenden 3D-Objekte durch Vorgabe von 3D-Koordinaten. Die Anordnung der Punkte werden wir unter Besonderheiten näher erläutern. Für die Simulation der photografischen Aufnahmen projizieren wir die Objektpunkte in die Bildebene der Kamera. Dies erfolgt mit dem Matlab-Skript evalimagecoord.m nach der Kollinearitätsgleichung x i = PX i (2) mit der Projektionsmatrix P = KR[I X 0 ] (3) Hier bezeichnen wir x i als jeweiligen 2D-Bildpunkt und X i als zugehörigen 3D-Objektpunkt. Die Kalibriermatrix K, die Rotationsmatrix R und das Projektionszentrum X 0 beinhalten die Parameter der

23 Seite 16 3 Evaluierung inneren und äußeren Orientierung der jeweiligen Kamera. Die Matrix I bezeichnet hier eine 3 3 Einheitsmatrix. Die Größe der erzeugten Bilder wird mit Pixeln vorgegeben. Daher werden alle Bildpunkte, die nicht innerhalb dieses Rahmens liegen, als nicht sichtbar eingestuft. Die Detektion der Lowe-Punkte realisieren wir, indem wir alle Punkte, die von der Kamera erfasst und somit in die Bilder projiziert wurden, zugleich als detektierte Lowe-Punkte betrachten. Das Ergebnis der Detektion ist eine Textdatei für jede Kamera, in der die Bildpunktkoordinaten und der zugehörige SIFT-Deskriptor für jeden detektierten Punkt gespeichert sind, wobei der gesamte Deskriptor mit Nullen aufgefüllt wird. Diese sogenannten key-dateien werden von evalimagecoord.m erzeugt. Der letzte Schritt der Erzeugung der synthetischen Daten stellt die Zuordnung dar. Im eigentlichen Programmablauf erfolgt die Zuordnung zwischen den Bildern anhand der SIFT-Deskriptoren. Da dieser Schritt aber von uns selbst übernommen wird, ist hier eine Verwendung des Deskriptors nicht notwendig, da wir die Zuordnung anhand der Punktnummern der in die Bilder projizierten Objektpunkte vornehmen. Dieser Prozess wird mittels des Matlab-Skripts matchingimages.m durchgeführt, das wiederrum die Ergebnisdateien der im normalen Programmablauf stattfindenden Zuordnung zur Verfügung stellt. Im weiteren Berechnungsablauf benötigen sowohl Aurelo als auch Bundler die zu Beginn übergebenen Bilder nur zur Bestimmung der Bildgröße. Daher speichern wir letztendlich nur weiße Bilder der Größe Pixel und fügen diese unserer selbst erzeugten Eingabe hinzu. Besonderheiten Die vorausgehenden Überlegungen in Kapitel 3.1 liefern uns drei relevante Fragestellungen (Rechenzeit, planare Objektpunkte, schleifende Schnitte), welche anhand von synthetischen Daten untersucht werden sollen, und somit auch drei verschiedene Anforderungen an das zu erzeugende Objekt. Die Analyse der benötigten Rechenzeit der Programme erfordert ein Objekt, welches die Programme nicht mit objektgeometrischen Schwierigkeiten oder Spezialfällen konfrontiert, sondern eher einen problemlosen Durchlauf der Programme sicherstellt. Hierzu erzeugen wir 500 zufällig angeordnete 3D Punkte, die alle innerhalb eines gedachten Würfels liegen (vgl. Abbildung 2 auf Seite 17). Die Dimension des begrenzenden Würfels ergibt sich aus der Anzahl der simulierten Kameras. Tests haben gezeigt, dass ein Verhältnis von 4/1 von Abstand der Kamera vom Koordinatenursprung, was dem Radius r des Halbkreises auf dem die Kameras positioniert sind entspricht, und einer Würfelseite gute Ergebnisse liefern. Ein zusätzliches Kriterium für die Wahl der Würfeldimension und des Radius ist die Länge der Basis zwischen zwei Kameras. Um schleifende Schnitte zu vermeiden, werden beide Werte so gewählt, dass die Basis mindestens 3,5m lang ist. Die Berechnung des Radius r und die Generierung des 3D-Objekts erfolgt in dem Matlab-Skript prepareperformancetestdata.m.

24 Seite 17 3 Evaluierung Abbildung 2: 3d-Objekt für Laufzeittests - Das Objekt besteht aus 500 zufällig positionierten Punkten. Die durchgezogenen Linien beschreiben die Kanten des gedachten Würfels, innerhalb dessen die Punkte positioniert werden. Das Ergebnis der Generierung der synthetischen Daten für die Laufzeittests ist je ein Datensatz mit 500 Objektpunkten und 25,50 und 100 Kameras (siehe Abbildung 3). Abbildung 3: Objektpunkte mit 50 Kameras für Laufzeittests - Die 50 Kameras sind auf einem Halbkreis um das Objekt angeordnet. Das Objekt selbst entspricht der Abbildung 2 Für die Untersuchung des Umgangs beider Programme mit planaren Objektpunkten eignet sich ein Objekt, welches einer Wand ähnelt. Hierzu erzeugen wir ebenfalls zwei Datensätze, nämlich MUSTER und ZUFALL. Der Unterschied zwischen den Datensätzen liegt darin, dass im Datensatz MUSTER ein regelmäßiges Muster erzeugt wird und im Datensatz ZUFALL die Objektpunkte zufällig auf einer gedachten

25 Seite 18 3 Evaluierung Wand angeordnet werden (vgl. Abbildungen 4 und 5). Abbildung 4: Datensatz MUSTER Abbildung 5: Datensatz ZUFALL Die Simulation von schleifenden Schnitten verlangt eine kleine Basis zwischen den Kameras. Hierzu positionieren wir 2 Kameras, deren Basis nur 8cm beträgt. Als aufzunehmendes Objekt generieren wir in einem Abstand von 5m 400 Punkte, die auf einem gedachten Zylinder angeordnet sind (siehe Abbildung 6). Abbildung 6: Datensatz für schleifenden Schnitt - Aufsicht auf den gedachten Zylinder und die 2 positionierten Kameras

26 Seite 19 3 Evaluierung 3.3 Empirische Ergebnisse In diesem Kapitel erläutern wir zunächst die Art des Vergleichs, der bei dem jeweiligen Datensatz Anwendung findet. Anschließend folgt die Darstellung der Ergebnisse der Untersuchungen und schließlich werden wir diese diskutieren und bewerten Eigenes Bildmaterial Der Vergleich der Ergebnisse der eigenhändig erzeugten Aufnahmen erfolgt visuell. Wie wir in Kapitel 2.3 bereits beschrieben haben unterscheiden sich jedoch die Möglichkeiten der visuellen Betrachtung bei den Programmen. Um eine möglichst detailreiche und gut interpretierbare Visualisierung für unsere Vergleiche zu nutzen, bietet es sich an die Ergebnisse jeweils mit Meshlab darzustellen. Auf Grund der farbigen Darstellung der rekonstruierten Objektpunkte lässt sich der Bezug zu den Originalbildern leichter herstellen. Auch der Vergleich der Ergebnisse untereinander ist so einfacher. Daher generieren wir für die Ausgabe von Aurelo zunächst eine ply-datei. Dies erfolgt mit dem Matlab-Skript writeply.m. Aurelo stellt 3D-Koordinaten für jeden beobachteten Objektpunkt und 2D-Bildkoordinaten aller Bildpunkte für jedes Bild zur Verfügung. In einem ersten Schritt suchen wir alle zu einem Objektpunkt gehörenden Bildpunkte. Anschließend extrahieren wir für jeden Bildpunkt den zugehörigen RGB-Wert. Zuletzt erfolgt eine Mittelung der Werte der einzelnen Farbkanäle und die Zuweisung des RGB-Wertes zu dem Objektpunkt in der ply-datei. Für jeden in Tabelle 2 auf Seite 13 dargestellten Datensatz erfolgen je zwei Durchläufe mit beiden Programmen. erster Durchlauf Aurelo mit Standardeinstellung bezüglich Zuordnungsstrategie zweiter Durchlauf Aurelo mit Zuordnungsstrategie Bildsequenz erster Durchlauf Bundler mit Standardeinstellungen zweiter Durchlauf Bundler mit initialem Bildpaar aus erstem Durchlauf mit Aurelo Für den Datensatz PRISMA stehen nur zwei Ergebnisse zur Verfügung. Ein Durchlauf mit geänderter Zuordnungsstrategie ist hier nicht möglich, da die Bilder nicht in einer Sequenz aufgenommen wurden. Der Durchlauf mit gesetztem initialen Bildpaar bei Bundler wird während der Berechnung abgebrochen und liefert daher kein Ergebnis. Somit ergeben sich insgesamt 22 Darstellungen in Meshlab. Wir stellen hier nur exemplarisch Ergebnisse für die Datensätze TREPPE, SÄULE und PRISMA dar, an denen Besonderheiten oder Auffälligkeiten gut zu erkennen sind. Die vollständigen Ergebnisse sind für ergänzende

27 Seite 20 3 Evaluierung Betrachtungen auf der beigefügten CD-ROM zu finden. Nach der Darstellung und Bewertung der Ergebnisse der eigenhändig erstellten Aufnahmen folgt die Darstellung der Ergebnisse der Drehtelleraufnahmen. Abbildung 7: Ergebnisse Datensatz TREPPE - Standarddurchläufe von Aurelo (links) und Bundler (rechts). Die vordere Punktreihe zeigt die rekonstruierten Kamerapositionen, die restlichen Punkte das rekonstruierte Objekt. Datensatz TREPPE An der Abbildung 7 können wir erkennen, dass die Rekonstruktion der aufgenommenen Treppe bei beiden Programmen erfolgreich war. Die Ergebnisse von Bundler sind jedoch detaillierter. Hier ist die Gebäudefassade im Hintergrund deutlicher zu erkennen als bei dem Ergebnis von Aurelo. Bundler erzeugt eine dichtere Darstellung des Objektes und ermöglicht auch Einzelheiten, wie die Steinverkleidung der Treppenfront, zu erkennen. Die Rekonstruktion von Aurelo gibt die wesentliche Geometrie der Treppe und die Lage der Kameras korrekt wieder. Der Bezug zu den Originalbildern erschließt sich bei Bundler jedoch leichter. Objektdetails wie die Treppenstufen, das Treppengeländer oder die Statuen auf der Treppe sind in keinem der beiden Ergebnisse zu erkennen. Der Durchlauf mit geänderter Zuordnungsstrategie bei Aurelo und mit gesetztem initialen Bildpaar bei Bundler weisen keine wesentlichen Unterschiede zu den hier dargestellten Ergebnissen auf. Datensatz SÄULE Das Ergebnis des Standarddurchlaufes von Aurelo stellt die aufgenommene Säule nur zum Teil korrekt dar. Wie wir oben links in Abbildung 8 auf Seite 21 erkennen können, brechen auf der linken Seite der Säule die Punkte aus der Zylinderform aus. Die rechte Seite der Säule wird dagegen korrekt rekonstruiert. Der Durchlauf mit geänderter Zuordnungsstrategie liefert hier gute Ergebnisse (vgl. Abbildung 8 auf Seite 21 oben rechts), was für eine falsche Bildzuordnung im Laufe der Berechnungen des Standarddurchlaufs spricht. Viele markante Stellen auf verschiedenen Seiten der Säule ähneln sich stark und erschweren so die korrekte Zuordnung der detektierten Lowe-Punkte. Die alleinige Zuordnung

28 Seite 21 3 Evaluierung Abbildung 8: Ergebnisse Datensatz SÄULE - Standarddurchlauf von Aurelo (oben links), Durchlauf mit geänderter Zuordnungsstrategie bei Aurelo (oben rechts), Standarddurchlauf von Bundler (unten links) und Durchlauf mit gesetztem initialen Bildpaar bei Bundler (unten rechts) benachbarter Bilder im zweiten Durchlauf von Aurelo verringert diese Problematik und ermöglicht so die besseren Ergebnisse. Die Qualität der Rekonstruktionen von Bundler ist bei beiden Durchläufen ähnlich. Die Änderung des initialen Bildpaares bringt hier keine Vorteile. Zwischen den beiden Durchläufen von Bundler und dem zweiten Durchlauf von Aurelo (vgl. Abbildung 8 oben rechts) sind keine signifikanten Unterschiede zu beobachten. Datensatz PRISMA Der Datensatz PRISMA führt sowohl bei Bundler als auch bei Aurelo zu Problemen bei der Rekonstruktion. Bundler rekonstruiert nur 24 von 34 Kameras und Aurelo nur 21 von 34 Kameras. Auffällig ist hier, dass bei beiden Programmen die Rekonstruktion der rückwärtigen Kameras scheitert und nur die Vorderseite des Objektes korrekt dargestellt wird (vgl. Abbildung 9 auf Seite 22 unten). Die spezielle Geometrie des Objektes erschwert die Zuordnung der detektierten Lowe-Punkte. Die Kanten der Objektflächen sind schwer zu unterscheiden und die Rückseite des Prismas selbst bietet auf Grund der homogenen Struktur und Farbgebung kaum markante Merkmale. Dies führt schließlich zu einer falschen Berechnung der relativen Orientierungen, die dann nicht mehr erfolgreich in die Bündelausgleichung integriert werden können. Der hier verwendete Datensatz enthält als einziger Datensatz Bilder, die nicht als Bildsequenz aufgenommen wurden. Daher ist hier auch keine Änderung der Zuordnungsstrategie bei Aurelo möglich.

29 Seite 22 3 Evaluierung Abbildung 9: Ergebnisse Datensatz PRISMA - Standarddurchläufe von Aurelo (links) und Bundler (rechts). Punktbeschreibung siehe Abbildung 7 auf Seite 20 Obwohl beide Programme keine vollständige Rekonstruktion des Objekts und der Kamerapositionen liefern, wird das Objekt bei Bundler etwas detaillierter dargestellt und der Bezug zu den Originalaufnahmen fällt hier leichter. Drehtelleraufnahmen Der in Kapitel beschriebene Messaufbau der Drehtelleraufnahmen führt zu der Bedingung, dass die Projektionszentren der Kameras auf einem Kreis liegen müssen. Um die Ergebnisse von Bundler und Aurelo auf diese Bedingung zu prüfen, legen wir einen ausgleichenden Kreis durch die rekonstruierten Projektionszentren und bestimmen dann die Abweichungen der Punkte mittels des Matlab-Skriptes comparetocircle.m. Da das Vorgehen hier für beide Programme identisch ist, beschreiben wir es allgemein. Die berechneten Projektionszentren liegen bei beiden Programmen frei in einem lokalen Koordinatensystem. Wir projizieren daher in einem ersten Schritt die Projektionszentren in ein zweidimensionales Koordinatensystem. Hierzu reduzieren wir nach y i = x i x, mit x = x i I (4) die Punktwolke um ihren Schwerpunkt. x i beschreibt hier den 3D-Koordinatenvektor der Projektionszentren und y i den um den Schwerpunkt reduzierten Vektor. Anschließend fassen wir die reduzierten Vektoren in der Matrix... Y = y xi y yi y zi... (5)

30 Seite 23 3 Evaluierung zusammen. Anhand der Korrelationsmatrix K = Y T Y der reduzierten Punkte bestimmen wir mit einer Eigenwertzerlegung K = UDU T die Orientierung der Hauptachsen. Die Spalten u 1 bis u 3 der berechneten Rotationsmatrix U entsprechen hier den Richtungen der Hauptachsen. Die Matrix D ist eine Diagonalmatrix und enthält die Eigenwerte. Die Projektion in das zweidimensionale Koordinatensystem führen wir schließlich nach x i }{{} 2 1 = }{{} Û T 2 3 y i }{{} 3 1, mit Û = u 2 u 3 (6) durch. Nun legen wir einen ausgleichenden Kreis durch die projizierten 2D-Koordinaten x i und bestimmen die Abweichungen der Projektionszentren zu dem Sollradius. Die durch die Programme rekonstruierten Projektionszentren sind nicht registriert. Das bedeutet, dass die Radien der ausgleichenden Kreise immer unterschiedlich sind. Daher stellen wir die Abweichungen zu den Radien als prozentualen Anteil des jeweiligen Radius dar. Abbildung 10: Ergebnisse der Drehtelleraufnahmen für den Datensatz QUADER - Die Linien beschreiben die prozentuale Abweichung gegenüber dem jeweiligen berechneten Sollradius. Nach der Transformation der 3D- Koordinaten der Projektionszentren in eine 2D-Ebene wird der Sollradius als Radius eines ausgleichenden Kreises durch die Punkte angenommen. Die Abbildungen 10 und 11 zeigen die Abweichungen der in allen vier Durchläufen rekonstruierten Projektionszentren bezüglich der zugehörigen Sollradien für die Datensätze QUADER und HOLZ. Die Entfernung zwischen Projektionszentrum der Kamera und Drehzentrum der rotierenden Plattform beträgt bei den Aufnahmen etwa 54cm. Tabelle 5 zeigt die maximalen Abweichungen der Durchläufe

31 Seite 24 3 Evaluierung Abbildung 11: Ergebnisse der Drehtelleraufnahmen für den Datensatz HOLZ - Beschreibung siehe Abbildung 10 auf Seite 23 bezogen auf diesen Radius. Die Ergebnisse der Rekonstruktionen beider Programme sind im Bezug auf Ergebnisse der Drehtelleraufnahmen bezogen auf einen Radius von 54cm Maximale Abweichungen der Durchläufe [mm] Datensatz Bundler Aurelo standard initpair standard matching QUADER 1,3 0,7 0,8 1,5 HOLZ 3,8 3,9 2,6 3,8 Tabelle 5: Maximale Abweichungen der Ergebnisse der Drehtelleraufnahmen - Die Spalten 2 und 4 zeigen die Ergebnisse für die Standarddurchläufe von Bundler und Aurelo. Spalte 3 zeigt die Ergebnisse des Durchlaufs mit gesetztem initialen Bildpaar bei Bundler und Spalte 5 die Ergebnisse des Durchlaufs mit geänderter Zuordnungsstrategie bei Aurelo. die geometrischen Bedingungen und in Relation zu der Aufnahmeentfernung bei beiden Datensätzen sehr präzise. Die maximalen Abweichungen zeigen, dass die Standarddurchläufe von Aurelo dennoch eine höhere Präzision erzielen als die Standarddurchläufe von Bundler. An den in Tabelle 5 dargestellten Ergebnissen für Datensatz QUADER können wir erkennen, dass Bundler durch die Verwendung des von Aurelo gewählten initialen Bildpaares eine etwas höhere Präzision erzielt als Aurelo selbst. Dies bestätigt unsere Vermutung, dass die aufwendige Ermittlung des initialen Bildpaares bei Aurelo einen

32 Seite 25 3 Evaluierung wesentlichen Faktor für die erreichbare Genauigkeit der Kameraorientierung darstellt. Die Änderung der Zuordnungsstrategie bei Aurelo liefert hier keine Verbesserung der Ergebnisse. Der Verlauf der Abweichungen von Bundler ist bei beiden Durchläufen des jeweiligen Datensatzes ähnlich. Die Kurven verlaufen bei Datensatz HOLZ nahezu identisch, während bei Datensatz QUADER die Kurve des Durchlaufs mit geändertem initialen Bildpaar geringere Abweichungen zeigt als die Kurve des Standarddurchlaufs von Bundler. Es liegen zu keinem der Ergebnisse von Bundler besondere Kurvenverläufe vor und der Mittelwert der Abweichungen liegt bei allen Durchläufen bei 0. Wir können hier also keine systematischen Abweichungen in den Daten erkennen. Die Ergebnisse der Durchläufe für den Datensatz QUADER sind bei Aurelo verschieden. Sie schwanken hier zwar ebenfalls um den Mittelwert 0, jedoch haben die Kurven einen unterschiedlichen Verlauf. Die Ergebnisse des Standarddurchlaufs ähneln den Ergebnissen von Bundler. Die Kurve des zweiten Durchlaufs nimmt allerdings einen nahezu entgegengesetzten Verlauf und die Abweichungen sind hier auch wesentlich höher. Die alleinige Zuordnung benachbarter Bilder im zweiten Durchlauf verändert das Ergebnis, da Ungenauigkeiten nicht durch zusätzlich zugeordnete Bilder in der späteren Berechnung kompensiert werden. Der Verlauf der Ergebnisse von Aurelo in Abbildung 11 auf Seite 24 ist ähnlich. Die Kurven zeigen bis auf die letzten fünf Kameras den gleichen Verlauf, wobei die Abweichungen des Durchgangs mit geänderter Zuordnungsstrategie höher sind. Die Ergebnisse der Kameras 19 bis 24 driften stark auseinander. Diese Abweichungen lassen sich ebenfalls durch die geänderte Zuordnung erklären Benchmarks In Kapitel 3.1 haben wir den Soll-Ist-Vergleich zwischen den Ergebnissen von Bundler und Aurelo und den Sollwerten für die Benchmarks angesprochen. Dieser Vergleich soll quantitativ erfolgen und uns anhand von Abweichungen zwischen Soll- und Ist-Werten eine Beurteilung der Präzision beider Programme erlauben. Diese Art von Vergleich verlangt einige Vorüberlegungen, wie wir die vorliegenden Daten in einen Zusammenhang bringen können. Zunächst können wir den Beschreibungen von Aurelo und Bundler entnehmen, dass beide Programme unterschiedliche Projektionsvorschriften verwenden. Eine den Benchmarks beigefügte Erläuterung beschreibt die hier verwendete Projektionsvorschrift, welche sich wiederum von den anderen beiden unterscheidet. Somit liegen den von uns verwendeten Daten drei verschiedene Projektionsvorschriften zu Grunde.

33 Seite 26 3 Evaluierung 1. Projektionsvorschrift Benchmarks R [I X 0 ] X (7) 1 2. Projektionsvorschrift Bundler R[I R X 0 ] X (8) 1 3. Projektionsvorschrift Aurelo R[I X 0 ] X (9) 1 Um die Orientierungsparameter der Kameras vergleichen zu können, müssen wir die gegebenen Werte bezüglich einer Projektionsvorschrift umrechnen. Da wir die Parameter der Benchmarks als Sollwerte verwenden, führen wir eine Umrechnung der Rotationsmatrizen R und der Projektionszentren X 0 aus Bundler und Aurelo hinsichtlich der bei den Benchmarks verwendeten Vorschrift durch. Von der allgemeinen Darstellung einer Projektionsvorschrift Rot[I t] X (10) 1 können wir unter Verwendung der Einträge in Formel 7 auf Rot = R und t = X 0 schließen. Daraus folgt für die Kameraparameter bei Bundler (vgl. Formel (8)), dass wir die Rotationsmatrix R transponieren und die Projektionszentren X 0 gemäß t = R X 0 umrechnen müssen. Äquivalent dazu ergibt sich für die Parameter bei Aurelo (vgl. Formel (9)) eine transponierte Rotationsmatrix R und ein unverändertes Projektionszentrum X 0. Ein weiterer Unterschied zwischen den verwendeten Daten ist das zu Grunde liegende Koordinatensystem. Sowohl die Ergebnisse der Programme, als auch die Sollwerte der Benchmarks sind nicht global registriert. Das bedeutet, dass die Kamerapositionen und 3D-Objektpunkte jeweils in einem lokalen Koordinatensystem gelagert sind. Daher ist eine Transformation der zu vergleichenden Daten in ein gemeinsames Koordinatensystem notwendig. Die zu vergleichenden Daten sind die sechs Parameter der äußeren Orientierung der Kameras, also die 3D-Koordinaten der Projektionszentren X 0 und die Orientierung in Form der Rotationsmatrix R. Da uns die Parameter der Benchmarks als Sollwerte dienen, transformieren wir die durch Bundler und Aurelo rekonstruierten Kameras in dieses Koordinatensystem. Die Transformation führen wir auf Basis einer räumlichen Ähnlichkeitstransformation X B i = λrx A i + T (11) durch. Hierin entspricht λ dem unbekannten Maßstabsfaktor, R der unbekannten Rotationsmatrix und T dem unbekannten Translationsvektor. Die hochgestellten Buchstaben bezeichnen jeweils das Ausgangs-

34 Seite 27 3 Evaluierung system(a) und das Zielsystem(B) der 3D-Objektpunkte. Die Berechnung der 7 Parameter erfolgt mit dem Matlab-Skript trafo.m. Nach der Transformation der Kameras in ein gemeinsames Koordinatensystem können wir nun die Rekonstruktion der Projektionszentren und die Orientierung der Kameras vergleichen. Für alle in Tabelle 4 auf Seite 14 aufgeführten Datensätze erfolgen vier Durchläufe mit verschiedenen Einstellungen (vgl. Kapitel 3.3.1). erster Durchlauf Aurelo mit Standardeinstellungen bezüglich Zuordnungsstrategie zweiter Durchlauf Aurelo mit Zuordnungsstrategie Bildsequenz erster Durchlauf Bundler mit Standardeinstellungen zweiter Durchlauf Bundler mit initialem Bildpaar aus erstem Durchlauf mit Aurelo Die euklidische Distanz zwischen Sollwert und berechnetem Projektionszentrum dient uns als Vergleich für die Präzision der rekonstruierten Lage der Kameras. Als Kriterium für die Präzision der Kameraorientierung verwenden wir die absoluten Abweichungen der Aufnahmerichtungen der Kameras. Hierzu berechnen wir aus den Rotationsmatrizen R die Eulerwinkel α = arctan R 32 β = arctan R 33 R 31 R R2 33 (12) γ = arctan R 21 R 11 und bestimmen dann die Abweichungen. Der Vergleich der Lage und der Aufnahmerichtungen wird in den Matlab-Skripten comparetostrecha.m und comparerottostrecha.m durchgeführt. Die Ergebnisse des Soll-Ist-Vergleichs stehen uns in Form von zwölf Graphen zur Verfügung. Wir stellen nur exemplarisch die Ergebnisse der Datensätze CASTLE, FOUNTAIN und HERZJESU-LARGE dar (siehe Abbidlungen 14 bis 19) und fügen die vollständigen Ergebnisse der beiliegenden CD-ROM hinzu. Die Abbildungen 12 und 13 zeigen die für alle Datensätze gemittelten Abweichungen.

35 Seite 28 3 Evaluierung Abbildung 12: Mittlere euklidische Distanz zwischen Soll und Ist für alle Datensätze Abbildung 13: Mittlere absolute Abweichung der Aufnahmerichtung zwischen Soll und Ist für alle Datensätze Anhand des Vergleichs zwischen den Ergebnissen der Programme und den Sollwerten der Benchmarks soll untersucht werden wie präzise die Orientierung der Kameras ist. In einem ersten Schritt diskutieren

36 Seite 29 3 Evaluierung Abbildung 14: Soll-Ist-Vergleich der Projektionszentren für Datensatz CASTLE wir die dargestellten Ergebnisse der einzelnen Datensätze. Anschließend führen wir eine zusammenfassende Betrachtung der Ergebnisse des Soll-Ist-Vergleichs durch. Datensatz CASTLE An den Abbildungen 14 und 15 können wir erkennen, dass die Rekonstruktion für den Standarddurchlauf bei Bundler nicht erfolgreich war. Auf Grund der sehr hohen Abweichungen, sowohl in Lage als auch Aufnahmerichtung, betrachten wir dieses Ergebnis als Ausreißer und es wird somit nicht in den Abbildungen 12 und 13 auf Seite 28 aufgeführt. Die Änderung des verwendeten initialen Bildpaares (vgl. Kapitel 2.2) ermöglicht hier eine bedeutend bessere Rekonstruktion. Die Differenzen sind gegenüber Aurelo dennoch um den Faktor 4 bis 5 höher. Dieser Datensatz ist ein Beispiel dafür, dass das bei Bundler standardmäßig ermittelte initiale Bildpaar hier nicht optimal gewählt ist und so eine korrekte Rekonstruktion verhindert. Bei Aurelo betragen die Lagedifferenzen im Mittel 32,7cm für den Standarddurchlauf und 40,2cm für den Durchlauf mit geänderter Zuordnungsstrategie. Dies spricht dafür, dass auch Aurelo keine otimale Rekonstruktion vornehmen konnte und dieser Datensatz beide Programme vor Schwierigkeiten stellt. Die wiederkehrenden Muster an der Gebäudefassade, wie Fenster oder Backsteinverkleidungen, erschweren hier die Verknüpfung der Bilder und somit auch eine korrekte Rekonstruktion der Objektgeometrie und der Kamerapositionen. Die Änderung der Zuordnungsstrategie bei Aurelo bringt hier keine Vorteile, da die Abweichungen im Mittel höher sind als die des Standarddurchlaufs (vgl. Abbildungen 12 und 13 auf Seite 28).

37 Seite 30 3 Evaluierung Abbildung 15: Soll-Ist-Vergleich der Aufnahmerichtungen für Datensatz CASTLE Abbildung 16: Soll-Ist-Vergleich der Projektionszentren für Datensatz FOUNTAIN

38 Seite 31 3 Evaluierung Abbildung 17: Soll-Ist-Vergleich der Aufnahmerichtungen für Datensatz FOUNTAIN Datensatz FOUNTAIN Die Ergebnisse des Datensatzes FOUNTAIN (Abbildungen 16, 17) sind ein Beispiel für eine gelungene Rekonstruktion beider Programme. Die Lageabweichungen liegen im Mittel bei 3cm bei Bundler und 1cm bei Aurelo. Die Abweichungen in den Aufnahmerichtungen liegen im Mittel bei 0,07 bei Bundler und 0,06 bei Aurelo. Die Änderung des initialen Bildpaares bei Bundler liefert hier im Gegensatz zu Datensatz CASTLE keine Vorteile, sondern erzeugt hier schlechtere Ergebnisse in den Lageabweichungen. Die Streuung der Differnzen ist bei Bundler auch wesentlich größer als bei Aurelo. Auffällig ist hier bei beiden Programmen der Verlauf der Abweichungen in den Aufnahmerichtungen. Die Kameras sind in diesem Datensatz genähert in einem Halbkreis um das Objekt angeordnet. Sowohl Bundler als auch Aurelo stauchen diese Kurve. Das bedeutet, dass die Aufnahmerichtungen am Ende der Kurve größere Abweichungen aufweisen als in der Mitte. Diese Auffälligkeit ist in allen Durchläufen zu finden und somit unabhängig von den gewählten Einstellungen. Dies lässt sich dadurch erklären, dass das eigentliche Aufnahmeobjekt nur in den mittleren Bildern komplett aufgenommen wurde. Die äußeren Bilder enthalten Teile einer Gebäudefassade, die ähnliche Muster wie der Datensatz CASTLE aufweist und die Rekonstruktion an dieser Stelle erschwert. Datensatz HERZJESU-LARGE Die Abbildungen 18 und 19 auf Seite 32 zeigen, dass die Rekonstruktion nach der Änderung der Zuordnungsstrategie bei Aurelo scheitert. Aurelo bearbeitet mit diesen Einstellungen nur 11 von 25 Bildern. Die euklidischen Distanzen zu den Soll-Projektionszentren sind im

39 Seite 32 3 Evaluierung Abbildung 18: Soll-Ist-Vergleich der Projektionszentren für Datensatz HERZJESU-LARGE Abbildung 19: Soll-Ist-Vergleich der Aufnahmerichtungen für Datensatz HERZJESU-LARGE

40 Seite 33 3 Evaluierung Mittel um den Faktor 16 und die Abweichungen in den Aufnahmerichtungen im Mittel um den Faktor 20 größer als die des Standarddurchlaufs von Aurelo. Die alleinige Zuordnung der benachbarten Bilder führt hier zu schlechteren Ergebnissen als die Zuordnung aller möglichen Bildpaare, da eine zu geringe Anzahl an korrespondierenden Punkten zwischen den benachbarten Bildpaaren vorliegt. Durch die Zuordnung aller Bildpaare tritt dieses Problem sowohl in dem Standarddurchlauf von Aurelo, als auch in beiden Durchläufen von Bundler nicht auf. Die Ergebnisse von Bundler zeigen, dass die Änderung des initialen Bildpaares zu leicht besseren Ergebnissen führt. Allerdings sind in den Kameras 9,14 und 20 stärkere Sprünge in den euklidischen Distanzen zu erkennen. Zusammenfassende Betrachtung Wie wir bereits in Kapitel 3.1 erläutert haben, erwarten wir von Aurelo präzisere Ergebnisse als von Bundler. Die Betrachtung der Ergebnisse der einzelnen Datensätze und die Abbildungen 12 und 13 auf Seite 28 bestätigen unsere Vermutung. Sowohl die euklidischen Distanzen zwischen den Soll-Projektionszentren der Benchmarks und den berechneten Ist-Projektionszentren, als auch die Abweichungen in den Aufnahmerichtungen sind bis auf Datensatz HERZJESU-LARGE stets geringer als bei Bundler. Die zusätzlichen Tests zur Optimierung der Ergebnisse und die unterschiedliche Vorgehensweise in der Bündelausgleichung (siehe Kapitel 2.1) bei Aurelo bewirken diese höhere Präzision und stellen in dieser Beziehung einen klaren Vorteil gegenüber Bundler dar. Auch die Tatsache, dass die Verwendung des initialen Bildpaares aus Aurelo bei Bundler in den meisten Fällen bessere Ergebnisse liefert, bestätigt dies Synthetische Daten Die Darstellung der Untersuchungen der Programme anhand von synthetischen Daten gliedert sich in drei Teile. Im ersten Teil behandeln wir die Untersuchungen bezüglich der Laufzeit, im zweiten Teil den Umgang mit planaren Objektpunkten und im dritten Teil den Umgang mit schleifenden Schnitten. Wie in Kapitel beschrieben starten wir die Programme nach der Detektion der Lowe-Punkte und der Zuordnung der Bilder. Bei Aurelo steuern wir dies direkt über die implementierte Benutzeroberfläche (GUI). Hier bietet Aurelo die Möglichkeit jeden einzelnen Arbeitsschritt zu aktivieren oder zu deaktivieren. Bundler verfügt über keine vergleichbare GUI, sondern wird in unserem Fall über ein Shell-Skript aufgerufen (RunBundler.sh). In diesem Skript sind alle Programmschritte, die Bundler vornehmen soll, aufgeführt und implementiert. Somit werden Änderungen im Programmablauf durch Auskommentieren der jeweiligen Befehle vorgenommen. Laufzeittests Zur Analyse der benötigten Laufzeit beider Programme verwenden wir ein Rechnersystem mit einem i7-prozessor, 2,66 GHz und 12GB RAM. In allen Durchläufen von Aurelo und Bundler

41 Seite 34 3 Evaluierung Laufzeiten [sec] Datensatz 1-25 KAMERAS, 500 OBJEKTPUNKTE Aurelo Bundler Berechnungsschritte standard matching Differenz standard Relative Orientierungen Bild-Tripel-Tests Summe Bündelblockausgleichungen globale Bündelblockausgleichung Summe Gesamte Orientierung Differenz Aurelo-Bundler Tabelle 6: Ergebnisse Laufzeittests Datensatz 1-25 KAMERAS, 500 OBJEKTPUNKTE Die zweite Spalte (standard) zeigt die Laufzeit für den Standarddurchlauf von Aurelo, die dritte Spalte (matching) für den Durchlauf mit geänderter Zuordnungsstrategie. In der vierten Spalte (Differenz) berechnen wir die Differenz zwischen diesen beiden Durchläufen. Die fünfte Spalte zeigt die benötigte Laufzeit von Bundler. untersuchen wir den jeweiligen identischen Datensatz und nehmen außer den beschriebenen Einstellungen keine weiteren Veränderungen der Programmkonfigurationen vor. Aus der Protokolldatei von Aurelo entnehmen wir für die einzelnen Berechnungsschritte (vgl. Kapitel 2) die benötigte Rechenzeit. Bundler bietet keine derartigen Informationen, daher starten wir Bundler mittels Matlab und messen hier die Laufzeit der gesamten Orientierung. Die Tabellen 6 bis 8 zeigen die Ergebnisse der Untersuchungen für die drei generierten Datensätze. Wie wir bereits in Kapitel 3.1 vermutet haben, weisen die Ergebnisse signifikante Unterschiede zwischen Bundler und Aurelo auf. Die wesentlich höheren Laufzeiten bei Aurelo lassen sich durch den Programmablauf erklären (vgl. Kapitel 2). Der Rechenaufwand für die Bestimmung des zu verwendenden initialen Bildpaares ist durch die Berechnung der relativen Orientierungen und der Bild-Tripel-Tests sehr hoch. Dies kann aber bei allen Datensätzen durch die Änderung der Zuordnungsstrategie kompensiert werden. Die folgenden Bündelblockausgleichungen zur Bestimmung der Kameraparameter und die abschließende globale Bündelausgleichung zur Optimierung der Ergebnisse benötigen allerdings bei beiden Durchläufen ähnliche Rechenzeiten. Sie haben in der Summe den größten Anteil an der Differenz zu Bundler. Ein wesentlicher Unterschied zu dem Vorgehen bei Bundler ist die Heruntergewichtung der größten Residuen in den Bündelblockausgleichungen. Während Aurelo hier mehrere Ausgleichungen in einer Iterationsschleife vornimmt, beschränkt sich Bundler auf eine Ausgleichung.

42 Seite 35 3 Evaluierung Laufzeiten [sec] Datensatz 2-50 KAMERAS, 500 OBJEKTPUNKTE Aurelo Bundler Berechnungsschritte standard matching Differenz standard Relative Orientierungen Bild-Tripel-Tests Summe Bündelblockausgleichungen globale Bündelblockausgleichung Summe Gesamte Orientierung Differenz Aurelo-Bundler Tabelle 7: Ergebnisse Laufzeittests Datensatz 2-50 KAMERAS, 500 OBJEKTPUNKTE Tabellenbeschreibung siehe Tabelle 6 auf Seite 34 Laufzeiten [sec] Datensatz KAMERAS, 500 OBJEKTPUNKTE Aurelo Bundler Berechnungsschritte standard matching Differenz standard Relative Orientierungen Bild-Tripel-Tests Summe Bündelblockausgleichungen globale Bündelblockausgleichung Summe Gesamte Orientierung Differenz Aurelo-Bundler Tabelle 8: Ergebnisse Laufzeittests Datensatz KAMERAS, 500 OBJEKTPUNKTE Tabellenbeschreibung siehe Tabelle 6 auf Seite 34

43 Seite 36 3 Evaluierung Abbildung 20: Laufzeit gesamte Orientierung Die Laufzeit für die gesamte Kameraorientierung bei Bundler ist bei allen Datensätzen etwas höher als die Laufzeit der globalen Bündelausgleichung bei Aurelo. Dies lässt den Schluss zu, dass die Bestimmung der Kameraparameter hier schneller implementiert wurde. Die Auswirkungen der geringeren Laufzeit auf die Qualität der Ergebnisse werden wir in Kapitel 4.1 näher betrachten. Abbildung 20 stellt nur die für die gesamte Orientierung benötigte Laufzeit gegenüber. Wir können feststellen, dass Bundler in dieser Beziehung Aurelo überlegen ist. Während Bundler für die Orientierung von 100 Kameras etwa eine Minute benötigt, dauert die Berechnung bei Aurelo 45 Minuten für den Durchlauf mit geänderter Zuordnungsstrategie und 56 Minuten für den Standarddurchlauf. Die Änderung der Zuordnungsstrategie beschleunigt den Berechungsablauf zwar, liefert aber keine vergleichbare Laufzeit zu Bundler. Planare Objektpunkte Die Abbildungen 21 und 22 auf Seite 37 zeigen die Sollergebnisse der Rekonstruktion mit der Fiktion, dass die Kameraorientierung bei allen Kameras erfolgreich war (vgl. Abbildungen 4 und 5 auf Seite 18). Wie wir bereits in Kapitel 3.1 erläutert haben ist eine Orientierung der Kameras bei planaren Objektpunkten mathematisch nicht möglich. Daher erwarten wir eigentlich einen Abbruch der Berechnungsabläufe bei beiden Programmen. Sowohl Bundler als auch Aurelo liefern allerdings für die Standarddurchläufe Ergebnisse zu beiden Datensätzen (siehe Abbildung 23 und 24). Der Durchlauf mit geänderter Zuordnungsstrategie bricht nach der Rekonstruktion von fünf Kameras ab

44 Seite 37 3 Evaluierung Abbildung 21: Soll - Datensatz MUSTER Abbildung 22: Soll - Datensatz ZUFALL Abbildung 23: Ergebnisse Aurelo - planare Objektpunkte Die linke Abbildung zeigt das Ergebnis des Standarddurchlaufs von Aurelo für den Datensatz MUSTER, die rechte Abbildung für den Datensatz ZUFALL und liefert kein visuell darstellbares Ergebnis. Obwohl Aurelo wider Erwarten nach den Standarddurchläufen Ergebnisse liefert, können wir erkennen, dass die Orientierung nicht erfolgreich war. Es wurden zwar alle Kameras rekonstruiert, allerdings sind an den Objektpunkten projektive Verzerrungen zu erkennen, die wir uns nicht erklären können (vgl. Abbildung 23). Auch die Ergebnisse von Bundler entsprechen nicht unseren Erwartungen. Für Datensatz MUSTER war die Orientierungen offensichtlich nicht erfolgreich, da auf beiden Seiten der Objektpunkte Kameras rekonstruiert wurden. Auch das Muster in dem die Objektpunkte angeordnet sind können wir uns nicht erklären. Auffällig ist, dass die Orientierung der Kameras für Datensatz ZUFALL anscheinend erfolgreich war, da die Kameras in einem Halbkreis angeordnet sind und die Objektpunkte in einer Ebene rekonstruiert wurden.

45 Seite 38 3 Evaluierung Abbildung 24: Ergebnisse Bundler - planare Objektpunkte Die linke Abbildung zeigt die Ergebnisse des Standarddurchlaufs von Bundler für den Datensatz MUSTER, die rechte Abbildung für den Datensatz ZUFALL Außer dem Durchlauf mit geänderter Zuordnungsstrategie bei Aurelo widersprechen also alle Ergebnisse unserer Behauptung. Daher sollte der Umgang mit planaren Objektpunkte näher untersucht werden um die beschriebenen Auffälligkeiten zu klären. Schleifende Schnitte Auf Grund der Vorüberlegungen in Kapitel 3.1 erwarten wir keine Probleme bei dem Durchlauf von Aurelo. Dem Ergebnisprotokoll können wir entnehmen, dass Aurelo von 245 beobachteten Objektpunkten 25 Punkte wegen schleifenden Schnitten aus der Berechnung entfernt. Allerdings zeigen die Ergebnisse in Abbildung 25 auf Seite 39 keine korrekte Rekonstruktion des Objektes. Wir können ähnlich zu den Ergebnissen bei planaren Objektpunkten (vgl. Abbildung 23 auf Seite 37) wieder projektive Verzerrungen erkennen. Die Objektpunkte waren ursprünglich auf Kreisen angeordnet. Aurelo verzerrt diese Kreise in Richtung der Kamerapositionen. Zusätzlich sind die Kreise zu den Kameras geneigt. Diese Verzerrungen entsprechen, wie bei der Untersuchung der planaren Objektpunkte, nicht unseren Erwartungen und sollten ebenso näher untersucht werden. Bundler rekonstruiert alle 245 sichtbaren Objektpunkte geometrisch korrekt. Sowohl die Aufsicht als auch die Seitenansicht zeigen keine Verzerrungen wie bei den Ergebnissen von Aurelo. Da Bundler im Gegensatz zu Aurelo hier korrekte Ergebnisse liefert, sollte die Implementierungen von Bundler im Hinblick auf eventuell vorhandene Kontrollen auf schleifende Schnitte untersucht werden.

46 Seite 39 3 Evaluierung Abbildung 25: Ergebnisse Bundler und Aurelo - schleifender Schnitt Die Abbildungen zeigen jeweils eine Aufsicht und eine Seitenansicht der rekonstruierten Objektpunkte. Die zwei Kameras sind rechts der Objektpunkte positioniert. Die linke Abbildung zeigt die Ergebnisse von Bundler, die rechte Abbildung die Ergebnisse von Aurelo

47 Seite 40 4 Zusammenfassung und Ausblick 4 Zusammenfassung und Ausblick 4.1 Zusammenfassung Das Ziel dieser Arbeit ist die Untersuchung und Bewertung der Programme Bundler und Aurelo. Hierzu haben wir zunächst in Kapitel 2 die Programmabläufe analysiert und in Kapitel 3.1 konkrete Fragestellungen formuliert, die die zu untersuchenden Aspekte darstellen sollen und nach denen die Bewertung erfolgen soll. Nach der Erzeugung geeigneter Testdaten in Kapitel 3.2 erfolgte dann die Untersuchung der Programme hinsichtlich der formulierten Fragestellungen und die Bewertung der einzelnen Ergebnisse in Kapitel 3.3. Tabelle 9 zeigt zusammenfassend die Bewertung der Programme hinsichtlich der Untersuchungsaspekte. Untersuchungsaspekt verwendete Testdaten Bundler Aurelo Amateuraufnahmen (visuelles Ergebnis) Eigene Bilder Präzision der Kameraorientierung (geometrische Vorbedingung) Drehtelleraufnahmen Präzision der Kameraorientierung (gegebene Sollwerte) Benchmarks Laufzeit synthetische Daten objektgeometrische Spezialfälle (planare Punkte) synthetische Daten ( ) ( ) objektgeometrische Spezialfälle (schleifende Schnitte) synthetische Daten Zuordnungsstrategie / initiales Bildpaar Eigene Bilder, Drehtelleraufnahmen, Benchmarks, synthetische Daten + ( ) + Tabelle 9: Bewertung der Ergebnisse der einzelnen Untersuchungsaspekte Die Symbole + und zeigen welches Programm dem anderen hinsichtlich des jeweiligen Untersuchungsaspektes überlegen oder unterlegen ist. Gleiche Symbole beschreiben identisch gute oder schlechte Ergebnisse. Eingeklammerte Symbole beschreiben Ergebnisse unter Vorbehalt. Bezüglich der Darstellung der Ergebnisse der Amateuraufnahmen ist Bundler Aurelo überlegen. Zunächst war eine Implementierung der Darstellung der Ausgabe von Aurelo in Meshlab notwendig, da die

48 Seite 41 4 Zusammenfassung und Ausblick verfügbaren Darstellungsarten von Aurelo sich nicht für derartige Untersuchungen eignen. Der Bezug zu den Originalbildern fällt hier schwer und Objektdetails sind nicht zu erkennen. Der Vergleich in Meshlab zeigt schließlich, dass Bundler eine detailliertere Rekonstruktion der Objekte liefert und auch der Hintergrund besser dargestellt wird. Die Präzision der Kameraorientierung wurde hinsichtlich zweier verschiedener Vorgaben bewertet. Im Vergleich zu einer geforderten geometrischen Anordnung der Projektionszentren liefern beide Programme etwa gleich gute Ergebnisse. Hier sind keine signifikanten Vorteile eines Programms zu erkennen. Der Soll-Ist-Vergleich zwischen den Sollwerten der Benchmarks und der Kameraorientierung der Programme zeigt eine deutlich höhere Präzision bei Aurelo. Das Vorgehen und die Berechnungen in der Bündelausgleichung sind bei Aurelo darauf ausgelegt eine möglichst hohe Präzision zu erzielen. Der hierfür betriebene Aufwand in Form von Iterationsschleifen und zusätzlichen Tests zur Optimierung schlägt sich zwar deutlich in der Laufzeit nieder, wird aber durch die im Vergleich zu Bundler erreichte Präzision gerechtfertigt. Die Ergebnisse der Laufzeituntersuchungen zeigen erhebliche Vorteile bei Bundler. Die Orientierung der Kameras und die Rekonstruktion des Objekts erfolgt hier wesentlich schneller, was allerdings die erreichbare Genauigkeit verringert. Die Untersuchungen bezüglich objektgeometrischer Spezialfälle liefern Ergebnisse, die von uns nicht erwartet wurden und die auch nicht ohne weitere Untersuchungen erklärt werden können. Deshalb können wir hier nur unter Vorbehalt eine Bewertung abgeben. Die Möglichkeit bei Aurelo die Zuordnungsstrategie zu ändern stellt einen großen Vorteil gegenüber Bundler dar. Verhindern Fehler in der Zuordnung der detektierten Lowe-Punkte eine korrekte Rekonstruktion, kann dies durch die Änderung der Zuordnungsstrategie umgangen werden. Auch die zusätzlichen Tests bei der Wahl des initialen Bildpaares bei Aurelo sind ein Grund für die höhere Präzision der Ergebnisse. Die Durchläufe von Bundler unter Verwendung des von Aurelo ermittelten initialen Bildpaares liefern bessere Ergebnisse als die Durchläufe mit standardmäßig gewähltem Bildpaar. Unsere Untersuchungen erlauben keine pauschale Aussage über die Qualität von Bundler und Aurelo. Wir können festhalten, dass Aurelo für Anwendungen mit hohen Präzisionsanforderungen an die Kameraorientierung besser geeignet ist als Bundler. Für große Datensätze, in denen eine gute Visualisierung des Objektes im Vordergrund steht und die als Grundlage für weitere SfM-Prozesse dienen, ist Bundler auf Grund der geringen Laufzeit und der detaillierten Objektrekonstruktion die bessere Wahl.

49 Seite 42 4 Zusammenfassung und Ausblick 4.2 Ausblick Eine sinnvolle Ergänzung unserer empirischen Untersuchungen stellt die Analyse der Implementierungen von Bundler und Aurelo dar. Speziell die signifikanten Unterschiede in den benötigten Rechenzeiten und die unerwarteten Ergebnisse bei planaren Objektpunkten und schleifenden Schnitten können ohne eine solche ergänzende Analyse nicht vollständig geklärt werden. Die für unsere Tests generierten synthetischen Daten haben den Vorteil, dass hier gezielt objektgeometrische Spezialfälle simuliert werden können. Der Nachteil ist der fehlende Bezug zu realen Bildern. Die Ergebnisse unserer Untersuchungen bezüglich dieser Spezialfälle sind schwer interpretierbar, da hier Bildinformationen wie bei dem Vergleich der Amateuraufnahmen fehlen. Die Rekonstruktion dieser Spezialfälle mit realen Aufnahmen sollte zusätzlich zu den ergänzenden Untersuchungen der Implementierung auch eine verbesserte visuelle Analyse ermöglichen. Das von uns implementierte Matlab-Skript writeply.m zur Darstellung der Ergebnisse von Aurelo bietet die Grundlage für eine praktikable Erweiterung von Aurelo. Eine Optimierung dieses Skripts und die Integration in den Programmablauf von Aurelo kann die Ergebnisdarstellung und damit die Interpretation der Ergebnisse erheblich verbessern. Unser Vergleich zwischen Bundler und Aurelo beschränkt sich auf die Untersuchung der Programmergebnisse. Da die Ausgabe von Aurelo zusätzliche Informationen bezüglich der Genauigkeiten der Bündelausgleichungen enthält, sollte auch für Bundler die Möglichkeit der Erzeugung dieser Genauigkeitsinformationen während des Programmablaufs geprüft werden. Der Soll-Ist-Vergleich zu den Sollwerten der Benchmarks zeigt zwar eine niedrigere Präzision bei Bundler, die Gründe hierfür können aber der verfügbaren Ausgabe allein nicht entnommen werden. Der Zusammenhang zwischen benötigter Rechenzeit und erreichbarer Präzision könnte so ebenfalls genauer untersucht werden.

50 Seite 43 Literatur Literatur [Abraham u. Hau 97] ABRAHAM, S. ; HAU, T.: Towards Autonomous High-Precision Calibration of Digital Cameras. In: Proceedings of SPIE Annual Meeting, 97, S [Faugeras 1993] FAUGERAS, O.: Three-Dimensional Computer Vision, A Geometric Viewpoint. MIT- Press, 1993 [Fischler u. Bolles 1981] FISCHLER, M.A. ; BOLLES, R.C.: Random sample consensus: A paradigm for model fitting with applications to image analysis and automated cartography. In: Communications of the ACM 24 (1981), S [Hartley u. Zisserman 2003] HARTLEY, R. ; ZISSERMAN, A.: Multiple View Geometry in Computer Vision. Cambridge University Press, 2003 [Läbe u. Förstner 2006] LÄBE, T. ; FÖRSTNER, W.: Automatic relative orientation of images. In: Proceedings of the 5th Turkish-German Joint Geodetic Days (2006) [Lourakis u. Argyros 2009] LOURAKIS, M.I.A. ; ARGYROS, A.A.: SBA: A software package for generic sparse bundle adjustment. In: ACM Transactions on Mathematical Software (TOMS) 36 (2009), S. 2 [Lowe 2004] LOWE, D.G.: Distinctive Image Features from Scale-Invariant Keypoints. In: International Journal of Computer Vision (2004), S. 28 [Nister 2004] NISTER, D.: An efficient solution to the five-point relative pose problem. In: Pattern Analysis and Machine Intelligence, IEEE Transactions on 26 (2004), S [Pollefeys 1999] POLLEFEYS, M.: SelfCalibration and Metric Reconstruction in spite of Varying and Unknown Intrinsic Camera Parameters. In: International Journal of Computer Vision (1999) [Snavely u. a. 2009] SNAVELY, N. ; AGARWAL, S. ; SIMON, I. ; SEITZ, S.M. ; SZELISKI, R.: Building Rome in a Day. In: International Conference on Computer Vision, 2009 [Snavely u. a. 2006] SNAVELY, N. ; SEITZ, S.M. ; SZELISKI, R.: Photo tourism: Exploring photo collections in 3D. In: ACM SIGGRAPH 2006 Papers, 2006 [Snavely u. a. 2008] SNAVELY, N. ; SEITZ, S.M. ; SZELISKI, R.: Modeling the world from internet photo collections. In: International Journal of Computer Vision 80 (2008), S

51 Seite 44 Abbildungsverzeichnis Abbildungsverzeichnis 1 Ablaufdiagramm Bundler und Aurelo d-Objekt für Laufzeittests Objektpunkte mit 50 Kameras für Laufzeittests Planare Punkte - Datensatz MUSTER Planare Punkte - Datensatz ZUFALL Schleifende Schnitte - Datensatz SCHNITT Ergebnisse - Datensatz TREPPE Ergebnisse - Datensatz SÄULE Ergebnisse - Datensatz PRISMA Ergebnisse Drehtelleraufnahmen - Datensatz QUADER Ergebnisse Drehtelleraufnahmen - Datensatz HOLZ Mittlere euklidische Distanz für alle Datensätze Mittlere absolute Abweichung der Aufnahmerichtung alle Datensätze Soll-Ist-Vergleich der Projektionszentren für Datensatz CASTLE Soll-Ist-Vergleich der Aufnahmerichtungen für Datensatz CASTLE Soll-Ist-Vergleich der Projektionszentren für Datensatz FOUNTAIN Soll-Ist-Vergleich der Aufnahmerichtungen für Datensatz FOUNTAIN Soll-Ist-Vergleich der Projektionszentren für Datensatz HERZJESU-LARGE Soll-Ist-Vergleich der Aufnahmerichtungen für Datensatz HERZJESU-LARGE Laufzeit gesamte Orientierung Soll - Datensatz MUSTER Soll - Datensatz ZUFALL Ergebnisse Aurelo - planare Objektpunkte Ergebnisse Bundler - planare Objektpunkte Ergebnisse Bundler und Aurelo - schleifender Schnitt

52 Seite 45 Tabellenverzeichnis Tabellenverzeichnis 1 Übersicht erzeugter Datenmengen der Programme Übersicht eigener Datensätze Übersicht Drehtelleraufnahmen Übersicht Datensätze Benchmarks Ergebnisse der Drehtelleraufnahmen bezogen auf einen Radius von 54cm Ergebnisse Laufzeittests Datensatz 1-25 KAMERAS, 500 OBJEKTPUNKTE Ergebnisse Laufzeittests Datensatz 2-50 KAMERAS, 500 OBJEKTPUNKTE Ergebnisse Laufzeittests Datensatz KAMERAS, 500 OBJEKTPUNKTE Zusammenfassende Bewertung der Ergebnisse der einzelnen Untersuchungen

53 Seite 46 A Oberseminar A Oberseminar

54 Vergleich der beiden Programme Bundler und Aurelo zur automatischen Kameraorientierung Rheinische Friedrich-Wilhelms-Universität Bonn Landwirtschaftliche Fakultät, Institut für Geodäsie und Geoinformation Professur für Photogrammetrie Hausarbeit zum Oberseminar der Bachelorarbeit Florian Zimmermann Matrikelnummer: Dezember 2010 Prof. Wolfgang Förstner Betreuer: Dipl.Ing. Falko Schindler

55 Seite 2 Inhaltsverzeichnis Inhaltsverzeichnis 1 Einleitung 3 2 Beschreibung der Programme Bundler und Aurelo Detektion der Lowe-Punkte / Matching Näherungswertbestimmung für die Bündelausgleichung SBA und Optimierung Methodik und Arbeitsprogramm Datengenerierung Analyse Literaturverzeichnis 10

56 Seite 3 1 Einleitung 1 Einleitung Die Entwicklung des Sift-Keypoint-Detectors [Lowe, 2004] und des 5-Punkte-Algorithmus [Nister, 2004] im Jahr 2004 gab am Institut für Photogrammetrie der Universität Bonn den Anstoß zur Entwicklung eines Programms zur vollautomatischen Kameraorientierung. Die vollautomatische Kameraorientierung dient der Bestimmung der Parameter der inneren und äußeren Orientierung einer Kamera aus zugehörigem Bildmaterial. Hierzu müssen in einem ersten Schritt, zwischen den an verschiedenen Standpunkten aufgenommenen Bildern, Verknüpfungspunkte in den Bildern detektiert werden, um diese dann zuordnen zu können. Hierzu standen vor der Entwicklung von Sift schon andere Operatoren, wie zum Beispiel der Förstner-Operator [Förstner u. Gülch, 1987], zur Verfügung. Da der Sift-Keypoint-Detector jedoch skalen- und rotationsinvariant ist, ist er für diese Aufgabenstellung anderen Operatoren überlegen und war damit am besten geeignet. Mit dem sehr schnellen 5-Punkte-Algorithmus war nun auch eine effiziente Bestimmung der Näherungswerte für die benötigte Bündelausgleichung möglich. In der Bündelausgleichung (Sparse-Bundle-Adjustment)[Lourakis u. Argyros, 2009] werden schließlich auf Grundlage der Kollinearitätsgleichung die Parameter der inneren und äußeren Kameraorientierung, sowie die Koordinaten der Objektpunkte geschätzt. Das Programm Aurelo [Läbe u. Förstner, 2006] ist das Ergebnis dieser Entwicklung und stellt zusammen mit Bundler [Snavely u. a., 2006; 2008] zwei Beispiele für eine Realisierung eines Programms zur automatischen Kameraorientierung auf Grundlage der oben genannten Algorithmen dar. Es exsitiert eine Vielzahl an weiteren Programmen, die sich mit den gleichen oder ähnlichen Aufgabenstellungen beschäftigen. Wir werden in der Bachelorarbeit eine detailliertere Auflistung und Gegenüberstellung einiger Programme vornehmen, uns jedoch jetzt auf Bundler und Aurelo beschränken, da sie Gegenstand der Untersuchungen sein sollen. Die Aufgabenstellung dieser Bachelorarbeit ist ein Vergleich der beiden Programme unter verschiedenen Aspekten. Beide Programme sollen unter anderem im Hinblick auf ihre Abläufe, die Richtigkeit der Ergebnisse, die benötigte Rechenzeit und ihre Handhabung untersucht werden. Eine Aussage über die Vor- und Nachteile von Bundler und Aurelo ist ebenso ein Ziel dieser Arbeit, wie auch eine Entscheidungshilfe, welches Programm, bei welchen zu Grunde liegenden Datensätzen am besten für eine automatische Kameraorientierung geeignet ist. Den ersten Schritt der Analyse stellt der Entwurf eines geeigneten Auswertekonzepts dar, welches eine Untersuchung und einen anschließenden Vergleich beider Programme im Hinblick auf diese Schwerpunkte erlauben soll. Im weiteren soll das Konzept durch die Generierung der benötigten Daten, der Implementierung von notwendigen Routinen und der Untersuchung der erhaltenen Ergebnisse realisiert werden.

57 Seite 4 2 Beschreibung der Programme Bundler und Aurelo Das Oberseminar wurde daher genutzt, um sich vertieft mit beiden Programmen vertraut zu machen und die jeweiligen Berechnungsabläufe der Kameraorientierung nachzuvollziehen. Im Anschluss daran sind nun Überlegungen möglich, mit welchen Daten sich beide Programme effizient untersuchen lassen und wie diese zu generieren sind (siehe Kapitel 3.1). Die aus den generierten Testdaten gelieferten Ergebnisse beider Programme sind, neben den Untersuchungen bezüglich Handhabung und Funktionalität, Inhalt der abschließenden Analyse und sollen schließlich den Vergleich beider Programme und eventuell auch eine Bewertung ermöglichen (siehe Kapitel 3.2). 2 Beschreibung der Programme Bundler und Aurelo Das frei zugängliche Programm Bundler [Snavely u. a., 2006; 2008] wurde an der Universität Washington entwickelt und dient der vollautomatischen Berechnung der Kameraorienierung und der 3D-Rekonstruktion der Objektgeometrie aus einer ungeordneten Sammlung von Bildern. Bundler ist in C und C++ geschrieben und benötigt eine Installation unter Linux oder einer Linuxumgebung. Die Steuerung erfolgt direkt über die Konsole. Aurelo wurde an der Professur für Photogrammetrie der Universität Bonn [Läbe u. Förstner, 2006] entwickelt und ist weiterhin ein Forschungsbereich auf dem Gebiet der vollautomatischen Kameraorientierung. Aurelo ist primär in Matlab geschrieben, enthält aber auch Implementierungen in C (SIFT-Keypoint-Detector [Lowe, 2004] und Matching-Algorithmus). Die Installation kann sowohl unter Linux als auch unter Windows erfolgen. Zur Steuerung des Programms steht eine implementierte Benutzeroberfläche zur Verfügung, wobei auch der direkte Aufruf in anderen Matlab-Programmen möglich ist. Das Grundkonzept beider Programme ist sehr ähnlich und besteht im wesentlichen aus den folgenden drei Punkten: 1. Detektion der Lowe-Punkte und Matching 2. Näherungswertbestimmung für die Bündelausgleichung 3. SBA und Optimierung Im Folgenden werden wir nun die drei Schritte näher erläutern und die Unterschiede zwischen beiden Programmen darstellen.

58 Seite 5 2 Beschreibung der Programme Bundler und Aurelo 2.1 Detektion der Lowe-Punkte / Matching Als Input für den Berechnungsablauf beider Programme dienen die Bilder. Im Gegensatz zu Bundler ist bei Aurelo die Kenntnis der Kamerakonstante der verwendeten Kamera für die weiteren Berechnungen notwendig und muss zusätzlich als Input zur Verfügung gestellt werden. Bundler verfügt hier über eine Möglichkeit die Kamerakonstante aus den EXIF-Daten der Bilder [JEITA, 2010] zu entnehmen. Sind keine EXIF-Daten vorhanden, wird eine vorgefertigte Liste mit Kameratypen nach den entsprechenden Werten durchsucht. Nach dem Input werden mittels des SIFT-Keypoint-Detectors [Lowe, 2004] die Lowe-Punkte in den Bildern gesucht und anschließend erfolgt das Matching zwischen allen Bildpaaren. Während Bundler ein Matching zwischen allen Bildpaaren vornimmt, besteht bei Aurelo die Möglichkeit zwischen verschiedenen Matching-Strategien zu wählen. So kann neben dem Matching aller Bildpaare auch eine Strategie für sehr große Datensätze, die als Bildsequenzen oder Bildblöcke angeordnet sind, gewählt werden. Hier wird nur ein Matching der benachbarten Bilder durchgeführt wird, um die benötigte Rechenzeit zu verringern. Auch eine spezielle Strategie für Bildschleifen steht zur Auswahl um ein eventuell fehlerhaftes Matching zu vermeiden. 2.2 Näherungswertbestimmung für die Bündelausgleichung Die Bestimmung der Parameter der unbekannten Kameraorientierung und die 3D-Position der Objektpunkte erfolgt in beiden Programmen über eine Bündelausgleichung (Sparse Bundle Adjustment) [Lourakis u. Argyros, 2009]. Zur Berechnung der hierzu benötigten Näherungswerte wird bei Bundler ein inkrementeller Ansatz gewählt. Das bedeutet, dass zunächst die Parameter eines einzelnen Bildpaares über den 5-Punkte-Algorithmus von Nister [Nister, 2004] bestimmt werden. Die Auswahl dieses initialen Bildpaares geschieht in einer RANSAC-Prozedur [Fischler u. Bolles, 1981]. Gesucht wird hier das Bildpaar, das eine einzelne Homographie zwischen den Bildern am wenigsten unterstützt, um Extremfälle wie inzidente Kameras zu vermeiden. Mit den berechneten Näherungswerten werden schließlich die Kameraparameter und über Triangulation die 3D-Objektkoordinaten bestimmt. Aurelo berechnet in einem ersten Schritt die relativen Orientierungen zwischen den Bildpaaren. Dies erfolgt in einer RANSAC-Prozedur mit dem 5-Punkte-Algorithmus. Vor der eigentlichen Bündelausgleichung werden die Ergebnisse der relativen Orientierung durch einen Bild- Triple-Test validiert. Hier wird geprüft, ob für ein Bild-Tripel das Produkt der drei Rotationsmatrizen der Einheitsmatrix entspricht und ob die drei Basisvektoren koplanar sind. Eine gescheiterte Validierung trifft allerdings noch keine Aussage darüber, welche der relativen Orien-

59 Seite 6 2 Beschreibung der Programme Bundler und Aurelo tierungen nicht korrekt ist, weshalb durch einen Vergleich mit vorherigen Tripel-Tests, in denen die fraglichen Orientierungen enthalten waren, versucht wird diese Fragestellung zu klären. Für die nachfolgende Bündelausgleichung wird das Datum in dem Bildpaar gelagert, welches die besten Ergebnisse in der Validierung liefert und eine große Anzahl an Korrespondenzen aufweist. Die Bestimmung der Näherungswerte für die 3D-Punkte erfolgt mittels Triangulation. 2.3 SBA und Optimierung Bundler fügt nun eine weitere Kamera in die Berechnung ein und bestimmt mittels Direkter Linearer Transformation (DLT) in einer RANSAC-Prozedur die Orientierung dieser Kamera. In einer SBA werden anschließend die zuvor bestimmten Kameraparameter optimiert und die Koordinaten der von der Kamera beobachteten Objektpunkte berechnet. Diese Prozedur wird solange wiederholt, bis alle Kameras bearbeitet wurden. Bei Aurelo wird sukzessive dasjenige Bild zugefügt, das bei der relativen Orientierung eine große Überlappung mit mindestens zwei Bildern aufweist um den Massstab der relativen Orientierungen zu übertragen. Dieser Vorgang wird ebenfalls solange wiederholt, bis alle Bilder bearbeitet wurden, oder kein weiteres Bildpaar mehr in die Bündelausgleichung integriert werden kann. Die SBA erfolgt hier in in einer Iterationsschleife, in der zur Optimierung der Ergebnisse, die größten Residuen in der Ausgleichung heruntergewichtet werden. In einem letzten Schritt wird bei beiden Programmen zur Optimierung nochmals eine globale Bündelausgleichung mit allen integrierten Bildern vorgenommen. Beider Programme stellen schließlich als Output die berechneten Kameraorientierungen und die 3D-Objektkoordinaten zur Verfügung. Aurelo bietet einen zusätzlichen Output der erreichten Genauigkeiten der Orientierungen an. Nachdem wir nun die Unterschiede in den Abläufen beider Programme kennen, muss ein Konzept entwickelt werden, wie die Analyse beider Programme vorzunehmen ist. Da beide Programme die gleiche Implementierung des Sift-Keypoint-Detectors nutzen, ist hier eine Untersuchung der Detektion selbst nicht notwendig, sondern lediglich der Umgang mit den Ergebnissen der Detektion. Die Vorgehensweise beider Programme beim Matching der Bilder unterscheidet sich je nach Wahl der Matching-Strategie bei Aurelo. Hier sollte also ein Vergleich vorgenommen werden, um etwaige Vorteile einer Auswahl an verschiedenen Matching- Strategien zu prüfen. Die größten Unterschiede liegen in der Näherungswertbestimmung und der Bündelausgleichung. Daher sollte auch ein Schwerpunkt der Analyse auf diesen beiden Punkten liegen.

60 Seite 7 3 Methodik und Arbeitsprogramm 3 Methodik und Arbeitsprogramm Die Untersuchung der Programme Bundler und Aurelo soll empirisch unter Verwendung von verschiedenem Bildmaterial erfolgen. Um eine effiziente Untersuchung zu gewährleisten gliedern wir die weitere Vorgehensweise in die Arbeitsschritte Datengenerierung und Analyse. 3.1 Datengenerierung Das Kapitel Datengenerierung beschäftigt sich mit der Fragestellung, welche Art von Bildern oder Bildmaterial Gegenstand der Analyse der beiden Programme sein soll und wie diese bereitzustellen sind. Wie bereits in Kapitel 2 gezeigt wurde, unterscheiden sich die Programme innerhalb ihrer Abläufe. Daraus folgt, dass für die Untersuchungen Bildmaterial verwendet werden soll, dass speziell die unterschiedlichen Vorgehensweisen der Programme testet. Eine Analyse des Matching werden wir anhand von sehr großen Datensätzen oder Bildschleifen vornehmen, da wir hier, auf Grund der in 2.1 gewonnenen Erkenntnisse, deutliche Unterschiede in den Ergebnissen erwarten können. Den signifikantesten Unterschied zwischen den Programmabläufen stellt die Art und Weise der Näherungswertbestimmung (siehe Kapitel 2.2) dar. Dies wird somit einer der Schwerpunkte unserer Analyse sein und soll zum Beispiel durch Verwendung von Bildmaterial mit schleifenden Schnitten oder strukturarmen Objekten untersucht werden. Der nächste weitere Schritt in der Bearbeitung der Bachelorarbeit wird also die Generierung und Zusammenstellung der unten aufgeführten Testdatensätze sein. Benchmarks Benchmarks nutzen im Internet frei zugängliche Bilddaten, zu denen Werte für Kameraorientierungen und 3D-Objektkoordinaten bereitgestellt werden. Diese Datensätze sind unter anderem sehr groß und bieten auf Grund der zusätzlich bereitgestellten Daten die Möglichkeit eines Vergleichs der Ergebnisse beider Programme mit den vorgegebenen Daten. Synthetische Daten Synthetische Bilddaten haben den Vorteil, dass mit ihnen gezielt Schwachstellen der Programme gesucht werden können. Wir werden also mit Matlab Bildmaterial generieren, dass zum Beispiel aus einer sehr großen Anzahl an Bildern besteht, um die Programme auf die benötigte Rechenzeit zu testen. Weiterhin können wir auch Bilder mit schleifenden Schnitten, oder wiederkehrenden Mustern erzeugen, was sowohl das Matching, als auch die Näherungswertbestimmung erschweren sollte. Da die von Bundler benutzte DLT anfällig gegenüber nahezu planaren Objektpunkten ist, werden wir auch hierfür entsprechende Bilder

61 Seite 8 3 Methodik und Arbeitsprogramm erzeugen. Neben der Simulation von schwierigen objektgeometrischen Bedingungen besteht hier außerdem die Möglichkeit Bilder mit unterschiedlichen Bildqualitäten zu versehen. Die synthetische Datengenerierung liefert uns zusätzlich zu den verschiedenen Datensätzen auch Sollwerte für die Kameraorientierung. Daher sollte auch hier ein Vergleich der Ergebnisse beider Programme mit den vorgegebenen Werten möglich sein. Manuell erzeugtes Bildmaterial Die manuelle Erzeugung von Bildmaterial dient dazu, die Programme auf ihre Anwendbarkeit im täglichen Gebrauch zu testen. Hierzu soll sowohl mit normalen Consumer-Digitalkameras, als auch mit handelsüblichen Fotohandys Bildmaterial erzeugt werden. Wir werden den Programmen als Input Bilder von Gebäuden, Statuen oder Ähnlichem zur Verfügung stellen um ihren Umgang mit Amateurbildern zu untersuchen. Photogrammetrische Spezialfälle, wie sie gezielt in den synthetischen Daten generiert werden, stehen hier also eher im Hintergrund. 3.2 Analyse Die Analyse der Ergebnisse beider Programme stellt den zweiten großen Arbeitschritt dar. Die Art der Analyse hängt zum einen von dem Bildmaterial ab, welches als Input für die Programme gewählt wurde und zum anderen vom Output der Programme. Um für alle interessanten Aspekte einen sinnvollen Vergleich durchzuführen, müssen wir zunächst sicherstellen, dass alle Tests zu gleichen Bedingungen stattfinden. Das bedeutet, dass wir für die jeweiligen Untersuchungen gleiche Bildgrößen verwenden werden und auch jeder Test auf dem gleichen Computersystem erfolgen muss. Auf Grund der Vielseitigkeit der in Kapitel 3.1 genannten Datensätze steht uns eine große Anzahl an Analysemöglichkeiten zur Verfügung. Bei Verwendung der Benchmarks und der synthetischen Daten als Input, sollte uns ein Soll- Ist-Vergleich zwischen den vorgegebenen Daten für die Kameraorientierung und den von den Programmen berechneten Werten möglich sein. Sowohl Bundler als auch Aurelo stellen diese Werte in ihrem Output zur Verfügung. Da Aurelo zusätzlich die Genauigkeiten der Orientierungen berechnet, werden wir für Aurelo auch so eine Bewertung der Ausgleichungsergebnisse vornehmen können. Der Output von Bundler enthält ply-dateien, die mit einem Grafikprogramm wie Meshlab eine visuelle Betrachtung der Ergebnisse ermöglichen. Aurelo bietet ebenfalls eine direkte Betrachtung an, weshalb auch ein visueller Vergleich der Ergebnisse eine Option darstellt. Speziell bei der Analyse der Ergebnisse aus manuell erzeugten Bilddaten wird diese Art des Vergleichs

62 Seite 9 3 Methodik und Arbeitsprogramm Anwendung finden, da uns hier ein Soll-Ist-Vergleich nicht möglich ist. Die Darstellungsarten in Meshlab und einem Matlab-Plot unterscheiden sich jedoch stark. Deshalb sollte ein Versuch einer Überführung der Output-Dateien in ein für Matlab oder Meshlab passendes Dateiformat unternommen werden, um den visuellen Vergleich mit dem gleichen Programm durchführen zu können. Um das Laufzeitverhalten beider Programme zu testen, werden wir mit beiden Programmen große Datensätze auf sehr leistungsstarken Rechnern bearbeiten. Erste Probeläufe mit größeren Bildmengen haben gezeigt, dass bei schwächerer Rechnerleistung beide Programme schnell an ihre Grenzen stoßen. Beide Programme geben für Teile der einzelnen Arbeitsschritte (siehe Kapitel 2) Laufzeiten an. Daher werden wir versuchen auch für diese Schritte Unterschiede in der jeweils benötigten Rechenzeit zu bestimmen. Für Bundler stehen uns zusätzliche Optionen zur Verfügung, die vor der Ausführung des Programms gewählt werden können. Eine Option stellt die Vorgabe des initialen Bildpaares dar, welches für die Kameraorientierung verwendet werden soll. Da wir dem Ausgabeprotokoll von Aurelo das hier verwendete initiale Bildpaar entnehmen können, bietet es sich an, bei Bundler das gleiche Bildpaar zu verwenden, um die Auswirkung dieser Wahl auf das Ausgleichungsergebnis zu überprüfen. Kriterien für eine Bewertung der Programme werden also, neben der korrekten Bearbeitung der Bilder, die Umsetzung der SIFT- und Matching-Ergebnisse, die Qualität der Bündelausgleichung, die benötigte Rechenzeit, die Funktionalität im alltäglichen Gebrauch und die Handhabung selbst sein. Abbildung 1 zeigt den vorgesehenen Zeitplan für die Bachelorarbeit. Die in den Kapiteln 3.1 und 3.2 beschriebenen Aufgaben sollen also in diesen Zeiträumen umgesetzt werden. Die Zeiträume für die Datengenerierung und für die Analyse überschneiden sich hier. Wir müssen davon ausgehen, dass Ergebnisse der Analyse eine zusätzliche Datengenerierung verlangen werden, um Auffälligkeiten oder Probleme gezielter untersuchen zu können. Die Phase Ausarbeitung soll nur die formale Anfertigung der Arbeit beinhalten, da alle inhaltlichen Aspekte bis zum Beginn der Ausarbeitung komplett bearbeitet und abgeschlossen sein sollen. Abbildung 1: Zeitplan der Bachelorarbeit

63 Seite 10 Abbildungsverzeichnis Literatur [Fischler u. Bolles 1981] FISCHLER, M.A. ; BOLLES, R.C.: Random sample consensus: A paradigm for model fitting with applications to image analysis and automated cartography. In: Communications of the ACM 24 (1981), S [Förstner u. Gülch 1987] FÖRSTNER, W. ; GÜLCH, E.: A Fast Operator for Detection and Precise Location of Distinct Points, Corners and Centers of Circular Features. In: Proceedings of the ISPRS Intercommission Workshop on Fast Processing of Photogrammetric Data, 1987, S [JEITA 2010] JEITA: Exchangeable image file format for digital still cameras: Exif Unified Version [Läbe u. Förstner 2006] LÄBE, T. ; FÖRSTNER, W.: Automatic relative orientation of images. In: Proceedings of the 5th Turkish-German Joint Geodetic Days (2006) [Lourakis u. Argyros 2009] LOURAKIS, M.I.A. ; ARGYROS, A.A.: SBA: A software package for generic sparse bundle adjustment. In: ACM Transactions on Mathematical Software (TOMS) 36 (2009), S. 2 [Lowe 2004] LOWE, David G.: Distinctive Image Features from Scale-Invariant Keypoints. In: International Journal of Computer Vision (2004), S. 28 [Nister 2004] NISTER, David: An efficient solution to the five-point relative pose problem. In: Pattern Analysis and Machine Intelligence, IEEE Transactions on 26 (2004), S [Snavely u. a. 2006] SNAVELY, N. ; SEITZ, S.M. ; SZELISKI, R.: Photo tourism: exploring photo collections in 3D. In: ACM SIGGRAPH 2006 Papers, 2006 [Snavely u. a. 2008] SNAVELY, N. ; SEITZ, S.M. ; SZELISKI, R.: Modeling the world from internet photo collections. In: International Journal of Computer Vision 80 (2008), S Abbildungsverzeichnis 1 Zeitplan der Bachelorarbeit

64 Seite 57 B Liste der verwendeten Matlab-Skripte B Liste der verwendeten Matlab-Skripte Matlab-Skript comparerottostrecha.m comparetocircle.m comparetostrecha.m evalcamparam_circle.m evalimagecoord.m extractcamparam.m matchingimages.m plot_cameras.m prepareperformancetestdata.m prepareprograminput.m readcamparam.m trafo.m writebundlertxtfiles.m writekey.m writeply.m Beschreibung Berechnung der Differenz der Aufnahmerichtungen zwischen den Sollwerten der Benchmarks und den Istwerten von Bundler und Aurelo Berechnung der Abweichung der Projektionszentren von berechnetem Sollkreis bei den Drehtelleraufnahmen Berechnung der euklidischen Distanz zwischen Sollpositionen der Kameras der Benchmarks und den Istpositionen der Kameras von Bundler und Aurelo Berechnung der Orientierungsparameter der synthetisch erzeugten Kameras Berechnung der Bildkoordinaten der von den sythetisch erzeugten Kameras beobachteten Objektkoordinaten Extrahieren der berechneten Orientierungsparameter der Kameras aus der Ausgabe von Bundler Zuordnung der Bilder anhand der synthetischen Bildkoordinaten und Schreiben der matching-files für die Eingabe der Programme Plot der synthetisch generierten Kameras mit lokalem Kamerakoordinatensystem und Kameraobjekt Berechnung des benötigten Abstandes der synthetischen Kameras zu Aufnahmeobjekt und Erstellung des Aufnahmeobjekts Zusammenstellung der benötigten Eingabedateien für jedes Programm Einlesen der Sollwerte der Kameraorientierung der Benchmarks 7-Parameter-Transformation der von Bundler und Aurelo orientierten Kameras auf die Sollwerte der Benchmarks Schreiben der benötigten TXT-Files für die Bearbeitung der synthetischen Daten Schreiben der key-dateien der synthetischen Daten für Bundler und Aurelo Schreiben einer ply-datei für die Darstellung der von Aurelo rekonstruierten Kameras und 3D- Objektpunkte in Meshlab

65 Seite 58 C Plakative Darstellung C Plakative Darstellung

66 Vergleich der Programme Bundler und Aurelo zur automatischen Kameraorientierung Bachelorarbeit von Florian Zimmermann Motivation Bundler... an der Universität Washington entwickelte frei verfügbare Structure from Motion Software Aurelo... Eigenentwicklung der Professur für Photogrammetrie der Universität Bonn Ähnliches Grundkonzept und Verwendung gleicher Grundlagen Ergebnisse visueller Vergleich Datensatz Treppe Detailliertere Objektrekonstruktion bei Bundler (mitte) Ergänzende Implementierung dieser Darstellungsart bei Aurelo notwendig (rechts) Ergebnisse Soll-Ist-Vergleich zu Benchmarks Ziele: 1. Empirische Untersuchung und Bewertung der Programme nach Funktionalität und Handhabung Qualität der Ergebnisse Rechenzeit 2. Vergleich als Entscheidungshilfe, welches Programm für welche Daten am besten geeignet ist Konzept 1. Detaillierte Analyse der Programmabläufe Gemeinsamkeiten und Unterschiede Konkretisierung der Untersuchungsgegenstände 2. Generierung geeigneter Testdaten Selbst erstellte Aufnahmen zur Analyse des Umgangs mit Amateuraufnahmen Benchmarks Bereitstellung von Sollwerten für Orientierungsparameter Drehtelleraufnahmen vorgegebene geometrische Anordnung der Kameras synthetisch generierte Daten Erzeugung beliebig großer Datensätze 3. Evaluierung Laufzeittests mit synthetisch generierten Daten visueller Vergleich der Ergebnisse der Amateuraufnahmen Soll-Ist-Vergleich der Ergebnisse der Benchmarks und der Drehtelleraufnahmen Ergebnisse der Laufzeittests wesentlich geringere Laufzeiten bei Bundler Datensatz Herzjesu - Euklidische Distanz zwischen Soll- und Ist- Projektionszentren Höhere Präzision der Ergebnisse von Aurelo durch zusätzliche Tests und Optimierungsschritte Verbesserung der Präzision der Ergebnisse von Bundler durch Verwendung des von Aurelo gewählten initialen Bildpaares Zusammenfassung Bundler... Vorteile bei Objektrekonstruktion, Ergebnisdarstellung und Laufzeit Bundler... geeignete Wahl bei großen Datensätzen und bei Vorarbeiten für weiterführende Structure from Motion Anwendungen Aurelo... Vorteile bei Präzision, Wahl des initialen Bildpaares und Änderung der Zuordnungsstrategie Aurelo... geeignete Wahl bei Anwendungen mit hohen Genauigkeitsanforderungen Literatur [1] Snavley u.a. Photo tourism: Exploring photo collections in 3D. In: ACM SIGGRAPH 2006 Papers, [2] Läbe u. Förstner Automatic relative orientation of images. In: Proceedings of the 5th Turkish-German Joint Geodetic Days (2006). Universität Bonn Institut für Geodäsie und Geoinformation Professur für Photogrammetrie Nußallee 15, Bonn mail.fzimmermann@web.de