Implementierung und Evaluierung einer gradientbasierten Methode für das 3D Model Retrieval

Transkript

1 Implementierung und Evaluierung einer gradientbasierten Methode für das 3D Model Retrieval Implementation and Evaluation of a gradient-based method for 3D Model Retrieval Bachelor-Thesis von Michael Walter Fachbereich Informatik Grafisch-Interaktive Systeme

2 Implementierung und Evaluierung einer gradientbasierten Methode für das 3D Model Retrieval Implementation and Evaluation of a gradient-based method for 3D Model Retrieval Vorgelegte Bachelor-Thesis von Michael Walter. Gutachten: Prof. Dr. Dieter W. Fellner 2. Gutachten: - Tag der Einreichung:

3 Erklärung zur Bachelor-Thesis Hiermit versichere ich, die vorliegende Bachelor-Thesis ohne Hilfe Dritter nur mit den angegebenen Quellen und Hilfsmitteln angefertigt zu haben. Alle Stellen, die aus Quellen entnommen wurden, sind als solche kenntlich gemacht. Diese Arbeit hat in gleicher oder ähnlicher Form noch keiner Prüfungsbehörde vorgelegen. Darmstadt, den 30. Januar 202 (Michael Walter)

4 Abstract Due to the constant growth of number and importance of 3D models content-based model retrieval gains importance as well. To this end a new descriptor for 3D models is defined in this work, the so-called 3DHOG. It is based on the HOG descriptor for images presented by Dalal et al. in 2005 [7]. This work demonstrates how the HOG descriptor can be adopted for 3D models. The approach was implemented and its suitability for 3D model retrieval evaluated. The results of the evaluation are presented and show a descriptor with great potential. 2

5 Zusammenfassung Durch das ständige Wachstum von Anzahl und Bedeutung verfügbarer 3D Modelle, wird auch die inhaltsbasierte Suche auf diesen Modellen immer wichtiger. In dieser Arbeit wird in dem Zusammenhang ein neuer Deskriptor für 3D Modelle definiert, der sogenannte 3DHOG. Dieser basiert auf dem von Dalal et al. im Jahr 2005 vorgestellten HOG-Deskriptor für Bilder [7]. Diese Arbeit zeigt, wie dieser auf 3D Modelle übertragen werden kann. Der vorgestellte Ansatz wurde implementiert und seine Eignung für das 3D Model Retrieval evaluiert. Die Ergebnisse dieser Evaluierung werden in der Arbeit vorgestellt und zeigen einen Deskriptor mit großem Potenzial. Danksagung Mein größter Dank gilt meinem Betreuer, Dr. Tobias Schreck, der während der Arbeit jederzeit bereit war mir zu helfen. Er hat damit wesentlichen Anteil daran, dass diese Arbeit zustande gekommen ist. Außerdem danke ich Christian Wojek. Er hat mir enorm beim Verständnis des HOG- Deskriptors für Bilder und der Implementierung des 3DHOG-Deskriptors geholfen. Ich danke Thomes Kalbe, der ein Programm zum Rendern von Distanzfeldern bereit gestellt hat und bei der Installation dessen behilflich war. Dadurch fiel die Verifikation eines großen Teils der Implementierung deutlich leichter. Weiterhin danke ich den beiden Korrekturlesern, die mit nützlichen Hinweisen geholfen haben, die Qualität dieser Arbeit zu verbessern. Zu guter Letzt danke ich meiner Familie, die viel Verständnis für meine Anspannung zu kritischen Zeiten dieser Arbeit hatte. 3

6 Inhaltsverzeichnis Abbildungsverzeichnis 6 Tabellenverzeichnis 7 Einleitung 8 2 Themenbezogene Arbeiten D Model Retrieval Feature Vektor Ansatz HOG Features Distanzfelder Ansatz 3 3. Objektnormalisierung Distanzfeldberechnung Berechnung des Feature Vektors Modifikation des HOG-Deskriptors Gradientenberechnung Histogramme Blocknormalisierung Evaluierung Methodik Maße Benchmarks Effektivität Einfache Gradienten Differenzen der Gradienten Approximation der zweiten Ableitung Blocknormalisierung durch L2Hys Einzelne Klassen Kombinationen Effizienz Distanzfeldberechnung HOG Extraktion Verbesserungsvorschläge Parameter Blockform Objektnormalisierung

7 5.4 Distanzfeldberechnung Gradientenberechnung Reduktion der Dimension Machine Learning Fazit 44 5

8 Abbildungsverzeichnis 3. Formel zur Berechnung der Dimension des Deskriptors Schritte zur Berechnung des Feature Vektors aus dem Modell Gerendertes Mesh (links) und Volumen Rendering des entsprechenden Distanzfeldes (rechts) Visualisierung eines Distanzfeldes (links) und des entsprechenden Gradientenfeldes (rechts) in 2D Visualisierung der Differenzen der Gradienten Visualisierung von Gradienten (links) und Differenzen von Gradienten (rechts) an zwei unterschiedlichen Objekten Visualisierung der Approximation der zweiten Ableitungen Precision-Recall-Kurven der 3 Deskriptoren (einfache Gradienten) auf den Benchmarks Precision-Recall-Kurven der Deskriptoren (Differenzen der Gradienten) auf den Benchmarks Precision-Recall-Kurven der Deskriptoren (Approximation der zweiten Ableitungen) auf den Benchmarks Precision-Recall-Kurven der besten Parametrisierungen der Methoden zur Berechnung der Gradienten Vergleich für einzelne Klassen gegenüber DSR472-Deskriptor Beispielmodelle aus einzelnen Klassen Visualisierung des Shell Models von Ankerst et al. [4] Vergleich der Gradientenberechnung aus Distanzfeldern (links) und mit Hilfe der Normale direkt aus dem Mesh (rechts)

9 Tabellenverzeichnis 3. Zusammenfassung der einzelnen Schritte Werte für die vier Deskriptoren von Vranić auf den drei Benchmarks Parameter der getesteten Deskriptoren (einfache Gradienten) Ergebnisse der Deskriptoren (einfache Gradienten) auf den Benchmarks Parameter der getesteten Deskriptoren (Differenzen von Gradienten) Ergebnisse der Deskriptoren (Differenzen von Gradienten) auf den Benchmarks Ergebnisse der Deskriptoren (Approximation der zweiten Ableitungen) auf den Benchmarks Ergebnisse des Deskriptors mit L2-Normalisierung mit und ohne Hysterese auf den Benchmarks Details zu einzelnen Klassen First Tier der Deskriptoren von Vranić mit und ohne dem hog_584_sec- Deskriptor Berechnungszeiten der Distanzfelder Durchschnittliche Laufzeit der hog-extraktoren pro Modell auf den unterschiedlichen Benchmarks

10 Einleitung Nicht umsonst wird das aktuelle Zeitalter als Informationszeitalter bezeichnet. Die Bedeutung von Informationen hat in den letzten Jahrzehnten extrem zugenommen. Doch gerade auch durch die weltweite Verbreitung des Internets ist die Menge der verfügbaren Informationen schnell gewachsen. Das liegt unter anderem daran, dass jeder zum Internet beitragen kann, wenn er das möchte. Das wiederum hat aber den Nachteil, dass die Informationen unkontrolliert und unstrukturiert abgelegt werden. Wichtige Informationen können auf Webseiten, in Forenbeiträgen, in Wikis, auf Mailinglisten oder ähnlich versteckt sein. Um die große Vielfalt an Informationen, die das Internet bietet, trotzdem nutzen zu können, wird die Suche nach relevanten Informationen immer wichtiger. In der Informatik wird das Gebiet, welches sich mit diesem Problem beschäftigt, als Information Retrieval bezeichnet. Ein Teilgebiet davon ist das sogenannte Document Retrieval, welches die Basis für die ausgiebig genutzten Internet- Suchmaschinen bildet. Diese beweisen, wie weit fortgeschritten dieses Gebiet heutzutage schon ist. Auf der anderen Seite hat das Multimedia Retrieval, ein weiteres Teilgebiet des Information Retrieval, noch nicht so weit verbreitete praktische Anwendung gefunden. Trotzdem gewinnt auch dieses Gebiet immer mehr an Bedeutung, da die Menge an multimedialen Daten im Internet zunimmt. Das Multimedia Retrieval spaltet sich wiederum in kleinere Teilgebiete, je nach der Form der Daten, welche durchsucht werden. Hier gibt es zum Beispiel das Image Retrieval, Music Retrieval oder 3D Model Retrieval. Diese Arbeit beschäftigt sich mit letzterem. Die Menge der im Internet verfügbaren 3D Modelle nimmt ständig zu. Forscher auf dem Gebiet der grafischen Datenverarbeitung entwickeln immer mehr und bessere Methoden zur Gewinnung von 3D Modellen. Viele Künstler und Ingenieure erzeugen neue CAD Modelle. Diese Menge nach relevanten Modellen zu durchsuchen, ist eine anspruchsvolle Aufgabe. Voraussetzung dafür ist, auf diesen Modellen ein Maß für Ähnlichkeit zu definieren, welches dem menschlichem Empfinden von Ähnlichkeit möglichst nahe kommt. In Abschnitt 3D Model Retrieval auf Seite 0 werden verschieden Methoden, dies zu erreichen, kurz beschrieben. Ein weit verbreiteter Ansatz ist der sogenannte Feature Vektor Ansatz. Dabei werden aus den Modellen hochdimensionale Vektoren extrahiert. Es gibt schon eine große Menge von Verfahren diese Vektoren zu extrahieren, sogenannte Deskriptoren, aber die Suche nach neuen Deskriptoren ist immer noch Gegenstand aktueller Forschung. Es ist bisher nicht bekannt, ob der bestmögliche Deskriptor für generische Modelle bereits gefunden wurde. Des Weiteren können bestimmte Deskriptoren für spezielle Probleme besser geeignet sein als andere. Eine breite Palette an Deskriptoren ist für die Forschung also von Vorteil. Auf dem Gebiet Computer Vision hat Lowe ein Verfahren zur Extraktion von charakteristischen Merkmalen aus Bildern vorgestellt [7]. Aus diesem haben Dalal et al. einen sogenannten HOG-Deskriptor ( Histograms of Oriented Gradients ) entwickelt [7]. Dieser eignet sich sehr gut für die Erkennung von Menschen auf Bildern, wie 8

11 sie in ihren Experimenten feststellen. In Abschnitt HOG Features auf Seite wird das Verfahren genauer beschrieben. Die Idee dieser Arbeit ist es nun zu untersuchen, ob und wie gut sich dieses Verfahren auf 3D Modelle übertragen lässt und wie es sich für das 3D Model Retrieval eignet. Da die Modelle in der Regel als Dreiecksnetz vorliegen, das Verfahren von Dalal et al. allerdings auf Pixeln eines Bildes arbeitet, werden die Modelle zunächst in ein Distanzfeld transformiert, welches aus Voxeln besteht. Nun muss das Verfahren von Dalal et al. lediglich um eine Dimension erweitert werden. Der Beitrag dieser Arbeit ist zum einen eine detaillierte Beschreibung der Übertragung des HOG-Deskriptors auf Meshes, um als Ergebnis den 3DHOG-Deskriptor zu erhalten. Zum zweiten wurde der beschriebene Ansatz implementiert und schließlich wurde der Deskriptor mit verschiedenen Parametern für das 3D Model Retrieval getestet. Der Rest der Arbeit ist folgendermaßen aufgebaut. In Kapitel 2 werden relevante Arbeiten beschrieben. Kapitel 3 beschreibt den gewählten Ansatz und die Implementierung dessen im Detail, bevor in Kapitel 4 die Ergebnisse der Experimente vorgestellt werden. Dann folgt in Kapitel 5 eine Reihe von Vorschlägen, die das Verfahren verbessern könnten und in Zukunft untersucht werden sollten. Abschließend wird in Kapitel 6 ein Fazit gezogen. Im Folgenden Mesh genannt. Plural: Meshes. 9

12 2 Themenbezogene Arbeiten Dieses Kapitel gibt einen Überblick über die Themen, die mit dieser Arbeit verwandt sind. 2. 3D Model Retrieval Das Gebiet des 3D Model Retrievals beschäftigt sich mit der Ähnlichkeitssuche auf 3D Modellen. Im Normalfall wird dabei von dem query-by-example -Prinzip ausgegangen. Das heißt, ein Benutzer stellt an ein Suchsystem eine Anfrage in Form eines 3D Modells und erwartet, dass das System ihm möglichst viele relevante, also ähnliche, Modelle aus einer Datenbank zurückliefert. Die Herausforderung besteht darin, die vom Menschen empfundene Ähnlichkeit zwischen zwei 3D Modellen zu definieren. Es wurden bereits viele verschiedene Ansätze untersucht, um dieses Problem zu lösen. Es gibt einige Arbeiten, die diese Ansätze zusammenfassen und die besten bisher bekannten Methoden herausstellen [5, 6, 2]. Seit 2006 findet jährlich ein Wettbewerb namens SHREC statt. Dabei werden die Methoden der Teilnehmer empirisch verglichen und bewertet. Das Ziel dieses Wettkampfes ist es, die aktuell erfolgreichste Methode zu identifizieren. Anschließend werden die Ergebnisse in einem gemeinsamen Artikel veröffentlicht []. 2.. Feature Vektor Ansatz Ein vielversprechender Ansatz für das 3D Model Retrieval ist der Feature Vektor Ansatz. Ein Feature Vektor ist ein hochdimensionaler Vektor, der aus einem Modell extrahiert wird. Dieser hat die Aufgabe, die Charakteristiken des Modells als numerische Werte zu speichern. Damit wird das Problem der Ähnlichkeit von zwei 3D Modellen auf die Distanz zwischen zwei Vektoren reduziert. Dabei gibt es zwei Probleme zu lösen. Zum einen braucht man ein Verfahren, welches die Charakteristiken eines Modells möglichst gut in einen Vektor erfasst. Zum anderen muss eine Distanz für die Vektoren definiert werden. Für letzteres bietet sich offensichtlich eine Vektornorm an. Es gibt dazu aber noch eine Reihe weiterer Ansätze [9]. Die aktuelle Forschung konzentriert sich jedoch hauptsächlich auf die Suche nach möglichst guten Deskriptoren, die die Modelle in Form von Vektoren beschreiben können. Mittlerweile gibt es zahlreiche verschiedene Deskriptoren, von denen viele in früheren Arbeiten bereits verglichen und bewertet wurden [4, 23]. Besondere Beachtung in den Experimenten dieser Arbeit finden vier verschiedene Deskriptoren, von denen es freie Implementierungen gibt. Von diesen vier Deskriptoren ist einer strahlenbasiert (RSH36), einer silhouettenbasiert (SIL300) und einer tiefenpufferbasiert (DBD438). Diese drei Deskriptoren sind Weiterentwicklungen von drei der Deskriptoren, die Bustos et al. in ihrer Arbeit bereits verglichen haben [4] (Rays-SH, Silhouette, Depth buffer). Der Vierte, DSR472, ist eine Kombination aus den anderen drei Deskriptoren. Vranić beschreibt die Deskriptoren genauer in seiner Arbeit [23]. Gerade der 0

13 letzte Deskriptor hat sich als einer der aktuell Besten bewiesen, wie Vranić in seinen Experimenten zeigt. Die Ergebnisse dieser Arbeit werden einerseits an diesen vier Deskriptoren und den von Bustos et al. verglichenen [4] gemessen. Auf der anderen Seite wird versucht, durch Kombination mit diesen einen besseren Deskriptor zu finden. Histogrammbasierte Ansätze Histogrammbasierte Ansätze können als Sonderform der Feature Vektoren betrachtet werden. Die Feature Vektoren werden dabei aus Histogrammwerten gebildet. Dazu werden Punkte auf der Oberfläche des Modells gewählt, aus diesen bestimmte Charakteristiken extrahiert und in Histogrammen gespeichert. Diese Ansätze haben die Besonderheit, dass spezielle Ähnlichkeitsmaße für Histogramme aus der Informationstheorie angewendet werden können. Ramani et al. geben in ihrem Artikel einen guten Überblick über diese Methoden [6]. Ankerst et al. beschreiben eine Methode, bei der der umschließende Raum des Modells in Zellen zerlegt wird [4]. Diese Zellen entsprechen den Bins 2 der Histogramme. Im Gegensatz dazu wird in unserer Methode jeder Zelle ein eigenes Histogramm zugeordnet. Gradientverwandte Methoden In Abschnitt Gradientenberechnung auf Seite 42 wird verdeutlicht, dass eines der in dieser Arbeit untersuchten Verfahren zur Gradientenberechnung die Oberflächennormalen approximiert. Wang et al. haben im Jahr 2007 einen Deskriptor namens Multi-Shell Extended Gaussian Image (MSEGI) vorgestellt [24]. Dieser basiert auf der Verteilung der Oberflächennormalen in Kugelschalen um den Masseschwerpunkt des Modells. Diese Verteilungsfunktion wird abschließend in Kugelflächenfunktionen 3 transformiert und die berechneten Koeffizienten ergeben den Feature Vektor. Die Testergebnisse auf dem PSB-Benchmark [8] zeigen aber, dass der in dieser Arbeit vorgestellte Deskriptor eine bessere Effektivität vorweist, als der MSEGI- Deskriptor. Etwas entfernter verwandt ist die Methode von Zaharia et al. [25]. Ihre Arbeit beschreibt einen Shape Spectrum Descriptor, der ein Histogramm aus dem Shape Index verschiedener Punkte berechnet, welcher sich wiederum aus dem lokalen Krümmungsverhalten ergibt. Diese Methode schneidet für generische Benchmarks verhältnismäßig schlecht ab, wie zum Beispiel Grana et al. in ihren Experimenten zeigen [8]. 2.2 HOG Features Dalal et al. beschreiben eine Methode zur Erkennung von Menschen auf Bildern, die sie Histograms of Oriented Gradients (HOG) nennen [7]. Die grundsätzliche Idee, dass Bilder sehr gut durch die Verteilung der Gradienten charakterisiert werden, ist nicht neu. Lowe hat mit den SIFT Features [7] schon hervorragende Ergebnisse auf 2 Als Bins werden in dieser Arbeit die Bereiche eines Histogrammes bezeichnet. Singular: Bin. 3 engl.: Spherical Harmonics

14 diesem Gebiet erzielt. Tatsächlich ist das Verfahren von Dalal et al. eine Vereinfachung der SIFT Features. Der SIFT Algorithmus identifiziert markante Punkte auf dem Bild und in deren Umgebung werden Histogramme extrahiert. Das Verfahren von Dalal et al. extrahiert diese Histogramme aus Zellen, die regelmäßig in einem Gitter über das Bild verteilt sind. Dazu wird jeder Zelle ein Histogramm zugeordnet, in welches die Gradienten der einzelnen Pixel eingetragen werden. Während der Winkel des Gradienten den Bin bestimmt, legt der Betrag das Gewicht fest, mit welchem ein Gradient in ein Histogramm eingetragen wird. Dieses Zellgitter wird anschließend in Blöcke aufgeteilt, die sich überlappen können. Die Histogramme werden dann über die Blöcke normalisiert. Die Aneinanderreihung der Histogrammwerte aller Zellen aller Blöcke bilden den HOG Deskriptor. Dieser hat zwar eine verhältnismäßig hohe Dimension gegenüber dem SIFT Deskriptor, allerdings ist er auch deutlich einfacher zu implementieren und anzuwenden, da die Identifikation und das Matching von markanten Punkten wegfällt. 2.3 Distanzfelder Um den HOG Deskriptor auf 3D Modelle zu übertragen, werden die 3D Modelle einem Vorverarbeitungsschritt unterzogen, der sie zu Distanzfeldern konvertiert. Dazu wird der umschließende Quader des Modells in ein Voxelgitter aufgeteilt und in jedes Voxel wird die Distanz zum Mesh eingetragen. Diese Konvertierung ist sehr aufwendig und Gegenstand aktueller Forschung, welche versucht, diesen Prozess zu beschleunigen. Jones et al. geben in ihrem Artikel [3] einen Überblick über die verschiedenen Ansätze und den aktuellen Stand der Forschung. Viele Ansätze versuchen die Berechnung zu beschleunigen, indem sie lediglich Approximationen statt exakter Distanzen berechnen. Andere versuchen eine Effizienzsteigerung durch Ausnutzen von Parallelisierung zu erreichen. 2

15 3 Ansatz In diesem Kapitel wird der neue 3DHOG-Deskriptor detailliert beschrieben. Dabei wird davon ausgegangen, dass das Modell als Mesh vorliegt (im OFF-Format). Ein Beispiel eines solchen Meshes ist in Abbildung 3.3 auf Seite 6 visualisiert. Die implementierten Schritte werden in der Reihenfolge beschrieben, in der sie auf das Modell angewendet werden. Tabelle 3. fasst die Schritte mit den entsprechenden Parametern zusammen. Die Berechnung der aus der Wahl der Parameter resultierende Dimension des Deskriptors ist in Abbildung 3. auf der nächsten Seite angegeben. Abbildung 3.2 auf Seite 5 visualisiert den ganzen Prozess. Schritt Beschreibung Parameter. Objektnormalisierung Herstellung von Invarianz zu geometrischen Transformationen 2. Distanzfeldberechnung Konvertierung von Mesh zu Distanzfeld 3. Gradientenberechnung Berechnung des Gradientenfeldes aus Distanzfeld 4. Zellaufteilung Unterteilung des Gradientenfeldes in Zellen 5. Histogrammberechnung Berechnung des Histogramms für jede Zelle Auflösung: r x, y,z Maske zur Gradientenberechnung Zellgröße: c x, y,z Bereich (φ) Bereich (θ) Anzahl der Bins (φ): φ Anzahl der Bins (θ): θ 6. Blockaufteilung 7. Blocknormalisierung Aufteilung der Zellen in Blöcke Normalisierung aller Werte des Blocks Blockgröße: b x,y,z Überlappung: o x,y,z ε (Maximalwert) (ε 2 ) Tabelle 3.: Zusammenfassung der einzelnen Schritte 3. Objektnormalisierung Für die Modelle werden keine Restriktionen in Bezug auf Größe und Position im Raum angenommen. Deshalb muss jedes Modell zunächst normalisiert werden. 3

16 k x = k y = r x c x o x b x o x r y o c y y b y o y k z = r z o c z z b z o z k = k x k y k z (Anzahl der Blöcke) b = b x b y b z (Anzahl der Zellen pro Block) d = k b φ θ Abbildung 3.: Formel zur Berechnung der Dimension d des Deskriptors aus den Parametern. Diese sind in Tabelle 3. auf der vorherigen Seite erläutert. Dazu wird es als erstes so verschoben, dass sein Masseschwerpunkt im Koordinatenursprung liegt. Anschließend wird es rotiert, sodass seine zwei Hauptachsen auf der x-, beziehungsweise y-achse liegen. Dann wird es so skaliert, dass es im Einheitswürfel liegt, und am Ende wird es so gespiegelt, dass die größere Masse jeweils auf den positiven Seiten der Achsen liegt. Für die Bestimmung der Hauptachsen für die Rotation wird die weighted PCA (wpca) verwendet, eine Modifikation der Hauptkomponentenanalyse ( Principal Component Analysis ), wie sie von Vranić und Saupe im Jahr 2000 vorgeschlagen wurde [6]. Diese war bereits vor Beginn der Arbeit implementiert und wird deshalb hier nicht näher diskutiert. 3.2 Distanzfeldberechnung Wie in Abschnitt HOG Features auf Seite bereits erwähnt, rechnet das HOG- Verfahren von Dalal et al. auf den Pixeln eines Bildes. Um eine Analogie für diese Pixel in einem 3D Modell zu finden, wird dieses in ein Distanzfeld transformiert. Dieses besteht aus einem Gitter von Voxeln, welche das Pendant zu den Pixeln bilden. Jedem dieser Voxel wird ein Wert zugewiesen, der der Distanz des Mittelpunktes des Voxels zur Oberfläche des Modells entspricht. Mathematisch ausgedrückt ist das eine Funktion d : N N N R, die folgendermaßen definiert ist: sei m(i, j, k) = p eine Funktion, die für jeden Voxel seinen Mittelpunkt p R 3 zurück gibt, wobei i, j, k N die Indizes des Voxels sind und sei Σ die Menge aller Punkte auf der Oberfläche des Modells. Dann ist d definiert als d(i, j, k) = min x Σ x m(i, j, k) 2 Es werden hier bewusst vorzeichenlose Distanzfelder berechnet. Wollte man Distanzfelder mit Vorzeichen berechnen, wie zum Beispiel Bærentzen und Aanæs [9], dann 4

17 Abbildung 3.2: Schritte zur Berechnung des Feature Vektors aus dem Modell 5

18 müsste man mehrere Annahmen in Bezug auf die Modelle treffen und würde die Allgemeingültigkeit des Ansatzes einschränken. Da der Deskriptor aber für alle Polygonsuppen, wie sie zum Beispiel im Internet verfügbar sind, anwendbar sein soll, wird hier darauf verzichtet. Abbildung 3.3: Gerendertes Mesh (links) und Volumen Rendering des entsprechenden Distanzfeldes (rechts) Abstandsberechnung von Punkt und Dreieck Die Distanzfeldberechnung involviert eine Vielzahl von Abstandsberechnungen von Punkt zu Dreieck. Diese Berechnung scheint zunächst eine einfache geometrische Berechnung zu sein. Allerdings muss als erstes bestimmt werden, welcher Komponente des Dreiecks der Punkt am nächsten ist, um dann zu entscheiden, ob der Abstand zwischen zwei Punkten, einem Punkt und einer Geraden oder einem Punkt und einer Fläche zu berechnen ist. Diese Entscheidung ist verhältnismäßig teuer. Die verwendete Implementierung richtet sich nach einer Methode, die Jones 995 vorgeschlagen hat [2]. Sie reduziert das Problem der Abstandsberechnung im 3- dimensionalen Raum durch Translation und Rotation auf eine Abstandsberechnung im 2-dimensionalen Raum. Beschleunigung durch hierarchische Struktur Die Auflösung des Distanzfeldes ist ein Parameter, welcher meist durch die Rechenzeit begrenzt ist. Versucht man das Distanzfeld mit einem Brute-Force-Ansatz zu berechnen, gerät man sehr schnell an die Grenze des Durchführbaren. Man muss dazu die Distanz von jedem Voxel zu jedem Dreieck berechnen und das Minimum speichern. Um etwas höhere Auflösungen auch auf größeren Datenbanken berechnen zu können, werden die Dreiecke in einer hierarchischen AABB-Struktur organisiert. Dazu wird der umschließende Würfel des Modells ausgehend von seinem Zentrum in acht gleich große AABBs geteilt. Für jedes Dreieck bestimmt sein Mittelpunkt die AABB, welcher es zugeordnet wird. Anschließend werden die Grenzen der neuen Boxen entsprechend angepasst. In den Experimenten hat das eine schnellere Berechnung ergeben als die Zerlegung von Dreiecken, die über die Grenze der Box hinaus ragen. Dieser Prozess wird rekursiv auf die einzelnen Boxen wieder angewendet, bis diese weniger als n Dreiecke enthalten oder das Verhältnis ihres Volumens zu AABB: Axis Aligned Bounding Box 6

19 dem ihres Elternknotens größer oder gleich einem Grenzwert t ist. Für die Parameter wurden experimentell die Werte n = 3 und t = 0.95 bestimmt. Danach wird bei der Berechnung des Wertes für einen Punkt die aktuell gespeicherte kürzeste Distanz mit der kürzesten Distanz zu der Bounding Box verglichen. Letztere ist sehr effizient zu berechnen. Nur wenn die Distanz zur Bounding Box kleiner ist, werden die Boxen innerhalb der Bounding Box betrachtet, beziehungsweise die Abstandsberechnungen zu den Dreiecken innerhalb der Box durchgeführt, wenn die niedrigste Hierarchiestufe bereits erreicht wurde. Weitere potenzielle Verbesserungen werden in Kapitel 5 diskutiert. 3.3 Berechnung des Feature Vektors Nachdem die gerade beschriebene Vorverarbeitung abgeschlossen ist, kann eine leicht modifizierte Variante des Verfahrens von Dalal et al. [7] angewendet werden. Im folgenden Abschnitt wird das modifizierte Verfahren beschrieben, welches das Verfahren um eine Dimension erweitert. Danach wird noch auf einzelne Punkte im Speziellen eingegangen Modifikation des HOG-Deskriptors Zunächst wird für jedes Voxel im Distanzfeld sein Gradient berechnet. Darauf wird in Abschnitt Gradientenberechnung auf der nächsten Seite genauer eingegangen. Die Gradienten werden in Kugelkoordinaten umgerechnet. Damit erhält man die Winkel φ und θ, sowie den Betrag für jeden Gradienten. Als Resultat ergibt sich nun ein Gradientenfeld. Dieses Gradientenfeld wird in Zellen aufgeteilt. Die Größe der Zellen ist ein Parameter des Verfahrens. Im Gegensatz zum Verfahren von Dalal et al. sind die Zellen 3-dimensional und die Größe der Zellen liefert prinzipiell drei Parameter (Größe in jeder Dimension). Jede Zelle speichert ein 2-dimensionales Histogramm, in welche die Gradienten mit ihrem Betrag gewichtet eingetragen werden. Ein Gradient wird aber nicht nur in die Zelle eingetragen, in der er liegt, sondern es wird über die acht umliegenden Zellmittelpunkte trilinear interpoliert und in jedes der acht Histogramme der umliegenden Zellen wird der Gradient mit dem entsprechenden Gewicht eingetragen. Die Histogramme werden in Abschnitt Histogramme auf Seite 20 ausführlicher diskutiert. Das resultierende Zellgitter wird wiederum in Blöcke aufgeteilt. Ähnlich zur Zellgröße liefert auch die Blockgröße wieder drei Parameter. Über diese Blöcke werden die Histogramme anschließend normalisiert. Welche Normalisierungen getestet wurden, wird in Abschnitt Blocknormalisierung auf Seite 2 beschrieben. Dalal et al. schließen aus ihren Experimenten, dass sich die Blöcke überlappen sollten, um noch bessere Ergebnisse zu erzielen. Auf den ersten Blick scheint das zwar eine unnütze Redundanz zu produzieren, allerdings argumentieren sie, dass dadurch viele Histogramme in mehrere Normalisierungen einfließen. Da es die Effektivität im Verfahren von Dalal et al. signifikant steigert, wurden auch in dieser Arbeit Parametrisierungen mit Überlappung getestet. Die Überlappung in jeder Dimension liefert drei weitere Parameter. Nach der Normalisierung enthält jeder Block einen Vektor mit normalisierten Werten. Die Vektoren der Blöcke werden nun in einer festen Reihenfolge aneinandergehängt und bilden den Feature Vektor. 7

20 3.3.2 Gradientenberechnung Im Rahmen dieser Arbeit wurden drei verschiedene Varianten der Gradientenberechnung getestet, welche im Folgenden beschrieben werden. Einfache Gradienten Dalal et al. erzielen in ihren Experimenten das beste Ergebnis durch die Berechnung der Gradienten mit einer einfachen [, 0, ]-Maske [7]. Sie wenden diese Maske für jeden Pixel in horizontaler und vertikaler Richtung an und produzieren damit einen 2-dimensionalen Gradienten. Durch die Anwendung der Maske in einer weiteren Dimension, der z-achse, kann man einfach einen 3-dimensionalen Gradienten berechnen. Da diese Form der Gradientenberechnung die besten Ergebnisse bei Dalal et al. erzielt, wurde diese auch in dieser Arbeit getestet. Diese Form der Berechnung birgt aber ein Problem, welches sich aus der Natur der Distanzfelder ergibt. In Abbildung 3.4 ist links ein Beispiel eines Distanzfeldes für ein Modell, welches nur aus einer einzigen Wand besteht, dargestellt. Rechts daneben befindet sich das entsprechende Gradientenfeld, welches sich durch das oben beschriebene Verfahren ergibt. Wie man leicht sieht, befinden sich die meisten Gradienten regelmäßig im Raum verteilt, nur auf der Oberfläche haben sie einen Betrag von 0 und werden damit nicht in den Histogrammen berücksichtigt. Intuitiv sollten aber gerade die Gradienten in der Nähe der Oberfläche eines Modells besonders stark die Histogramme beeinflussen, da diese eher charakteristisch für die Modelle sind Objekt Object Abbildung 3.4: Visualisierung eines Distanzfeldes (links) und des entsprechenden Gradientenfeldes (rechts) in 2D Differenzen von Gradienten Um das Problem, welches im vorhergehenden Abschnitt beschrieben wurde, zu beheben, wurde eine zweite Variante der Gradientenberechnung getestet. Zunächst werden die einfachen Gradienten berechnet und in den Voxeln gespeichert. Nun wird für jedes Voxel die Maske ein weiteres mal angewendet, diesmal auf die gespeicherten Gradienten. Dadurch ergeben sich für jeden Punkt drei Differenzvektoren, 8

21 einer für jede Dimension. Der neue Gradient berechnet sich nun durch die 2-Normen der entsprechenden Differenzvektoren. Eine Visualisierung des Ergebnisses, welches sich durch Anwendung dieses Verfahrens auf das Distanzfeld aus Abbildung 3.4 auf der vorherigen Seite ergibt, ist in Abbildung 3.5 dargestellt. An der Abbildung kann man sehr gut erkennen, dass nun gerade in der Nähe der Oberfläche die Gradienten groß werden, während sie im restlichen Raum verschwinden Objekt Abbildung 3.5: Visualisierung der Differenzen der Gradienten Doch auch dieses Verfahren hat eine entscheidende Schwäche. Da die einzelnen Elemente der so berechneten Gradienten aus 2-Normen von Vektoren berechnet werden, sind sie immer positiv. Sehr unterschiedliche Differenzvektoren können die gleiche 2-Norm haben. Dadurch können gleiche oder ähnliche Gradienten an Stellen mit sehr unterschiedlicher Geometrie entstehen. Abbildung 3.6 auf der nächsten Seite verdeutlicht dieses Problem. Auf der linken Seite sind zwei unterschiedliche Objekte dargestellt mit ihrem Gradientenfeld, das durch die Berechnung von einfachen Gradienten entsteht. Rechts daneben sind die gleichen Objekte dargestellt mit dem Gradienten, wie er für den Mittelpunkt des Objektes mit dem gerade beschriebenen Verfahren berechnet werden würde. Wie man leicht sieht, sind diese gleich, obwohl die Objekte unterschiedlich sind. Approximation der zweiten Ableitungen Um auch das gerade beschriebene Problem zu beheben, wurde noch eine dritte Variante der Gradientenberechnung implementiert. Das Verfahren mit einfachen Gradienten aus Abschnitt Einfache Gradienten auf der vorherigen Seite approximiert den Gradienten, der definiert ist als g(p) = d x (p) d y (p) d z (p) wobei d(x, y, z) definiert ist wie in Abschnitt Distanzfeldberechnung auf Seite 4. Um nun die vorhergehenden Probleme zu lösen, wurden die Elemente des Gradienten durch die zweite Ableitung in jede Richtung ersetzt:, 9

22 Abbildung 3.6: Visualisierung von Gradienten (links) und Differenzen von Gradienten (rechts) an zwei unterschiedlichen Objekten g(p) = 2 d x 2 (p) 2 d y 2 (p) 2 d z 2 (p) Um diesen Vektor zu approximieren, kann die Maske der einfachen Gradienten, [, 0, ], in jede Richtung zweimal angewendet werden. Das entspricht der einmaligen Anwendung der Maske [, 0, 2, 0, ] in jede Richtung. Die resultierenden Gradienten von dem Beispiel aus Abbildung 3.6 sind in Abbildung 3.7 dargestellt.. Abbildung 3.7: Visualisierung der Approximation der zweiten Ableitungen Histogramme Im Verfahren von Dalal et al. werden die 2-dimensionalen Gradienten in Polarkoordinaten umgerechnet und in ein -dimensionales Histogramm mit ihrem Betrag gewichtet eingetragen. Dazu wird der Wertebereich der Winkelkoordinate in gleich große Bins aufgeteilt. Für den Wertebereich des Winkels kommen zwei obere Grenzen in Frage. Zum einen kann man die vollen 360 betrachten. Auf der anderen Seite 20

23 kann man gegenüberliegende Gradienten als gleich betrachten und in den gleichen Bin eintragen. Damit ergibt sich ein Wertebereich von 80. Die Wahl des Wertebereichs ist ein Parameter des Verfahrens. Dalal et al. erzielten mit letzterem die besseren Ergebnisse. Im Gegensatz zum Verfahren von Dalal et al. wurden in dieser Arbeit 3- dimensionale Gradienten berechnet. Wie oben bereits erwähnt, ergeben sich durch die Transformation in Kugelkoordinaten zwei Winkel und ein Betrag. Dadurch muss das Histogramm um eine Dimension erweitert werden. Der Wertebereich von φ ist 0 φ 360 und von θ 0 θ 80. Trägt man nun aber analog zum Verfahren von Dalal et al. gegenüberliegende Gradienten in den gleichen Bin ein, halbiert sich der Wertebereich von φ. Der Wertebereich von θ bleibt gleich. Prinzipiell ist die Wahl des Wertebereichs wie im Verfahren von Dalal et al. ein Parameter. Aus Zeitgründen wurde jedoch in dieser Arbeit nur letztere Variante betrachtet. Die Differenzierung zwischen gegenüberliegenden Gradienten bleibt für zukünftige Forschung offen. Etwas anders sieht der Wertebereich aus, wenn man das Verfahren der Differenzen von Gradienten aus Abschnitt Differenzen von Gradienten auf Seite 8 anwendet. Wie bereits erwähnt, sind die einzelnen Elemente dieser Gradienten alle positiv. Dadurch ergibt sich für φ und θ ein Wertebereich von 0 φ, θ 90. Analog zum Verfahren von Dalal et al., in welchem zwischen den Mittelpunkten von zwei benachbarten Bins linear interpoliert wird und die Gradienten mit entsprechendem Gewicht in die Bins eingetragen werden, wurde in der Implementierung dieser Arbeit zwischen den Mittelpunkten der vier benachbarten Bins bilinear interpoliert. Die Anzahl der Bins für φ und für θ sind Parameter Blocknormalisierung Die Werte aus den Histogrammen der Zellen eines Blocks werden zu einem Vektor konkateniert und diese werden normalisiert. Die Blocknormalisierung kann komplett analog zur Methode von Dalal et al. durchgeführt werden. Dalal et al. beschreiben in ihrem Paper verschiedene Normalisierungsverfahren, die sie getestet haben [7]. Ihre Experimente haben ergeben, dass die meisten dieser Normalisierungsverfahren gleich stark sind. Sie führen die Verbesserung des Deskriptors durch Normalisierung darauf zurück, dass er dadurch eine höhere Invarianz gegenüber lokalen Beleuchtungsunterschieden im Bild erreicht. Insbesondere bei den unterschiedlichen Formen der Gradientenberechnung in dieser Arbeit ist es schwierig eine Analogie zu diesen lokalen Unterschieden zu finden. Um möglichst nahe an dem Bilddeskriptor zu bleiben, wurden in dieser Arbeit trotzdem zwei von den gleich starken Verfahren ausgewählt und getestet. Die erste Normalisierungsmethode, die getestet wurde, ist die L2-Normalisierung, welche die Werte nach folgender Formel normalisiert. Seien v i die zu normalisierenden Werte mit i N, dann wird v i auf den Wert gesetzt, wobei ε ein Parameter ist. v i = v i i v 2 i + ε 2 2

24 Die zweite Methode bezeichnen Dalal et al. als L2Hys, da hier zusätzlich zu der L2-Normalisierung noch eine Hysterese zum Einsatz kommt. Zunächst wird die L2-Normalisierung wie gerade beschrieben angewendet. Danach werden Werte über einem bestimmten Maximalwert auf diesen gesetzt (der Hystereseschritt) und die L2-Normalisierung wird noch einmal mit einem neuen ε 2 durchgeführt. Der Maximalwert und das ε 2 sind Parameter. Diese Normalisierung soll verhindern, dass sehr große Werte die anderen zu stark dominieren. 22

25 4 Evaluierung Das Verfahren aus Kapitel 3 wurde implementiert, getestet und evaluiert. Die Ergebnisse werden in diesem Kapitel vorgestellt. 4. Methodik Die Ergebnisse der Tests wurden nach etablierten Methoden des 3D Model Retrieval evaluiert. Die Methodik wird im Folgenden genauer beschrieben. Zur Auswertung wurden die frei verfügbaren Programme der Princeton Shape Retrieval and Analysis Group (PSB-Tools) verwendet. 4.. Maße Als Evaluierungsmaße kamen Standardmaße des 3D Model Retrieval zum Einsatz. Einen guten Überblick bieten Shilane et al. in ihrer Arbeit über den PSB-Benchmark [8]. Um die Maße auszuwerten, wird ein Anfrageobjekt q aus der Klasse C q betrachtet. Als Rückgabe der Anfrage erhält man eine sortierte Liste der Datenbankobjekte, die sich aus der Distanz der Feature Vektoren zum Feature Vektor des Anfrageobjekts ergibt. Davon wird die Menge R bestehend aus den ersten k Modellen der Liste ausgewertet. Alle Modelle der Klasse C q werden als relevant betrachtet. Als Distanzmaß ist die -Norm des Differenzvektors zum Einsatz gekommen. Precision-Recall Precision Die Precision beschreibt den Anteil der relevanten Objekte in R für ein gegebenes k. Die Precision p ist also definiert als p = R (C q \ {q}). k Recall Der Recall beschreibt den Anteil der gefundenen Modelle aus C q. Der Recall r ist also definiert als r = R (C q \ {q}). C q Precision-Recall-Kurven Eine Precision-Recall-Kurve ist ein Graph, der das Verhältnis zwischen Precision und Recall visualisiert. Auf der horizontalen Achse sind Recall-Level dargestellt, während die vertikale Achse die entsprechende Precision beschreibt. Es gibt jedoch bei 23

26 unterschiedlich großen Klassen unterschiedliche Recall-Level. Oft sind aber einheitliche Recall-Level gewünscht, um zum Beispiel mehrere Precision-Recall-Kurven zu mitteln. Als Lösung bietet es sich an die Precision an bestimmten Standard-Recall- Leveln zu interpolieren. Für die Interpolation gibt es mehrere Möglichkeiten. Während Yates et al. in ihrem Standardwerk Modern Information Retrieval eine Interpolation mittels Maximalwerten beschreiben [3], verwendet Vranić in seiner Arbeit lineare Interpolation [23]. Die verwendeten PSB-Tools verwenden ebenfalls lineare Interpolation. Precision auf dem First Tier Die Precision auf dem First Tier (im Folgenden einfach als First Tier oder FT bezeichnet), oft auch RPrecision genannt, ist die Precision mit einem k, welches der Klassenstärke des Anfrageobjektes ohne das Anfrageobjekt selber entspricht, also k = C q. In dem Fall sind Precision und Recall gleich groß. Auf dieser Größe liegt in dieser Arbeit der Fokus, da sie sich als gutes Maß für die Güte eines Deskriptors etabliert hat. Andere Maße Der Vollständigkeit halber wurden auch andere Standardmaße ausgewertet. Es handelt sich dabei um die Precision auf dem Second Tier (Second Tier oder ST) und dem Nearest Neighbor (Nearest Neighbor oder NN), dem E-Measure (E) und dem Discounted Cumulative Gain (DCG). Ausführliche Erläuterungen zu diesen Maßen sind in der Arbeit von Shilane et al. zu finden [8] Benchmarks Als Benchmarks werden Mengen von 3D Modellen verwendet, die vollständig oder teilweise klassifiziert sind. In dieser Arbeit wurde untersucht, wie geeignet das Verfahren für generische Objekte ist. Aus diesem Grund wurden drei generische Benchmarks ausgewählt. Bei den Tests wurde jedes klassifizierte Modell als Anfrageobjekt betrachtet. Die Werte der Maße aus dem Abschnitt Maße auf der vorherigen Seite wurden dann entsprechend über alle Anfrageobjekte gemittelt. KN-DB Der KN-DB-Benchmark wurde im Jahr 2006 von Bustos et al. verwendet um die Effektivität einer Menge von Deskriptoren zu untersuchen und zu vergleichen [4]. Auch Vranić verwendet diesen Benchmark in seiner Arbeit [23]. Aus diesem Grund liegt es nahe, das Verfahren dieser Arbeit auch auf diesem Benchmark zu testen. Der Benchmark ist frei im Internet verfügbar 2 und besteht aus 838 generischen Modellen. Davon sind 472 Modelle in 55 Klassen sortiert. Die Klassenstärke der meisten Klassen variiert zwischen 2 und 26 Modellen, nur eine Klasse besteht aus 56 Modellen. Die durchschnittliche Klassengröße ist 8,

27 SHREC Benchmark 2009 Das Verfahren wurde auch auf dem Benchmark des generischen Teils des SHREC Wettbewerbs 2009 (TargetModels) getestet []. Auch dieser Benchmark ist im Internet frei verfügbar 3 und besteht aus 720 Modellen, die alle in 40 Klassen sortiert sind. Die Ergebnisse dieser Arbeit können allerdings nicht ohne Weiteres mit denen des Wettbewerbs verglichen werden, da die Methodik etwas unterschiedlich ist. Während hier die Menge der Modelle, die als Anfrage-Objekte gewählt werden (Query Set), die gleiche ist wie die Menge der Modelle, in denen die Ergebnisse gesucht werden (Target Set), wurden für den Wettbewerb zwei verschiedene Mengen dafür gewählt. Um die Ergebnisse dieser Arbeit also mit den erzielten Resultaten des Wettbewerbs vergleichen zu können, müsste die Methodik angepasst werden. Darauf wurde zunächst verzichtet, zum einen aus Zeitgründen und zum anderen erreicht das Verfahren noch nicht annähernd die Effektivität der Verfahren des Wettbewerbs. Zunächst sollte es noch ausgereift werden, bevor Vergleiche mit den Verfahren des Wettbewerbs angemessen sind. Dieser Benchmark wurde hauptsächlich wegen seiner Kompaktheit gewählt. Er ist im Vergleich zu den anderen verwendeten Benchmarks der kleinste. Dadurch konnten sehr früh die ersten Ergebnisse gewonnen werden und die besten Parametrisierungen identifiziert werden. Das hatte zur Folge, dass weniger der aufwendigeren Tests auf den größeren Benchmarks durchgeführt werden mussten. Dadurch konnte in der vorgegebenen Zeit intensiver getestet werden. Princeton Shape Benchmark Mittlerweile hat sich der Benchmark der Princeton Shape Retrieval and Analysis Group etabliert [8]. Dieser ist ebenfalls frei im Internet verfügbar 4. Für die Tests wurde der Test Benchmark in der Basisklassifikation verwendet. Dieser besteht aus 907 Modellen, die in 92 Klassen sortiert sind. Die durchschnittliche Klassengröße ist 9, 85 und die größte Klasse besteht aus 50 Modellen. Dieser Benchmark wurde auch von Bustos et al. für den Vergleichstest mehrerer Deskriptoren verwendet [4]. Die dargestellten Ergebnisse sind auf diesem Benchmark etwas schlechter als auf dem KN-DB-Benchmark. Dieser Unterschied wurde auch in dieser Arbeit beobachtet. Der PSB-Test-Benchmark ist erst ab dem Verfahren mit den Differenzen von Gradienten zum Einsatz gekommen. 4.2 Effektivität In diesem Abschnitt werden die Ergebnisse der Effektivitätstest vorgestellt. Die Effektivität beschreibt, wie gut sich ein Deskriptor für die Ähnlichkeitssuche eignet. Die Ergebnisse werden einerseits an den Deskriptoren gemessen, die Bustos et al. in ihrer Arbeit miteinander verglichen haben. Auf der anderen Seite werden sie mit den vier in Feature Vektor Ansatz auf Seite 0 genannten Deskriptoren von Vranić verglichen. Dazu stellt Tabelle 4. die Effektivität dieser Deskriptoren auf den Benchmarks zusammen

28 Benchmark Deskriptor NN FT ST E DCG KN-DB Shrec PSB-Test DBD438 0,67 0,342 0,435 0,239 0,60 DSR472 0,709 0,429 0,548 0,294 0,69 RSH36 0,568 0,288 0,373 0,205 0,556 SIL300 0,585 0,32 0,47 0,228 0,59 DBD438 0,726 0,394 0,504 0,343 0,7 DSR472 0,824 0,503 0,643 0,438 0,785 RSH36 0,685 0,358 0,477 0,324 0,67 SIL300 0,79 0,396 0,53 0,36 0,708 DBD438 0,609 0,332 0,42 0,249 0,599 DSR472 0,658 0,404 0,53 0,294 0,663 RSH36 0,55 0,256 0,346 0,202 0,537 SIL300 0,547 0,305 0,409 0,239 0,58 Tabelle 4.: Werte für die vier Deskriptoren von Vranić auf den drei Benchmarks 4.2. Einfache Gradienten Zunächst wurde die einfachste Art der Berechnung der Gradienten getestet, wie sie in Abschnitt Einfache Gradienten auf Seite 8 beschrieben wurde. Dieser Deskriptor wurde nur auf dem Shrec- und dem KN-DB-Benchmark getestet. Parameter In diesem Abschnitt wird die Wahl der Parameter beschrieben. Distanzfeldberechnung Mit den empfohlenen Parametern von Dalal et al. [7] im Hinterkopf wurde eine Distanzfeldauflösung von gewählt. Diese war schon an der oberen Grenze der Durchführbarkeit, die durch die Rechenzeit bestimmt war und bot trotzdem noch sinnvollen Spielraum für die Parameter. Allerdings ergeben sich aus diesen Distanzfeldern Gradientenfelder mit einer Größe von Um trotzdem die empfohlenen Parameter umsetzen zu können, wurden die Blöcke am Rand etwas verkleinert. Es ist davon auszugehen, dass das der Effektivität nicht schadet, da es ein rein struktureller Unterschied ist, der auf allen Modellen gleich umgesetzt wurde. HOG Extraktion Es wurden drei unterschiedliche Deskriptoren definiert. Die einzelnen Parameter sind in Tabelle 4.2 auf der nächsten Seite dargestellt. Die Zahl im Deskriptornamen ist die Dimension des Deskriptors. hog_8000_simple ist eine Parametrisierung, die möglichst nah an den empfohlenen Werten von Dalal et al. gewählt wurde. Das Ziel des hog_584_simple-deskriptors war es die Dimension zu reduzieren, da 8000 sehr unpraktikabel ist. Letztendlich wurde mit hog_7496_simple ein Deskriptor mit verhältnismäßig geringer Dimension erzeugt, mit welchem der Einfluss der 26

29 Blocküberlappung untersucht werden sollte. Das ε wurde im Bereich [,, 0000] experimentell bestimmt. Die besten Ergebnisse wurden mit 00 ε 20 erzielt. hog_8000_simple hog_584_simple hog_7496_simple Blockgröße 2x2x2 Zellen 2x2x2 Zellen 3x3x3 Zellen Blocküberlappung xx Zellen 0x0x0 Zellen 2x2x2 Zellen Zellgröße 8x8x8 Voxel 2x2x2 Voxel 2x2x2 Voxel ε Bereich (φ) Anzahl der Bins (φ) Anzahl der Bins (θ) Tabelle 4.2: Parameter der getesteten Deskriptoren (einfache Gradienten) Ergebnisse Die Precision-Recall-Kurven der drei Deskriptoren sind in Abbildung 4. dargestellt. Wie man sieht, unterscheiden sie sich kaum. Auch die Werte für die Maße, abgebildet in Tabelle 4.3 auf der nächsten Seite, sind sehr ähnlich. Gerade hog_8000_simple und hog_7496_simple zeigen auf beiden Benchmarks ähnliche Ergebnisse. Da ersterer aber auf dem KN-DB-Benchmark einen signifikant besseren Wert für First Tier zeigt, wird er als besserer Deskriptor betrachtet. Die Ergebnisse zeigen insgesamt einen durchschnittlichen Deskriptor verglichen mit den Methoden, die von Bustos et al. verglichen wurden [4]. Shrec KN-DB hog_584_simple hog_8000_simple hog_7496_simple hog_584_simple hog_8000_simple hog_7496_simple 0,8 0,8 Precision 0,6 0,4 Precision 0,6 0,4 0,2 0,2 0 0, 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9 Recall 0 0,05 0,5 0,25 0,35 0,45 0,55 0,65 0,75 0,85 0,95 Recall Abbildung 4.: Precision-Recall-Kurven der 3 Deskriptoren (einfache Gradienten) auf dem SHREC-Benchmark (links) und dem KN-DB-Benchmark (rechts) Differenzen der Gradienten Als zweites wurde die Berechnung der Gradienten durch Differenzen von Gradienten, wie in Abschnitt Differenzen von Gradienten auf Seite 8 beschrieben, getestet. Parameter Zunächst werden hier wieder die gewählten Parameter erläutert. 27

30 Benchmark Deskriptor NN FT ST E DCG Shrec KN-DB hog_8000_simple 0,726 0,353 0,448 0,306 0,662 hog_584_simple 0,704 0,35 0,448 0,305 0,66 hog_7496_simple 0,685 0,354 0,46 0,33 0,667 hog_8000_simple 0,506 0,242 0,296 0,72 0,495 hog_584_simple 0,498 0,233 0,289 0,69 0,488 hog_7496_simple 0,509 0,229 0,282 0,67 0,488 Tabelle 4.3: Ergebnisse der Deskriptoren (einfache Gradienten) auf den Benchmarks Distanzfeldberechnung Da diese Form der Berechnung der Gradienten das Gradientenfeld gleich um zwei Voxel an jeder Seite gegenüber dem Distanzfeld schrumpfen lässt, wurden Distanzfelder mit einer Auflösung von berechnet. Allerdings wurde dazu der umschließende Raum von dem Modell um 2 in jeder Richtung in jeder Dimension 48 erweitert, sodass das resultierende Gradientenfeld mit der Dimension die Größe des Einheitswürfels hat. Die Blöcke sind nun alle gleich groß. HOG Extraktion Die Parametrisierungen sind besonders im Hinblick auf Überlappung, Zell- und Blockgröße ähnlich gewählt wie in Abschnitt Einfache Gradienten auf Seite 26. Allerdings wurde der Wertebereich für φ und θ entsprechend angepasst (siehe Abschnitt Histogramme auf Seite 20) und, um diesem gerecht zu werden, die Anzahl der Bins auf jeweils 6 reduziert. Dadurch haben die Deskriptoren eine deutlich kleinere Dimension und werden damit deutlich praktikabler. Die einzelnen Parametrisierungen sind im Detail in Tabelle 4.4 dargestellt. Das ε musste neu bestimmt werden. Die besten Ergebnisse wurden diesmal mit ε = 5 erzielt. Es war zu erwarten, dass das ε in diesem Fall deutlich kleiner als in Abschnitt Einfache Gradienten auf Seite 26 gewählt werden muss, da die Menge an Gradienten weniger wird, wie in den Abbildungen 3.4 und 3.5 auf Seite 9 deutlich wird. hog_36000_dog hog_2304_dog hog_7776_dog Blockgröße 2x2x2 Zellen 2x2x2 Zellen 3x3x3 Zellen Blocküberlappung xx Zellen 0x0x0 Zellen 2x2x2 Zellen Zellgröße 8x8x8 Voxel 2x2x2 Voxel 2x2x2 Voxel ε Bereich (φ) Bereich (θ) Anzahl der Bins (φ) Anzahl der Bins (θ) Tabelle 4.4: Parameter der getesteten Deskriptoren (Differenzen von Gradienten) 28

31 Ergebnisse Es wurden wieder Precision-Recall-Kurven berechnet (siehe Abbildung 4.2), welche wieder nur marginale Unterschiede zeigen. Die Werte in Tabelle 4.5 zeigen aber, dass in diesem Test der kleinste Deskriptor, hog_2304_dog, den größten als stärksten Deskriptor abgelöst hat. Das ist in diesem Test auf allen Benchmarks konsistent, wenn auch zum Teil nur geringfügig. Im Vergleich zu den Ergebnissen mit der Methode der einfachen Gradienten zeigen aber alle Deskriptoren eine signifikante Verbesserung um ungefähr 0, 03 bis 0, 05. Die Ergebnisse auf dem PSB-Test-Benchmark zeigen, dass dieser Deskriptor sogar in der Lage ist, den verwandten MSEGI Deskriptor [24] zu schlagen. Im Vergleich mit den Methoden, die Bustos et al. getestet haben [4], zeigt sich nun ein guter Deskriptor, welcher nach First Tier auf der KN-DB- Benchmark auf Platz 4 vor dem Silouetten- und dem Rays-SH-Deskriptor rangieren würde. Auch auf dem PSB-Test-Benchmark wäre der Deskriptor auf Rang 4, allerdings diesmal hinter dem Silouetten-Deskriptor. Der Depth buffer-deskriptor ist jeweils auf Platz. Etwas anders verhält es sich mit den in Kapitel 2 vorgestellten Deskriptoren von Vranić. Er war in der Lage, die eben genannten noch etwas zu verbessern. Von diesen kann lediglich der schwächste, RSH36, auf allen Benchmarks überholt werden, wie ein Vergleich mit Tabelle 4. auf Seite 26 zeigt. Shrec KN-DB hog_2304_dog hog_36000_dog hog_7776_dog hog_2304_dog hog_36000_dog hog_7776_dog 0,8 0,8 Precision 0,6 0,4 Precision 0,6 0,4 0,2 0,2 0 0, 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9 Recall 0 0,05 0,5 0,25 0,35 0,45 0,55 0,65 0,75 0,85 0,95 Recall PSB-Test hog_2304_dog hog_7776_dog hog_36000_dog 0,8 Precision 0,6 0,4 0,2 0 0,05 0,5 0,25 0,35 0,45 0,55 0,65 0,75 0,85 0,95 Recall Abbildung 4.2: Precision-Recall-Kurven der Deskriptoren (Differenzen der Gradienten) auf dem SHREC-Benchmark (oben links), dem KN-DB-Benchmark (oben rechts) und dem PSB-Test-Benchmark (unten) 29

32 Benchmark Deskriptor NN FT ST E DCG Shrec KN-DB PSB-Test hog_36000_dog 0,746 0,379 0,487 0,332 0,688 hog_2304_dog 0,733 0,382 0,487 0,333 0,687 hog_7776_dog 0,725 0,369 0,47 0,32 0,679 hog_36000_dog 0,574 0,28 0,345 0,9 0,538 hog_2304_dog 0,572 0,288 0,357 0,9 0,539 hog_7776_dog 0,55 0,277 0,34 0,9 0,534 hog_36000_dog 0,557 0,258 0,329 0,204 0,535 hog_2304_dog 0,544 0,26 0,33 0,204 0,532 hog_7776_dog 0,537 0,252 0,324 0,99 0,527 Tabelle 4.5: Ergebnisse der Deskriptoren (Differenzen von Gradienten) auf den Benchmarks Approximation der zweiten Ableitung Schließlich wurde die Berechnung der Gradienten durch Approximation der zweiten Ableitungen getestet, wie in Abschnitt Approximation der zweiten Ableitungen auf Seite 9 beschrieben. Parameter Für diese Tests wurden die gleichen Distanzfelder (Auflösung ) wie in Abschnitt Differenzen der Gradienten auf Seite 27 aus den gleichen Gründen verwendet. Alle Parameter, nur mit Ausnahme des ε, entsprechen wieder denen aus Abschnitt Einfache Gradienten auf Seite 26. Das ε wurde erneut experimentell bestimmt und die besten Ergebnisse wurden wieder für ε = 5 erzielt. Ergebnisse Die Precision-Recall-Kurven sind in Abbildung 4.3 auf der nächsten Seite dargestellt und zeigen wieder drei ähnlich starke Deskriptoren. Die Werte in Tabelle 4.6 auf Seite 32 zeigen wiederum, dass der kleinste Deskriptor, hier hog_584_sec, wie schon im vorhergehenden Abschnitt die besten Ergebnisse liefert. Verglichen mit den Ergebnissen aus Abschnitt Differenzen der Gradienten auf Seite 27 zeigt sich wieder eine signifikante Verbesserung, diesmal um 0, 0 bis 0, 03. Abbildung 4.4 auf Seite 33 verdeutlicht die erzielten Verbesserungen durch die unterschiedlichen Berechnungen der Gradienten in Form von Precision-Recall-Kurven. Die Verbesserung gegenüber den Ergebnissen des vorhergehenden Abschnitts auf dem KN-DB- Benchmark sind nicht so ausgeprägt wie auf den anderen Benchmarks. Auf Basis dieses Benchmarks hat sich der Rang in der Liste der von Bustos et al. verglichenen Deskriptoren nicht geändert, trotz einer Verbesserung des First Tiers um 0, 008. In der Liste der Deskriptoren auf Basis des First Tier auf dem PSB-Test-Benchmark würde der hog_584_sec-deskriptor auf Platz 2 rangieren, dicht hinter dem Depth buffer-deskriptor. Der Unterschied beträgt lediglich 0, 008. Der Deskriptor erreicht aber nicht die Effektivität des DSR472-Deskriptors von Vranić [23], wie die Werte in 30

33 Tabelle 4. auf Seite 26 zeigen. Zwischen diesem und dem hog_584_sec-deskriptor liegen auf dem First Tier noch mehr als 0,. Das war allerdings zu erwarten, denn der DSR472-Deskriptor ist bereits eine Kombination mehrerer Features. Trotzdem ist es vorstellbar, dass der 3DHOG-Deskriptor mit den Verbesserungen aus Kapitel 5 den DSR472-Deskriptor einholen kann. Der neue hog_584_sec-deskriptor schlägt jedoch in dieser Form schon den MSEGI-Deskriptor [24] um mehr als 0, 02 auf dem First Tier des PSB-Test-Benchmarks. Shrec hog_584_sec hog_7496_sec hog_8000_sec KN-DB hog_584_sec hog_7496_sec hog_8000_sec 0,8 0,8 Precision 0,6 0,4 Precision 0,6 0,4 0,2 0,2 0 0, 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9 Recall 0 0,05 0,5 0,25 0,35 0,45 0,55 0,65 0,75 0,85 0,95 Recall PSB-Test hog_2304_dog hog_7776_dog hog_36000_dog 0,8 Precision 0,6 0,4 0,2 0 0,05 0,5 0,25 0,35 0,45 0,55 0,65 0,75 0,85 0,95 Recall Abbildung 4.3: Precision-Recall-Kurven der Deskriptoren (Approximation der zweiten Ableitungen) auf dem SHREC-Benchmark (oben links), dem KN-DB- Benchmark (oben rechts) und dem PSB-Test-Benchmark (unten) Blocknormalisierung durch L2Hys Aus den vorherigen Abschnitten konnte der hog_584_sec-deskriptor als stärkster identifiziert werden. Anhand dieses Deskriptors wurde nun untersucht, welchen Einfluss die L2-Normalisierung mit Hystereseschritt hat. Als Maximalwert für den Hystereseschritt wurde 0, 2 gewählt, wie Dalal et al. suggerieren [7]. Für die anschließende Normalisierung wurde ε 2 = 0, gewählt. Die Ergebnisse sind in Tabelle 4.7 auf der nächsten Seite den Ergebnissen ohne Hystereseschritt gegenübergestellt. Für alle Werte gilt, dass sie entweder unverändert sind oder sich leicht verbessert haben. Insgesamt hatte diese Form der Normalisierung aber keinen großen Einfluss auf die Ergebnisse. Allerdings sollte diese Normalisierung noch intensiver getestet werden mit unterschiedlichen Werten für ε 2 und mit unterschiedlichen Kombinationen von ε und ε 2. Aus Zeitgründen war das hier leider nicht möglich. Deshalb wurde auf die Verwendung des Hystereseschritts in den folgenden Experimenten zunächst verzichtet. 3

34 Benchmark Deskriptor NN FT ST E DCG Shrec KN-DB PSB-Test hog_8000_sec 0,749 0,392 0,5 0,34 0,703 hog_584_sec 0,758 0,43 0,522 0,356 0,76 hog_7496_sec 0,747 0,403 0,53 0,349 0,709 hog_8000_sec 0,577 0,286 0,348 0,94 0,545 hog_584_sec 0,594 0,296 0,363 0,2 0,552 hog_7496_sec 0,562 0,289 0,358 0,96 0,544 hog_8000_sec 0,58 0,272 0,34 0,2 0,545 hog_584_sec 0,589 0,279 0,355 0,28 0,553 hog_7496_sec 0,58 0,278 0,349 0,22 0,55 Tabelle 4.6: Ergebnisse der Deskriptoren (Approximation der zweiten Ableitungen) auf den Benchmarks Benchmark Deskriptor NN FT ST E DCG Shrec KN-DB PSB-Test hog_584_sec 0,758 0,43 0,522 0,356 0,76 hog_584_sec-hys 0,77 0,43 0,525 0,356 0,77 hog_584_sec 0,594 0,296 0,363 0,2 0,552 hog_584_sec-hys 0,596 0,297 0,363 0,2 0,552 hog_584_sec 0,589 0,279 0,355 0,28 0,553 hog_584_sec-hys 0,59 0,282 0,355 0,29 0,554 Tabelle 4.7: Ergebnisse des hog_584_sec-deskriptors mit L2-Normalisierung mit (hog_584_sec-hys) und ohne (hog_584_sec) Hysterese auf den Benchmarks Einzelne Klassen Um die Performanz des hog_584_sec-deskriptors näher zu untersuchen, wurden die Werte auf dem First Tier klassenweise mit den Werten für den DSR472-Deskriptor von Vranić verglichen. Die Ergebnisse für den KN-DB-Benchmark, den Shrec-Benchmark und den PSB-Test-Benchmark sind in Abbildung 4.5 auf Seite 38 dargestellt. In dem Diagramm zum KN-DB-Benchmark sind nur 54 Klassen dargestellt, obwohl es eigentlich 55 Klassen gibt. Das liegt daran, dass eine Klasse zu klein ist, um darüber sinnvolle Aussagen in Bezug auf das First Tier zu treffen. Auf allen Benchmarks gibt es Klassen, auf denen der hog_584_sec-deskriptor eine bessere Performanz vorweisen kann als der DSR472-Deskriptor. Details zu diesen Klassen sind in den Tabellen 4.8 auf Seite 34 zu finden. Die Spalte Verb. bezeichnet jeweils die relative Verbesserung des hog_584_sec-deskriptors gegenüber dem DSR472-Deskriptor auf der jeweiligen Klasse in %. Ein in dieser Spalte sagt aus, dass der DSR472-Deskriptor auf dieser Klasse eine FT-Performanz von 0 hatte, während der hog_584_sec-deskriptor einen höheren Wert liefert. Auffällig ist, dass der hog_584_sec-deskriptor auf vielen signifikant großen Klassen im Bereich der Pflanzen und Bäume bei allen Benchmarks 32

35 Shrec KN-DB hog_2304_dog hog_584_sec hog_8000_simple hog_2304_dog hog_584_sec hog_8000_simple 0,8 0,8 Precision 0,6 0,4 Precision 0,6 0,4 0,2 0,2 0 0, 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9 Recall 0 0,05 0,5 0,25 0,35 0,45 0,55 0,65 0,75 0,85 0,95 Recall PSB-Test hog_2304_dog hog_584_sec 0,8 Precision 0,6 0,4 0,2 0 0,05 0,5 0,25 0,35 0,45 0,55 0,65 0,75 0,85 0,95 Recall Abbildung 4.4: Precision-Recall-Kurven der besten Parametrisierungen der Methoden zur Berechnung der Gradienten auf dem SHREC-Benchmark (oben links), dem KN-DB-Benchmark (oben rechts) und dem PSB-Test- Benchmark besser ist als der DSR472-Deskriptor. Das legt die Vermutung nahe, dass er gerade in diesem Bereich bessere Dienste leisten kann. Einige Beispiele aus diesen Klassen sind in Abbildung 4.6 auf Seite 39 abgebildet. Sie zeigen, dass diese Modelle recht komplex sind und eine hohe Varianz in den Oberflächennormalen aufweisen. Offensichtlich können solche Merkmale besser in Histogrammen aus Gradienten erfasst werden als durch den bildbasierten DSR472-Deskriptor. Der neue Deskriptor kann also in bestimmten Domänen bessere Ergebnisse erzielen als der DSR472-Deskriptoren. Generelle Aussagen über die Eignung des hog_584_sec-deskriptors für einzelne Domänen sind aber ohne Weiteres schwierig. Der Deskriptor muss für einzelne Domänen extra getestet werden Kombinationen Der hog_584_sec-deskriptor wurde mit dem DSR-, DBD-, RSH-, und dem SIL- Deskriptor von Vranić [23] kombiniert, um zu untersuchen, ob er in der Lage ist, diese zu verbessern. Als Kombinationsverfahren kam eine statische Distanzaggregation der einzeln normalisierten Distanzen der Feature Vektoren zum Einsatz. Schreck beschreibt in seiner Arbeit dieses Vorgehen genauer [22]. Er stellt fest, dass die einfache Maximum-Normalisierung die besten Ergebnisse liefert, weshalb auch diese hier zur Normalisierung verwendet wurde. In Tabelle 4.9 auf Seite 35 sind die Ergebnisse der Kombinationen, die aus einem der Deskriptoren von Vranić und dem hog_584_sec-deskriptor bestehen, dargestellt. 33

36 KN-DB CID Beschreibung Größe Verb. 6 bee 5 7 chips keyboard teapot plane formula warship bed couch glasses barrel trees 3 54 weed 9 69 Shrec CID Beschreibung Größe Verb. Bird Insect 8 5 Biped 8 23 Cup MusicalInstr FloorLamp Sword Bookshelf HomePlant Car 8 88 PSB-Test CID Beschreibung Größe Verb. 5 stealth bomber 5 9 flying saucer ant human with arms out body part: head eyeglasses cabinet shelves geographic map ladder 4 67 bush potted plant conical tree ship sink slot machine staircase motor cycle train car wheel 4 Tabelle 4.8: Details zu den Klassen dem KN-DB- (links oben), dem Shrec- (links unten) und dem PSB-Test-Benchmark (rechts), auf denen der hog_584_sec- Deskriptor nach First Tier besser ist als der DSR472-Deskriptor 34

37 Die Ergebnisse zeigen, dass der hog_584_sec-deskriptor durchaus in der Lage ist, die Effektivität anderer Deskriptoren zu verbessern. Der beste Deskriptor, DSR472, konnte auf dem Shrec-Benchmark um 0, 03 verbessert werden, der RSH36 sogar um mehr als 0,. Gerade der schwache RSH36-Deskriptor kann auch auf den anderen Benchmarks durch den hog_584_sec-deskriptor stark an Effektivität gewinnen. Die Kombination des hog_584_sec-deskriptors mit dem SIL-, DBD- oder RSH-Deskriptor liefert immer einen Deskriptor, der besser ist als die jeweils einzelnen. Das lässt darauf schließen, dass der neue Deskriptor in der Lage ist, Charakteristiken der Modelle zu erfassen, die die anderen Deskriptoren nicht erkennen. Leider zeigen die Ergebnisse aber auch, dass der hog_584_sec-deskriptor die Effektivität von Deskriptoren negativ beeinflussen kann. Auf dem KN-DB- und dem PSB-Test-Benchmark verliert der DSR472-Deskriptor durch die Kombination an Effektivität, auf dem KN-DB-Benchmark sogar über 0, 04. Kombinationen mit mehr als zwei Deskriptoren lieferten keine nennenswerten Ergebnisse. In dieser Arbeit wurde nur ein Kombinationsverfahren betrachtet. Es gibt noch viele weitere, wie Schreck in seiner Arbeit beschreibt [22], welche zu konsistenteren Ergebnissen bei den Kombinationen führen könnten. KN-DB PSB-Test Shrec mit hog ohne hog mit hog ohne hog mit hog ohne hog DSR472 0,3856 0,4330 0,3852 0, ,5334 0,50294 SIL300 0, ,3095 0, ,305 0,4798 0,39559 DBD438 0, , , ,3380 0, ,39387 RSH36 0, , ,3272 0, , ,35809 Tabelle 4.9: First Tier der Deskriptoren von Vranić mit und ohne dem hog_584_sec- Deskriptor 4.3 Effizienz Für die durchgeführten Tests aus dem vorhergehenden Abschnitt wurde jeweils die Zeit gemessen. Die Ergebnisse der Zeitmessungen werden in diesem Abschnitt vorgestellt. Das Verfahren wurde vollständig in Java implementiert. Die Tests wurden auf einem Rechner mit einem Intel(R) Xeon(R) CPU E5430 -Prozessor (2.66 GHz) und 8 Gb RAM Speicher durchgeführt. Die Messungen in dieser Arbeit entsprechen keinem intensiven Benchmarking bezüglich der Effizienz und enthalten alle Ein- und Ausgabeoperationen (zum Beispiel Einlesen der Modelle, Schreiben der Feature Vektoren). In einzelnen Schritten sind wahrscheinlich noch Optimierungen möglich, wenn auch die asymptotische Laufzeit wahrscheinlich nicht weiter verbessert werden kann. Die Zeiten sollen lediglich einen Eindruck von der Größenordnung und dem Verhältnis der einzelnen Schritte vermitteln. 35

38 4.3. Distanzfeldberechnung Das verwendete Verfahren zur Berechnung der Distanzfelder ist linear in der Anzahl der Voxel und logarithmisch in der Anzahl der Dreiecke des Modells. Aufgrund von diversen Problemen bei der Berechnung der Distanzfelder konnten nicht für alle Berechnungen Zeitmessungen ausgewertet werden. Die Ergebnisse der auswertbaren Messungen sind in Tabelle 4.0 zu finden. Diese zeigen, dass die Berechnung sehr teuer ist. Für einzelne Modelle dauert die Berechnung im Durchschnitt mehrere Minuten. Um einen ganzen Benchmark zu konvertieren, benötigt man mit dem gewählten Ansatz bereits mehrere Tage. Möchte man also die Effizienz des Verfahrens erhöhen, sollte man hier ansetzen und die Berechnung entweder beschleunigen, oder einen Weg finden, die Gradienten ohne Distanzfelder zu berechnen. In Kapitel 5 werden Möglichkeiten für beide Ansätze vorgeschlagen. Benchmark Shrec PSB-Test Durchschnittliche Anzahl von Dreiecken Auflösung der Distanzfelder Durchschnittliche Berechnungszeit pro Modell 5m 56s 6m 22s Berechnungszeit für kompletten Benchmark 79h 7m 9s 96h 3m 34s Tabelle 4.0: Berechnungszeiten der Distanzfelder HOG Extraktion In Tabelle 4. auf der nächsten Seite sind die mittleren Laufzeiten pro Modell für jeden Benchmark für die HOG Extraktion dargestellt. Während die Distanzfeldberechnung für jedes Modell mehrere Minuten dauert, kann der Feature Vektor anschließend in unter einer Sekunde berechnet werden. Dass die Berechnungszeit mit der steigender Dimension des Deskriptors größer wird, hat verschiedene Gründe. Sowohl die Zeit für die Blocknormalisierung, als auch die für das Schreiben der Feature Vektoren, sind proportional zur Größe der Vektoren. Einfache Gradienten Die durchschnittliche Berechnungszeit liegt bei diesem Verfahren bei 200 bis 400 ms. Wenn das Distanzfeld vorliegt, ist dieser Deskriptor sehr effizient zu berechnen. Differenzen der Gradienten Dieses Verfahren ist deutlich langsamer als die beiden anderen. Im Vergleich zum Verfahren mit einfachen Gradienten ergibt sich sogar ein Faktor von 3 bis 4. Das liegt daran, dass die Maske zur Berechnung der Gradienten zweimal auf das Feld angewendet wird, bevor das endgültige Gradientenfeld berechnet ist. Das ließe sich verbessern, indem analog zum Verfahren mit Approximation der zweiten Ableitungen mit einer Maske gerechnet wird, die das gleiche Ergebnis bei einmaliger Anwendung erzielt. Trotz des Effizienzverlusts ist dieses Verfahren noch relativ praktikabel. Im Vergleich zur Distanzfeldberechnung ist der Unterschied der Berechnung vernachlässigbar. 36

39 Einfache Gradienten hog_8000_simple hog_584_simple hog_7496_simple SHREC 379,7 ms 22,2 ms 252,78 ms KN-DB 396,84 ms 250,4 ms 297,22 ms Differenzen der Gradienten hog_36000_dog hog_2304_dog hog_7776_dog SHREC 942,59 ms 840,97 ms 856,25 ms KN-DB 925,42 ms 824,7 ms 846,49 ms PSB-Test 04,33 ms 970,23 ms 976,85 ms Approximation der zweiten Ableitungen hog_8000_sec hog_584_sec hog_7496_sec SHREC 465,28 ms 32,5 ms 338,89 ms KN-DB 473,05 ms 35,9 ms 370,7 ms PSB-Test 472,99 ms 36,42 ms 358,32 ms Tabelle 4.: Durchschnittliche Laufzeit der hog-extraktoren pro Modell auf den unterschiedlichen Benchmarks Approximation der zweiten Ableitungen Diese Form der Berechnung der Gradienten ist ähnlich schnell wie die einfachen Gradienten. Der kleine Geschwindigkeitsunterschied ergibt sich wahrscheinlich aus der etwas aufwendigeren Maske, die zur Gradientenberechnung verwendet wird. Auch dieser Deskriptor ist sehr effizient zu berechnen, wenn das Distanzfeld einmal vorliegt. 37

40 KN-DB hog_584_sec DSR472 0,8 First Tier 0,6 0,4 0, Class-Id Shrec hog_584_sec DSR472 0,8 First Tier 0,6 0,4 0, Class-Id PSB-Test hog_584_sec DSR472 0,8 First Tier 0,6 0,4 0, Class-Id Abbildung 4.5: Vergleich des First Tier für einzelne Klassen dem KN-DB- (oben), dem Shrec- (mitte) und dem PSB-Test-Benchmark (unten) des hog_584_sec- und DSR472-Deskriptor 38

41 Abbildung 4.6: Beispielmodelle aus den Klassen HomePlant (Shrec, links oben), trees (KN-DB, rechts oben) und conical tree (PSB-Test, unten) 39