Klassifizierung von Vegetation in einer Laserscan-Punktwolke

Transkript

1 Klassifizierung von Vegetation in einer Laserscan-Punktwolke Autorin Corinne Stucker Studiengang Geomatik und Planung Erstellung Frühjahrssemester 2014 Leitung Prof. Dr. Konrad Schindler Betreuung Dr. Jan Dirk Wegner Institut für Geodäsie und Photogrammetrie, IGP Eidgenössische technische Hochschule Zürich, ETH Zürich

2

3 Zusammenfassung Im Rahmen dieser Bachelorarbeit wurde ein Klassifikationsalgorithmus für die automatische Klassifizierung von Vegetation in 3D-Punktwolken statischer, terrestrischer Laserscans entwickelt. Mit dem erarbeiteten Klassifikationsalgorithmus ist es möglich, 3D-Punktwolken in die fünf relevanten Objektklassen «Baumkrone», «Baumstamm», «Boden», «Busch» und «Indefinite» (Restklasse) zu klassifizieren. Einzig mit der Information der Koordinaten ist es nicht möglich, die Klassenzugehörigkeit von Punkten zu bestimmen. Es wurden deshalb andere charakteristischere und differenziertere Parameter als Koordinaten bestimmt, die eine Unterscheidung der Objekte bzw. der Klassen erlauben. Diese sogenannten Merkmale beschreiben die räumliche Verteilung und Ausrichtung von Punkten innerhalb der Nachbarschaft eines Punktes sowie die räumliche Beziehung zwischen einem Punkt und seinen benachbarten Punkten. Die 14 implementierten Merkmale entstammen der aktuellen, einschlägigen Literatur (Chehata et al., 2009; Gross et al., 2002) und lassen sich in drei Kategorien unterteilen: Merkmale basierend auf der Höhe von LiDAR Punkten, Merkmale basierend auf Eigenwerten und Merkmale basierend auf der lokalen Ebene einer Punktnachbarschaft. Die Merkmalsberechnung wurde für die kugelförmige wie auch für die zylindrische Nachbarschaft auf mehreren Massstabsstufen durchgeführt. Insgesamt wurden für den multiskalen-ansatz drei kugelförmige und zwei zylindrische Nachbarschaften definiert. Die Eignung der implementierten Merkmale für die Klassifizierung von Punktwolken sowie der Einfluss der berücksichtigten Nachbarschaften auf das Klassifizierungsergebnis wurden mit den bestehenden Klassifizierungsmethoden Naive Bayes und Random Forests untersucht. Die Evaluierung des Klassifikationsalgorithmus hat gezeigt, dass sich der multiskalen-ansatz für die Merkmalsberechnung bewährt. Weder mit einer Einzelnachbarschaft noch mit einer reduzierten Nachbarschafts-Kombination konnten bessere Klassifikationsergebnisse erzielt werden. Die Merkmale, die ursprünglich für die Klassifizierung von Punktwolken aus Airborne Daten entwickelt wurden, eignen sich auch für die Klassifizierung von Punktwolken statischer, terrestrischer Laserscans. Bereits mit Naive Bayes konnte eine Gesamtklassifikationsgenauigkeit von rund 89% erreicht werden (Testgebiet Reussegg). Wird für die Klassifizierung Random Forests verwendet, kann die Gesamtklassifikationsgenauigkeit auf nahezu 94% gesteigert werden. Mit Random Forests beläuft sich die mittlere Genauigkeit der Klassifizierung auf 89%, die mittlere Zuverlässigkeit beträgt 93%. Der Kappa-Koeffizient ist rund 89% und deutet somit auf eine ausgezeichnete Qualität der Klassifizierung hin (Ortiz, 1997).

4

5 Danksagung Ich möchte folgenden Personen meinen Dank aussprechen: Prof. Dr. Konrad Schindler für das Ermöglichen dieser Arbeit, Dr. Jan Dirk Wegner für die kompetente Unterstützung und Betreuung der Arbeit, für sein Interesse am Fortschritt der Arbeit sowie für die regelmässigen Treffen und die wertvollen Inputs, Andreas B. G. Baumann und Christoph Ober für das Zurverfügungstellen ihrer Daten, Pascal Theiler für die Registrierung der Datensätze und für die Anregungen im Umgang mit der Software Geomagic Studio

6

7 Inhaltsverzeichnis i Inhaltsverzeichnis I. Abbildungsverzeichnis... iii II. Tabellenverzeichnis... v III. Symbolverzeichnis... vii 1. Einleitung Motivation Zielsetzung der Arbeit Gliederung der Arbeit Theoretische Grundlagen Verwandte Arbeiten Laserscanning Konzept des statistischen Lernens Überwachtes Lernen Unüberwachtes Lernen Halbüberwachtes Lernen Klassifikation Vorbereitung Merkmalsgewinnung Training, Validierung und Test des Klassifizierers Klassifizierungsmethoden Naive Bayes Klassifizierer Entscheidungsbäume Bagging Random Forests Evaluierungsmethoden Konfusionsmatrix Einfache Kreuzvalidierung Methodik Klassendefinition Merkmalsgewinnung Nachbarschaftsdefinition... 37

8 ii Inhaltsverzeichnis Merkmale basierend auf der Höhe von LiDAR Punkten Merkmale basierend auf Eigenwerten Merkmale basierend auf der lokalen Ebene Zusammenstellung des Merkmalsvektors Verwendete Klassifizierer Implementierungsgrundlagen Arbeitsmittel Datensätze Preprocessing der Datensätze Ergebnisse und Diskussion Plausibilitätsprüfung der Merkmalsimplementierung Testgebiet Reussegg Naive Bayes Klassifizierungsergebnisse Random Forests Klassifizierungsergebnisse Fehlklassifikationen Testgebiet ETH_HXE Schlussbetrachtung Fazit der Arbeit Ausblick Quellenverzeichnis A. Anhang A1. RANSAC-Algorithmus A2. MSAC-Algorithmus A3. Zusammenstellung ausgewählter Merkmale für Reussegg_s A4. Merkmal «Ebenheit» für verschiedene Nachbarschaften A5. Zusammenstellung der Klassifikationsergebnisse für das Testgebiet Reussegg A6. Fehlklassifikationen des Testgebietes Reussegg B. Matlab Programm C. Aufgabenstellung D. Eigenständigkeitserklärung

9 I Abbildungsverzeichnis iii I. Abbildungsverzeichnis Abb. 1: Prinzip des überwachten Lernens Abb. 2: Prinzip des unüberwachten Lernens Abb. 3: Übersicht über den Ablauf eines Klassifikationsprozesses Abb. 4: zweidimensionaler Merkmalsraum Abb. 5: zweidimensionaler Merkmalraum vs. Entscheidungsbaum Abb. 6: Prinzip der Klassifizierungsmethode Bagging Abb. 7: Aufbau einer Konfusionsmatrix Abb. 8: Nachbarschaftsdefinition Abb. 9: Bestimmung der Nachbarspunkte für einen LiDAR Punkt P mit kugelförmiger Nachbarschaft Abb. 10: Multiskalen-Ansatz für die Definition einer kugelförmigen Nachbarschaft Abb. 11: Geometrische Deutung der Eigenvektoren, e e und... e 43 Abb. 12: Grössenverhältnisse der drei Eigenwerte λ, λ und λ als Indikatoren für die lokale räumliche Verteilung der Punkte innerhalb der Nachbarschaft eines Punktes Abb. 13: Lokale Ebene Π für die Nachbarschaft des LiDAR Punktes P Abb. 14: 3D-Punktwolken des Testgebietes Reussegg Abb. 15: 3D-Punktwolken des Testgebietes ETH_HXE Abb. 16: Klassifikationsergebnisse des Datensatzes Reussegg_s4 unter Verwendung aller Nachbarschaften Abb. 17: Klassifikationsergebnisse des Datensatzes Reussegg_s6 unter Verwendung aller Nachbarschaften Abb. 18: Kennzahlen der Naive Bayes Klassifizierung unter Verwendung verschiedener Einzelnachbarschaften und Nachbarschafts-Kombinationen Abb. 19: Kennzahlen der Random Forests Klassifizierung unter Verwendung verschiedener Einzelnachbarschaften und Nachbarschafts-Kombinationen Abb. 20: falsch klassifizierte Punkte mit Naive Bayes bzw. Random Forests für die Datensätze Reussegg_s4 und Reussegg_s Abb. 21: Random Forests Klassifikationsergebnis für die Klassifizierung des Datensatzes ETH_HXE_B unter Verwendung sämtlicher fünf Nachbarschaftsdefinitionen Abb. 22: Übersicht über den Ablauf des RANSAC-Algorithmus... 86

10 iv I Abbildungsverzeichnis Abb. 23: Einfluss der Fehlerschranke δ auf die Bestimmung der ausreisserfreien Datenpunktmenge für einen Iterationsschritt des RANSAC-Algorithmus Abb. 24: Kostenfunktion ρe für den RANSAC-Algorithmus, den MSAC-Algorithmus und für die Methode der kleinsten Quadrate Abb. 25: merkmalscodierte Einfärbung der Punktwolke Reussegg_s6 für eine kugelförmige Nachbarschaft mit Kugelradius r 50 cm (Richtungsabhängigkeit, Sphärizität) Abb. 26: merkmalscodierte Einfärbung der Punktwolke Reussegg_s6 für eine kugelförmige Nachbarschaft mit Kugelradius r 50 cm (Linearität, Ebenheit) Abb. 27: merkmalscodierte Einfärbung der Punktwolke Reussegg_s6 für eine kugelförmige Nachbarschaft mit Kugelradius r 50 cm (Oberflächenvariation, Abweichungswinkel) Abb. 28: merkmalscodierte Einfärbung der Punktwolke Reussegg_s6 für eine kugelförmige Nachbarschaft mit Kugelradius r 50 cm (Punktabstand, Residuen) Abb. 29: merkmalscodierte Einfärbung der Punktwolke Reussegg_s6 für eine kugelförmige Nachbarschaft mit Kugelradius r 50 cm (Varianz des Abweichungswinkels, Höhenvarianz) Abb. 30: Merkmal P (Ebenheit) für verschiedene Nachbarschaften Abb. 31: Reussegg_s4 mittlere Zuordnungswahrscheinlichkeiten für falsch klassifizierte Punkte Abb. 32: Reussegg_s6 mittlere Zuordnungswahrscheinlichkeiten für falsch klassifizierte Punkte... 99

11 II Tabellenverzeichnis v II. Tabellenverzeichnis Tab. 1: Richtwerte für die Interpretation des Kappa-Koeffizienten (Ortiz, 1997) Tab. 2: zu erwartende Grössenordnungen der Merkmale A, P, S und L Tab. 3: Tab. 4: Tab. 5: Tab. 6: Tab. 7: Tab. 8: Tab. 9: Gegenüberstellung der Anzahl Punkte pro Klasse des Datensatzes Reussegg_s4 vor und nach der Punktwolkenausdünnung Gegenüberstellung der Anzahl Punkte pro Klasse des Datensatzes Reussegg_s6 vor und nach der Punktwolkenausdünnung Gegenüberstellung der Anzahl Punkte pro Klasse des Datensatzes ETH_HXE_A vor und nach der Punktwolkenausdünnung Gegenüberstellung der Anzahl Punkte pro Klasse des Datensatzes ETH_HXE_B vor und nach der Punktwolkenausdünnung Naive Bayes Klassifikationsergebnis für das Testgebiet Reussegg unter Verwendung aller Nachbarschaften, mittlere Konfusionsmatrix Random Forests Klassifikationsergebnis für das Testgebiet Reussegg unter Verwendung aller Nachbarschaften, mittlere Konfusionsmatrix Random Forests Klassifikationsergebnis für das Testgebiet ETH_HXE unter Verwendung aller Nachbarschaften, mittlere Konfusionsmatrix Tab. 10: Naive Bayes Klassifikationsergebnisse für das Testgebiet Reussegg Tab. 11: Random Forests Klassifikationsergebnisse für das Testgebiet Reussegg... 98

12 vi II Tabellenverzeichnis

13 III Symbolverzeichnis vii III. Symbolverzeichnis Punktnachbarschaft einzelner LiDAR Punkt einer Punktwolke lokale (kugelförmige oder zylindrische) Nachbarschaft eines LiDAR Punktes Kugel- oder Zylinderradius der Nachbarschaft eines LiDAR Punktes halbe Zylinderhöhe der zylindrischen Nachbarschaft eines LiDAR Punktes Merkmalsgewinnung Δ,, Merkmal: relative Höhe eines LiDAR Punktes Merkmal: Höhenvarianz der Nachbarschaft Eigenvektoren der Nachbarschaft,, Merkmale: Eigenwerte der Nachbarschaft Merkmal: Richtungsabhängigkeit der Nachbarschaft Merkmal: Sphärizität der Nachbarschaft Merkmal: Ebenheit der Nachbarschaft Merkmal: Linearität der Nachbarschaft Merkmal: Oberflächenvariation der Nachbarschaft Merkmal: Abweichungswinkel zwischen dem Normalenvektor der lokalen Ebene Π einer Nachbarschaft und der Vertikalen Merkmal: Varianz des Abweichungswinkels innerhalb der Nachbarschaft Merkmal: Abstand eines LiDAR Punktes von der lokalen Ebene Π Merkmal: aufsummierte Residuen der lokalen Ebene Π für die Punkte in der Nachbarschaft

14 viii III Symbolverzeichnis Lokale Ebene / RANSAC-Algorithmus / MSAC-Algorithmus Π lokale Ebene der Nachbarschaft Fehlerschranke des RANSAC- bzw. des MSAC-Algorithmus: maximaler Abstand eines fehlerfreien Datenpunktes vom Modell Statistische Lerntheorie Anzahl Klassen Anzahl Merkmale Anzahl Beobachtungen eines Datensatzes. tes Merkmal ( 1,2,,) Wert des.ten Merkmals ( 1,2,,) für die.te Beobachtung ( 1,2,,) Merkmalsvektor der.ten Beobachtung bestehend aus Merkmalswerten, wobei,, gilt Antwort bestehend aus Elementen ( verschiedene Klassen) Klasse der.ten Beobachtung ( 1,2,, ) Konfusionsmatrix Konfusionsmatrix Element in der.ten Zeile und.ten Spalte einer Konfusionsmatrix Producer s Accuracy (Produzentengenauigkeit) User s Accuracy (Nutzergenauigkeit) mittlere Genauigkeit mittlere Zuverlässigkeit Gesamtklassifikationsgenauigkeit Kappa-Koeffizient

15 1 Einleitung 1 1. Einleitung Die Kartierung und Visualisierung der Erde einschliesslich der darauf befindlichen Objekte ist seit jeher ein Bedürfnis des Menschen. Mit den heutigen Technologien eröffnen sich hierbei völlig neue Möglichkeiten. Die dreidimensionale Landschafts- und Stadtmodellierung als neue Darstellungsform wird zunehmend beliebter. Realistische 3D-Modelle unserer Umgebung beschränken sich längst nicht mehr auf einen kleinen Nutzerkreis, sondern haben sich mittlerweile in unserem Alltag etabliert. Mittels Google Maps bzw. Google Street View ist es möglich, andere Kontinente, fremde Städte oder gar Ozeane auf einfache Art und Weise am heimischen Computer zu erkunden. 360-Grad-Panoramaansichten und 3D- Darstellungen geben Umgebungen realitätsgetreu und anschaulich wieder. Die für die virtuelle Realität entwickelten digitalen 3D-Modelle dienen neben dem Tourismus und der Navigation insbesondere als Grundlage für Stadtplanungen oder Umweltanalysen. Die virtuelle Einbettung von Bauprojekten in ihre zukünftige Umgebung gestattet, Bauvorhaben in einer realistischen, dreidimensionalen Form zu präsentieren und somit Planungsentscheide zu erleichtern. Auch im Bereich der öffentlichen Sicherheit sind präzise 3D-Stadtmodelle unerlässlich. Bei der Planung von Grossveranstaltungen können auf Basis von 3D-Stadtmodellen Sicherheitskonzepte erarbeitet werden. 3D-Modelle der Umwelt ermöglichen unter anderem Analysen von Lärm-, Mobilfunk-, oder Feinstaubausbreitungen und sind Voraussetzung für Simulationen jeglicher Art (z. B. Überschwemmungen). Die Datenerhebung für die Erstellung von 3D-Modellen erfolgt zunehmend mit luftgestütztem oder terrestrischem Laserscanning. Die Technologie des Laserscannings erlaubt, Messgebiete zeitnah, flächendeckend und berührungslos aufzunehmen. Sie sind deshalb prädestiniert, um die komplexen Geometrien einer Stadt zu erfassen. Eine manuelle Vermessung von Stadtteilen oder ganzen Städten ist sowohl zeit- als auch kostenintensiv und ist angesichts der rasant wachsenden Städte wenig effizient. Im Bereich der Holz- und Forstwirtschaft bietet sich das terrestrische Laserscanning als zeitsparende und effiziente Erfassungsmethode an. Mithilfe von Laserscannern können Baumbestände kartiert und forstinventur-relevante Geometrieparameter wie Anzahl und Position von Bäumen, Baumarten, Baumhöhen oder Brusthöhendurchmesser von Baumstämmen bestimmt werden (Bienert, 2013). Aus diesen Parametern werden die eigentlichen Zielgrössen von Waldinventuren wie Holzvorrat oder Biomasse abgeleitet, auf deren Basis die Waldbewirtschaftung kontrolliert und die Planung eines Forstbetriebes abgestützt wird. Das Laserscanning ergänzt bzw. ersetzt deshalb die manuelle Erhebung von Forstinventuren, die mit erheblichem Zeit- und Personalaufwand verbunden ist.

16 2 1 Einleitung 1.1. Motivation Die bei der Durchführung einer Laserscanning-Messkampagne gewonnene diskrete Menge an dreidimensionalen Abtastpunkten wird als Punktwolke bezeichnet. Aufgrund der hohen Messfrequenzen bestehen Punktwolken üblicherweise aus mehreren Millionen oder gar Milliarden Punkten. Unabhängig vom Anwendungsbereich müssen Punktwolken in einem ersten Verarbeitungsschritt klassifiziert werden jeder Punkt der Punktwolke muss einer relevanten Objektkategorie wie Vegetation, Gebäude, Grasfläche oder Strasse zugeordnet werden. In Anbetracht der enormen Punktzahl erweist sich eine manuelle Klassifizierung als mühselige und als überaus zeit- und kostenintensive Arbeit. Der Zeitaufwand für die Auswertung einer Punktwolke kann den Zeitbedarf für die Datenerhebung um das Zehnfache übersteigen oder sogar noch grösser ausfallen. Es ist deshalb wünschenswert, die einzelnen Auswertungsprozesse der Punktwolkenverarbeitung möglichst komplett zu automatisieren. Ziel der aktuellen Forschung ist es, mit neuen Ansätzen die Auswertung von Punktwolken zu erleichtern und zu beschleunigen sowie aufwändige manuelle Modellierungen weitestgehend zu minimieren Zielsetzung der Arbeit Im Rahmen dieser Bachelorarbeit soll ein Klassifikationsalgorithmus für die automatische Klassifizierung von Punktwolken entwickelt werden. Der Fokus liegt auf der Klassifizierung von 3D-Punktwolken statischer, terrestrischer Laserscans. Die Klassifizierung wird anhand von sogenannten Merkmalen durchgeführt. In den vergangenen 20 Jahren wurden diverse Methoden für die Klassifizierung von Punktwolken aus Airborne Daten erarbeitet. Es sollen daher auf Basis der aktuellen Literatur Methoden für die Erstellung von Klassifikationsalgorithmen kennengelernt und geeignete Merkmale für die Klassifizierung ermittelt werden. Die aus der aktuellen Literatur entnommenen Merkmale sollen implementiert und mit bestehenden Klassifizierungsmethoden wie Naive Bayes und Random Forests getestet werden. Hierbei ist es notwendig, vorgängig Testdatensätze auszuwählen und für die Evaluierung des Klassifikationsalgorithmus aufzubereiten. Für die Bestimmung der Klassifikationsgenauigkeit sind geeignete Evaluierungskriterien festzulegen. Der Schwerpunkt des zu entwickelnden Klassifikationsalgorithmus liegt auf der Detektion von Vegetation in Punktwolken. Ferner soll der Klassifikationsalgorithmus imstande sein, der Vegetation zugeordnete Punkte weiter in Baumkrone, Baumstamm und Gebüsch zu differenzieren.

17 1 Einleitung Gliederung der Arbeit Die vorliegende Bachelorarbeit gliedert sich im Wesentlichen in sechs Kapitel, deren Reihenfolge und Themenschwerpunkte im Folgenden beschrieben werden. Nach der Einleitung folgt in Kapitel 2 der Beschrieb der theoretischen Grundlagen. Es werden die bestehenden Arbeiten im Bereich der Klassifizierung von Punktwolken vorgestellt, auf welche sich die vorliegende Bachelorarbeit abstützt. Des Weiteren werden die Funktionsweise von Laserscannern und die sich daraus ergebenden Rohdaten für die Klassifizierung aufgezeigt. Für die Erarbeitung eines Klassifikationsalgorithmus ist es essenziell, sich mit dem Konzept der statistischen Lerntheorie auseinanderzusetzen. Bei der Klassifikation handelt es sich um ein überwachtes Lernverfahren. Was darunter zu verstehen ist und welche Unterschiede zu einem unüberwachten Lernverfahren bestehen, wird erläutert. Sodann wird eine Übersicht über den allgemeinen Ablauf und den Aufbau eines Klassifikationsalgorithmus gegeben sowie die Prinzipien zweier Klassifizierungsmethoden (Naive Bayes und Random Forests) dargelegt. Im letzten Unterkapitel werden mehrere Kennzahlen für die Bewertung der Klassifikationsgenauigkeit thematisiert. Kapitel 3 ist der Methodik für die Implementierung des Klassifikationsalgorithmus gewidmet. Hauptgewicht bildet die Definition und die geometrische Interpretation der Merkmale sowie die Methoden und zu berücksichtigende Besonderheiten für deren Berechnung. Die Merkmalsberechnung basiert auf der Nachbarschaftsdefinition von LiDAR Punkten. Es wird deshalb vorgängig aufgezeigt, wie Nachbarspunkte innerhalb einer Punktwolke bestimmt werden können. In Kapitel 4 werden die Grundlagen für die Implementierung des Klassifikationsalgorithmus erörtert sowie die eingesetzte Software und die zur Verfügung stehenden Datensätze behandelt. Für den Aufbau des Klassifikationsalgorithmus wurden zwei Datensätze genutzt, welche ein Waldstück mit Bäumen und Baumstümpfen abbilden. Für die finale Überprüfung des Klassifikationsalgorithmus kamen zwei Datensätze zur Anwendung, welche eine Baumreihe in einem Siedlungsgebiet wiedergeben. Die beiden letzten Kapitel 5 und 6 schliessen mit den Klassifikationsergebnissen ab. Die Resultate des Klassifikationsvorgangs sowie die Genauigkeiten der Klassifizierung werden präsentiert und miteinander verglichen. Allfällige Verbesserungsmöglichkeiten für weiterführende Arbeiten werden skizziert.

18 4 1 Einleitung

19 2.1 Verwandte Arbeiten 5 2. Theoretische Grundlagen 2.1. Verwandte Arbeiten Chehata et al. (2009) haben 21 Merkmale für die Klassifizierung von Airborne Laserscan- Punktwolken in urbanem Raum erarbeitet. Ziel der Klassifizierung ist die Einteilung der Punkte in die vier relevanten Objektklassen «Gebäude», «Vegetation», «natürlicher Boden» und «künstlicher Boden». In der Klasse «natürlicher Boden» werden Gras- und Sandflächen sowie kahler Boden zusammengefasst, währenddem die Klasse «künstlicher Boden» Strassen, Motorfahrzeuge und Infrastrukturobjekte wie Strassenlaternen oder Verkehrsampeln umfasst. Die von Chehata et al. (2009) definierten Merkmale lassen sich in fünf Kategorien einteilen: höhenwertbasierte Merkmale, echobasierte Merkmale, eigenwertbasierte Merkmale, Merkmale basierend auf der lokalen Ebene von Punktregionen sowie Merkmale basierend auf der Signalform. Die Merkmalsberechnung für einen Punkt der Punktwolke beruht auf dessen Nachbarschaft. Als Nachbarschaftsdefinition haben Chehata et al. (2009) einen vertikalen Zylinder 1 eingeführt. Sämtliche Punkte, die der Nachbarschaft eines Punktes zugeordnet sind, werden auf eine horizontale Ebene projiziert, in welcher schliesslich die Merkmalsberechnung durchgeführt wird. Als Klassifizierungsmethode wurde Random Forests eingesetzt. Hierbei haben Chehata et al. (2009) gezeigt, dass von den 21 definierten Merkmalen insgesamt 17 Merkmale für die Klassifizierung zweckmässig sind. Die Klassifikationsgenauigkeit kann durch Berücksichtigung der vier verworfenen Merkmale nicht gesteigert werden. Von den 17 selektierten Merkmalen sind insbesondere die höhenwertbasierten Merkmale für die Klassifizierung massgeblich. Echobasierte Merkmale scheinen für die Klassifizierung nicht von Belang zu sein, wenn zugleich eigenwertbasierte Merkmale verwendet werden, weil letztere die lokale räumliche Verteilung der LiDAR Punkte besser erfassen. Die Klassifizierung mit den 17 Merkmalen und Random Forests als Klassifizierungsmethode resultierte in einer Gesamtklassifikationsgenauigkeit von 94.35%. Gross et al. (2002) setzten sich mit der Modellierung von Punktwolken auseinander. Sie entwickelten Methoden, mit welchen Objektoberflächen auf Basis von LiDAR Punkten approximiert werden können. Hierbei sind Parameter zur Beschreibung der lokalen Oberflächeneigenschaften erforderlich. Diese werden aus der Eigenwertanalyse der LiDAR Punkte innerhalb einer Nachbarschaft gewonnen. Parameter zur Beschreibung der lokalen Oberflächeneigenschaften können ihrerseits als Merkmale für die Klassifizierung von Punktwolken dienen. 1 Für nähere Informationen zur Nachbarschaftsdefinition sei auf das Kapitel verwiesen.

20 6 2 Theoretische Grundlagen 2.2. Laserscanning LiDAR (light detecting and ranging) oder Laserscanning ist ein aktives, boden- oder luftgestütztes Messverfahren für die flächenhafte Erfassung der sichtbaren Oberfläche von Objekten und der Topografie. Laserscanning hat sich neben den konventionellen Vermessungstechniken wie Photogrammetrie, Tachymetrie und GNSS als zusätzliche Erfassungsmethode etabliert. Laserscanning lässt sich in zwei Haupttypen unterteilen: Beim Airborne Laserscanning (ALS) ist der Laserscanner in einem Flugzeug oder Hubschrauber installiert, beim terrestrischen Laserscanning (TLS) hat der Laserscanner direkten Kontakt zur Erdoberfläche. Wird das terrestrische Laserscanning stationär durchgeführt, handelt es sich um ein statisches terrestrisches Laserscanning. Ein kinematisches terrestrisches Laserscanning (auch Mobile Mapping genannt) liegt vor, wenn der Laserscanner auf einer mobilen Trägerplattform (u. a. Motorfahrzeug, Schiff, Zug) montiert ist. Dem Messverfahren eines Laserscanners liegen Laserstrahlen als Trägerwellen zugrunde. Laserstrahlen werden von der Laserdiode emittiert, treffen auf ein Objekt in der Umgebung des Laserscanners, werden dort reflektiert und durch die Empfangseinheit des Laserscanners wieder registriert. Als Messelemente treten primär Schrägdistanzen sowie Horizontalund Vertikalrichtungen auf. Die Distanzbestimmung zu den Auftreffpunkten der Laserstrahlen erfolgt entweder nach dem Puls-Laufzeit- oder nach dem Phasenvergleichsverfahren. Mit dem Puls-Laufzeitverfahren können Reichweiten bis zu 1 km erzielt werden. Das Phasenvergleichsverfahren beschränkt sich auf Reichweiten von rund 150 m, weist aber deutlich höhere Messfrequenzen (500 khz) und höhere Messgenauigkeiten (unter 1 cm) auf als das Puls-Laufzeitverfahren (50 khz, Genauigkeit rund 1 cm). Die Horizontal- und Vertikalrichtungen werden wie bei der Tachymetrie digital abgegriffen. Ein Spiegelsystem ermöglicht die Ablenkung des Laserstrahls. Ein oszillierendes System führt dabei Kippbewegungen aus, ein rotierendes System vollzieht Drehbewegungen. Neben der Distanz und der Raumrichtung wird für jeden Auftreffpunkt zusätzlich die Intensität als Funktion der reflektierten Signalstärke erfasst. Die Intensität eines registrierten Laserstrahls ist jedoch zahlreichen Einflussfaktoren unterworfen und ist unter anderem abhängig von der Distanz des Auftreffpunktes zum Laserscanner, vom Auftreffwinkel des Laserstrahls auf das Objekt und von den Reflexionseigenschaften des Objektes (gegeben durch Farbe, Rauheit und Feuchtigkeit der Objektoberfläche). Herkömmliche Laserscanner registrieren für jeden ausgesandten Laserstrahl nur die stärkste Reflexion oder alternativ die erste und die letzte Reflexion (First/Last-Echo). Mittlerweile existieren sogenannte Full Waveform Laserscanner, die das gesamte Signal des

21 2.2 Laserscanning 7 reflektierten Laserstrahls aufzeichnen. Die aufgezeichnete Signalform wird als Echoprofil (engl. full waveform) bezeichnet. Aus der Datenerhebung mit einem Laserscanner resultiert eine sogenannte Punktwolke, die sich aus der Gesamtheit der erfassten diskreten, dreidimensionalen Abtastpunkte zusammensetzt. Für jeden Punkt der Punktwolke sind seine 3D-Koordinaten und die Intensität gegeben. Gegenüber den traditionellen Vermessungstechniken bietet Laserscanning den Vorteil, ein Objekt oder ein gesamtes Messgebiet innert kürzester Zeit automatisch und vor allem flächendeckend und berührungslos aufzunehmen. Anstatt einzelner diskreter Punkte wie bei der Tachymetrie ergeben sich Punktwolken, bestehend aus mehreren Millionen oder gar Milliarden Punkten. Punktwolken bilden die Geometrie der aufgenommenen Objekte detailgetreu und hochauflösend ab. Das polare Messprinzip eines Laserscanners hat allerdings als Konsequenz, dass die Punktdichte innerhalb einer Punktwolke variiert sie nimmt mit der Entfernung zum Scannerstandpunkt quadratisch ab. Des Weiteren verunmöglicht das regelmässige Scannen des Aufnahmegebietes in einem vorgegebenen Winkelraster, einzelne markante Punkte direkt zu erfassen. Die Punkte einer Punktwolke stellen lediglich die Rohdaten dar, welche im Zuge einer aufwändigen Auswertung bereinigt und weiterverarbeitet werden müssen. Nach Eliminierung von groben Fehlern und überflüssigen Punkten sowie einer allfälligen Filterung (z. B. Rauschreduktion) können unter anderem Einzelmasse wie Längen oder Winkel bestimmt, geometrische Formprimitiven (Kugeln, Zylinder, Ebenen, etc.) modelliert, Oberflächen trianguliert, Profile gebildet oder Soll-Ist-Vergleiche durchgeführt werden.

22 8 2 Theoretische Grundlagen 2.3. Konzept des statistischen Lernens Statistisches Lernen bildet die mathematische Basis für das sogenannte maschinelle Lernen. Der Begriff des maschinellen Lernens bezeichnet ein Forschungsgebiet der künstlichen Intelligenz, welches sich mit der computergestützten Modellierung von Lernprozessen beschäftigt (Görz et al., 2003, Kapitel 14, Seite 517). Ziel des maschinellen Lernens ist der Entwurf von Algorithmen und Techniken, die Computern das Lernen aus Daten ermöglichen. Es werden künstliche Systeme konstruiert, die auf Basis von Eingabedatensätzen künstliches Wissen generieren oder bereits vorhandenes Wissen verbessern (Herrmann, 1997). Das erworbene Wissen kann anschliessend genutzt werden, um in neuen Datensätzen erlernte Muster zu identifizieren, Daten in bestimmte Kategorien zu gruppieren oder um neue Datenwerte gestützt auf den Eingabedatensätzen zu prädizieren. Damit künstliche Systeme derartige Aufgaben bewältigen können, müssen sie in der Lage sein, Entscheidungen zu treffen: Künstliche Systeme müssen beurteilen, ob bestimmte Muster in neuen Datensätzen signifikant enthalten sind, ob ein neuer Datensatz basierend auf seinen Charakteristiken einer bestimmter Kategorie zugeordnet werden kann, mit welchen Werten eine Messreihe mutmasslich fortgesetzt wird, etc. Damit künstliche Systeme die richtigen Entscheidungen fällen, müssen sie vorgängig trainiert werden. Sie durchlaufen deshalb eine sogenannte Lernphase, in welcher sie sich Entscheidungsgrundlagen und -regeln aneignen. Während des Lernprozesses werden Eingabe- oder Trainingsdaten analysiert und versucht, Gesetzmässigkeiten in den Daten zu identifizieren. Die extrahierten Gesetzmässigkeiten beschreiben die in den Trainingsdaten zugrunde liegenden Muster und stellen das «erworbene Wissen» des künstlichen Systems dar. Durch Generalisierung dieses erworbenen Wissens resultiert ein Entscheidungsmodell. Dieses kann nach Beendigung der Lernphase und einer allfällig nachfolgenden Optimierungsphase auf neue Datensätze angewendet werden, anhand derer eine Entscheidung vollzogen werden soll. Das statistische Lernen bzw. die statistische Lerntheorie dient als Grundlage für die Definition von Entscheidungsregeln. Entscheidungsregeln werden gestützt auf den statistischen Eigenschaften der Trainingsdaten entwickelt, wodurch die Konsistenz des Entscheidungsmodells gewährleistet ist. Maschinelles Lernen findet in unzähligen Disziplinen Anwendung. Zum Spektrum möglicher Anwendungen zählen unter anderem die automatische Sprach- oder Texterkennung, die Detektion von Spam-Nachrichten, Warenkorbanalysen bei Online-Versandhändlern für die Empfehlung weiterer Produkte auf Basis der bereits eingekauften Produkte von Kunden, die Klassifizierung von DNA-Sequenzen, die Vorhersage von Aktienkursen oder Verkaufszahlen, Gesichtserkennungs-Algorithmen für Digitalkameras, Objekterkennungs-Algorith-

23 2.3 Konzept des statistischen Lernens 9 men im Bereich der Automobilindustrie für die automatische Erfassung von Fahrzeugen oder Fussgängern sowie im Bereich der Robotik für die Navigation von Robotern. Das Anwendungsspektrum für maschinelles Lernen erweitert sich stetig. Unabhängig vom Anwendungsgebiet können die Lernmethoden, welche beim maschinellen Lernen angewendet werden, in zwei Hauptstrategien eingeteilt werden: überwachtes Lernen und unüberwachtes Lernen. Des Weiteren existiert auch eine Mischform dieser beiden Lernstrategien, das sogenannte halbüberwachte Lernen. Auf die Prinzipien dieser Lernmethoden sowie auf die Voraussetzungen für deren Einsatz wird in den nächsten Unterkapiteln eingegangen. Die Ausführungen erfolgen in Anlehnung an die Lehrbücher von (Dougherty, 2013), (Hastie et al., 2009) und (James et al., 2013). Für detaillierte Informationen sei daher auf diese Lehrbücher verwiesen Überwachtes Lernen Für die Durchführung eines überwachten Lernprozesses sind zum einen ein Eingabedatensatz und zum anderen ein Ausgabedatensatz erforderlich. Der Eingabedatensatz wird als Trainingsdatensatz bezeichnet. Hierbei kann es sich um Messreihen, Bilder, LiDAR Punktwolken, etc. handeln. Über den Trainingsdatensatz soll der Algorithmus künstliches Wissen erlangen. Meist handelt es sich jedoch um Daten, deren Informationsgehalt für ein statistisches Lernen unzureichend ist (z. B. die Intensitätswerte von jedem Pixel eines Bildes oder die Koordinaten von LiDAR Punkten). Deshalb werden für jede Beobachtung des Trainingsdatensatzes charakteristischere Werte berechnet, sogenannte Merkmale 2 oder unabhängige Variablen. Für einfache Anwendungen und Datensätze ist es ausreichend, lediglich ein Merkmal zu berechnen. Sobald die Komplexität des Lernvorgangs und des Datensatzes zunimmt, ist es allerdings notwendig, die Anzahl der Merkmale auf Merkmale zu erweitern. Demgemäss wird jede Beobachtung 1,2,, des Trainingsdatensatzes mithilfe von Merkmalen umschrieben, wobei der Parameter die Anzahl Beobachtungen des Trainingsdatensatzes kennzeichnet. Die ermittelten Merkmale werden meist mit den Symbolen,,, abgekürzt. Der Wert des.ten Merkmals ( 1,2,, ) der.ten Beobachtung ( 1,2,, ) wird mit der Notation angegeben. Insgesamt wird die.te Beobachtung durch die Merkmalswerte,,, repräsentiert. Dieser modifizierte Trainingsdatensatz dient schliesslich als Grundlage für den Lernprozess. 2 siehe Kapitel für detailliertere Informationen

24 10 2 Theoretische Grundlagen Der Ausgabedatensatz wird oftmals auch als Antwort oder als abhängige Variable bezeichnet und wird mit dem Symbol abgekürzt. Der Ausgabedatensatz besteht aus gleich vielen Beobachtungen wie der Trainingsdatensatz, wobei die Beobachtungen (1,2,,) entweder metrische, ordinale oder nominale Werte aufweisen können. Wichtig ist, dass jeder Beobachtung des Trainingsdatensatzes eine Beobachtung des Ausgabedatensatzes zugeordnet wird. Jede Beobachtung des Trainingsdatensatzes wird somit neben ihren Merkmalswerten überdies durch einen Ausgabewert repräsentiert. Zusammenfassend ergibt sich die Notation,,,, für die.te Beobachtung. Wird nun ein überwachter Lernprozess durchgeführt, so werden dem künstlichen System für jede der Beobachtungen die Merkmalswerte und der zugehörige Ausgabewert übergeben:,,,,,,,,,,,,,,, ( 1 ) Ziel des überwachten Lernens ist es, ein statistisches Modell zu erarbeiten, das die Relation zwischen den Merkmalen,,, und der Antwort wiedergibt. Es soll eine Funktion gefunden werden, welche für jede Eingabe,,, einen Funktionswert,,, generiert. Idealerweise entspricht der generierte Funktionswert dem zugehörigen Ausgabewert. Das Modell lautet demnach wie folgt:,,, ( 2 ) Da es für die meisten Anwendungen kaum möglich ist, eine direkte Beziehung zwischen den Merkmalen und den Antworten herzustellen, muss im Modell zusätzlich ein Fehlerterm berücksichtigt werden. Nach Beendigung des Lernprozesses verfügt das künstliche System über ein statistisches Modell, welches die Zusammenhänge und die gegenseitigen Abhängigkeiten zwischen den Merkmalen und der Antwort beschreibt. Dieses Modell stellt das erlernte Wissen des künstlichen Systems dar. Dieses Wissen ermöglicht nun, die Antwort neuer Datensätze zu prädizieren, indem die Merkmale,,, für einen neuen Datensatz berechnet und dem Modell übergeben werden (siehe Abb. 1).

25 2.3 Konzept des statistischen Lernens 11 Trainingsdatensatz: Text, Dokumente, Bilder, LiDAR Punkte, etc. Merkmalsvektor pro Beobachtung des Trainingsdatensatzes Antwort: Klassen Algorithmus des überwachten Lernens statistisches Modell prädizierte Antwort (prädizierte Klassen) Testdatensatz: Text, Dokument, Bild, LiDAR Punkte, etc. Merkmalsvektor pro Beobachtung des Testdatensatzes Abb. 1: Prinzip des überwachten Lernens 3 Die Lernstrategien, welche dem überwachten Lernen zugeordnet sind, lassen sich ihrerseits in drei Hauptgruppen unterteilen, namentlich in die Lernmethoden Klassifikation, Regression und Rangfolgenbestimmung. Diese drei Strategien haben gemein, dass sie anhand der Merkmale von neuen Datensätzen die dazugehörige Antwort prädizieren. Im Falle der Klassifikation kann die Antwort lediglich diskrete Werte,,, annehmen. Es handelt sich bei den prädizierten Werten um kategorische oder qualitative, d. h. nominale Werte. Sind für die Antwort gar nur zwei Ausgabewerte möglich, so spricht man von boolescher oder binärer Klassifikation. Ziel der Klassifikation ist es, die Beobachtungen des Trainingsdatensatzes einer Kategorie oder Klasse zuzuordnen oder Objekte des Trainingsdatensatzes in Gruppen zusammenzufassen. Im Bereich der Astronomie kann die Klassifikation z. B. dazu verwendet werden, um zu ermitteln, ob es sich bei einem beobachteten Objekt um einen Planeten, einen Stern oder eine Galaxie handelt. Die Antwort kann nur einen der drei diskreten Werte aus der Wertemenge,, annehmen. In Bezug auf die in Kapitel 2.3 aufgeführten Anwendungsbeispiele des maschinellen Lernens handelt es sich bei der Texterkennung oder der Detektion von Spam-Nachrichten um Klassifikationsprobleme. Für Texterkennungs-Algorithmen kommen für die Antwort lediglich die diskreten Werte,,..,,,,,,0,1,,9 in Frage; für die Detektion von Spam-Nachrichten besteht die Wertemenge der Antwort aus den beiden Elementen 3 leicht modifizierte Darstellung aus (Zugriff ):

26 12 2 Theoretische Grundlagen «Spam-Nachricht» und «keine Spam-Nachricht». Anstatt für die Antworten beschreibende Bezeichnungen (wie «Stern», «Gebäude», «Spam-Nachricht», etc.) zu verwenden, wird für jede einzelne Klasse häufig ein sogenanntes Label, ein numerischer Wert, definiert. An Stelle der Einteilung von -Nachrichten in «Spam-Nachricht» und «keine Spam-Nachricht», erfolgt die Klassifikation dann in die beiden Klassen «0», falls es sich nicht um eine Spam-Nachricht handelt, bzw. «1» für eine Spam-Nachricht. Sind für die Antwort stetige numerische Werte möglich, so spricht man von Regression. Regressionsprobleme treten beispielsweise für Klimavorhersagen auf: Basierend auf Messungen bestimmter Klimavariablen wird versucht, z. B. die Tagestemperatur oder den Ozonwert für die kommenden Tage vorherzubestimmen. Bei der Rangfolgenbestimmung (Ranking) kann die Antwort nur ordinale Werte annehmen. Die Werte solcher Datentypen können zwar in eine natürliche Rangordnung geordnet werden, die Abstände zwischen den Werten sind allerdings nicht sinnvoll quantifizierbar. Als Beispiel können die Werte,,,,, ü für die Kategorisierung der Qualität eines Produktes oder,,, für die Auswertung der Kundenzufriedenheit eines Unternehmens angeführt werden. Besonders für Klassifikationsprobleme existieren zahlreiche Ansätze für die Implementierung eines statistischen Modells. Bekannte Klassifizierungstechniken sind unter anderem Entscheidungsbäume, Naive Bayes Klassifizierer, neurale Netzwerke und Random Forests Unüberwachtes Lernen Ziel des überwachten Lernens ist das Auffinden einer Funktion, welche die Merkmale,,, auf die Ausgabewerte, die Antwort, abbildet. Hierbei ist es zwingend notwendig, dass die korrekte Antwort im Voraus, d. h. zu Beginn des Lernprozesses, bekannt ist. Im Gegensatz zum überwachten Lernen ist beim unüberwachten Lernen die Antwort unbekannt. Es steht lediglich ein oder auch mehrere Trainingsdatensätze zur Verfügung, die jedoch nicht mit vorgegebenen Ausgabedaten assoziiert werden können. Der Zweck des unüberwachten Lernens besteht darin, autonom Regelmässigkeiten oder signifikante Strukturen in den Trainingsdatensätzen aufzudecken, ohne dass dabei eine direkte Antwort das Ziel ist. Gängige Methoden, die dem Prinzip des unüberwachten Lernens angehören, sind unter anderem die Clusteranalyse, die Segmentierung und die Faktoranalyse.

27 2.3 Konzept des statistischen Lernens 13 Trainingsdatensatz: Text, Dokumente, Bilder, LiDAR Punkte, etc. Merkmalsvektor pro Beobachtung des Trainingsdatensatzes Algorithmus des unüberwachten Lernens statistisches Modell Clusterzugehörigkeit Testdatensatz: Text, Dokument, Bild, LiDAR Punkte, etc. Merkmalsvektor pro Beobachtung des Testdatensatzes Abb. 2: Prinzip des unüberwachten Lernens 4 Bei der Clusteranalyse (Clustering) werden Daten automatisch in Gruppen eingeteilt bzw. Anhäufungen (Cluster) in Daten aufgespürt, wobei sich die einzelnen Cluster durch charakteristische Muster voneinander unterscheiden. Bei dieser Methode existiert kein a priori Wissen über Anzahl und Art der vorhandenen Cluster. Auch ist die Gruppenzugehörigkeit von einzelnen Beobachtungen in den Daten nicht im Voraus bekannt. Infolgedessen ist es meist nicht möglich, die in den Daten gefundene Struktur zu überprüfen, weshalb diese Lernmethode als unüberwacht bezeichnet wird. Das Clustering kann beispielsweise für die Kompression eines Bildes verwendet werden. Indem Pixel mit ähnlichen Intensitäts- oder Farbwerten zu Gruppen zusammengefasst werden und jeder Gruppe der durchschnittliche Intensitäts- oder Farbwert zugewiesen wird, kann der Speicherbedarf des Bildes gesenkt werden. Bei der Segmentierung werden Bilder in verschiedene Regionen unterteilt. Entweder sollen Primitive im Bild extrahiert (d. h. die Extraktion von Punkten, Linien oder bestimmten Regionen in einem Bild) oder Pixel aufgrund bestimmter Zusammengehörigkeitskriterien zusammengefasst werden (z. B. Kantendetektion). Die Segmentierung kommt insbesondere für Anwendungsgebiete in Frage, bei welchen eine automatische Kartierung oder Objektdetektion erfolgen soll. Typische Beispiele für die Segmentierung sind Gesichtserkennung-Algorithmen oder Algorithmen für Fahrerassistenzsysteme in Fahrzeugen. 4 leicht modifizierte Darstellung aus (Zugriff ):

28 14 2 Theoretische Grundlagen Sollen die beobachteten Daten in einfachere Repräsentationen transformiert werden, so kommt die Methode der Faktoranalyse zum Einsatz. Die Faktoranalyse reduziert die Dimension der Eingangsdaten oder repräsentiert den Datensatz mittels anderen Variablen. Trotz der drastischen Reduktion soll der ursprüngliche Datensatz dennoch möglichst genau wiedergegeben werden. Die Faktoranalyse kann beispielsweise für die Merkmalsextraktion eingesetzt werden. Nach Duda et al. (2001, Kapitel 10.1) weist das Verfahren des unüberwachten Lernens gegenüber dem überwachten Lernen gewisse Vorzüge auf: In Anbetracht der Tatsache, dass beim überwachten Lernen die Antwort stets im Voraus bekannt sein muss und das statistische Modell des künstlichen Systems basierend auf der Antwort entwickelt wird, ist es nicht möglich, dass sich das künstliche System automatisch neuen Eingabedaten anpasst. Sollten sich demnach die Charakteristiken der Muster im Verlaufe der Zeit verändern, so gewährleistet ein künstliches System mit einer unüberwachten Lernmethode eine höhere Performanz. Des Weiteren ist es bei Klassifikationsproblemen zwingend notwendig, dass die Trainingsdaten manuell gelabelt werden, d. h. jeder Beobachtung des Trainingsdatensatzes muss manuell eine Klasse zugewiesen werden. Die manuelle Klassifizierung von Daten ist allerdings zeit- und kostenintensiv, weshalb es bei grossen Datensätzen unter Umständen vorteilhaft sein kann, diese in einem ersten Schritt unüberwacht zu klassifizieren. Das Ergebnis des unüberwachten Clusterings kann anschliessend als Grundlage für eine überwachte Klassifikation genutzt werden. Diese Herangehensweise ist insbesondere dann nützlich, wenn die Klassen nicht im Voraus bekannt sind Halbüberwachtes Lernen Das halbüberwachte Lernen stellt eine Mischform des überwachten und des unüberwachten Lernens dar. Von dieser Lernstrategie kann Gebrauch gemacht werden, wenn ein Algorithmus im Bereich des überwachten Lernens eingesetzt werden soll, aber nur von einem Bruchteil der Trainingsdaten die Klassenzugehörigkeit a priori gegeben ist.

29 2.4 Klassifikation Klassifikation Wie bereits in Kapitel angedeutet wurde, handelt es sich bei der Klassifikation um ein überwachtes Lernverfahren. Ziel einer Klassifikation ist es, Daten in bestimmte Klassen einzuteilen. Nach (Dougherty, 2013) bezeichnet eine Klasse eine Sammlung von gleichartigen, nicht zwingend identischen Objekten, welche von anderen Klassen unterscheidbar ist. Da es sich bei Klassen meist um Sammlungen von nicht-trivialen, komplexen Objekten handelt, ist die Zuordnung der Daten in die verschiedenen Klassen nicht ohne Weiteres machbar. Verdeutlicht werden kann dies anhand des nachfolgenden Beispiels. Gegeben sei eine aus einem terrestrischen Laserscan gewonnene 3D-Punktwolke, wobei jeder Punkt der Punktwolke durch seine 3D-Koordinaten sowie einer allfälligen Intensität umschrieben ist. Die Aufgabe der Klassifikation besteht darin, jeden Punkt der Punktwolke einer Klasse zuzuweisen. Handelt es sich bei der Punktwolke um einen Scan in einem urbanen Raum, so kommen als Klassen z. B. Gebäude, Strassen, Vegetation, Fahrzeuge, Infrastrukturobjekte wie Strassenlaternen, Verkehrsampeln, etc. in Frage. Für einen Menschen wäre es ein Einfaches, Objektrepräsentationen der genannten Klassen zu unterscheiden und den Punkten die richtigen Klassen zuzuordnen. Einzig für Punkte in den Übergangsbereichen zwischen den Klassen besteht eine gewisse Unsicherheit. Für Computeralgorithmen stellt die Klassifizierung von Punktwolken jedoch eine äusserst komplexe Problemstellung dar. So sind beispielsweise für die Klasse «Gebäude» unzählige Häuservarianten denkbar: Gebäude sind unterschiedlich hoch, besitzen entweder keine oder eine variierende Anzahl Balkone, weisen entweder ein Flach- oder Satteldach auf, etc. Farbgebung und Beschaffenheit der Fassaden beeinflussen zudem deren Reflexionseigenschaften und damit die Intensität der reflektierten Laserstrahlen. Auch die Objekte der Klasse «Vegetation» sind mannigfaltig: Bäume gehören unterschiedlichen Arten an und weisen entweder Nadeln oder Blätter auf oder sind je nach Jahreszeit gar blattlos. Zudem können Bäume die unterschiedlichsten Formen und Grössen haben. Trotz dieser Vielfalt an Erscheinungsformen, Geometrien und Ausprägungen muss der Klassifikationsalgorithmus imstande sein, diese Objekte bzw. die Punktrepräsentationen dieser Objekte zu identifizieren und der richtigen Klasse zuzuweisen. In der Trainingsphase muss sich daher der Algorithmus Regeln aneignen, anhand welcher er den einzelnen Punkten das richtige Label, d. h. die richtige Klasse zuweist. In der Trainingsphase wird deshalb ein sogenannter Klassifizierer trainiert, welcher die Klassenzuweisung vornimmt. Ferner kommt die Schwierigkeit hinzu, dass die Koordinaten eines Punktes allein nicht aussagekräftig sind. Einzig mit der Information der Koordinaten wird es nie möglich sein, die

30 16 2 Theoretische Grundlagen Klassenzugehörigkeit eines Punktes zu bestimmen. Es müssen daher andere charakteristischere und differenziertere Parameter als Koordinaten gefunden werden, welche eine Unterscheidung der Objekte bzw. der Klassen erlauben. Dies sind die sogenannten Merkmale. In den nachfolgenden Unterkapiteln wird erläutert, was unter einem Merkmal zu verstehen ist, inwiefern Merkmale zur Klassifikation beitragen und wie der Klassifikationsvorgang im Allgemeinen abläuft. Die einzelnen Etappen eines Klassifikationsprozesses werden hierbei direkt am Beispiel der Klassifikation einer Punktwolke aufgezeigt; gleichwohl gelten die verschiedenen Verarbeitungsschritte auch für jede andere Klassifikationsaufgabe. Eine Übersicht über den Ablauf eines Klassifikationsprozesses ist in der Abb. 3 ersichtlich Vorbereitung In der ersten Phase des Klassifikationsprozesses gilt es, die Rohdaten für die Klassifikation aufzubereiten. Meist müssen bei der Datenerfassung mit einem Laserscanner mehrere Scans durchgeführt werden, um das gesamte Interessengebiet abdecken zu können. In einem ersten Schritt müssen die Scans koregistriert und zu einer einzigen Punktwolke zusammengesetzt werden. Diese Punktwolke wird anschliessend in einen Trainingsdatensatz, einen Validierungsdatensatz und einen Testdatensatz unterteilt. 5 Der Trainingsdatensatz dient dazu, den Klassifizierer zu trainieren. Mithilfe des Validierungsdatensatzes kann ermittelt werden, ob der gebildete Klassifizierer einer Optimierung und Ausbesserung bedarf. Die Performanz des vollendeten Klassifizierers wird schliesslich unter Verwendung des Testdatensatzes ermittelt. Beachtet werden muss, dass der Testdatensatz niemals Bestandteil der Trainingsphase sein darf; die Auswertung des Klassifizierers mit denselben Daten wie den Trainingsdaten führt zu einer Überschätzung der Modellgüte. Trainings-, Validierungs- und Testdatensatz müssen demnach voneinander unabhängig sein. In der Folge werden die Klassen definiert, in welche die Punktwolken klassifiziert werden sollen. In einer ersten Phase sollte die Klassendefinition grob erfolgen und es sollten noch nicht zu viele Klassen eingeführt werden. Zu einem späteren Zeitpunkt kann die Klassendefinition stets verfeinert werden. So ist bei der Klassifizierung von Vegetation entweder direkt die Klasse «Baum» einzuführen oder alternativ die Unterteilung in «Baumstamm» und «Baumkrone» vorzunehmen. Klassen wie «Äste» oder «Blätter» sind für den anfänglichen Aufbau eines Klassifizierers bereits zu detailliert. 5 Falls Scans von mehreren Testgebieten vorhanden sind, so dient der Scan von einem Gebiet meist als Trainings- und Validierungsdatensatz. Als Testdatensatz wird der Scan eines anderen Gebietes genutzt.

31 2.4 Klassifikation 17 rohe Punktwolke Trainingsdaten Validierungsdaten Testdaten Wissen, Erfahrung Preprocessing der Daten Wahl des Algorithmus Wahl der Merkmale Berechnung der Merkmale Wahl der Klassen manuelle Klassifizierung Klassen Training des Klassifizierers Feedback Klassifikationsmodell (Klassifizierer) Preprocessing der Daten Berechnung der Merkmale Validierung des Klassifikationsmodells manuelle Klassifizierung Klassen Preprocessing der Daten Berechnung der Merkmale manuelle Klassifizierung Klassen Abb. 3: Übersicht über den Ablauf eines Klassifikationsprozesses (Eigendarstellung) Feedback optimiertes Klassifikationsmodell (Klassifizierer) Test des Klassifikationsmodells klassifizierte Punktwolke

32 18 2 Theoretische Grundlagen Nachdem die Klassendefinition vorgenommen wurde, müssen Trainings-, Validierungsund Testdatensatz manuell klassifiziert werden. Die manuell zugewiesenen Labels (sogenannte Ground Truth Daten oder Referenzklassen) dienen im Lernprozess als Referenz und ermöglichen die Quantifizierung der Klassifikationsgenauigkeit Merkmalsgewinnung Gemäss den Ausführungen von Dougherty (2013) handelt es sich bei Merkmalen um Parameter, welche die Eigenschaften von Klassen bzw. die Eigenschaften von Objekten der einzelnen Klassen beschreiben. Die Definition von Merkmalen erlaubt, die Datensätze auf eine andere Art und Weise zu repräsentieren, sodass die verschiedenen Klassen gut voneinander unterschieden und getrennt werden können. Erst die Definition von Merkmalen ermöglicht die Durchführung einer Klassifizierung. Ein Parameter ist als Merkmal geeignet, wenn dieser für verschiedene Objekte einer Klasse ähnliche Werte annimmt und für Objekte einer anderen Klasse gänzlich andere Werte aufweist. Wird für eine Klasse ein Merkmal definiert, so sollten für Objekte dieser Klasse die Merkmalswerte eine geringe Streuung zeigen, währenddem alle anderen Klassen eine grosse Streuung der Merkmalswerte besitzen sollten. Die Qualität eines Merkmals ist folglich umso höher, je besser die verschiedenen Klassen anhand dieses Merkmals voneinander abgegrenzt werden können. Gute Merkmale sind daher für eine Klasse möglichst charakteristisch und für alle anderen Klassen möglichst diskriminativ. Merkmale sollten sorgfältig ausgewählt werden, da diese den kritischen Schritt im gesamten Klassifikationsprozess darstellen. Merkmale sind nicht allgemeingültig und müssen jeweils auf die jeweilige Problemstellung und die zur Verfügung stehenden Daten angepasst werden. Duda et al. (2001) erwähnt ausdrücklich, dass bei der Festlegung von Merkmalen a priori Wissen über die Klassen unabdingbar ist. Bei der Selektion und der Entwicklung von angemessenen Merkmalen gelten nachfolgende Anforderungen an die Merkmale (Duda et al. (2001), Dougherty (2013)): Einfachheit: Merkmale sollen einfach berechnet werden können Invarianz: Merkmale sollen gegenüber Transformationen (Rotation, Translation, Skalierung) von Objekten unabhängig sein Robustheit: Merkmale sollen gegenüber Ausreissern in den Datensätzen und Rauschen unempfindlich sein Zuverlässigkeit: Objekte einer Klasse sollen ähnliche Merkmalswerte aufweisen und sich grösstmöglich von den Merkmalswerten anderer Objektklassen unterscheiden Unabhängigkeit: mehrere Merkmale sollen voneinander unabhängig sein

33 2.4 Klassifikation 19 Insgesamt werden für einen Klassifizierer Merkmale,,, definiert, welche üblicherweise als Merkmalsvektor,,, zusammengefasst werden. Für jede Beobachtung des Trainings-, Validierungs- und des Testdatensatzes (d. h. für jeden Punkt in den einzelnen Punktwolken) werden die Merkmale berechnet und die erhaltenen Merkmalswerte als Merkmalsvektor gespeichert. Für die.te Beobachtung eines Datensatzes resultiert der.te Merkmalsvektor,,,. Jeder dieser Merkmalsvektoren wird als Punkt im Merkmalsraum repräsentiert, einem mathematischen Raum aufgespannt durch die Merkmale. Für Merkmale ergibt sich somit ein -dimensionaler Merkmalsraum. Wurden für die einzelnen Klassen charakteristische Merkmale definiert, so ist zu erwarten, dass sich im Merkmalsraum für Objektpunkte derselben Klasse Cluster bilden. Ziel eines Klassifizierers ist es, die einzelnen Klassen im Merkmalsraum bestmöglich zu trennen, indem eine geeignete Entscheidungsgrenze oder -fläche gesucht wird, welche die einzelnen Klassen voneinander separiert. In einer Punktwolke sollen beispielsweise die beiden Klassen «Boden» und «Baumkrone» voneinander getrennt werden. Für die Klassifikation werden zwei Merkmale und definiert. beschreibt die Höhe eines Punktes über dem Boden. Es soll dabei angenommen werden, dass die mittlere Bodenhöhe der durchschnittlichen Höhe der 1%-tiefst gelegenen Punkten innerhalb der Punktwolke entspricht. Für die Berechnung des zweiten Merkmals wird in die Nachbarschaft jedes Punktes eine Ebene geschätzt. Die Abweichung der resultierenden Flächennormale von der Vertikalen soll als zweites Merkmal dienen. Es ist zu erwarten, dass sich im 2D-Merkmalsraum zwei Cluster für die beiden Klassen ergeben. Bodenpunkte weisen ungefähr dieselbe Höhe wie die mittlere Bodenhöhe auf. Ist der Boden nicht geneigt, so wird in die Nachbarschaft von jedem Bodenpunkt eine horizontale Ebene geschätzt; die Abweichung der Flächennormale von der Vertikalen strebt daher gegen Null. Bodenpunkte sollten im Merkmalsraum im Bereich des Ursprungs zu liegen kommen. Punkte der Baumkrone hingegen weisen eine deutlich grössere Höhendifferenz zum Boden auf. Weil Baumkronen keine einheitliche Struktur aufweisen und überdies die Anordnung der Punkte keiner Ebene ähnelt, ist zu erwarten, dass die einzelnen Ebenen für Punkte der Baumkrone keine homogene Ausrichtung aufweisen. Die Inhomogenität der Ebenenausrichtungen führt dazu, dass das zweite Merkmal für Punkte der Baumkrone einer hohen Streuung unterworfen ist. Es ist deshalb anzunehmen, dass sich für Punkte der Baumkrone ebenfalls ein Cluster bildet, wobei sich dieses Cluster über den gesamten Wertebereich des Merkmals erstreckt. Abb. 4, die Darstellung des resultierenden Merkmalsraums, bestätigt diese Hypothesen. Um nun die beiden Klassen voneinander zu trennen, wird die optimale Entscheidungsgrenze für diesen Merkmalsraum gesucht. Mögliche Entscheidungsgrenzen sind durch die roten gestrichelten Linien angedeutet.

34 20 2 Theoretische Grundlagen Abb. 4: Zweidimensionaler Merkmalsraum aufgespannt durch die Merkmale (Höhe über Boden, gemessen in Meter) und (Winkel zwischen der Flächennormale der lokalen Ebene und der Vertikalen, gemessen in Grad). Eingetragen sind die Klassen «Boden» (blaue Punkte) und «Baumkrone» (grüne Punkte). 6 Die roten Linien stellen mögliche Entscheidungsgrenzen dar. Die Festlegung einer geeigneten Entscheidungsgrenze oder -fläche wird mit zunehmender Dimension des Merkmalsraums komplexer und aufwändiger. Weitere Schwierigkeiten ergeben sich, wenn sich die Cluster verschiedener Klassen überlappen oder wenn sich das Cluster einer Klasse über mehrere unzusammenhängende Gebiete erstreckt. Aufgrund dessen ist es essenziell, möglichst wenige und diskriminative Merkmale für die Klassifikation zu wählen. Eine zu hohe Anzahl Merkmale hat einen erhöhten Speicherbedarf und eine hohe Rechenzeit zur Folge und kann sich überdies negativ auf die Qualität des Klassifizierers auswirken. Dieses Phänomen ist unter dem Begriff «Der Fluch der Dimensionalität» bekannt (Dalponte et al., 2012, Kapitel 3.3). Gestützt auf die Aussagen in (Dougherty, 2013) existieren zwei Methoden, um die Anzahl der Merkmale zu reduzieren. Bei der Merkmalsselektion werden die definierten Merkmale auf Redundanz und Wichtigkeit hin überprüft. Nichtssagende und korrelierte Merkmale werden weggelassen, da redundante Merkmale keine neue Information enthalten und aufgrund dessen keine Verbesserung des Klassifizierers resultiert. Für die Klassifizierung werden nur noch die relevantesten und aussagekräftigsten Merkmale berücksichtigt. Bei der Merkmalsextraktion werden die vorhandenen Merkmale zu neuen, aufschlussreicheren Merkmalen 6 Die Darstellung wurde aus dem Datensatz ETH_HXE_A generiert.

35 2.4 Klassifikation 21 kombiniert. Das meistangewendete Verfahren zur Merkmalsextraktion ist die Hauptkomponentenanalyse oder PCA (engl. principal component analysis) Training, Validierung und Test des Klassifizierers Für die Entwicklung eines Klassifizierers stehen diverse Methoden zur Auswahl, wovon einige ausgewählte Methoden in Kapitel 2.5 thematisiert werden. Alle Methoden basieren auf nachfolgenden zwei Eingangsgrössen: Merkmalsvektor,,, für jede Beobachtung des Trainingsdatensatzes ( 1,2,, ) manuell zugewiesene Labels für jede Beobachtung des Trainingsdatensatzes Auf Grundlage dieser beiden Eingangsgrössen wird das statistische Klassifikationsmodell, der Klassifizierer, erstellt. Anschliessend können die Merkmalsvektoren für jede Beobachtung des Validierungsdatensatzes dem Klassifizierer übergeben werden und die resultierende Klasseneinteilung mit den Labels der manuellen Klassifizierung verglichen werden. So kann festgestellt werden, ob die Merkmale für die Klassifikation geeignet sind oder allenfalls überarbeitet werden müssen. Unter Umständen stellt sich gar heraus, dass für die Problemstellung auf eine andere Klassifizierungsmethode zurückgegriffen werden muss. Die Komplexität des Klassifikationsmodells sollte dabei nicht so gering ausfallen, dass es die Unterschiede zwischen den Klassen nicht aufdeckt. Ein zu komplexes Modell ist wiederum ungeeignet, da es sich an die Eigenheiten der Trainingsdatensätze zu stark anpassen würde (sogenanntes Overfitting) und die Klassifikation von neuen Datensätzen dadurch schlecht ausfällt. Ein gewisser Generalisierungsgrad ist notwendig. Nach Optimierung des Klassifizierers kann dessen Qualität und Performanz mittels eines unabhängigen Testdatensatzes untersucht werden. Eine von mehreren üblichen Evaluierungsmethoden wird in Kapitel 2.6 vorgestellt. Neue Datensätze, welche klassifiziert werden sollen und weder für das Training noch für die Validierung oder Evaluierung des Klassifizierers verwendet wurden, durchlaufen denselben Prozess wie die Testdatensätze (siehe Abb. 3). Einzig die manuelle Klassifizierung der Beobachtungen entfällt, da die manuell zugewiesenen Labels nur für die Evaluierung des Klassifizierers notwendig sind.

36 22 2 Theoretische Grundlagen 2.5. Klassifizierungsmethoden In den nachfolgenden Unterkapiteln wird auf das Grundprinzip von ausgewählten Klassifizierern eingegangen. Die verwendeten Informationen entstammen aus (James et al., 2013) und (Dougherty, 2013) Naive Bayes Klassifizierer Das Prinzip des Naive Bayes Klassifizierers soll anhand von zwei Problemstellungen umrissen werden. Es wird zuerst die Funktionsweise für die Klassifikation mit diskreten Merkmalswerten aufgezeigt, danach wird das Klassifikationsprinzip im Falle von stetigen Merkmalswerten erläutert. Ein Naive Bayes Klassifizierer basiert auf dem Satz von Bayes, einem Satz aus der Wahrscheinlichkeitstheorie, mittels welchem bedingte Wahrscheinlichkeiten berechnet werden können. Gegeben seien zwei Ereignisse und. Nach dem Satz von Bayes beträgt die Wahrscheinlichkeit für das Eintreten des Ereignisses, unter der Voraussetzung, dass das Ereignis bereits eingetreten ist: 7 ( 3 ) Hierbei gelten folgende Bezeichnungen: : (bedingte) Wahrscheinlichkeit von unter der Bedingung, dass eingetreten ist : (bedingte) Wahrscheinlichkeit von unter der Bedingung, dass eingetreten ist : a priori Wahrscheinlichkeit des Ereignisses : a priori Wahrscheinlichkeit des Ereignisses Diskrete Merkmalswerte Gegeben sei die Menge bestehend aus Klassen,,, sowie diskrete Merkmale,,,. Ziel der Klassifikation ist es, einer neuen Beobachtung ein Label zuzuweisen, wenn dessen Merkmalsvektor,,, bekannt ist. Der Ansatz des Naive Bayes Klassifizierers ist es, die Wahrscheinlichkeit,,, zu berechnen, dass der Merkmalsvektor mit den gegebenen Werten der.ten Klasse zuzuordnen 7 Quelle (Zugriff ):

37 2.5 Klassifizierungsmethoden 23 ist. Dies wird für sämtliche Klassen 1,2,, durchgeführt. Der Beobachtung wird schliesslich diejenige Klasse zugewiesen, für welche diese bedingte Wahrscheinlichkeit am höchsten ausfällt. Für die Berechnung der bedingten Wahrscheinlichkeit der.ten Klasse wird der Satz von Bayes angewendet:,,,,,,,,, ( 4 ) Die Wahrscheinlichkeit,,,, dass eine Beobachtung mit den gegebenen Merkmalswerten auftritt, ist im Allgemeinen schwierig zu bestimmen. Dieser Term auf der rechten Seite der Gleichung ( 4 ) kann allerdings als Skalierungsfaktor aufgefasst werden. Da er für alle zu berechnenden bedingten Wahrscheinlichkeiten identisch ist, wird er meist weggelassen. Die Wahrscheinlichkeit für das Eintreten der.ten Klasse berechnet sich mithilfe des manuell klassifizierten Trainingsdatensatzes und entspricht der relativen Häufigkeit der Beobachtungen mit Label. Die bedingte Wahrscheinlichkeit im Zähler der Gleichung ( 4 ) kann vereinfacht werden, unter der Annahme, dass die Auswirkung eines Merkmals auf die Klassifikation unabhängig ist von den Ausprägungen der restlichen Merkmale. Somit ergibt sich für die Gleichung ( 4 ) folgende Vereinfachung:,,, 1 1, 2 2,, ( 5 ) Der Term wird ebenfalls aus den manuell klassifizierten Trainingsdaten geschätzt und entspricht dem Verhältnis zwischen der Anzahl Beobachtungen, welche das Label aufweisen und deren Merkmal den Wert annimmt, und der Anzahl Beobachtungen mit Label. Für die Klassifizierung von neuen Datensätzen wird für jede Beobachtung des Datensatzes die Wahrscheinlichkeit gemäss der Formel ( 5 ) berechnet. Einer Beobachtung wird schliesslich dasjenige Label zugewiesen, für welches die Gleichung ( 5 ) maximal ist: ( 6 )

38 24 2 Theoretische Grundlagen Stetige Merkmalswerte Für stetige Merkmalswerte können die Wahrscheinlichkeiten für jeden Wert 1,2,, nicht durch Abzählen der entsprechenden Beobachtungen im Trainingsdatensatz errechnet werden. Stattdessen ist es notwendig, für jedes einzelne Merkmal eine eindimensionale Dichtefunktion zu schätzen. Die Berechnung der Dichtefunktion basiert in der Regel auf der Annahme, dass die Werte eines Merkmals einer Normalverteilung folgen (Borgelt, 2008). Die Dichtefunktion für das.te Merkmal kann daher wie folgt umschrieben werden, wobei den Erwartungswert und die Standardabweichung für das das.te Merkmal bezeichnen:,, 1 2 ( 7 ) Die Parameter und der Dichtefunktion werden auf Basis der manuell klassifizierten Trainingsdaten ermittelt. Für die Klassifizierung von neuen Datensätzen entspricht das Label einer Beobachtung demjenigen, für welche die Gleichung ( 8 ) maximal ist:,, ( 8 ) Vorteile des Naive Bayes Klassifizierers einfache Implementierung, insbesondere für diskrete Merkmale hohe Klassifikationsgenauigkeit bei vielen Anwendungen erhebliche Reduktion der Komplexität dank der Annahme der Unabhängigkeit zwischen den Merkmalen hohe Flexibilität, da sich der Klassifizierer problemlos an neue Trainingsdaten anpassen kann Nachteile des Naive Bayes Klassifizierers geringe Effizienz bei einer hohen Anzahl von Merkmalen keine Berücksichtigung von Korrelationen zwischen den Merkmalen naive Annahme der Unabhängigkeit zwischen den Merkmalen: die statistische Unabhängigkeit zwischen Merkmalen ist für viele Problemstellungen nicht gegeben

39 2.5 Klassifizierungsmethoden Entscheidungsbäume Prinzip eines Entscheidungsbaumes Das Prinzip eines Entscheidungsbaumes ist es, den Merkmalsraum sukzessive in Regionen aufzuteilen. Die Unterteilungsprozedur soll dabei solange fortschreiten, bis jede Region nur noch Beobachtungen mit demselben Label enthält oder bis die Beobachtungen innerhalb einer Region mehrheitlich dasselbe Label aufweisen (möglichst reine Klassen-Gruppierungen). Das systematische Aufteilen des Merkmalsraums kann grafisch als Baumstruktur dargestellt werden (siehe Abb. 5). Zuoberst im Baum kommt die Wurzel zu liegen. Ausgehend von der Wurzel führen zwei Äste weg, welche den Merkmalsraum in zwei Regionen aufteilen. Wird eine dieser Regionen weiter aufgeteilt, so folgt nach dem dazugehörigen Ast ein Knoten, gefolgt von zwei neuen Ästen. Der Merkmalsraum setzt sich nun aus drei Regionen zusammen. Soll erneut einer dieser Regionen aufgespalten werden, so wird der Baum an der betreffenden Stelle erneut mit einem Knoten, gefolgt von zwei neuen Ästen, ergänzt. Der Merkmalsraum besteht nun aus fünf Regionen. Dieses rekursive Vorgehen wird solange wiederholt, bis ein bestimmtes Abbruchkriterium erfüllt ist. Der Baum gewinnt dabei bei jeder neuen Aufteilung des Merkmalsraums eine neue Hierarchiestufe, wobei sich Knoten und Äste gegenseitig abwechseln. Ist das Abbruchkriterium erfüllt, so wird jeder Ast des Baumes mit einem Blatt abgeschlossen. R2 R5 t4 ja X1 t1 nein X2 t2 R3 R4 X2 t2 X1 t3 ja nein ja nein R1 R1 Klasse 1 R2 Klasse 2 R 3 Klasse 3 ja X2 t4 nein t1 X1 t3 R4 Klasse 4 R5 Klasse 5 Abb. 5: (links): Aufteilung eines zweidimensionalen Merkmalraums, aufgespannt durch die Merkmale und, in fünf Regionen,,,. (rechts): dazugehöriger Entscheidungsbaum mit Knoten (rautenförmige gelbe Symbole) und Blätter (orange Kreise) 8 Die hierarchische Baumstruktur entspricht einer Folge von binären Entscheidungen, wobei jede Entscheidung immer von den vorausgehenden Entscheidungen abhängig ist. Für die 8 modifizierte Darstellung aus (James et al., 2013, Kapitel 8, Seite 308)

40 26 2 Theoretische Grundlagen Erstellung eines Entscheidungsbaumes werden die Merkmalsvektoren des Trainingsdatensatzes benötigt, indem für die einzelnen Merkmalswerte Entscheidungen formuliert werden. Die erste Entscheidung wird in der Wurzel des Baumes gefällt: Für dasjenige der Merkmale, welches die Beobachtungen am besten separiert, wird ein Entscheidungskriterium formuliert. Das Entscheidungskriterium wird im Entscheidungsbaum in Form eines Grenzwertes für das ausgesuchte Merkmal angegeben; im Entscheidungsraum manifestiert sich dieser Grenzwert als Entscheidungsfläche senkrecht zur.ten Achse. Liegt für eine Beobachtung der Wert des.ten Merkmals unterhalb dieses Grenzwertes, so wird die Beobachtung dem ersten Ast der Wurzel zugeordnet; liegt der Merkmalswert über dem Grenzwert, so gehört die Beobachtung dem zweiten Ast der Wurzel an. Anhand des Entscheidungskriteriums werden sämtliche Beobachtungen auf die ersten beiden Äste des Baumes (oder auf die beiden Seiten der Entscheidungsfläche) aufgeteilt, wodurch sich die ersten beiden Regionen im Merkmalsraum ergeben. Wird für eine der beiden Äste der Wurzel eine weitere Verzweigung eingeführt, so wird aus den 1 verbliebenen Merkmalen wiederum dasjenige Merkmal ausgesucht, welches die Beobachtungen dieses Astes am besten voneinander unterscheidet. Für dieses Merkmal wird ein Entscheidungskriterium formuliert und als Knoten, gefolgt von zwei neuen Ästen, im Baum festgehalten. Die Beobachtungen des betrachteten Astes werden anschliessend auf Basis des formulierten Entscheidungskriteriums auf die beiden neuen Unteräste verteilt. Schliesslich wird am Ende jeden Pfades ein Blatt definiert, welches die Klassenzugehörigkeit der einzelnen Beobachtungs-Gruppierungen angibt. Für die Definition eines Blattes werden die Labels von allen Beobachtungen betrachtet, welche diesem Blatt zugeordnet sind. Dasjenige Label, welches dabei am häufigsten auftritt, wird als Klassenangabe für die gesamte Gruppe verwendet. Abbruchkriterium für den Aufbau eines Entscheidungsbaumes Als Abbruchkriterien kommen verschiedene Varianten in Frage; häufig wird eines der nachfolgenden Kriterien angewendet: alle Beobachtungen einer Teilmenge bzw. eines Knotens gehören der gleichen Klasse an (reine Knoten) alle Beobachtungs-Gruppierungen sind bezüglich ihrer Klassenzugehörigkeit möglichst homogen es steht kein Merkmal für eine weitere Unterteilung zur Verfügung (alle Merkmale sind ausgeschöpft) minimale Anzahl Beobachtungen pro Knoten maximale Baumgrösse (maximale Anzahl Hierarchiestufen, maximale Knotenzahl)

41 2.5 Klassifizierungsmethoden 27 Teilungsregeln Für jeden Knoten muss dasjenige Merkmal gefunden werden, welches die Beobachtungen derart in zwei Gruppen unterteilt, dass in beiden Gruppen möglichst viele Beobachtungen mit derselben Klassenzugehörigkeit zu liegen kommen. Die beiden Gruppen sollen möglichst rein sein; das Vorhandensein von vielen verschiedenen Klassen innerhalb einer Gruppe gilt als suboptimal. Dementsprechend kann die Teilungsproblematik als Optimierungsaufgabe angesehen werden, bei welcher die Inhomogenität der zwei entstehenden Beobachtungs-Gruppierungen minimiert werden soll. Als Bewertungsmass für die Inhomogenität haben sich insbesondere zwei Optimierungsfunktionen bewährt, der Gini Index und die Kreuz-Entropie. Für die Beurteilung der Güte einer Knoten-Teilung wird wie folgt vorgegangen: Betrachtet werden nacheinander die beiden Beobachtungs-Untermengen und, welche sich nach der Teilung des.ten Knotens mit einem bestimmten Merkmal ergeben würden. Für beide Untermengen und wird die für den Entscheidungsbaum gewählte Optimierungsfunktion individuell berechnet; es resultieren entweder die Inhomogenitätsmasse und oder alternativ und. Die zwei möglichen Optimierungsfunktionen lauten: Gini Index: 1 ( 9 ) Kreuz-Entropie: log ( 10 ) Hierbei bezeichnet die Anzahl der Klassen und den relativen Anteil der Beobachtungen mit Klassenzugehörigkeit innerhalb einer der Untermengen des.ten Knotens. Nach der Berechnung der Inhomogenitätsmasse für beide Untermengen wird deren gewichtetes Mittel gebildet, wobei die Gewichtung anhand der Anzahl Beobachtungen erfolgt, die in der jeweiligen Untermenge enthalten sind. Das mittlere Inhomogenitätsmass entspricht schliesslich der Güte der Knoten-Teilung mit dem Merkmal. Es ist leicht zu verifizieren, dass die beiden Inhomogenitätsmasse minimal sind, wenn innerhalb einer Untermenge eine Klasse vorherrschend ist (ein fast eins, restliche fast null); es ist eine maximale Homogenität gegeben. Sobald die Klassen innerhalb einer Untermenge vermischter sind, nimmt der Wert der Inhomogenitätsmasse zu. Die maximale Heterogenität ergibt sich, wenn alle Klassen innerhalb der Untermenge gleich häufig auftreten. Demzufolge ist dasjenige Merkmal für die Trennung eines Knotens am geeignetsten, für welches sich das minimalste mittlere Inhomogenitätsmass ergibt.

42 28 2 Theoretische Grundlagen Stutzen von Entscheidungsbäumen Um eine Überanpassung des Entscheidungsbaumes an die Trainingsdaten und eine damit verbundene geringere Performanz des Klassifizierers für Testdaten zu vermeiden, werden Entscheidungsbäume nachträglich gestutzt. Beim Stutzen von Bäumen werden einzelne Knoten und allfällige nachfolgende Knoten direkt durch ein Blatt ersetzt. Sinn des Stutzens von Bäumen ist es, deren Interpretierbarkeit zu erhöhen, die Komplexität zu verringern und eine Generalisierung durchzuführen. Vorteile von Entscheidungsbäumen einfacher und effizienter Lernalgorithmus auf Basis von binären Entscheidungen einfache grafische Darstellung Unabhängigkeit des Algorithmus von der Anzahl der Merkmale gute Interpretierbarkeit bei kleinen Bäumen automatisches Auffinden der charakteristischsten Merkmale einfache Bestimmung des Labels von neuen Beobachtungen: Der Merkmalsvektor einer neuen Beobachtung wird schrittweise von der Wurzel bis zu immer tiefer liegenden Knoten mit den Entscheidungskriterien verglichen und in die entsprechende Untermenge eingeordnet, bis die Beobachtung durch ein Blatt eindeutig klassifiziert wird Möglichkeit der Wahrscheinlichkeitsangabe, dass eine neue Beobachtung einer bestimmten Klasse angehört Nachteile von Entscheidungsbäumen immer senkrechter Verlauf von Klassengrenzen gegenüber den Achsen des Merkmalsraums hohe Rechenkapazität für das Aufstellen und Stutzen von Bäumen mit vielen Merkmalen Instabilität von Bäumen: Bereits bei der geringsten Änderung des Trainingsdatensatzes ergibt sich eine völlig andere Struktur des Entscheidungsbaumes hohe Varianz von Bäumen: Wird der Trainingsdatensatz willkürlich in zwei Hälften aufgeteilt und für jede Hälfte einen Entscheidungsbaum erstellt, so resultieren in der Regel zwei völlig verschiedene Entscheidungsbäume Ein grosser Nachteil eines Entscheidungsbaumes ist dessen Sensitivität auf Variationen in den Trainingsdatensätzen. Um die Varianz eines Entscheidungsbaumes zu minimieren, wurden die Klassifizierungsmethoden Bagging und Random Forests entwickelt.

43 2.5 Klassifizierungsmethoden Bagging Bagging basiert auf dem «Gesetz der grossen Zahlen» aus der Stochastik, welches besagt, dass die Varianz des arithmetischen Mittels aus unabhängigen und gleichverteilten Zufallsvariablen um den Faktor kleiner ist als die Varianz der einzelnen Zufallsvariablen. Durch Mittelbildung von Zufallsvariablen kann die Varianz und demnach die Unsicherheit der Zufallsvariable reduziert werden. Die Klassifizierungsmethode Bagging nutzt diese Tatsache, indem für eine Problemstellung ausgehend von verschiedenen Trainingsdatensätzen verschiedene Entscheidungsbäume generiert werden. Diese Entscheidungsbäume werden schliesslich miteinander zu einem finalen Entscheidungsbaum kombiniert (siehe Abb. 6), welcher gegenüber den einzelnen Entscheidungsbäumen eine um den Faktor geringere Varianz aufweist. Der finale Entscheidungsbaum ist überdies zuverlässiger als die einzelnen Entscheidungsbäume: Sollte in jedem Entscheidungsbaum an derselben Stelle ein Fehler auftreten, so ist im endgültigen Entscheidungsbaum der Fehler auch enthalten; tritt in jedem der Entscheidungsbäume ein allfälliger Fehler jedoch an einer anderen Stelle auf, so entfallen die Fehler durch die Mittelbildung der Bäume, weshalb der finale Entscheidungsbaum makelloser ist. Als Nachteil erweist sich allerdings, dass durch die Kombination der Entscheidungsbäume das endgültige Klassifikationsmodell im Vergleich zu einem einzelnen Entscheidungsbaum schwieriger zu interpretieren ist. Trainingsdatensatz Teilmenge 1 Teilmenge 2... Teilmenge B... finaler Entscheidungsbaum Abb. 6: Prinzip der Klassifizierungsmethode Bagging (Eigendarstellung) Meist steht für ein Klassifikationsproblem nur ein einzelner Trainingsdatensatz zur Verfügung. Mithilfe des Bootstrap-Verfahrens kann dieses Problem jedoch angegangen werden,

44 30 2 Theoretische Grundlagen indem aus dem Trainingsdatensatz in unabhängigen Durchläufen willkürlich eine Teilmenge an Beobachtungen extrahiert wird. Jede dieser zufällig erhaltenen Teilmengen kann anschliessend für das Bagging genutzt werden. Die Anzahl der Bäume ist dabei kein kritischer Parameter, da auch bei einer Vielzahl von Entscheidungsbäumen die Gefahr des Overfittings nicht besteht. Um die Klasse einer neuen Beobachtung zu eruieren, wird die Beobachtung mit jedem der Bäume klassifiziert. Diejenige Klasse, die dabei am häufigsten als Ergebnis auftritt, wird schliesslich der Beobachtung als Label zugewiesen Random Forests Random Forests ist eine von Breiman (2001) entwickelte Variation von Entscheidungsbäumen und stellt eine Erweiterung des Baggings dar. Analog zum Bagging wird bei Random Forests eine Vielzahl von Entscheidungsbäumen auf Basis des Bootstrap-Verfahrens gebildet. Bei Random Forests tritt allerdings die Besonderheit auf, dass bei jeder Knoten-Bildung innerhalb eines Entscheidungsbaumes nicht die verbliebenen Merkmale für die Definition der Teilungsregel zur Auswahl stehen. Stattdessen kann bei jedem Knoten aus einer zufällig generierten Teilmenge der insgesamt Merkmale ein Merkmal für die Teilungsregel verwendet werden ungeachtet dessen, ob das ausgesuchte Merkmal bereits für eine frühere Knoten-Bildung eingesetzt wurde. Für jeden Knoten wird die Teilmenge der möglichen Merkmale aufs Neue erzeugt, weshalb für jeden Knoten eine andere Teilmenge an Merkmalen zur Auswahl steht. Einzig die Grösse der Teilmenge ist für jeden Knoten identisch. Typischerweise enthält eine Teilmenge Merkmale. Der Grund, weshalb für jede Knoten-Bildung nur eine Auswahl aller möglichen Merkmale in Frage kommen soll, ist folgender: Gegeben sei ein Trainingsdatensatz und Merkmale, wobei einige Merkmale über die restlichen dominieren. Werden auf Basis dieser Eingangsgrössen verschiedene Entscheidungsbäume mittels Bagging entwickelt, so werden in jedem Baum die dominanten Merkmale für die ersten Knoten-Bildungen verantwortlich sein. Als Folge wird sich die Struktur aller Bäume ähneln. Wird im Anschluss die Klassenzugehörigkeit einer neuen Beobachtung ermittelt, so ergeben sich Prädiktionen, die allerdings aufgrund der ähnlichen Baumstruktur untereinander korreliert sind. Im Falle von Random Forests wird für jede Knoten-Bildung nur eine Minderheit der Merkmale in Betracht gezogen, weshalb allfällig dominante Merkmale häufig gar nicht berücksichtigt werden. Als Konsequenz ist die Struktur der resultierenden Bäume unterschiedlicher und die finale Prädiktion für eine neue Beobachtung dadurch zuverlässiger.

45 2.6 Evaluierungsmethoden Evaluierungsmethoden Konfusionsmatrix Konfusionsmatrizen stellen eine gängige Methode für die quantitative Bewertung eines Klassifikationsergebnisses bzw. für die Beurteilung der Klassifikationsgenauigkeit eines Klassifizierers dar. Das Klassifikationsergebnis eines Testdatensatzes wird hierbei mit seinen Referenzklassen aus der manuellen Klassifizierung (Ground Truth Daten) verglichen. Die Bilanz dieses Vergleichs wird in tabellarischer Form als sogenannte Konfusionsmatrix (engl. confusion matrix) festgehalten (siehe Abb. 7). Die Zeilen einer Konfusionsmatrix widerspiegeln die Referenzklassen, die Spalten repräsentieren die Klassenzuweisungen des Klassifizierers. Für jede Referenzklasse (,,, ) wird zeilenweise eingetragen, wie viele der ihr zugeordneten Beobachtungen durch den Klassifizierer den einzelnen Klassen zugewiesen wurden. Die absoluten Zahlen in der Diagonalen einer Konfusionsmatrix geben somit an, wie viele Beobachtungen korrekt klassifiziert wurden. Die absoluten Zahlen ausserhalb der Diagonalen beziffern die Anzahl der falsch klassifizierten Beobachtungen (sogenannte Fehlklassifikationen). In den Zeilensummen steht die Gesamtzahl der Beobachtungen für jede Referenzklasse, in den Spaltensummen entsprechend die Gesamtzahl der Beobachtungen, die durch den Klassifizierer den einzelnen Klassen zugeordnet wurden. Klassifikationssergebnis A B C Σ Ground Truth A B C Σ Abb. 7: Aufbau einer Konfusionsmatrix. Anzahl korrekt klassifizierter Beobachtungen Anzahl Fehlklassifikationen Randsummen totale Anzahl Beobachtungen Dank einer Konfusionsmatrix können Fehlklassifikationen auf einfache Art und Weise identifiziert und zugleich quantitativ erfasst werden. Des Weiteren zeigt eine Konfusionsmatrix auf, für welche Klassen sich bei der Klassifizierung Schwierigkeiten ergeben bzw. welche Klassen schlecht voneinander getrennt werden können. Aus einer Konfusionsmatrix lassen sich verschiedene Kennzahlen ableiten, anhand derer die Genauigkeit und die Zuverlässig-

46 32 2 Theoretische Grundlagen keit des Klassifizierers sowohl für jede einzelne Klasse als auch für die Gesamtheit der Klassen beurteilt werden können. Ferner ermöglichen Kennzahlen den Vergleich von Konfusionsmatrizen, die entweder aus verschiedenen Testdatensätzen gewonnen wurden oder die auf verschiedenen Klassifizierern beruhen. Nachfolgend werden einige gebräuchliche Kennzahlen vorgestellt. In den Formeln für die Berechnung der Kennzahlen bezeichnet den Zeilen- und den Spaltenindex der Konfusionsmatrix, die sich aus Klassen zusammensetzt ( 1,2,,, 1,2,,). Producer s Accuracy (PA) Die Produzentengenauigkeit (engl. Producer s Accuracy, PA) gibt an, zu welchem Prozentsatz die Beobachtungen einer Referenzklasse durch den Klassifizierer der richtigen Klasse zugewiesen wurden. Die Producer s Accuracy bildet somit ein Mass für die Genauigkeit einer Klasse. Aus der Producer s Accuracy ergibt sich der Fehler 1. Art (engl. error of omission), der besagt, wie viel Prozent der Beobachtungen einer Referenzklasse irrtümlicherweise einer anderen Klasse zugewiesen wurde. Die Producer s Accuracy einer Referenzklasse berechnet sich aus dem Quotienten der Anzahl korrekt klassifizierter Beobachtungen der.ten Referenzklasse und der Gesamtzahl der Beobachtungen der.ten Referenzklasse: 100 %, 100 % ( 11 ) User s Accuracy (UA) Die Nutzergenauigkeit (engl. User s Accuracy, UA) gibt an, wie viel Prozent der Beobachtungen einer Klasse tatsächlich dieser Klasse angehören. Die User s Accuracy bildet somit ein Mass für die Zuverlässigkeit einer Klasse. Aus der User s Accuracy ergibt sich der Fehler 2. Art (engl. error of commission), welcher den relativen Anteil der Beobachtungen ausweist, der irrtümlicherweise einer Referenzklasse zugewiesen wurde. Die User s Accuracy einer Klasse berechnet sich aus dem Verhältnis der Anzahl korrekt klassifizierter Beobachtungen der.ten Klasse und der Gesamtzahl der Beobachtungen, die der.ten Klasse zugewiesen wurde: 100 %, 100 % ( 12 )

47 2.6 Evaluierungsmethoden 33 mittlere Genauigkeit und mittlere Zuverlässigkeit Durch Mittelbildung der Producer s Accuracy bzw. der User s Accuracy der einzelnen Klassen ergeben sich die mittlere Genauigkeit sowie die mittlere Zuverlässigkeit des Klassifizierers: %, % ( 13 ) Gesamtklassifikationsgenauigkeit (Overall Accuracy, OA) Die Gesamtklassifikationsgenauigkeit (engl. overall accuracy) gibt an, zu welchem Prozentsatz die klassifizierten Beobachtungen mit den Referenzklassen übereinstimmen. Die Gesamtklassifikationsgenauigkeit wird bestimmt, indem die aufsummierten Diagonalelemente der Konfusionsmatrix durch die Gesamtzahl der Beobachtungen dividiert wird: 100 % ( 14 ) Kappa-Koeffizient Der Kappa-Koeffizient ist ein weiteres Genauigkeitsmass für die Beurteilung der Klassifikationsgenauigkeit eines Klassifizierers. Er gibt den Informationsgehalt einer Konfusionsmatrix an bzw. quantifiziert, wie gut Klassen durch den Klassifizierer klassifiziert werden, die im Vergleich zu anderen Klassen im Datensatz eher untervertreten sind. Die Berechnung des Kappa-Koeffizienten basiert einerseits auf der Kennzahl der Gesamtklassifikationsgenauigkeit und andererseits auf dem Parameter. Der Parameter entspricht der Wahrscheinlichkeit, dass eine beliebige Beobachtung des Testdatensatzes zufälligerweise korrekt klassifiziert wurde. Der Kappa-Koeffizient kann demnach auch derart ausgelegt werden, dass er den Prozentsatz angibt, um welchen die Klassifizierung mit dem Klassifizierer besser ausfällt als eine rein zufällige Klassifizierung. %, % ( 15 ) In der Regel nimmt der Kappa-Koeffizient einen Wert zwischen 0% und 100% an. Ein Wert von 0% bedeutet, dass das Klassifikationsergebnis einer rein zufälligen Klassifizierung gleichkommt. Ein Wert von 100% ergibt sich, wenn das Klassifikationsergebnis vollständig mit den Ground Truth Daten übereinstimmt. Theoretisch sind für den Kappa-Koeffizienten auch negative Werte denkbar; ein negativer Wert impliziert, dass das Klassifikationsergeb-

48 34 2 Theoretische Grundlagen nis schlechter mit den Ground Truth Daten übereinstimmt, als bei einer zufälligen Klassifizierung zu erwarten ist. In der untenstehenden Tabelle ist die Beziehung zwischen dem Kappa-Koeffizienten und der Qualität des Klassifizierers gemäss (Ortiz, 1997) aufgeführt. Tab. 1: Richtwerte für die Interpretation des Kappa-Koeffizienten (Ortiz, 1997) Kappa-Koeffizient [%] unter 0 Qualität der Klassifizierung sehr schlecht 0 20 schlecht akzeptabel gut sehr gut ausgezeichnet Einfache Kreuzvalidierung Stehen für den Aufbau eines Klassifikationsalgorithmus lediglich zwei Datensätze und zur Verfügung, kann für die Ermittlung der Performanz eines Klassifizierers das Verfahren der einfachen Kreuzvalidierung (engl. cross validation) angewendet werden. Bei der einfachen Kreuzvalidierung wird der Klassifizierer zunächst mit dem Datensatz trainiert und die Klassifikationsgenauigkeit des Klassifizierers mithilfe des Datensatzes bestimmt. Alsdann wird der Klassifizierer mit dem Datensatz erneut trainiert (unabhängig von der Trainingsphase mit dem Datensatz ) und die resultierende Klassifikationsgenauigkeit auf Basis des Datensatzes ermittelt. Aus den beiden Datensatz-Kombinationen für die Trainings- und die Testphase ergibt sich je eine Konfusionsmatrix. Durch Mittelbildung der beiden Konfusionsmatrizen (mittlere Konfusionsmatrix) bzw. der daraus abgeleiteten Kennzahlen können für die einzelnen Kennzahlen Mittelwerte und dazugehörige Standardabweichungen angegeben werden. Diese beschreiben die mittlere Qualität des Klassifizierers für die beiden verwendeten Datensätze. Wird die Trainingsphase lediglich mit einem der beiden Datensätze durchgeführt, besteht die Gefahr, dass sich der Klassifizierer zu stark an die Eigenheiten des verwendeten Trainingsdatensatzes anpasst oder dass die Charakteristiken der einzelnen Klassen durch den verwendeten Trainingsdatensatz nicht ausreichend erfasst werden und der Klassifizierer diese folglich nicht erlernt. Mit dem Verfahren der Kreuzvalidierung kann eine Überschätzung der Klassifikationsgenauigkeit vermieden werden, indem der Klassifizierer sowohl mit mehreren Datensätzen trainiert als auch ausgewertet wird.

49 3.1 Klassendefinition Methodik Für die Implementierung eines Klassifikationsalgorithmus für 3D-Laserscan-Punktwolken werden Merkmale aus der aktuellen, einschlägigen Literatur verwendet. Die vorliegende Arbeit stützt sich mehrheitlich auf die von Chehata et al. (2009) vorgeschlagenen Merkmale für die Klassifizierung von Punktwolken, die aus luftgestütztem Laserscanning gewonnen wurden. Chehata et al. (2009) definierten 15 verschiedene Merkmale basierend auf geometrischen und strukturellen Eigenschaften der Punktwolke, zwei Merkmale zur Charakterisierung der Anzahl registrierten Echos sowie vier weitere Merkmale in Bezug auf das Echoprofil des Signals. Letztere beide Merkmalsgruppen können bedingt durch die Eigenschaften der verwendeten Datensätze 9 nicht berücksichtigt werden. Von den restlichen 15 Merkmalen wurden 13 Merkmale übernommen 10 und für terrestrische Punktwolken adaptiert. Neben den Merkmalen von Chehata et al. (2009) fliesst auch ein Merkmal von Gross et al. (2002) in den Klassifikationsalgorithmus mit ein. Der Arbeitsablauf für die Implementierung eines Klassifikationsalgorithmus erfolgt in Anlehnung an die in Abb. 3 dargestellte Verarbeitungskette (siehe Seite 17). Die allgemeine Vorgehensweise für die Durchführung einer Klassifizierung wurde in Kapitel 2.4 dargelegt. In den nachfolgenden Unterkapiteln wird spezifischer auf ausgewählte Verarbeitungsschritte eingegangen. Der Schwerpunkt liegt auf der Definition der Merkmale und auf den Methoden für deren Berechnung. Des Weiteren werden zu berücksichtigende Besonderheiten bei der Implementierung der Merkmale aufgezeigt. Entgegen den Ausführungen in Kapitel 2.4 und der dargestellten Verarbeitungskette in Abb. 3 wird für die Implementierung des Klassifikationsalgorithmus lediglich ein Trainingsund ein Testdatensatz verwendet. Ein Validierungsdatensatz ist nicht gegeben, weshalb die entsprechenden Verarbeitungsschritte für den Validierungsdatensatz entfallen Klassendefinition Es wird ein Klassifikationsalgorithmus für die Klassifizierung von 3D-Punktwolken aus statischen, terrestrischen Laserscans entwickelt. Ziel des Klassifikationsalgorithmus ist die Klassifizierung von Punktwolken in relevante Objektkategorien und im Besonderen die De- 9 Die Datensätze wurden mit einem Standard-Laserscanner erhoben. Somit liegen keine Informationen über die Anzahl, die Amplitude sowie die Breite der Echos vor. 10 Unberücksichtigt bleibt die Höhendifferenz zwischen dem ersten und dem letzten Echo eines Signals sowie die Beschreibung der lokalen Krümmung für die Nachbarschaft eines LiDAR Punktes.

50 36 3 Methodik tektion von Vegetation in Punktwolken. Ferner soll der Klassifikationsalgorithmus imstande sein, der Vegetation zugeordnete Punkte weiter in Baumkrone, Baumstamm und Gebüsch zu differenzieren. Angesichts der zur Verfügung stehenden Datensätze und der darin erfassten Objekte werden nachfolgende Klassen definiert: «Baumkrone», «Baumstamm», «Busch», «Boden» und «Indefinite». Als «Baumstamm» wird der Hauptstamm von Bäumen erfasst, die Äste und Blätter von Bäumen gehören der Klasse «Baumkrone» an. Strassen, Gehsteige und Waldboden werden in der Klasse «Boden» zusammengefasst. Die Klasse «Indefinite» ist eine sogenannte Restklasse. Ihr werden sämtliche LiDAR Punkte zugeordnet, welche nicht in eine der übrigen Klassen untergebracht werden können Merkmalsgewinnung Für jeden LiDAR Punkt der Punktwolke wird ein Merkmalsvektor bestehend aus 14 Merkmalen 11 generiert. Ein LiDAR Punkt wird dabei durch seine lokale Nachbarschaft charakterisiert. Die Merkmale des Punktes beschreiben die räumliche Verteilung und Ausrichtung der vom Punkt benachbarten Punkte sowie die räumliche Beziehung zwischen dem Punkt und seinen benachbarten Punkten. Die Merkmalsberechnung basiert somit auf der Auslegung, was unter der Nachbarschaft eines LiDAR Punktes zu verstehen ist bzw. welche Punkte als Nachbarspunkte eines LiDAR Punktes angesehen werden. Da die Merkmalsberechnung den kritischen Schritt im gesamten Klassifikationsprozess darstellt und die Qualität der Klassifizierung direkt von den verwendeten Merkmalen abhängig ist, erweist sich die Definition der Nachbarschaft als fundamentale Grundlage. Bedingt durch das polare Aufnahmeverfahren und die Zusammenführung mehrerer Laserscans sind die Punkte von Punktwolken im Allgemeinen nicht in einer regelmässigen Gitterstruktur im Raum angeordnet. Aufgrund dessen ist es nicht zweckmässig, die bei der Beschreibung von Bildern verwendete 4er- bzw. 8er-Nachbarschaft von Pixeln auf den 3D- Raum zu verallgemeinern und als Nachbarschaftsdefinition von LiDAR Punkten einzuführen. Vielmehr ist eine flexiblere und auf die lokale Punktdichte angepasste Nachbarschaftsdefinition erforderlich Merkmale pro Nachbarschaftsdefinition und zusätzlich ein von der Nachbarschaft unabhängiges Merkmal

51 3.2 Merkmalsgewinnung Nachbarschaftsdefinition Gross et al. (2007) präsentierten zwei Ansätze für die Nachbarschaftsdefinition von LiDAR Punkten, welche für diese Arbeit zur Anwendung kommen. Beiden Ansätzen ist gemein, dass all diejenigen Punkte als Nachbarspunkte eines LiDAR Punktes angesehen werden, deren euklidischer Abstand zum LiDAR Punkt einen bestimmten Grenzwert unterschreitet. Je nachdem, ob für die Berechnung des Abstandes direkt die Raumdistanz verwendet wird oder ob der Abstand in der Lage und in der Höhe separat betrachtet wird, kann zwischen einer kugelförmigen und einer zylindrischen Nachbarschaft unterschieden werden. Für die kugelförmige Nachbarschaft eines LiDAR Punktes wird dessen Abstand zu sämtlichen Punkten in der Punktwolke berechnet. Liegt die berechnete euklidische Raumdistanz zwischen dem LiDAR Punkt und einem beliebigen anderen Punkt der Punktwolke unterhalb eines Grenzwertes, so gilt dieser Punkt als Nachbarspunkt des Punktes. Die kugelförmige Nachbarschaft des LiDAR Punktes ist somit durch all diejenigen Punkte gegeben, welche innerhalb einer am Punkt zentrierten Kugel mit Radius liegen (siehe linke Darstellung der Abb. 8). Für die zylindrische Nachbarschaft eines LiDAR Punktes wird der euklidische Abstand zwischen dem LiDAR Punkt und einem beliebigen anderen Punkt der Punktwolke in der -Ebene und in der -Richtung untersucht. Ein Nachbarspunkt darf einerseits in der -Ebene höchstens im Abstand vom Punkt entfernt liegen und anderseits maximal einen vertikalen Abstand vom Punkt aufweisen. Die zylindrische Nachbarschaft des Punktes ist folglich durch all diejenigen Punkte definiert, welche sich innerhalb eines vertikalen Zylinders mit Radius befinden (Achsenverlauf durch den Punkt, siehe rechte Darstellung der Abb. 8). Der Zylinder weist dabei die Höhe sowohl unterhalb wie auch oberhalb des Punktes auf (Gesamthöhe 2). Abb. 8: Nachbarschaftsdefinition für den in grün dargestellten LiDAR Punkt (links): kugelförmige Nachbarschaft, (rechts): zylindrische Nachbarschaft leicht modifizierte Darstellung aus (Gross et al., 2007)

52 38 3 Methodik Für einige der von Chehata et al. (2009) erarbeiteten Merkmale ist es zwingend notwendig, dass die Nachbarschaft von jedem LiDAR Punkt mindestens drei Punkte beinhaltet (Nachbarschaft bestehend aus dem Punkt und zwei Nachbarspunkten). Sollte der Radius für die kugelförmige oder für die zylindrische Nachbarschaft zu klein gewählt werden, kann es vorkommen, dass es innerhalb der Punktwolke Punkte gibt, welchen keine Nachbarspunkte zugeordnet werden können. Für solche Punkte ist die Berechnung von einigen Merkmalen ausgeschlossen. 13 Es stellt sich daher die Frage, ob für die Festlegung der Nachbarschaften der Radius solange variiert werden soll, bis sämtlichen Punkten der Punktwolke die geforderte Mindestanzahl an Nachbarspunkten zugeordnet werden kann, oder ob für Punkte, die bei einem fixen Radius nicht genügend Nachbarspunkte haben, den nicht kalkulierbaren Merkmalen einen beliebigen konstanten Wert übergeben werden soll. Letztere Variante ist allerdings nicht zu bevorzugen, da sich die Festlegung eines geeigneten, fixen Radius aufgrund der unterschiedlichen Punktdichten als schwierig erweist. Für diese Arbeit wurde deshalb der Ansatz gewählt, für die kugelförmige Nachbarschaft einen fixen Radius vorzugeben, den Radius aber bei einer zu geringen Anzahl Nachbarspunkte für einen Punkt solange auszuweiten, bis diesem die minimale Anzahl Nachbarspunkte zugewiesen werden kann (siehe Abb. 9). Diese Verfahrensweise birgt den Vorteil, dass der Radius automatisch der lokalen Punktdichte angepasst wird und sich die Nachbarschaftsdefinition dadurch als sehr flexibel erweist. Obgleich für die Berechnung der Merkmale die Bedingung von minimal zwei Nachbarspunkten pro LiDAR Punkt ausreichend ist, wird die minimale Anzahl Nachbarspunkte auf fünf Punkte festgelegt. Diese Festlegung erfolgt in Anlehnung an die in Guo et al. (2011) getroffene Annahme, dass die 3D-Nachbarschaft eines LiDAR Punktes aus mindestens fünf Punkten besteht. Befinden sich deshalb innerhalb der festgelegten Nachbarschaft für einen LiDAR Punkt mit fixem Radius nicht mindestens fünf Punkte, so wird mithilfe des k-nearest-neighbor-algorithmus der Radius solange vergrössert, bis dem LiDAR Punkt mindestens fünf Nachbarspunkte zugeordnet werden können (siehe Abb. 9). Verbleibend stellt sich die Frage, welcher Radius für die Nachbarschaftsdefinition vorgegeben werden soll. Anstatt einen einzigen Radius und somit eine einzige kugelförmige Nachbarschaft festzulegen, wird ein sogenannter multiskalen-ansatz angewendet. Der 13 Die Schätzung einer lokalen räumlichen Ebene aus lediglich einem oder zwei Punkten ist nicht möglich. Daher entfallen sämtliche Merkmale, welche auf Basis einer lokalen Ebene berechnet werden. Des Weiteren kann für eine Nachbarschaft bestehend aus einem einzigen Punkt auch keine Kovarianzmatrix ermittelt werden und folglich können keine Eigenwerte für die Nachbarschaft bestimmt werden. Die Berechnung von Merkmalen, die auf den Eigenwerten der Nachbarschaft beruhen, ist deshalb ebenfalls verunmöglicht.

53 3.2 Merkmalsgewinnung 39 Abb. 9: Bestimmung der Nachbarspunkte für einen LiDAR Punkt mit kugelförmiger Nachbarschaft (Eigendarstellung) (links): Für den fixen Radius ergeben sich lediglich drei Nachbarspunkte (orange Punkte), die restlichen Punkte (blaue Punkte) liegen ausserhalb der kugelförmigen Nachbarschaft. (rechts): Der Radius wird schrittweise vergrössert, bis dem Punkt fünf Nachbarspunkte zugeordnet werden können. Ergeben sich für denjenigen Radius, bei welchem der fünfte Nachbarspunkt detektiert wird, noch weitere Nachbarspunkte, so zählen diese ebenfalls zur Nachbarschaft des Punktes. Die in der Darstellung gezeigte Nachbarschaft besteht somit aus neun Punkten. Grundgedanke entstammt der Arbeit von Brodu und Lague (2012): Sie schlugen vor, sich für die Nachbarschaftsdefinition von LiDAR Punkten nicht auf eine einzige Definition zu beschränken, sondern stattdessen mehrere verschiedene Nachbarschaften einzuführen. Indem der Radius der kugelförmigen Nachbarschaft variiert wird, kann die räumliche Verteilung der Punkte im Umkreis des LiDAR Punktes auf verschiedenen Massstabsstufen analysiert werden. Durch die Verwendung mehrerer Radien lässt sich ableiten, ob die benachbarten Punkte des Punktes eher linear oder flächenhaft angeordnet sind, ober ob Abb. 10: Multiskalen-Ansatz für die Definition einer kugelförmigen Nachbarschaft eines LiDAR Punktes, welcher als schwarzes Kreuz dargestellt ist. Die blauen Dreiecke symbolisieren Nachbarspunkte des Punktes. Die grauen Kreuze kennzeichnen Punkte ausserhalb der Nachbarschaft des Punktes Quelle: Brodu und Lague (2012)

54 40 3 Methodik sie in der gesamten um den Punkt zentrierten Kugel verteilt sind. Würden sich die Nachbarschaftsanalysen lediglich auf einen Radius abstützen, so bestünde die Gefahr, dass bei der Wahl eines zu kleinen Radius die lokalen geometrischen Strukturen nicht zur Geltung kommen. Bei der Wahl eines zu grossen Radius gehen die lokalen geometrischen Strukturen verloren (siehe Abb. 10). Insgesamt werden drei verschiedene kugelförmige Nachbarschaften mit den Radien 30 cm, 50 cm und 1 m definiert. Für die Definition einer zylindrischen Nachbarschaft wird ebenfalls der multiskalen-ansatz angewendet. Zwei Zylinder, zum einen mit einem Radius von 30 cm und einer Höhe von 50 cm und zum anderen mit einem Radius von 50 cm und einer Höhe von 1 m sollen hierbei als Nachbarschaftsdefinition dienen. Für die zylindrische Nachbarschaft ist hauptsächlich die vertikale Struktur der lokalen Punktwolke massgebend. Im Gegensatz zur kugelförmigen Nachbarschaft ist es für die zylindrische Nachbarschaft deshalb nicht zweckmässig, den Radius iterativ zu vergrössern, falls sich für die zylindrische Nachbarschaft eines Punktes weniger als fünf Nachbarspunkte ergeben würden. Sollte es demnach nicht möglich sein, infolge der zu geringen Anzahl Nachbarspunkte für einen Punkt die Merkmale zu berechnen, so werden den entsprechenden Merkmalen stattdessen Standardwerte zugewiesen. Als Standardwert wird der Wert festgelegt. Die Merkmalsberechnung wird für alle kugelförmigen und zylindrischen Nachbarschaften durchgeführt. Im Folgenden werden sämtliche implementierte Merkmale vorgestellt. Mit Ausnahme eines Merkmals 15 basiert die Merkmalsberechnung auf der lokalen Nachbarschaft der LiDAR Punkte. Die lokale Nachbarschaft für den LiDAR Punkt wird jeweils mit der Notation angegeben ungeachtet dessen, ob es sich um eine kugelförmige oder zylindrische Nachbarschaft handelt. Die Unterscheidung der kugelförmigen und der zylindrischen Nachbarschaft ist nicht notwendig, da die Methodik der Merkmalsberechnung für beide Nachbarschaftstypen identisch ist. 15 ausgenommenes Merkmal: Höhendifferenz zwischen einem LiDAR Punkt und der mittleren Bodenhöhe

55 3.2 Merkmalsgewinnung Merkmale basierend auf der Höhe von LiDAR Punkten Merkmal: relative Höhe Die relative Höhe ist das einzige Merkmal, welches unabhängig von der Nachbarschaft des LiDAR Punktes berechnet werden kann. Die relative Höhe eines Punktes entspricht der Höhendifferenz zwischen dem Punkt und der mittleren Bodenhöhe der Punktwolke. Im Allgemeinen ist die mittlere Bodenhöhe des Laserscans jedoch nicht bekannt, weshalb diese aus sämtlichen Punkten der Punktwolke geschätzt werden muss. Es werden deshalb die Höhenwerte aller Punkte betrachtet und die 1%-tiefst gelegenen Punkte eruiert. Der mittlere Höhenwert dieser Punkte wird als mittlere Bodenhöhe angenommen. Die relative Höhe gibt an, wie weit ein Punkt von der mittleren Bodenhöhe entfernt ist. Dieses Merkmal eignet sich daher insbesondere für die Unterscheidung zwischen Bodenpunkten und Nicht-Bodenpunkten. Einzig für LiDAR Punkte der Klasse «Boden» werden die Merkmalswerte um null herum streuen, für alle restlichen Klassen nehmen die Merkmalswerte kontinuierlich zu. Merkmal: Höhenvarianz Die Höhenvarianz des LiDAR Punktes charakterisiert die Streuung der Punkt-Höhen innerhalb der lokalen Nachbarschaft. Befinden sich die Punkte annähernd auf derselben Höhe, so resultiert für die Höhenvarianz σ ein tiefer Wert. Sind die Punkte hingegen hauptsächlich in der Vertikalen angeordnet, so ergibt sich für die Höhenvarianz σ ein hoher Wert; σ ist umso höher, je stärker die Punkte in der vertikalen Richtung auseinander liegen. Das Merkmal σ kann genutzt werden, um glatte, horizontal ausgerichtete Oberflächen (z. B. Flachdächer oder Boden) von Objekten zu unterscheiden, die vorwiegend vertikal ausgedehnt sind (z. B. Baumkronen, Baumstämme oder Gebäudefassaden). Für eine kugelförmige Nachbarschaft mit einem eher geringen Radius kann das Merkmal σ zudem verwendet werden, um raue Oberflächenstrukturen zu detektieren (Rutzinger et al. 2008). Ist der Radius der Nachbarschaft zu gross, werden die Höhenvariationen der Oberfläche zu stark gemittelt, wodurch die Rauheit der Oberfläche nicht mehr in Erscheinung tritt. Für die Berechnung der Höhenvarianz σ eines LiDAR Punktes werden sämtliche Punkte innerhalb seiner Nachbarschaft betrachtet. Für diese Punkte wird die Kovarianzmatrix wie folgt berechnet:

56 42 3 Methodik Die Nachbarschaft des Punktes besteht aus Punkten ( 1 Nachbarspunkte und der Punkt selbst), deren Koordinaten, und ( ) wie folgt in einer Matrix zusammengefasst werden können:,,, ( 16 ) Zunächst werden alle Punkte innerhalb der Nachbarschaft auf den Schwerpunkt der Nachbarschaft reduziert, wobei sich der Schwerpunkt der Punktnachbarschaft wie folgt berechnet: 1 ( 17 ) Aus den reduzierten Punktkoordinaten ergibt sich die Kovarianzmatrix schliesslich zu: 1 ( 18 ) Die Höhenvarianz σ kann direkt aus der Kovarianzmatrix abgelesen werden; sie entspricht dem letzten Eintrag auf der Diagonalen der Kovarianzmatrix.

57 3.2 Merkmalsgewinnung Merkmale basierend auf Eigenwerten Merkmale: Eigenwerte, und Die Kovarianzmatrix der lokalen Nachbarschaft beschreibt die räumliche Verteilung der darin enthaltenen LiDAR Punkte. Durch Eigenwertzerlegung der Kovarianzmatrix können die Eigenvektoren, und sowie die dazugehörigen Eigenwerte, und der lokalen Punktwolke ermittelt werden, wobei gilt. Geometrisch gesehen zeigen die Eigenvektoren die Hauptausdehnungsrichtungen der lokalen Punktnachbarschaft an. Der erste Eigenvektor zeigt in Richtung der grössten lokalen Punktwolkenausdehnung, d. h. in diejenige Richtung, in welche die lokale Punktwolke die grösste Variabilität aufweist. Der zweite Eigenvektor steht senkrecht zu ; er zeigt in die zweite Hauptrichtung der lokalen Punktwolke und deutet damit die Richtung der zweitgrössten Variabilität an. Der dritte Eigenvektor steht sowohl zu wie auch zu senkrecht, sodass die drei Eigenvektoren ein Rechtssystem bilden. Die Richtung von stellt die dritte Hauptrichtung der lokalen Punktwolke dar (siehe Abb. 11). Abb. 11: Geometrische Deutung der Eigenvektoren, und als Hauptrichtungen der lokalen Punkwolkenausdehnung, gegeben durch die Nachbarschaft eines Punktes (Eigendarstellung) Die zu den drei Eigenvektoren zugehörigen Eigenwerte kennzeichnen die Grössenordnung der lokalen Punktwolkenausdehnung. Die Eigenwerte sind gegenüber Rotationen und Translationen der Punktwolke invariant, weshalb sie sich zur Beschreibung der räumlichen Verteilung einer Punktnachbarschaft anbieten. Es werden alle drei Eigenwerte, und direkt als Merkmale eingeführt. Merkmale: Richtungsabhängigkeit, Ebenheit, Sphärizität, Linearität Ergibt sich für eine lokale Punktnachbarschaft für einen grossen Wert und für und einen Wert nahe bei null, so bedeutet dies, dass die Punkte innerhalb der gegebenen Nachbarschaft lediglich in einer Raumrichtung, der Richtung des Eigenvektors, angeordnet

58 44 3 Methodik sind. Für eine Nachbarschaft, in welcher die Punkte auf einer Ebene liegen, strebt nur der Eigenwert gegen null; die Variabilität der lokalen Punktverteilung ist vollständig durch die beiden ersteren Eigenwerte und erfasst. Die Ebene wird dabei durch die beiden Eigenvektoren und aufgespannt. Derartige Punktanordnungen bzw. Grössenverhältnisse der Eigenwerte finden sich beispielsweise für die Nachbarschaft von Bodenpunkten oder für Punkte auf einer Fassade. Weisen die drei Eigenwerte, und annähernd dieselben Grössen auf, so deutet dies darauf hin, dass die Punkte der lokalen Nachbarschaft in alle drei Raumrichtungen nahezu gleich stark verstreut sind. Diese Eigenschaft trifft unter anderem für Punkte der Baumkrone zu. Die Grössenverhältnisse der drei Eigenwerte können somit genutzt werden, um die lokale räumliche Verteilung der Punkte innerhalb einer gegebenen Nachbarschaft zu ermitteln. Gemäss den Ausführungen von Lalonde et al. (2006) sind die Punkte innerhalb der Nachbarschaft eines Punktes zylindrisch angeordnet, wenn der erste Eigenwert der lokalen Punktwolke gegenüber den anderen beiden Eigenwerten dominiert, d. h. wenn gilt. Streben die letzteren beiden Eigenwerte gegen null, so handelt es sich gar um eine lineare Punktanordnung innerhalb der Nachbarschaft. Weisen und approximativ dieselbe Grössenordnung auf und sind im Vergleich zu markant grösser ( ), so sind die Punkte innerhalb der Nachbarschaft flächenhaft angeordnet. Für gleichgrosse Eigenwerte der Nachbarschaft ergibt sich eine kugelförmige Punktverteilung. Die drei möglichen Grössenverhältnisse der drei Eigenwerte, welche in einer lokalen Punktwolke auftreten können, sind in Abb. 12 ersichtlich. Abb. 12: Grössenverhältnisse der drei Eigenwerte, und als Indikatoren für die lokale räumliche Verteilung der Punkte innerhalb der Nachbarschaft eines Punktes modifizierte Darstellung aus (Lalonde et al., 2006)

59 3.2 Merkmalsgewinnung 45 Um die Grössenverhältnisse der drei Eigenwerte quantitativ anzugeben und somit für die Klassifizierung nutzbar zu machen, werden nachfolgende vier Merkmale definiert: Richtungsabhängigkeit: Sphärizität: Ebenheit: Linearität: ( 19 ) 1 ( 20 ) ( 21 ) ( 22 ) Das Merkmal der Richtungsabhängigkeit gibt an, ob die Verteilung der Punkte innerhalb der Nachbarschaft mit der Raumrichtung variiert. ist umso grösser, je markanter sich die räumliche Verteilung der Punkte in der ersten und dritten Hauptrichtung unterscheiden. Dies trifft beispielsweise für raue Oberflächen (z. B. Waldboden) oder für Punkte an den Enden von Baumästen zu. Kann zwischen der räumlichen Verteilung der Punkte in der ersten und dritten Hauptrichtung kein Unterschied ausgemacht werden, so strebt gegen null. Das Merkmal der Sphärizität stellt die Umkehrung des Merkmals der Richtungsabhängigkeit dar. Die Sphärizität eines LiDAR Punktes ist hoch, wenn dieser isotrop von seinen Nachbarspunkten umgeben ist. Eine hohe Sphärizität bzw. eine niedrige Richtungsabhängigkeit ist somit für Punkte gegeben, deren Nachbarspunkte kugelförmig angeordnet sind. Eine derartige Nachbarschaftsstruktur findet sich z. B. für Punkte im Innern einer Baumkrone oder für Punkte, welche den Übergang zwischen dem Boden und dem Baumstamm bilden. Das Merkmal der Ebenheit charakterisiert planare Nachbarschaftsstrukturen und weist dadurch insbesondere für ebene Objektklassen wie Boden oder Hecken hohe Werte auf. Für gekrümmte Oberflächen wie Baumstämme ist die Ebenheit klein. Das Merkmal der Linearität letztlich kennzeichnet lineare Objektstrukturen bzw. Punkte, die zusammen mit ihren Nachbarspunkten näherungsweise auf einer Zylinderoberfläche zu liegen kommen. Aufgrund dessen ist die Linearität ein gutes Mass für die Charakterisierung von Baumstämmen. Basierend auf diesen Überlegungen kann eine Abschätzung über die zu erwartenden Grössenordnungen der vier Merkmale A, P, S und L vorgenommen werden. Die Abschätzung der vier Merkmalsgrössen ist in Tab. 2 gegeben.

60 46 3 Methodik Tab. 2: zu erwartende Grössenordnungen der Merkmale A, P, S und L (linear) (planar) (Streuung) Merkmal: Oberflächenvariation Das Merkmal der Oberflächenvariation ist das einzige in dieser Arbeit verwendete Merkmal, das nicht von Chehata et al. (2009) stammt. Das Merkmal wurde im Jahre 2002 in der Arbeit von (Gross et al., 2002) präsentiert und basiert auf den drei Eigenwerten, und der Nachbarschaft eines Punktes. Die Eigenvektoren und der Nachbarschaft geben die zwei Hauptausdehnungsrichtungen der lokalen Punktverteilung an. Die durch diese beiden Vektoren aufgespannte Fläche approximiert deshalb die lokale Oberfläche eines Objektes, gegeben durch die Punkte in der Nachbarschaft. Der dritte Eigenvektor ist zu den beiden ersteren senkrecht gerichtet, weshalb der Eigenvektor als Normalenvektor der Objektoberfläche interpretiert werden kann. Der dazugehörige Eigenwert erfasst die Variabilität der Punktverteilung in Richtung des Normalenvektors. Dem Merkmal der Oberflächenvariation liegt der skalierte Eigenwert zugrunde und berechnet sich gemäss der Gleichung ( 23 ). Das Merkmal beschreibt, wie stark die Punkte innerhalb der Nachbarschaft von der Objektoberfläche abweichen. ( 23 ) Die Oberflächenvariation ist für ebene Objektoberflächen am minimalsten. Der Eigenwert strebt für ebene Objektoberflächen gegen null, sodass für die Oberflächenvariation ein Wert nahe bei null resultiert. Die maximale Oberflächenvariation wird erreicht, wenn alle drei Eigenwerte gross sind. Die Oberflächenvariation ist somit maximal, wenn die Punkte der lokalen Nachbarschaft in alle drei Raumrichtungen verstreut liegen.

61 3.2 Merkmalsgewinnung Merkmale basierend auf der lokalen Ebene Für die Definition der Merkmale der letzten Merkmalskategorie wird in die Nachbarschaft von jedem LiDAR Punkt eine lokale Ebene Π geschätzt. Die aus der lokalen Ebene abgeleiteten Merkmale beschreiben die Orientierung der lokalen Punktverteilung sowie die räumliche Beziehung zwischen dem Punkt und dessen benachbarten Punkten. Die Merkmale können genutzt werden, um Vegetation von ebenen Objektklassen wie Fassaden oder Boden zu trennen. Des Weiteren ermöglichen sie die Differenzierung zwischen Baumstämmen und Baumkronen. Die Schätzung der bestangepassten lokalen Ebene aus den in der Nachbarschaft enthaltenen Punkten erfolgt mithilfe des MSAC-Algorithmus, eine Erweiterung des sogenannten RANdom SAmple Consensus Algorithmus oder kurz RANSAC-Algorithmus. Der RAN- SAC-Algorithmus wurde im Jahre 1981 durch Martin A. Fischler und Robert C. Bolles vorgestellt. 17 Er stellt ein Ausgleichungsverfahren dar, welches in einem iterativen Prozess die Parameter eines mathematischen Modells auf der Grundlage eines vorgegebenen Datensatzes schätzt. Hierbei ist für die Bestimmung von ausgeglichenen Modellparametern unabdingbar, dass mehr Beobachtungsdaten vorliegen als für die eindeutige Lösung der Modellparameter notwendig sind. Für das eindeutige Auffinden einer Ebene innerhalb der Nachbarschaft muss die Nachbarschaft daher mehr als drei Punkte beinhalten. 18 Im Gegensatz zur Ausgleichung nach der Methode der kleinsten Quadrate handelt es sich beim RANSAC-Algorithmus um ein robustes Ausgleichungsverfahren die Ausgleichung liefert trotz Ausreissern und allfälligem Rauschen in den Beobachtungsdaten zuverlässige Ergebnisse für die Modellparameter. Diese Tatsache ist insbesondere für die Ebenenschätzung im Bereich des Bodens oder von Baumstämmen interessant: Für Punkte einer rauen Bodenfläche oder für Punkte des Baumstammes ist es durchaus denkbar, dass die lokalen Nachbarschaftsstrukturen namentlich die ebene horizontale Fläche für Bodenregionen bzw. zylinderförmige Punktanordnungen für Baumstammregionen Ausreisser beinhalten (z. B. Punkte von Ästen), weshalb die Ebenenschätzung nach der Methode der kleinsten Quadrate nicht die bestangepasste lokale Ebene ergeben würde. Der RANSAC-Algorithmus ist hingegen gegenüber allfälligen Ausreissern unempfindlich und ist demnach der Methode der kleinsten Quadrate vorzuziehen. 17 Fischler, M. A., Bolles, R. C. (1981): Random sample consensus: a paradigm for model fitting with applications to image analysis and automated cartography, Communications of the ACM, 24 (6), Aufgrund dessen wird bei der Nachbarschaftsdefinition gefordert (siehe Kapitel 3.2.1), dass die Nachbarschaft von jedem LiDAR Punkt aus mindestens fünf Punkten bestehen muss. Für die Bestimmung einer lokalen Ebene sind drei Punkte ausreichend. Damit jedoch eine Ausgleichung durchgeführt werden kann, wird die minimale Anzahl Punkte innerhalb einer Nachbarschaft auf fünf Punkte festgelegt.

62 48 3 Methodik Die Funktionsweise des RANSAC-Algorithmus wird im Anhang A1 erläutert. Es erweist sich als schwierig, für die Durchführung des RANSAC-Algorithmus einen geeigneten Wert für die Fehlerschranke zu finden. Die Fehlerschranke bezeichnet den maximalen Abstand eines Datenpunktes von der Ebene, bis zu welchem der Datenpunkt nicht als Ausreisser gilt. Der Wert der Fehlerschranke ist direkt von der Punktdichte abhängig, die über die gesamte Punktwolke jedoch stark variieren kann. Der Parameter sollte daher nicht als konstant angenommen werden, sondern vielmehr in Abhängigkeit von der Punktdichte für jede Nachbarschaft neu bestimmt werden. Die Wahl des Parameters stellt den kritischen Schritt des RANSAC-Algorithmus dar und schlägt sich direkt in der Qualität der geschätzten Ebene nieder. Ist die Fehlerschranke zu gross, werden zu viele Ausreisser nicht detektiert. Bei einer zu kleinen Fehlerschranke kann es vorkommen, dass die resultierende Ebene zwar auf Basis einer ausreisserfreien Punktmenge berechnet wurde, die Ebene aber nicht durch alle fehlerfreien Punkte unterstützt wird. Um die Problematik einer geeigneten Wahl des Parameters zu umgehen, bietet es sich an, anstatt des RANSAC-Algorithmus den MSAC-Algorithmus (M-Estimator SAmple Consensus) anzuwenden. Der MSAC-Algorithmus baut auf dem RANSAC-Algorithmus auf und wurde im Jahre 2000 von Torr und Zisserman entwickelt. 19 Dem MSAC-Algorithmus liegt noch stets die Fehlerschranke zugrunde. Zugleich verwendet der Algorithmus jedoch eine Kostenfunktion, um Punkte, welche die Fehlerschranke unterschreiten, unterschiedlich zu gewichten: Je grösser die Distanz zwischen einem Punkt und der Ebene ist, umso höher wird der Punkt gewichtet; ab der Fehlerschranke wird den Punkten ein konstanter Gewichtungsfaktor zugeordnet. Für die Wahl der ausreisserfreien Punktmenge ist für den MSAC-Algorithmus nicht nur relevant, ob die einzelnen Punkte innerhalb der Fehlerschranke liegen, sondern zusätzlich auch, wie stark die einzelnen Punkte innerhalb der Fehlerschranke das Ebenenmodell unterstützen. Das Prinzip des MSAC-Algorithmus schmälert somit die Relevanz des Parameters, weshalb der MSAC-Algorithmus für die Bestimmung der ausreisserfreien Punktmenge innerhalb einer Nachbarschaft zur Anwendung kommt. Für detailliertere Informationen über die Funktionsweise des MSAC-Algorithmus sei auf den Anhang A2 verwiesen. Nachdem die ausreisserfreie Punktmenge innerhalb der Nachbarschaft eines LiDAR Punktes mithilfe des MSAC-Algorithmus bestimmt wurde, ist es möglich, die lokal bestangepasste Ebene Π zu ermitteln. 19 Torr, P. H. S., Zisserman, A. (2000): MLESAC: A new robust estimator with application to estimating image geometry, Computer Vision and Image Understanding, 78 (1),

63 3.2 Merkmalsgewinnung 49 Die Ebene Π wird in folgender Form durch die vier Ebenenparameter,, und beschrieben: ( 24 ) Die Ebenenparameter, und entsprechen dem Normalenvektor,, der Ebene Π, der Ebenenparameter kennzeichnet den euklidischen Abstand der Ebene Π vom Ursprung des Koordinatensystems. Für die Bestimmung der vier Ebenenparameter wird in einem ersten Schritt die Kovarianzmatrix der ausreisserfreien Punktmenge gemäss der in Kapitel beschriebenen Vorgehensweise berechnet. Die nachfolgende Eigenwertzerlegung der Kovarianzmatrix ergibt die drei Eigenvektoren der ausreisserfreien Punktmenge. Aus geometrischen Überlegungen (siehe Kapitel 3.2.3) lässt sich zeigen, dass der dritte Eigenvektor, welchem der kleinste Eigenwert zugeordnet ist, mit dem Normalenvektor der Ebene Π gleichgesetzt werden kann. Der vierte Ebenenparameter ergibt sich schliesslich aus dem Skalarprodukt zwischen dem auf Länge 1 normierten Normalenvektor der Ebene und dem Stützvektor der Ebene. Als Stützvektor der Ebene dient der Ortsvektor des Schwerpunktes, weil die geschätzte Ebene Π durch den Schwerpunkt der ausreisserfreien Punktmenge verläuft. Nach der Bestimmung der lokalen Ebene Π für die Nachbarschaft von jedem LiDAR Punkt können vier verschiedene Merkmale extrahiert werden, welche im Folgenden vorgestellt werden. Eine Illustration der lokalen Ebene Π für eine fiktive Nachbarschaft sowie zwei der vier abgeleiteten Merkmale sind in der Abb. 13 ersichtlich. Abb. 13: Lokale Ebene Π für die Nachbarschaft des LiDAR Punktes (gegeben durch die blauen und roten Punkte) und zwei der daraus abgeleiteten Merkmale: Abweichungswinkel zwischen dem Normalenvektor der Ebene und der Vertikalen sowie der Abstand des Punktes von der lokalen Ebene Π. Die zwei rot eingefärbten Punkte symbolisieren Ausreisser innerhalb der Nachbarschaft des LiDAR Punktes. (Eigendarstellung)

64 50 3 Methodik Mit der Illustration wird nochmals deutlich, weshalb es für die Ebenenschätzung fundamental ist, ein robustes Ausgleichungsverfahren zu verwenden. Die Nachbarschaft des LiDAR Punktes setzt sich aus den blauen und roten Punkten zusammen. Wird die lokale Ebene Π dieser Nachbarschaft auf Basis der Methode der kleinsten Quadrate ermittelt, so wird die geschätzte Ebene durch die in der Nachbarschaft enthaltenen Ausreisser, symbolisiert durch die roten Punkte, stark beeinflusst. Der MSAC-Algorithmus ermöglicht es, die roten Punkte als Ausreisser zu erkennen. Lediglich die ausreisserfreie Punktmenge, bestehend aus den blauen Punkten und dem Punkt, wird für die Schätzung der lokalen Ebene berücksichtigt. Eine auf diese Weise geschätzte Ebene Π passt sich der lokalen Punktverteilung besser an als eine nach der Methode der kleinsten Quadrate geschätzte Ebene. Merkmal: Abweichungswinkel zwischen dem Normalenvektor der Ebene und der Vertikalen Der Winkel zwischen dem Normalenvektor,, der lokalen Ebene Π und der Vertikalen beschreibt die Ausrichtung der lokalen Ebene und demzufolge indirekt die Orientierung der Punktverteilung innerhalb der Nachbarschaft des Punktes (siehe Abb. 13). Dieser Abweichungswinkel kann genutzt werden, um verschiedenartig ausgerichtete Objektklassen voneinander zu unterscheiden. Für horizontale Strukturen wie Boden oder Flachdächer ergibt sich eine horizontale lokale Ebene, weshalb der Abweichungswinkel näherungsweise 0 Grad beträgt. In die Nachbarschaft von vertikal ausgerichteten Strukturen wie Baumstämme oder Gebäudefassaden wird eine vertikale Ebene geschätzt; der dazugehörige Abweichungswinkel nimmt demnach einen Wert von rund 90 Grad an. Punktnachbarschaften von Baumkronen weisen in der Regel keine planare Verteilung auf. Aufgrund dessen ergeben sich für die einzelnen Punktnachbarschaften der Baumkrone lokale Ebenen mit den verschiedensten Ausrichtungen. Die uneinheitliche Orientierung der lokalen Ebenen bewirkt, dass der Abweichungswinkel für Punkte der Baumkrone eine hohe Streuung aufweist. Merkmal: Varianz des Abweichungswinkels Die Berechnung der Varianz des Abweichungswinkels für einen LiDAR Punkt beruht auf dessen Nachbarschaft. Vorerst wird für jeden Punkt der Punktwolke der Wert des Abweichungswinkels bestimmt. In der Folge kann die Varianz der Gesamtheit der erhaltenen Merkmalswerte für jede Punktnachbarschaft berechnet werden.

65 3.2 Merkmalsgewinnung 51 Die Varianz σ des Abweichungswinkels für einen LiDAR Punkt kann als Mass für die inhomogene Punktverteilung von dessen Nachbarschaftspunkten angesehen werden. Weisen die lokalen Ebenen innerhalb einer Punktwolkenregion für jeden Punkt unterschiedliche Orientierungen auf, so manifestiert sich dieses Phänomen in einer hohen Varianz σ des Abweichungswinkels. Eine hohe Varianz σ ist daher für Punkte der Baumkrone sowie im Übergangsbereich zwischen Boden und Baumstämmen zu erwarten. Punktregionen des Bodens oder von Gebäudefassaden lassen sich durch eine homogene und ebene Punktverteilung charakterisieren. Jeder Punkt solcher Punktregionen weist approximativ denselben Wert für das Merkmal des Abweichungswinkels auf, weshalb sich derartige Punktregionen durch eine niedrigere Varianz σ beschreiben lassen. Merkmal: Abstand von der lokalen Ebene Die Beziehung zwischen der lokalen Ebene Π eines LiDAR Punktes und dem Punkt selbst wird mithilfe des Merkmals erfasst. Hierbei kennzeichnet das Merkmal den Abstand des LiDAR Punktes von seiner lokalen Ebene Π (siehe Abb. 13). Der Wert des Merkmals ist umso kleiner, je näher sich der Punkt bei seiner lokalen Ebene befindet. Für homogene und ebene Punktverteilungen (Boden, Gebäudefassaden) sollte demnach ein geringer Merkmalswert resultieren. Eine uneinheitliche Punktverteilung innerhalb einer Nachbarschaft führt dazu, dass die lokale Ebene meist nur durch wenige Punkte verläuft. Die Punktabstände von der Ebene fallen deshalb deutlich grösser aus als bei homogenen und ebenen Punktverteilungen. Merkmal: Residuen der lokalen Ebene Für jeden Punkt innerhalb der Nachbarschaft eines LiDAR Punktes wird der Abstand ( ) von der lokalen Ebene Π berechnet. Die einzelnen Abstände fliessen in die Definition des Merkmals Residuen wie folgt ein: ( 25 ) Hierbei bezeichnet einen Parameter, dessen Wert auf 1.2 festgelegt wurde (Chehata et al., 2009). Grosse Abstände werden somit in der Summe höher gewichtet als kleinere Abstände (, ). Das Merkmal der Residuen R hebt raue Oberflächenstrukturen sowie stark inhomogene Punktverteilungen im Bereich von Baumkronen hervor (Xu et al., 2014).

66 52 3 Methodik Zusammenstellung des Merkmalsvektors Die vorgestellten Merkmale lassen sich gemäss Gleichung ( 26 ) als Merkmalsvektor zusammenfassen. Für jeden Punkt des Trainings- und des Testdatensatzes wird der Merkmalsvektor berechnet und anschliessend den verwendeten Klassifizierern übergeben. Das Merkmal muss pro Punkt lediglich einmal berechnet werden, die restlichen 13 Merkmale werden für jede der fünf Nachbarschaftsdefinitionen individuell berechnet. Insgesamt besteht der Merkmalsvektor somit aus 66 Elementen. ( 26 ) für jede Nachbarschaft 3.3. Verwendete Klassifizierer Für die Klassifizierung werden die Klassifizierungsmethoden Naive Bayes und Random Forests eingesetzt. Nähere Informationen sind den entsprechenden Kapiteln und zu entnehmen.

67 4.1 Arbeitsmittel Implementierungsgrundlagen 4.1. Arbeitsmittel Die Aufbereitung der Rohdaten erfolgte mit Geomagic Studio 2014, einem umfassenden Software-Paket für die Überführung von 3D-Scandaten in Flächen-, Polygon- und CAD- Modelle. Geomagic Studio integriert zahlreiche Funktionen für die Bearbeitung von Punktwolken und die Modellierung von Polygonmodellen. Die Implementierung des Klassifikationsalgorithmus wurde in Matlab R2014a vorgenommen, eine von MathWorks entwickelte Programmiersprache für numerische Berechnungen mithilfe von Matrizen, für Datenanalysen und Algorithmen-Entwicklungen sowie für Visualisierungen. Für die Durchführung der Klassifikation wurden die in der Statistic Toolbox bereits implementierten Klassifizierer genutzt Datensätze Für den Aufbau eines Klassifikationsalgorithmus stehen zwei verschiedene Datensätze zur Verfügung. Der erste Datensatz wurde von Andreas B. G. Baumann im Rahmen seiner Bachelorarbeit am Institut für Geodäsie und Photogrammetrie an der ETH Zürich erhoben. Er erfasste mit dem terrestrischen Laserscanner FARO Focus 3D das Waldgebiet Falk an der Gemeindegrenze zwischen Sins und Auw im Kanton Aargau. Die Datenaufnahmen erfolgten am 18. und 22. März Der Datensatz besteht aus sechs Einzelscans. Für das Trainieren und Testen des Klassifikationsalgorithmus wurden zwei Datensätze aus zwei verschiedenen Scans aufbereitet. Diese werden im Folgenden als «Reussegg_s4» und «Reussegg_s6» bezeichnet; die Testgebiete werden «Reussegg» benannt. Beide Datensätze beinhalten die Klassen «Boden», «Baumstamm» und «Baumkrone». Auf die Definition einer Restklasse wurde verzichtet, da sich die manuelle Abgrenzung einer allfälligen Restklasse von der Klasse der «Baumkrone» als zu schwierig erwies. Der zweite Datensatz wurde von Christoph Ober im Rahmen seiner Masterprojektarbeit am Institut für Geodäsie und Photogrammetrie an der ETH Zürich erhoben. Die Datenaufnahmen wurden am 22. und 26. April 2010 mit dem Laserscanner Imager 5006i von Zöller+Fröhlich durchgeführt. Das Aufnahmegebiet erstreckte sich um das Gebäude HXE auf dem Campus Hönggerberg der ETH Zürich. Auch für diesen Datensatz wurden zwei Testgebiete ausgewählt, die nachfolgend mit «ETH_HXE» gekennzeichnet sind. Die dazugehörigen Datensätze werden als «ETH_HXE_A» und «ETH_HXE_B» angeführt. Die Testge-

68 54 4 Implementierungsgrundlagen biete umfassen die Baumreihe entlang der Wolfgang-Pauli-Strasse, weshalb für diese Datensätze die Klassen «Boden», «Baumstamm», «Baumkrone», «Busch» und «Indefinite» definiert wurden. Bei der Klasse «Indefinite» handelt es sich um eine Restklasse. Ihr werden sämtliche Punkte zugewiesen, welche nicht einer der anderen Klassen zugehörig sind. Die Punktwolken der vier definierten Testgebiete sind in Abb. 14 und Abb. 15 ersichtlich. Abb. 14: 3D-Punktwolken des Testgebietes Reussegg (links): Reussegg_s4, (rechts): Reussegg_s6 Abb. 15: 3D-Punktwolken des Testgebietes ETH_HXE (oben): ETH_HXE_A, (unten): ETH_HXE_B

69 4.3 Preprocessing der Datensätze Preprocessing der Datensätze Die Datensätze aller vier Testgebiete waren für die Weiterverarbeitung in Matlab zu gross. Aufgrund dessen wurde in Geomagic Studio eine Ausdünnung der einzelnen Punktwolken vorgenommen, um die Datenmengen dem Arbeitsspeicher von Matlab anzupassen. Die Ausdünnung sollte dabei unter Beibehaltung der lokalen Nachbarschaften der LiDAR Punkte erfolgen, sodass die geometrischen Eigenschaften der ursprünglichen Punktwolken aufrechterhalten bleiben. Die Ausdünnung wurde anfänglich mit dem Filter «Gleichmässig» und der Option «absolut» ausgeführt. Die Option «absolut» bewirkt eine gleichmässige Reduktion der Anzahl LiDAR Punkte auf eine festgelegte absolute Raumdistanz zwischen den Punkten. Mit dem Parameter «Krümmungspriorität» kann ferner eingestellt werden, inwiefern die festgelegte Raumdistanz bei der Ausdünnung eingehalten werden soll. Eine hohe Krümmungspriorität führt im Bereich von inhomogen verteilten Punktregionen zu einer Verkleinerung der festgelegten Raumdistanz, sodass die lokale Verteilung der Punkte trotz Ausdünnung erhalten bleibt. Die unterschiedlich starke Ausdünnung der Punktwolke hat allerdings zur Folge, dass Punkte im Bereich von homogen verteilten Punktregionen deutlich weniger Nachbarspunkte aufweisen als Punkte im Bereich von inhomogen verteilten Punktregionen. Obwohl die geometrischen Eigenschaften der lokalen Punktverteilungen bewahrt bleiben, gehen die lokalen Nachbarschaftsstrukturen bei der Ausdünnung verloren. Für die Ausdünnung mit dem Filter «Gleichmässig» ist es deshalb angezeigt, stattdessen die Option «Abstand durch Ziel festlegen» zu nutzen und die Krümmungspriorität auf null zu setzen. Dadurch wird die Punktwolke gleichmässig auf die angegebene Anzahl Punkte verringert. Jeder Datensatz wurde auf rund Punkte reduziert. Die Ergebnisse der Punktwolkenausdünnung für jede Klasse der vier Datensätze sind den Tabellen Tab. 3 bis Tab. 6 zu entnehmen. Nach der Datenreduktion wiesen die Punktwolken einen durchschnittlichen Punktabstand von drei bis fünf Zentimetern auf. Abschliessend wurde jede Klasse der reduzierten Punktwolken als separate Textdatei (*.asc) gespeichert, sodass der nachfolgende Datenimport in Matlab erfolgen konnte.

70 56 4 Implementierungsgrundlagen Tab. 3: Gegenüberstellung der Anzahl Punkte pro Klasse des Datensatzes Reussegg_s4 vor und nach der Punktwolkenausdünnung ursprüngliche Punktwolke ausgedünnte Punktwolke Baumkrone Baumstamm Boden total Tab. 4: Gegenüberstellung der Anzahl Punkte pro Klasse des Datensatzes Reussegg_s6 vor und nach der Punktwolkenausdünnung ursprüngliche Punktwolke ausgedünnte Punktwolke Baumkrone Baumstamm Boden total Tab. 5: Gegenüberstellung der Anzahl Punkte pro Klasse des Datensatzes ETH_HXE_A vor und nach der Punktwolkenausdünnung ursprüngliche Punktwolke ausgedünnte Punktwolke Baumkrone Baumstamm Boden Gebüsch Indefinite total Tab. 6: Gegenüberstellung der Anzahl Punkte pro Klasse des Datensatzes ETH_HXE_B vor und nach der Punktwolkenausdünnung ursprüngliche Punktwolke ausgedünnte Punktwolke Baumkrone Baumstamm Boden Gebüsch Indefinite total

71 4.3 Preprocessing der Datensätze Ergebnisse und Diskussion Die Merkmalsberechnung für einen LiDAR Punkt der Punktwolke beruht auf seiner Nachbarschaft. Die resultierenden Merkmalswerte sind direkt von der Art und der Dimension der verwendeten Nachbarschaft abhängig. Die Nachbarschaftsdefinition stellt deshalb die massgebende Grösse im gesamten Klassifizierungsprozess dar. Sie schlägt sich direkt in der Grössenordnung sowie der Verteilung der Merkmalswerte nieder; die Merkmalswerte der einzelnen Merkmale bestimmen ihrerseits die Qualität der Klassifizierung. Für den Aufbau des Klassifikationsalgorithmus wurden 14 Merkmale implementiert (siehe Kapitel 3.2.5). Die Merkmalsberechnung erfolgte für verschiedene Nachbarschaftsdefinitionen. Insgesamt wurden für den multiskalen-ansatz nachstehend aufgeführte Nachbarschaften definiert. Die Gesamtheit aller berechneten Merkmale wurde in der Folge für die Klassifizierung genutzt. kugelförmige Nachbarschaft: Kugelradius 30 kugelförmige Nachbarschaft: Kugelradius 50 kugelförmige Nachbarschaft: Kugelradius 1 zylindrische Nachbarschaft: Zylinderradius 30, halbe Zylinderhöhe 50 zylindrische Nachbarschaft: Zylinderradius 50, halbe Zylinderhöhe 1 Für beide Klassifizierungsmethoden wurde untersucht, ob sich der multiskalen-ansatz mit den obigen fünf Nachbarschaften für die Klassifizierung bewährt. Zum Vergleich wurde die Klassifizierung zusätzlich mit jeder der fünf Nachbarschaftsdefinitionen einzeln durchgeführt. Des Weiteren wurde getestet, ob die Klassifizierung besser ausfällt, wenn die Merkmale ausschliesslich für die drei kugelförmigen bzw. für die zwei zylindrischen Nachbarschaften berechnet werden. Der Merkmalsvektor eines Punktes setzt sich aus insgesamt 66 Merkmalen zusammen, wenn für die Klassifizierung alle fünf Nachbarschaften berücksichtigt werden. Die Klassifizierungsmethoden Naive Bayes und Random Forests sollten imstande sein, aus der Gesamtheit der Merkmale die für die Unterscheidung der einzelnen Klassen relevanten Merkmale aufzufinden. Mit einer manuell getroffenen Merkmalsauswahl wurde überprüft, ob die automatische Merkmalsselektion tatsächlich zum besten Klassifizierungsergebnis führt. Der Einfluss der Nachbarschaftsdefinition auf das Klassifizierungsergebnis wurde mit den Datensätzen Reussegg_s4 und Reussegg_s6 untersucht. Die Klassifizierung wurde mit der Methode der Kreuzvalidierung ausgeführt. Aus der mittleren Konfusionsmatrix konnten die

72 58 5 Ergebnisse und Diskussion mittlere Genauigkeit, die mittlere Zuverlässigkeit, die Gesamtklassifikationsgenauigkeit sowie der Kappa-Koeffizient berechnet werden. Diese Kennzahlen dienten als Kriterien für die Beurteilung der Klassifikationsqualität und wurden ebenfalls für den Vergleich der Klassifikationsergebnisse verwendet. Die Erkenntnisse aus den Klassifizierungsergebnissen des Testgebietes Reussegg wurden genutzt, um das Testgebiet ETH_HXE zu klassifizieren. Mit dem Testgebiet ETH_HXE wurde die Qualität des erarbeiteten Klassifikationsalgorithmus abschliessend beurteilt Plausibilitätsprüfung der Merkmalsimplementierung Die Plausibilitätsprüfung der Merkmalsimplementierung erfolgte auf visuellem Wege. Für die Überprüfung wurden die Punktwolken für jedes Merkmal eingefärbt, wobei die Farbe eines Punktes dessen Merkmalswert für das betreffende Merkmal angibt. Eine Auswahl der visuell dargestellten Merkmalswerte für den Datensatz Reussegg_s6 ist in Anhang A3 zu finden. Die Plausibilität ausgewählter Merkmale wird nachfolgend diskutiert. 20 Merkmale basierend auf Eigenwerten Die Visualisierungen der Merkmale,, und bestätigen die erwarteten Grössenordnungen der Merkmalswerte gemäss Tab. 2 (siehe Kapitel 3.2.3). Es ist ersichtlich, dass Punkte insbesondere im Innern von Baumkronen sowie beim Übergang vom Boden zum Baumstamm isotrop verteilt sind. Sie weisen deshalb niedrige Werte für (Richtungsabhängigkeit) bzw. hohe Werte für (Sphärizität) auf. Zylinderförmige Punktanordnungen können mithilfe des Merkmals (Linearität) identifiziert werden. Wie angenommen resultieren für Punkte von Baumstämmen diesbezüglich hohe Merkmalswerte. Aus der Visualisierung wird allerdings auch ersichtlich, dass Punkte von Baumstämmen nicht ausnahmslos durch hohe Werte für charakterisiert werden können. Baumstümpfe sowie Bereiche von Baumstämmen, die nicht unmittelbar von Ästen oder Blättern umgeben sind, zeichnen sich durch hohe Merkmalswerte aus. Sobald sich ein Baumstamm jedoch im Innern der Baumkrone befindet, nehmen die Merkmalswerte für Punkte des Baumstammes markant ab. Die lokale zylindrische Verteilung der Baumstammpunkte tritt aufgrund der umgebenden Punkte der Baumkrone nicht mehr in Erscheinung, weshalb das Merkmal in solchen Nachbarschaftsregionen nicht mehr maximal ist. Des Weiteren zeigt sich, dass auch für Punkte an Klassengrenzen nicht die für die jeweilige Klasse typischen Merkmalswerte er- 20 Für die merkmalscodierten Darstellungen aller Datensätze (sämtliche Merkmale und Nachbarschaften) sei auf die beiliegende DVD verwiesen.

73 5.1 Plausibilitätsprüfung der Merkmalsimplementierung 59 rechnet werden. An den oberen Enden von Baumstümpfen bestehen die Punktnachbarschaften aus zu wenigen Punkten die zylindrische Punktverteilung kommt nicht zur Geltung. Ähnlich verhält es sich beim Übergang vom Boden zu Baumstämmen. In diesen Punktnachbarschaften treten zwei Verteilungsarten auf: zum einen die zylindrische und vertikale Punktanordnung für Punkte von Baumstämmen, zum anderen die planare und horizontale Punktanordnung für Punkte des Bodens. Diese Gegebenheit führt dazu, dass die Nachbarschaft insgesamt nicht durch eine hohe Linearität gekennzeichnet ist. Baumstammpunkte in Bodennähe erscheinen aufgrund dessen in Abb. 26 nicht in roter Farbe, was eine hohe Linearität implizieren würde; stattdessen sind sie gelb, grün oder gar blau eingefärbt (abnehmende Linearität). Das Merkmal der Ebenheit eignet sich für die Beschreibung von Bodenpunkten. In Abb. 26 ist erkennbar, dass sich die Merkmalswerte für Boden- und Vegetationspunkte mehrheitlich voneinander unterscheiden. Einzig für horizontal aus der Baumkrone herausragende Äste ergeben sich ähnliche Merkmalswerte wie für den Boden. Ferner kommt zum Ausdruck, dass die Ebenheit sensitiv auf raue Objektoberflächen ist. Punkte des Waldbodens sind deshalb nicht in einheitlicher Farbe dargestellt. Für Sträucher, die ebenfalls der Klasse «Boden» angehören, ergeben sich ähnliche Werte wie für Punkte von Baumkronen mit dem Merkmal können Boden und Baumkronen somit nicht makellos voneinander unterschieden werden. Die merkmalscodierte Darstellung der Oberflächenvariation (siehe Abb. 27) zeigt erneut auf, dass die Merkmalsberechnung für Baumstammpunkte in Bodennähe erheblich durch die angrenzenden Bodenpunkte beeinflusst wird. Die in der Nachbarschaft von Baumstammpunkten enthaltenen Bodenpunkte bewirken, dass sich bei der Eigenwertanalyse der Nachbarschaft drei hohe Eigenwerte ergeben. Als Konsequenz resultiert für das Merkmal ein hoher Wert. Das Merkmal der Oberflächenvariation weist nicht ausschliesslich für Punkte der Baumkrone hohe Werte auf; für die Charakterisierung von Baumkronen ist das Merkmal demnach zu wenig diskriminativ. Merkmale basierend auf der lokalen Ebene Das Merkmal des Abweichungswinkels wurde eingeführt, um verschiedenartig ausgerichtete Objektklassen voneinander unterscheiden zu können. In Kapitel wurde ausgeführt, dass für horizontale Objektoberflächen (z. B. Bodenpunkte) Merkmalswerte nahe bei null und für vertikal ausgerichtete Objektoberflächen (z. B. Baumstammpunkte) Merkmalswerte im Bereich von 90 Grad zu erwarten sind. Punktnachbarschaften von Baumkro-

74 60 5 Ergebnisse und Diskussion nen weisen in der Regel keine planare Verteilung auf. Aus diesem Grund ergeben sich für die einzelnen Punktnachbarschaften der Baumkrone lokale Ebenen mit den verschiedensten Ausrichtungen und folglich Merkmalswerte, die durch eine hohe Variation gekennzeichnet sind. Abb. 27 bestätigt diese Hypothesen. Ferner wird abermals augenfällig, dass Bodenpunkte einen starken Einfluss auf die Merkmalsberechnung von nahe gelegenen Baumstammpunkten ausüben. Befinden sich innerhalb der Nachbarschaft von Baumstammpunkten zusätzlich Bodenpunkte, wird in die Nachbarschaft eine horizontale Ebene geschätzt; Baumstammpunkte sind in der Nachbarschaft untervertreten und werden infolgedessen durch den MSAC-Algorithmus als Ausreisser interpretiert. Die horizontal geschätzte Ebene ergibt für den Abweichungswinkel einen Wert von nahezu 0 Grad. Baumstammpunkte in Bodennähe erscheinen deshalb in Abb. 27 in blauer Farbe. Die Merkmale (Abstand eines Punktes von seiner lokalen Ebene) und (Residuen der lokalen Ebene) scheinen für keine der Klassen charakteristisch zu sein (siehe Abb. 28). Die berechneten Merkmalswerte sind grundsätzlich klein. Grosse Merkmalswerte treten nur für Punkte auf, deren Nachbarspunkte in alle drei Raumrichtungen verteilt liegen. Auf die lokale Ebene einer isotropen Punktverteilung kommen die wenigsten Punkte zu liegen. Im Gegensatz zu linearen oder planaren Punktverteilungen weist die Mehrheit der isotrop verteilten Punkte einen Abstand zur lokalen Ebene auf: Der Abstand eines einzelnen Punktes (Merkmal ) bzw. die aufsummieren und gewichteten Abstände aller Punkte innerhalb einer Nachbarschaft (Merkmal ) fallen deshalb höher aus. Isotrop verteilte Nachbarschaften und folglich hohe Merkmalswerte sind für Punkte von Sträuchern, für Punkte im Innern von Baumkronen sowie für Baumstammpunkte in Bodennähe gegeben. Auch die erwarteten Grössenverhältnisse für das Merkmal (Varianz des Abweichungswinkels ) erweisen sich als richtig (siehe Kapitel bzw. Abb. 29). Eine hohe Variation des Abweichungswinkels tritt sowohl für Baumkronen als auch für den Übergangsbereich zwischen Boden und Baumstämmen auf. Merkmale basierend auf der Höhe von LiDAR Punkten In Abb. 29 ist ersichtlich, dass sich das Merkmal der Höhenvarianz eignet, um horizontal ausgerichtete Oberflächen (z. B. Boden) von Objekten zu unterscheiden, die vorwiegend in vertikaler Richtung ausgedehnt sind (z. B. Baumkronen oder Baumstämme). Zugleich wird wiederum deutlich, dass Punkte an Klassengrenzen (z. B. Punkte an den oberen Enden von Baumstümpfen) nicht durch die für die jeweilige Klasse typischen Merkmalswerte beschrieben werden können. Die lokalen Nachbarschaften derartiger Punkte bestehen aus

75 5.1 Plausibilitätsprüfung der Merkmalsimplementierung 61 einer zu geringen Punktzahl, sodass die typische Punktverteilung einer Klasse nicht zur Ausprägung kommt. Einfluss der Nachbarschaftsdefinition auf die Merkmalswerte Die Grössenordnungen und die Verteilung der berechneten Merkmalswerte sind stark von der gewählten Nachbarschaftsdefinition abhängig. Der Einfluss der Nachbarschaftsdefinition auf die Merkmalsberechnung wird anhand des Merkmals aufgezeigt. Die merkmalcodierten Punktwolken Reussegg_s6 für die fünf verschiedenen Nachbarschaftsdefinitionen sind in Anhang A4 zusammengestellt. Das Merkmal der Ebenheit charakterisiert planare Nachbarschaftsstrukturen und nimmt dadurch insbesondere für Bodenpunkte hohe Merkmalswerte an. Vegetationspunkte weisen keine ebene Nachbarschaftsstruktur auf, weshalb für diese Punkte niedrige Merkmalswerte zu erwarten sind. In der merkmalscodierten Darstellung einer Punktwolke sollten demnach Bodenpunkte rot und Vegetationspunkte dunkelblau erscheinen. Die Verwendung einer kugelförmigen Nachbarschaft mit Radius 30 cm ermöglicht, lokale Nachbarschaftsstrukturen zu erfassen. Abb. 30 zeigt jedoch, dass für diese Nachbarschaftsdefinition Bodenpunkte nicht ausnahmslos rot und Vegetationspunkte dunkelblau sind. Dieser Umstand ist auf den geringen Radius der kugelförmigen Nachbarschaft zurückzuführen. Die wenigsten Punkte im Umkreis eines Punktes werden für dessen Merkmalsberechnung berücksichtigt, was dazu führt, dass die geometrische Struktur der jeweiligen Klasse nicht zum Ausdruck kommt. So ist Waldboden lokal betrachtet nicht zwingend eben; Gestrüpp oder Gräser bewirken, dass der Waldboden rau erscheint. Die Rauheit des Waldbodens tritt bei einer zu kleinen Wahl der kugelförmigen Nachbarschaft deutlich in Erscheinung. Umgekehrt verhält es sich für Punkte der Vegetation. Erfolgt die Merkmalsberechnung unter Verwendung eines zu kleinen Kugelradius, können Punkte von Baumkronen lokal gesehen durchaus eben verteilt sein. Ähnliches gilt für Punkte von Baumstämmen. Bei der Verwendung einer grösseren kugelförmigen Nachbarschaft (Radius 50 cm) hat die Rauheit des Waldbodens geringere Auswirkungen auf die Berechnung des Merkmals ; die Nachbarschaft von Bodenpunkten wird trotz Gestrüpp und Gräsern grösstenteils als eben erachtet. Ferner werden für Punkte von Baumstämmen niedrigere Merkmalswerte errechnet. Der Kugelradius von 30 cm war demnach auch für Punkte von Baumstämmen zu klein, sodass trotz der zylindrischen Punktanordnung die Punkte teilweise als eben angesehen wurden.

76 62 5 Ergebnisse und Diskussion Eine weitere Vergrösserung der kugelförmigen Nachbarschaft auf einen Radius von 1 m hat zur Folge, dass bei der Merkmalsberechnung viel zu viele Punkte miteinbezogen werden und infolgedessen die lokalen geometrischen Strukturen verloren gehen. Wird für die Merkmalsberechnung eine zylindrische Nachbarschaft (Radius von 30 cm, halbe Zylinderhöhe von 50 cm) verwendet, unterscheiden sich die Merkmalswerte für Boden- und Vegetationspunkte deutlich. Der Unterschied zwischen den Merkmalswerten der einzelnen Klassen ist bei einer zylindrischen Nachbarschaft markanter als bei einer kugelförmigen Nachbarschaft Vegetationspunkte heben sich im Falle einer zylindrischen Nachbarschaft besser von Bodenpunkten ab. Bei der Wahl einer zu grossen zylindrischen Nachbarschaft (Radius von 50 cm, halbe Zylinderhöhe von 1 m) ist wiederum ein ähnliches Phänomen wie bei der Wahl einer zu grossen kugelförmigen Nachbarschaft zu beobachten. Die lokale geometrische Struktur von Bodenpunkten tritt in der Nähe von Baumstämmen nicht mehr in Erscheinung, weshalb für diese Punkte fälschlicherweise ein niedriger Merkmalswert berechnet wird. Die Analyse des Merkmals für verschiedene Grössenordnungen der kugelförmigen und der zylindrischen Nachbarschaft hat gezeigt, dass sowohl die grösste kugelförmige als auch die grössere zylindrische Nachbarschaft für die Merkmalsberechnung tendenziell ungeeignet sind. Gleichwohl wurden diese beiden Nachbarschaftsdefinitionen für die Durchführung der Klassifizierung beibehalten. Um die resultierende Klassifikationsgenauigkeit unter Verwendung sämtlicher fünf Nachbarschaften abschätzen zu können, wurde zum Vergleich die Klassifizierung zusätzlich mit einer Auswahl an Nachbarschaften durchgeführt. Hierfür wurden nachfolgende Nachbarschaften ausgewählt: Nachbarschaftsauswahl 1: o kugelförmige Nachbarschaft: Kugelradius 30 o kugelförmige Nachbarschaft: Kugelradius 50 o zylindrische Nachbarschaft: Zylinderradius 30, halbe Zylinderhöhe 50 Nachbarschaftsauswahl 2: o kugelförmige Nachbarschaft: Kugelradius 30 o zylindrische Nachbarschaft: Zylinderradius 30, halbe Zylinderhöhe 50

77 5.2 Testgebiet Reussegg Testgebiet Reussegg Die Klassifizierung des Testgebietes Reussegg erfolgte gemäss der Methode der Kreuzvalidierung. Der Klassifizierer (Naive Bayes bzw. Random Forests) wurde mit dem Datensatz Reussegg_s6 trainiert und in der Folge mit dem Datensatz Reussegg_s4 ausgewertet. Anschliessend wurde der Klassifizierer in einem unabhängigen Durchgang mit dem Datensatz Reussegg_s4 trainiert und die Genauigkeit des Klassifizierers mit dem Datensatz Reussegg_s6 ermittelt. Die visualisierten Klassifikationsergebnisse für beide Datensätze und Klassifizierungsmethoden sind in Abb. 16 und Abb. 17 ersichtlich Naive Bayes Klassifizierungsergebnisse Für den Aufbau des Klassifikationsalgorithmus wurden Merkmale verwendet, welche ursprünglich für die Klassifizierung von Punktwolken aus Airborne Daten entwickelt wurden. Die Merkmale scheinen auch für die Klassifizierung von 3D-Punktwolken statischer, terrestrischer Laserscans geeignet zu sein. Der Klassifikationsalgorithmus mit Naive Bayes als Klassifizierungsmethode ordnet rund 89% der Punkte den richtigen Klassen zu (siehe mittlere Darstellung in Abb. 16 und Abb. 17). Es fällt jedoch auf, dass der Klassifikationsalgorithmus insbesondere für Punkte im Übergangsbereich vom Boden zu Baumstämmen falsche Klassenzuweisungen vornimmt. Baumstammpunkte in Bodennähe werden meist der Klasse «Baumkrone» zugewiesen. Diese Fehlklassifikationen sind auf die implementierten Merkmale zurückzuführen. Wie in Kapitel 5.1 aufgezeigt wurde, erweist sich die Merkmalsberechnung für Baumstammpunkte in Bodennähe als schwierig. Derartige Punkte haben für etliche Merkmale ähnliche Merkmalswerte wie Punkte von Baumkronen. Je grösser die Nachbarschaft gewählt wird, desto grösser ist die Übereinstimmung zwischen den Merkmalswerten von Baumstammpunkten und Punkten der Baumkrone. Das Merkmal der relativen Höhe ist eines der wenigen Merkmale, anhand dessen Baumstammpunkte in Bodennähe und Punkte von Baumkronen eindeutig unterschieden werden können. Die relative Höhe ist für die Klassifizierung allerdings zu wenig dominant zu viele andere Merkmale beschreiben Baumstammpunkte in Bodennähe mit denselben Merkmalswerten wie Punkte der Baumkrone, sodass Baumstammpunkte fälschlicherweise der Baumkrone zugeordnet werden. Bei der Klassifizierung des Datensatzes Reussegg_s6 ist augenfällig, dass neben Baumstammpunkten in Bodennähe zusätzlich auch eine beträchtliche Anzahl Bodenpunkte irrtümlicherweise als Baumkrone klassifiziert wird (ca. 10% der Bodenpunkte). Diese Fehlklassifikationen sind den Charakteristiken des Trainingsdatensatzes Reusseg_s4 zuzuschreiben. Der Datensatz Reussegg_s4 deckt nicht alle Ausprägungsformen der Klassen

78 64 5 Ergebnisse und Diskussion Abb. 16: Klassifikationsergebnisse des Datensatzes Reussegg_s4 unter Verwendung aller Nachbarschaften (oben): Ground Truth, (Mitte): Naive Bayes Klassifikationsergebnis, (unten): Random Forests Klassifikationsergebnis

79 5.2 Testgebiet Reussegg 65 Abb. 17: Klassifikationsergebnisse des Datensatzes Reussegg_s6 unter Verwendung aller Nachbarschaften (oben): Ground Truth, (Mitte): Naive Bayes Klassifikationsergebnis, (unten): Random Forests Klassifikationsergebnis

80 66 5 Ergebnisse und Diskussion ab, weshalb nicht erlernte Klassenstrukturen im Testdatensatz zu Fehlklassifikationen führen. Im Datensatz Reusseg_s4 ist der Waldboden eben. Es gibt weder Sträucher noch Gräser, die den Waldboden als raue Oberfläche erscheinen lassen. Im Datensatz Reussegg_s6 ist der Waldboden hingegen durch Gräser und Sträucher geprägt. Diese lokalen Nachbarschaftsstrukturen des Waldbodens wurden in der Trainingsphase des Klassifizierers allerdings nicht erlernt. Die einzige vergleichbare Nachbarschaftsstruktur ist für Punktnachbarschaften von Baumkronen zu finden Bodenpunkte in nicht ebenen Nachbarschaften werden deshalb der Baumkrone zugewiesen. Die mittlere Konfusionsmatrix, gebildet aus den Klassifizierungsergebnissen der Datensätze Reussegg_s4 und Reussegg_s6 unter Verwendung aller fünf Nachbarschaftsdefinitionen, ist in Tab. 7 dargestellt. Aus der Konfusionsmatrix wird deutlich, dass Punkte von Baumstämmen im Falle von Fehlklassifikationen zu rund 98% der Klasse «Baumkrone» zugeordnet wurden. Falsch klassifizierte Bodenpunkte wurden ebenso in rund 98% der Fälle der Klasse «Baumkrone» zugewiesen. Tab. 7: Naive Bayes Klassifikationsergebnis für das Testgebiet Reussegg unter Verwendung aller Nachbarschaften, mittlere Konfusionsmatrix (Stdw. = Standardabweichung) Klassifikationssergebnis Baumkrone Baumstamm Boden Summe PA [%] Stdw. PA [%] Ground Truth Baumkrone Baumstamm Boden Summe UA [%] Stdw. UA [%] Die Klasse «Baumkrone» wurde mit der höchsten Genauigkeit von rund 92% erfasst. Für die Klasse «Baumstamm» ergibt sich die niedrigste Genauigkeit; etwa 21% der Baumstammpunkte wurden falsch erfasst. Die Klasse «Boden» weist die höchste Zuverlässigkeit auf; ein als Bodenpunkt klassifizierter Punkt gehört mit einer Wahrscheinlichkeit von über 99% tatsächlich der Klasse «Boden» an. Die niedrigste Zuverlässigkeit resultiert für die Klasse «Baumstamm»; rund 33% der klassifizierten Baumstammpunkte stimmen nicht mit den Ground Truth Daten überein. Die hohen Standardabweichungen einiger Kennzahlen sind auf die Eigenschaften der verwendeten Datensätze zurückzuführen. Der Datensatz Reussegg_s6 deckt die Charakteris-

81 5.2 Testgebiet Reussegg 67 tiken der einzelnen Klassen ab. Wird in der Trainingsphase Reussegg_s6 als Trainingsdatensatz verwendet, können bei der Klassifizierung des Datensatzes Reussegg_s4 deshalb gute Klassifikationsergebnisse erzielt werden. Wird in der Trainingsphase stattdessen der für die einzelnen Klassen weniger charakteristische Datensatz Reussegg_s4 genutzt und in der Folge Reussegg_s6 klassifiziert, resultieren für die einzelnen Kennzahlen deutlich tiefere Werte. Aus der mittleren Konfusionsmatrix können des Weiteren nachfolgende Genauigkeitsmasse abgeleitet werden: mittlere Genauigkeit: ± 0.5 [%] mittlere Zuverlässigkeit: ± 6.2 [%] Gesamtklassifikationsgenauigkeit: ± 4.9 [%] Kappa-Koeffizient: ± 8.4 [%] Gesamthaft betrachtet können mit Naive Bayes als Klassifizierungsmethode und unter Verwendung sämtlicher fünf Nachbarschaftsdefinitionen annehmbare Ergebnisse erreicht werden. Die Gesamtklassifikationsgenauigkeit liegt bei rund 89%. Der Kappa-Koeffizient beträgt über 81%; gemäss Tab. 1 (siehe Kapitel 2.6.1) deutet dieser Wert bereits auf eine ausgezeichnete Qualität der Klassifizierung hin. Wird für die Klassifizierung die Merkmalsberechnung auf eine Nachbarschaftsdefinition beschränkt, fällt die Qualität der Klassifizierung meist schlechter aus. Die erzielten Klassifizierungsergebnisse für jede der fünf Einzelnachbarschaften sind in Anhang A5 zusammengestellt. Eine visualisierte Gegenüberstellung der Kennzahlen ist in Abb. 18 gegeben. Sowohl für die kugelförmige als auch für die zylindrische Nachbarschaft nehmen die mittlere Genauigkeit und die mittlere Zuverlässigkeit mit grösser werdender Nachbarschaft ab. Die maximale mittlere Genauigkeit wird mit der kleinsten kugelförmigen Nachbarschaft erreicht und beträgt 85.15%. Die maximale mittlere Zuverlässigkeit wird ebenso mit der kleinsten kugelförmigen Nachbarschaft erzielt und beläuft sich auf 84.08%. Die höchste Gesamtklassifikationsgenauigkeit von 90.66% wird mit der grössten kugelförmigen Nachbarschaft bewirkt. Sämtliche Genauigkeitsmasse fallen für die kugelförmigen Nachbarschaften höher aus als für die zylindrischen Nachbarschaften. Sollte sich demnach die Klassifizierung lediglich auf einen Nachbarschaftstypus abstützen, ist eine kugelförmige Nachbarschaft zu favorisieren. Die erzielten Gesamtklassifikationsgenauigkeiten mit den Einzelnachbarschaften sind im Vergleich zur Gesamtklassifikationsgenauigkeit unter Verwendung aller Nachbarschaften nicht signifikant höher. Die mittleren Genauigkeiten fallen gar schlechter aus.

82 68 5 Ergebnisse und Diskussion Genauigkeitsmass [%] mittlere Genauigkeit [%] mittlere Zuverlässigkeit [%] Gesamtklassifikationsgenauigkeit [%] Kappa-Koeffizient [%] Genauigkeitsmass [%] mittlere Genauigkeit [%] mittlere Zuverlässigkeit [%] Gesamtklassifikationsgenauigkeit [%] Kappa-Koeffizient [%] Abb. 18: Kennzahlen der Naive Bayes Klassifizierung unter Verwendung verschiedener Einzelnachbarschaften und Nachbarschafts-Kombinationen. Die Mittelwerte der Kennzahlen sind als Balken angegeben, die dazugehörigen Standardabweichungen als Linien.

83 5.2 Testgebiet Reussegg 69 Die Qualität der Klassifizierung verbessert sich minimal, wenn die Klassifizierung lediglich mit den drei Kugelnachbarschaften durchgeführt wird. Sämtliche Genauigkeitsmasse sind im Vergleich zum Klassifikationsergebnis unter Verwendung aller Nachbarschaften um 0.3 bis 2.5 Prozentpunkte höher. Die Gesamtklassifikationsgenauigkeit beträgt 90.69%. Der multiskalen-ansatz mit Beschränkung auf die beiden zylindrischen Nachbarschaften resultiert in einer niedrigen Klassifikationsgenauigkeit die Genauigkeitsmasse sind im Vergleich zur Klassifikationsgenauigkeit unter Verwendung sämtlicher Nachbarschaften um 1.5 bis 4.4 Prozentpunkte tiefer. Die Gesamtklassifikationsgenauigkeit beträgt 86.62% und liegt damit rund 4% tiefer als bei der Klassifizierung mit den drei kugelförmigen Nachbarschaften. Die Klassifizierung unter Verwendung der Nachbarschaftsauswahl 1 bzw. der Nachbarschaftsauswahl 2 zeigt, dass der Naive Bayes Klassifizierer die für die einzelnen Klassen charakteristischen Merkmale erkennt. Mit keiner der beiden Nachbarschaftsauswahlen fällt das Klassifikationsergebnis besser aus als bei der Klassifizierung mit sämtlichen Nachbarschaften. Das Klassifikationsergebnis der Nachbarschaftsauswahl 1 ist dabei minimal besser als dasjenige der Nachbarschaftsauswahl 2; die Gesamtklassifikationsgenauigkeit ist gegenüber der Nachbarschaftsauswahl 2 um rund 0.5 Prozentpunkte höher, im Vergleich zur Gesamtklassifikationsgenauigkeit unter Verwendung sämtlicher Nachbarschaften jedoch um 2.5 Prozentpunkte tiefer Random Forests Klassifizierungsergebnisse Für die Klassifizierungsmethode Random Forests wurden in der Trainingsphase 20 Entscheidungsbäume erstellt, unter der Bedingung, dass jedem Blatt eines Entscheidungsbaumes mindestens fünf Beobachtungen zugewiesen werden. Die Visualisierung des Klassifikationsergebnisses mit Random Forests als Klassifizierungsmethode ist in der untersten Darstellung in Abb. 16 und Abb. 17 ersichtlich. Naive Bayes war nicht imstande, Baumstammpunkte in Bodennähe von Bodenpunkten zu trennen. Auch für die Methode Random Forests ergeben sich für Baumstammpunkte in Bodennähe Fehlklassifikationen; diese treten aber lediglich bei den mächtigeren Baumstämmen auf. Obwohl der Datensatz Reussegg_s4 nicht alle Struktureigenschaften des Waldbodens erfasst, werden bei der Klassifizierung des Datensatzes Reussegg_s6 mit Random Forests deutlich mehr Bodenpunkte richtig klassifiziert. Dieser Umstand ist wohl auf die Funktionsweise von Random Forests zurückzuführen. Währenddem bei Naive Bayes für die Klassifizierung eines Punktes stets sämtliche Merkmale berücksichtigt werden, wird bei Random Forests bei jeder Knoten-Bildung nur eine Minderheit der Merkmale in Betracht gezogen.

84 70 5 Ergebnisse und Diskussion Allfällig dominante Merkmale oder Merkmale, die für Baumstammpunkte in Bodennähe und für Punkte von Baumkronen ähnliche Merkmalswerte aufweisen, bleiben deshalb für die Klassifizierung unberücksichtigt oder sind zumindest nicht für eine der ersten Knoten-Bildungen verantwortlich. Weitere Klassifikationsunterschiede ergeben sich für Äste von Bäumen. Bei der Naive Bayes Klassifizierung wurden etliche Äste irrtümlicherweise als Baumstamm klassifiziert (siehe Abb. 17 bzw. Abb. 20). Random Forests weist Äste korrekterweise der Baumkrone zu. Baumstämme, welche in Baumkronen hineinragen, werden mit der Random Forests Klassifizierung hingegen nicht erkannt (siehe Abb. 16 bzw. Abb. 20). Naive Bayes liefert diesbezüglich bessere Ergebnisse. Die Visualisierung des Klassifikationsergebnisses zeigt zweifelsohne auf, dass Random Forests für die Klassifizierung besser geeignet ist als Naive Bayes. Die besseren Klassifikationsergebnisse manifestieren sich in der Konfusionsmatrix und in den daraus abgeleiteten Kennzahlen. In Tab. 8 ist die mittlere Konfusionsmatrix für die Klassifizierung mit Random Forests dargestellt, gebildet aus den Klassifizierungsergebnissen der Datensätze Reussegg_s4 und Reussegg_s6 unter Verwendung aller fünf Nachbarschaftsdefinitionen. Tab. 8: Random Forests Klassifikationsergebnis für das Testgebiet Reussegg unter Verwendung aller Nachbarschaften, mittlere Konfusionsmatrix (Stdw. = Standardabweichung) Klassifikationssergebnis Baumkrone Baumstamm Boden Summe PA [%] Stdw. PA [%] Ground Truth Baumkrone Baumstamm Boden Summe UA [%] Stdw. UA [%] Die beiden Klassen «Baumkrone» und «Boden» wurden mit der Random Forests Klassifizierung am besten erfasst. Für die Klasse «Baumkrone» ergibt sich eine Genauigkeit von 98.53%, für die Klasse «Boden» resultiert eine Genauigkeit von 92.66%. Die Klasse «Baumstamm» weist die niedrigste Genauigkeit auf; mit 76.20% Prozent liegt die Genauigkeit gar um 2.6 Prozentpunkte tiefer als für die Klassifizierung mit Naive Bayes. Die höchste Zuverlässigkeit ergibt sich wiederum für die Klasse «Boden». Auffällig ist, dass die Zuverlässigkeiten der Klasse «Baumkrone» und der Klasse «Baumstamm» deutlich hö-

85 5.2 Testgebiet Reussegg 71 her ausfallen als bei der Klassifizierung mit Naive Bayes. Die Differenz zwischen der Zuverlässigkeit der Klasse «Baumstamm» für die Klassifizierung mit Random Forests und für die Klassifizierung mit Naive Bayes beträgt beachtliche 24.5 Prozentpunkte. Aus der mittleren Konfusionsmatrix geht hervor, dass Baumstämme schlecht von Baumkronen getrennt werden können. 20% der Baumstammpunkte werden fälschlicherweise der Baumkrone zugewiesen. Ferner werden auch Bodenpunkte im Falle einer Fehlklassifikation meist als Baumkrone klassifiziert. Aus der mittleren Konfusionsmatrix ergeben sich zusätzlich nachfolgende Genauigkeitsmasse: mittlere Genauigkeit: ± 2.7 [%] mittlere Zuverlässigkeit: ± 2.1 [%] Gesamtklassifikationsgenauigkeit: ± 2.4 [%] Kappa-Koeffizient: ± 4.3 [%] Gesamthaft betrachtet werden mit Random Forests als Klassifizierungsmethode und unter Verwendung sämtlicher fünf Nachbarschaftsdefinitionen gute Ergebnisse erzielt. Die Gesamtklassifikationsgenauigkeit beläuft sich auf rund 94%, die mittlere Zuverlässigkeit der Klassen beträgt rund 93% und liegt damit um fast 10 Prozentpunkte höher als bei der Klassifizierung mit Naive Bayes. Der Einfluss der berücksichtigten Nachbarschaftsdefinitionen auf die Klassifizierung mit Random Forests ist in Abb. 19 dargestellt. Die erzielten Klassifizierungsergebnisse für jede der fünf Einzelnachbarschaften sowie für verschiedene Nachbarschafts-Kombinationen sind in Anhang A5 zusammengestellt. Es zeichnet sich ab, dass der verwendete multiskalen-ansatz für die Merkmalsberechnung und somit auch für die Klassifizierung mit Random Forests geeignet ist. Mit keiner der Einzelnachbarschaften wird die Gesamtklassifikationsgenauigkeit, die unter Verwendung aller Nachbarschaften erzielt wird, übertroffen. Die Differenz zwischen der Gesamtklassifikationsgenauigkeit unter Verwendung einer einzigen Nachbarschaft und derjenigen unter Verwendung aller Nachbarschaften beträgt 1.3 bis 7.6 Prozentpunkte. Ein Vergleich zwischen den Kennzahlen der Klassifizierungsergebnisse mit den Einzelnachbarschaften zeigt, dass mit der grössten zylindrischen Nachbarschaft das beste Klassifikationsergebnis erreicht wird. Der multiskalen-ansatz mit Beschränkung auf kugelförmige bzw. auf zylindrische Nachbarschaften resultiert in einer niedrigen Gesamtklassifikationsgenauigkeit die Gesamtklassifikationsgenauigkeit ist im Vergleich zur Klassifizierung mit sämtlichen Nachbarschaften um

86 72 5 Ergebnisse und Diskussion Genauigkeitsmass [%] mittlere Genauigkeit [%] mittlere Zuverlässigkeit [%] Gesamtklassifikationsgenauigkeit [%] Kappa-Koeffizient [%] Genauigkeitsmass [%] mittlere Genauigkeit [%] mittlere Zuverlässigkeit [%] Gesamtklassifikationsgenauigkeit [%] Kappa-Koeffizient [%] Abb. 19: Kennzahlen der Random Forests Klassifizierung unter Verwendung verschiedener Einzelnachbarschaften und Nachbarschafts-Kombinationen. Die Mittelwerte der Kennzahlen sind als Balken angegeben, die dazugehörigen Standardabweichungen als Linien.

87 5.2 Testgebiet Reussegg bzw. 4.3 Prozentpunkte tiefer. Die Klassifizierung mit den drei kugelförmigen Nachbarschaften ist dabei minimal besser als mit den beiden zylindrischen Nachbarschaften. Die Klassifizierung unter Verwendung der Nachbarschaftsauswahl 1 bzw. 2 ergeben ungefähr dieselben Grössen für die vier Kennzahlen. Mit einer Gesamtklassifikationsgenauigkeit von rund 90% konnten auch mit diesen Nachbarschafts-Kombinationen keine besseren Ergebnisse erzielt werden als unter der Verwendung aller Nachbarschaften. Random Forests scheint somit die für die einzelnen Klassen charakteristischen Merkmale zu erkennen die manuelle Merkmalsselektion führt zu keiner Verbesserung der Klassifizierung Fehlklassifikationen Abb. 20: falsch klassifizierte Punkte (rot) mit Naive Bayes (links) bzw. Random Forests (rechts) für die Datensätze Reussegg_s4 (oben) und Reussegg_s6 (unten)

88 74 5 Ergebnisse und Diskussion In Abb. 20 sind die aufgetretenen Fehlklassifikationen für die beiden Datensätze des Testgebietes Reussegg (für beide Klassifizierungsmethoden) dargestellt. Es wird nochmals deutlich, dass Fehlklassifikationen hauptsächlich im Übergangsbereich zwischen Boden und Baumstämmen, für Baumstämme im Innern von Baumkronen sowie an den oberen Enden von Baumstümpfen auftreten. Der Klassifikationsalgorithmus (sowohl Naive Bayes als auch Random Forests) berechnet für jeden zu klassifizierenden Punkt die Wahrscheinlichkeit, mit welcher er einer bestimmten Klasse zuzuordnen ist. Werden die verschiedenen Zuordnungswahrscheinlichkeiten verglichen, so ergibt sich für einen Punkt mit eindeutiger Zuordnung für die betreffende Klasse eine Wahrscheinlichkeit nahe bei eins; die Zuordnungswahrscheinlichkeiten der übrigen Klassen bewegen sich nahe bei null. Es ist möglich, dass die Zuordnungswahrscheinlichkeiten eines Punktes nur schwach variieren. In diesem Grenzfall ist die optimale Klassenzugehörigkeit dieses Punktes ungewiss und somit eine Fehlklassifikation absehbar. Eine Analyse der Zuordnungswahrscheinlichkeiten könnte demnach genutzt werden, um Punkte mit unsicherer Klassenzugehörigkeit zu identifizieren. Die falsch klassifizierten Punkte der Datensätze Reussegg_s4 und Reussegg_s6 wurden hierfür näher untersucht. Vorerst wurden die Punkte gemäss ihrer wahren Klassenzugehörigkeit, gegeben durch die Ground Truth Daten, gruppiert. Für jede Punktegruppierung wurde in der Folge die mittlere Zuordnungswahrscheinlichkeit für jede Klasse berechnet. Die resultierenden mittleren Zuordnungswahrscheinlichkeiten sind dem Anhang A6 zu entnehmen. Aus den Darstellungen in Abb. 31 und Abb. 32 (siehe Anhang A6) ist ersichtlich, dass bei der Klassifizierung mit Naive Bayes Punkte mit unsicherer Klassenzugehörigkeit nicht identifiziert werden können. Falsch klassifizierte Punkte werden mit hoher Zuordnungswahrscheinlichkeit einer falschen Klasse zugewiesen. Bei der Klassifizierung mit Random Forests fallen die Unterschiede zwischen den Zuordnungswahrscheinlichkeiten der einzelnen Klassen deutlich geringer aus. Dennoch wird es wohl auch bei der Klassifizierung mit Random Forests nicht möglich sein, Punkte mit unsicherer Klassenzugehörigkeit zu ermitteln. Bei der Klassifizierung des Datensatzes Reussegg_s6 werden Fehlklassifikationen mit geringer Unsicherheit begangen falsch klassifizierte Punkte werden mit Bestimmtheit der falschen Klasse zugeordnet. Bei der Klassifizierung des Datensatzes Reussegg_s4 sind die Klassenzuweisungen der falsch klassifizierten Punkte im Vergleich zum Datensatz Reussegg_s6 unsicherer. Für den Datensatz Reussegg_s4 könnte die Identifizierung falsch klassifizierter Punkte gelingen.

89 5.3 Testgebiet ETH_HXE Testgebiet ETH_HXE Die Evaluierung der Klassifizierungsergebnisse für die Klassifizierung des Testgebietes Reussegg hat ergeben, dass sich der multiskalen-ansatz mit den fünf festgelegten Nachbarschaftsdefinitionen für die Berechnung der Merkmale bewährt. Die Klassifizierungsmethode Random Forests ist der Methode Naive Bayes vorzuziehen, da die Genauigkeit der Klassifizierung höher ausfällt. Für den finalen Test des Klassifikationsalgorithmus mit dem Testgebiet ETH_HXE (Datensätze ETH_HXE_A und ETH_HXE_B) wurden deshalb alle fünf Nachbarschaftsdefinitionen für die Merkmalsberechnung verwendet und die Gesamtheit der Merkmale für die Klassifizierung mit Random Forests eingesetzt. Die resultierende mittlere Konfusionsmatrix aus der Kreuzvalidierung der beiden Datensätze ist in Tab. 9 ersichtlich. Die Visualisierung des Klassifikationsergebnisses sowie der Fehlklassifikationen für den Datensatz ETH_HXE_B ist in Abb. 21 gegeben. Tab. 9: Random Forests Klassifikationsergebnis für das Testgebiet ETH_HXE unter Verwendung aller Nachbarschaften, mittlere Konfusionsmatrix (Stdw. = Standardabweichung) Klassifikationssergebnis Baumkrone Baumstamm Busch Boden Indefinite Summe PA [%] Stdw. PA [%] Baumkrone Ground Truth Baumstamm Busch Boden Indefinite Summe UA [%] Stdw. UA [%] Die mittlere Konfusionsmatrix des Testgebietes ETH_HXE zeigt auf, dass sich für die Klassifizierung kaum Schwierigkeiten ergeben. Die meisten Fehlklassifikationen treten für die Klasse «Indefinite» auf. Rund 37% der Punkte, welche der Klasse «Indefinite» angehören, werden einer anderen Klasse zugewiesen. Nahezu 58% dieser falsch klassifizierten Punkte werden der Klasse «Baumkrone», 34% der Klasse «Busch», 7% der Klasse «Boden» und die restlichen 1% der Klasse «Baumstamm» zugeordnet. Für den Klassifikationsalgorithmus gestaltet es sich als schwierig, zu differenzieren, wann ein Punkt nicht mehr zur Vegetation gehört und deshalb der Klasse «Indefinite» zuzuweisen ist. Des Weiteren besteht eine gewisse Unsicherheit bei der Trennung zwischen Bodenpunkten und Punkten des Gebüschs. Erstere werden mit einer Genauigkeit von 99% erfasst, letztere mit einer Genauigkeit von rund 96%. Ein falsch klassifizierter Punkt des Gebüschs wird in 53% der Fälle der Klasse «Boden», in 39% der Fälle der Klasse «Indefinite» und andernfalls der Klasse «Baumstamm» zugewiesen. Von den falsch klassifizierten Bodenpunkten wer-

90 76 5 Ergebnisse und Diskussion Abb. 21: Random Forests Klassifikationsergebnis für die Klassifizierung des Datensatzes ETH_HXE_B unter Verwendung sämtlicher fünf Nachbarschaftsdefinitionen. (oben): Ground Truth, (Mitte): Klassifikationsergebnis, (unten): falsch klassifizierte Punkte (in rot)

91 5.3 Testgebiet ETH_HXE 77 den 81% als Punkte des Gebüschs und 19% als indefinite Punkte klassifiziert. Für sämtliche Klassen ergeben sich hohe Zuverlässigkeiten. Die Zuverlässigkeiten der Vegetationsklassen sowie des Bodens nehmen Werte zwischen 95.66% und 97.85% an. Für die Klasse «Indefinite» ergibt sich mit 83.46% die geringste Zuverlässigkeit. Aus der mittleren Konfusionsmatrix können zusätzlich nachfolgende Genauigkeitsmasse abgeleitet werden: mittlere Genauigkeit: ± 0.3 [%] mittlere Zuverlässigkeit: ± 0.9 [%] Gesamtklassifikationsgenauigkeit: ± 0.8 [%] Kappa-Koeffizient: ± 1.2 [%] Insgesamt wurden über 96% der Punkte korrekt klassifiziert. Der hohe Wert des Kappa- Koeffizienten von beinahe 95% indiziert eine ausgezeichnete Qualität der Klassifizierung (siehe Tab. 1, Kapitel 2.6.1). Mit den implementierten Merkmalen für verschiedene Nachbarschaftstypen und -dimensionen sowie mit Random Forests als Klassifizierungsmethode können für das Testgebiet ETH_HXE gute bis sehr gute Klassifikationsergebnisse erreicht werden. Der Klassifikationsalgorithmus ist in der Lage, Punkte der Baumkronen, der Baumstämme und des Gebüschs voneinander zu trennen sowie die Vegetationspunkte von Bodenpunkten zu unterscheiden. Die Zuordnung der Punkte in die drei Vegetationsklassen «Baumkrone», «Baumstamm» und «Busch» sowie in die Klasse «Boden» erfolgt mit einer Zuverlässigkeit von über 95%. Die Klasse «Indefinite» weist als einzige eine Genauigkeit und Zuverlässigkeit unter 90% auf. Bereits die manuelle Klassifizierung dieser Klasse erwies sich jedoch als schwierig. Für zahlreiche Punkte war die Klassenzugehörigkeit nicht eindeutig und es konnte nicht mit Gewissheit festgestellt werden, ob ein Punkt der Baumkrone bzw. des Gebüschs angehört oder ob er als unbestimmter Punkt ausgewiesen und demnach der Klasse «Indefinite» zugeordnet werden muss. Trotz dieser Unsicherheit in der manuellen Klassifizierung wurde mit dem Klassifikationsalgorithmus für die Klasse «Indefinite» eine Zuverlässigkeit von 83.46% erzielt.

92 78 5 Ergebnisse und Diskussion

93 6 Schlussbetrachtung Schlussbetrachtung 6.1. Fazit der Arbeit Ziel dieser Bachelorarbeit war die Entwicklung eines Klassifikationsalgorithmus für die automatische Klassifizierung von Punktwolken. Der Fokus lag auf der Klassifizierung von 3D-Punktwolken statischer, terrestrischer Laserscans und auf der Detektion von Vegetation in Punktwolken. Die der Vegetation zugewiesenen Punkte sollten weiter in Baumkrone, Baumstamm und Gebüsch differenziert werden. Für die Implementierung des Klassifikationsalgorithmus wurden Merkmale aus der aktuellen, einschlägigen Literatur verwendet. Die vorliegende Bachelorarbeit stützt sich vorwiegend auf die von Chehata et al. (2009) entwickelten Merkmale für die Klassifizierung von Punktwolken aus Airborne Daten ab. Zusätzlich wurde ein von Gross et al. (2002) erarbeitetes Merkmal übernommen, mit welchem die lokalen Oberflächeneigenschaften von Objekten erfasst werden können. Insgesamt wurden 14 Merkmale implementiert. Bedingt durch das polare Aufnahmeverfahren und die Zusammenführung mehrerer Laserscans sind die Punkte von Punktwolken im Allgemeinen nicht in einer regelmässigen Gitterstruktur im Raum angeordnet. Aufgrund dessen war es nicht möglich, direkt Strategien der 2D-Bildanalyse für die Merkmalsberechnung der LiDAR Punkte anzuwenden. Vielmehr war es erforderlich, eine flexiblere und auf die lokale Punktdichte angepasste Nachbarschaftsdefinition einzuführen. Die Merkmale wurden sowohl für die kugelförmige als auch für die zylindrische Nachbarschaftsdefinition auf mehreren Massstabsstufen berechnet. Insgesamt wurden für den multiskalen-ansatz drei kugelförmige sowie zwei zylindrische Nachbarschaften definiert. Der Einfluss der berücksichtigten Nachbarschaftsdefinitionen auf das Klassifizierungsergebnis wurde auf Grundlage des Testgebietes Reussegg untersucht. Für die Klassifizierung wurden die bestehenden Klassifizierungsmethoden Naive Bayes und Random Forests eingesetzt. Die Evaluierung des Klassifikationsalgorithmus hat ergeben, dass sich der multiskalen-ansatz für die Merkmalsberechnung bewährt. Wurde die Klassifizierung lediglich auf Basis einer einzigen Nachbarschaftsdefinition durchgeführt, fiel die Gesamtklassifikationsgenauigkeit mit Random Forests als Klassifizierungsmethode um 1.3 bis 7.6 Prozentpunkte schlechter aus als bei der Klassifizierung unter Verwendung aller Nachbarschaften. Mit dem Naive Bayes Klassifizierer konnte die mit allen Nachbarschaften erzielte Gesamtklassifikationsgenauigkeit um rund 1.5 Prozentpunkte übertroffen werden, wenn für die Merkmalsberechnung ausschliesslich die grösste kugelförmige Nachbarschaft berücksichtigt wurde. Für

94 80 6 Schlussbetrachtung die restlichen Einzelnachbarschaften ergaben sich wiederum geringere Gesamtklassifikationsgenauigkeiten. Auch mit der Beschränkung des multiskalen-ansatzes auf einen Nachbarschaftstypus konnte keine signifikant bessere Gesamtklassifikationsgenauigkeit erreicht werden als mit der Klassifizierung unter Verwendung aller Nachbarschaften. Die Qualität des Klassifikationsalgorithmus wurde ferner unter Verwendung zweier Nachbarschaftsauswahlen getestet. Mit keiner der beiden Nachbarschafts-Kombinationen konnten bessere Ergebnisse erzielt werden als unter der Verwendung aller Nachbarschaften. Bei der Klassifizierung mit Naive Bayes verringerte sich die Gesamtklassifikationsgenauigkeit um 3 Prozentpunkte, bei der Klassifizierung mit Random Forests um 4 Prozentpunkte. Fehlklassifikationen traten für beide Klassifizierungsmethoden hauptsächlich im Übergangsbereich zwischen Boden und Baumstämmen, für Baumstämme im Innern von Baumkronen sowie an den oberen Enden von Baumstümpfen auf. Für den erarbeiteten Klassifikationsalgorithmus ist es nicht möglich, Punkte mit unsicherer Klassenzugehörigkeit zu identifizieren falsch klassifizierte Punkte werden stets mit Bestimmtheit einer falschen Klasse zugewiesen. Es hat sich gezeigt, dass die Merkmale, welche ursprünglich für die Klassifizierung von Punktwolken aus Airborne Daten entwickelt wurden, auch für die Klassifizierung von Punktwolken statischer, terrestrischer Laserscans geeignet sind. Bereits mit Naive Bayes können annehmbare Ergebnisse erreicht werden. Die Gesamtklassifikationsgenauigkeit für die Klassifizierung des Testgebietes Reussegg (Methode: Kreuzvalidierung) liegt bei rund 89%. Die mittlere Genauigkeit beträgt rund 86%, die mittlere Zuverlässigkeit rund 83%. Wird für die Klassifizierung Random Forests verwendet, kann die Gesamtklassifikationsgenauigkeit um beinahe 10 Prozentpunkte auf 94% gesteigert werden. Die mittlere Genauigkeit beläuft sich auf 89%, die mittlere Zuverlässigkeit auf 93%. Der Kappa-Koeffizient ist mit einem Wert von rund 89% um 7.8 Prozentpunkte höher als bei der Klassifizierung mit Naive Bayes. Abschliessend wurde die Qualität des erarbeiteten Klassifikationsalgorithmus mit dem Testgebiet ETH_HXE evaluiert. Die für das Testgebiet Reussegg verwendeten Klassen «Baumkrone», «Baumstamm» und «Boden» wurden um die beiden Klassen «Busch» und «Indefinite» erweitert. Die Klassifizierung erfolgte unter Anwendung aller definierten Nachbarschaften des multiskalen-ansatzes und wurde mit der Klassifizierungsmethode Random Forests durchgeführt. Insgesamt wurden über 96% der Punkte korrekt klassifiziert. Für den Kappa-Koeffizienten resultierte ein Wert von beinahe 95%, was auf eine ausgezeichnete Qualität der Klassifizierung hindeutet. Aus der Analyse der mittleren Konfusionsmatrix konnte geschlossen wer-

95 6 Schlussbetrachtung 81 den, dass der Klassifikationsalgorithmus in der Lage ist, Punkte von Baumkronen, von Baumstämmen und von Gebüsch voneinander zu trennen und die Vegetationspunkte überdies von Bodenpunkten zu unterscheiden. Insgesamt wurde eine mittlere Genauigkeit von 90% sowie eine mittlere Zuverlässigkeit von 94% erreicht. Die Zuordnung der Punkte in die drei Vegetationsklassen «Baumkrone», «Baumstamm» und «Busch» sowie in die Klasse «Boden» erfolgte mit einer Zuverlässigkeit von über 95%. Die Genauigkeit dieser vier Klassen betrug zwischen 93% (für die Klasse «Baumstamm») und beinahe 99% (für die Klasse «Baumkrone»). Die Klasse «Indefinite» wies als einzige eine Genauigkeit und Zuverlässigkeit unter 90% auf. Es zeigte sich, dass der Klassifikationsalgorithmus Schwierigkeiten hat, Vegetationspunkte von Ausreisser-Punkten zu unterscheiden. Mit dem entwickelten Klassifikationsalgorithmus ist es möglich, 3D-Punktwolken statischer, terrestrischer Laserscans in die fünf Klassen «Baumkrone», «Baumstamm», «Boden», «Busch» und «Indefinite» (Restklasse) zu klassifizieren. Die beiden verwendeten Klassifizierer wurden mit Trainingsdatensätzen, die je rund Punkte umfassen, trainiert. Bei der Verwendung von zu kleinen Trainingsdatensätzen besteht allerdings die Gefahr, dass diese nicht alle Charakteristiken und Eigenheiten der einzelnen Klassen abdecken. Fehlende Nachbarschafts- und Klassenstrukturen in den Trainingsdatensätzen können in der Trainingsphase des Klassifizierers deshalb nicht erlernt werden. Für die Klassifizierung von neuen Datensätzen, die aus Strukturen und Geometrien bestehen, die für den Klassifizierer neu sind, ergeben sich somit bei der Klassifikation Schwierigkeiten Fehlklassifikationen sind absehbar. Dieses Phänomen konnte bereits bei der Klassifizierung des Datensatzes Reussegg_s6 beobachtet werden (siehe Kapitel 5.2.1). Für den Aufbau eines zuverlässigen Klassifizierers ist es folglich unabdingbar, grössere und umfassendere Trainingsdatensätze zu verwenden. Bei der Implementierung des Klassifikationsalgorithmus wurde der Fokus nicht auf eine effiziente Programmierung gelegt. Die Bestimmung der Nachbarspunkte aller Punkte einer Punktwolke erforderte eine Berechnungszeit von wenigen Minuten. Als rechenintensiv erwies sich die Berechnung der Merkmale. Die Merkmalsberechnung für die beiden kleineren kugelförmigen Nachbarschaften sowie für die kleinere zylindrische Nachbarschaft nahm nur wenige Minuten in Anspruch. Für die Merkmalsberechnung der grössten kugelförmigen sowie der grössten zylindrischen Nachbarschaft ergaben sich Berechnungszeiten von bis zu 22 Minuten. Die Klassifizierung selbst erfolgte wiederum innerhalb weniger Minuten. Sowohl für die Bestimmung der Nachbarschaften als auch für die Berechnung der Merkmale ist Verbesserungspotential bei der Implementierung vorhanden.

96 82 6 Schlussbetrachtung 6.2. Ausblick Im Rahmen dieser Bachelorarbeit wurde untersucht, welche Nachbarschaftstypen und Nachbarschaftsgrössen für die Klassifizierung von 3D-Punktwolken statischer, terrestrischer Laserscans am geeignetsten sind. Die Merkmalsselektion erfolgte deshalb lediglich auf der Ebene des Nachbarschaftstypus bzw. des Nachbarschaftsmassstabs. Angezeigt wäre allerdings eine Analyse, welche der 14 implementierten Merkmale auf welcher Massstabsstufe diskriminativ sind bzw. welche der 14 Merkmale für die Klassifizierung massgeblich sind. Als Ansatz für die Ermittlung der relevanten Merkmale könnte der Parameter variable importance dienen. Chehata et al. (2009) haben diesen Parameter für die Bestimmung der relevanten Merkmale im Falle der Klassifizierung von Airborne Punktwolken bereits erfolgreich angewendet. Auf der Grundlage dieses Parameters haben sie einerseits gezeigt, dass vier Merkmale keinen Einfluss auf die Qualität der Klassifizierung haben. Andererseits konnten sie mithilfe dieses Parameters bestimmen, welche der Merkmale für welche der Objektklassen charakteristisch sind. Der Parameter variable importance könnte genutzt werden, um korrelierte und für die Klassifizierung irrelevante Merkmale zu eliminieren. Die Beschränkung auf die wesentlichen Merkmale wäre zugleich mit einer Reduktion der für die Merkmalsberechnung erforderlichen Rechenzeit verbunden. Die Intensität der LiDAR Punkte blieb für die Klassifizierung unberücksichtigt. Die Eignung der Intensität als Merkmal für die Klassifizierung von Punktwolken aus Airborne Daten wurde von (Chehata et al., 2009) nachgewiesen. Die Intensität könnte demnach auch für die Klassifizierung von terrestrischen Punktwolken eingesetzt werden. Die direkte Verwendung der Intensitäten wird für die Klassifizierung wohl kaum gewinnbringend sein, da die Intensität eines Punktes zahlreichen Einflussfaktoren unterworfen ist. Eine vorgängige Modellierung bzw. Transformation der Intensitäten mit Berücksichtigung der Distanz der Punkte zum Scanner oder des Auftreffwinkels des Laserstrahls wäre erforderlich. Der entwickelte Klassifikationsalgorithmus klassifizierte jeden Punkt der Punktwolke unabhängig von den zugewiesenen Labels seiner benachbarten Punkte. Mit dieser Vorgehensweise ist es denkbar, dass ein Punkt beispielsweise der Klasse «Baumkrone» zugewiesen wird, seine umgebenden Punkte jedoch als «Boden» klassifiziert werden. Der isolierte Baumstamm-Punkt scheint eine Fehlklassifikation zu sein. Um eine derartige Fehlklassifikation zu vermeiden, kann entweder eine Nachklassifizierung durchgeführt oder stattdessen die Klassifizierungsmethode Markov Random Fields (MRF) eingesetzt werden. Letztere ist ein kontextbasiertes Verfahren, bei welchem jeder Punkt in Abhängigkeit seiner benachbarten Punkte klassifiziert würde.

97 7 Quellenverzeichnis Quellenverzeichnis Bienert, A. (2013): Automatische Extraktion von 3D-Baumparametern aus terrestrischen Laserscannerdaten, Dissertation, Technische Universität Dresden, Dresden, Deutschland, (Zugriff ) Borgelt, C. (2008): Intelligent Data Analysis, Vorlesungsunterlagen zur gleichnamigen Lehrveranstaltung am «European Center for Soft Computing», Spanien, (Zugriff ). Breiman, L. (2001): Random forests, Machine Learning, 45 (1), Brodu, N., Lague, D. (2012): 3D terrestrial lidar data classification of complex natural scenes using a multi-scale dimensionality criterion: Applications in geomorphology, ISPRS Journal of Photogrammetry and Remote Sensing, 68, Chehata, N., Guo, L., Mallet, C. (2009): Airborne lidar feature selection for urban classification using random forests, International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, 39 (3/W8), Dalponte, M., Bruzzone, L., Gianelle, D. (2012): Tree species classification in the Southern Alps based on the fusion of very high geometrical resolution multispectral/hyperspectral images and Li- DAR data, Remote sensing of environment, 123, Duda, R. O., Hart, P. E., Stork, D. G. (2001): Pattern classification. John Wiley & Sons, New York, 2. Edition. Dougherty, G. (2013): Pattern Recognition and Classification, Springer Science+Business Media, New York, 196 S. Görz, G., Rollinger, C.-R., Schneeberger, J. (Hrsg.) (2003). Handbuch der künstlichen Intelligenz, Oldenbourg Verlag, München, 4. korrigierte Auflage. Gross, H., Jutzi, B., Thoennessen, U. (2007): Segmentation of tree regions using data of a full-waveform laser, International Archives of Photogrammetry, Remote Sensing and Spatial Information Sciences, 36 (3), W49A. Gross, M., Pauly, M., Kobbelt, L. P. (2002): Efficient simplification of point-sampled surfaces, Proceedings of the IEEE Visualization Conference, Guo, L., Chehata, N., Mallet, C. Boukir, S. (2011): Relevance of airborne lidar and multispectral image data for urban scene classification using Random Forests, ISPRS Journal of Photogrammetry and Remote Sensing, 66 (1),

98 84 7 Quellenverzeichnis Hastie, T., Tibshirani, R., Friedman, J., Hastie, T., Friedman, J., Tibshirani, R. (2009): The elements of statistical learning, Springer Series in Statistics, New York, 2. Auflage, 745 S. Herrmann, J. (1997): «Maschinelles Lernen.», Maschinelles Lernen und Wissensbasierte Systeme, Springer Berlin Heidelberg, Ingensand, H. (2009): Einführung in die Geodätische Messtechnik, Skript zur gleichnamigen Lehrveranstaltung an der ETH Zürich, Institut für Geodäsie und Photogrammetrie, Band 2, Kapitel 10, James, G., Witten, D., Hastie, T., Tibshirani, R. (2013): An introduction to statistical learning, Springer Science+Business Media, New York, 426 S. Lalonde, J.-F., Vandapel, N., Huber, D. F., Hebert, M. (2006): Natural terrain classification using three dimensional ladar data for ground robot mobility, Journal of field robotics, 23 (10), Leiterer, R. (2013): Klassifikationsgenauigkeit und Genauigkeitsmasse (7b), Vorlesungsunterlagen zur Lehrveranstaltung «Grundlagen der Fernerkundung» an der Universität Zürich, _GrundlagenFE_2013_V5.pdf (Zugriff ). Ortiz, M. J., Formaggio, A. R., Epiphanio, J. C. N. (1997): Classification of croplands through integration of remote sensing, GIS, and historical database, International Journal of Remote Sensing, 18 (1), Rutzinger, M., Höfle, B., Hollaus, M., Pfeifer, N. (2008): Object-based point cloud analysis of fullwaveform airborne laser scanning data for urban vegetation classification, Sensors (Basel, Switzerland), 8 (8), Wieser, A. (2012): Optische 3D-Messsysteme, Vorlesungsunterlagen zur Lehrveranstaltung «Geodätische Messtechnik II» an der ETH Zürich, Herbstsemester Wikipedia: RANSAC-Algorithmus, (Zugriff ). Xu, S., Vosselman, G., Oude Elberink, S. (2014): Multiple-entity based classification of airborne laser scanning data in urban areas, ISPRS Journal of Photogrammetry and Remote Sensing, 88, Zhang, N. (2011): Plane Fitting on Airborne Laser Scanning Data Using RANSAC, Lunds Tekniska Högskola, 1 13.

99 Anhang A RANSAC-Algorithmus 85 A. Anhang A1. RANSAC-Algorithmus 21 RANSAC (engl. RANdom SAmple Consensus) ist ein Algorithmus, der in einem iterativen Prozess die Parameter eines mathematischen Modells 22 auf Basis eines vorgegebenen Datensatzes schätzt. Gängige Ausgleichungsverfahren wie die Methode der kleinsten Quadrate erzielen für Datensätze, welche mit groben Fehlern und Ausreissern behaftet sind, meist unzureichende Ergebnisse. Der RANSAC-Algorithmus hingegen ist gegenüber Ausreissen und groben Fehlern in Datensätzen robust. Aufgrund seiner Robustheit wird der RANSAC-Algorithmus oftmals in Kombination mit einem der traditionellen Ausgleichungsverfahren eingesetzt. Die vorgängige Behandlung eines Datensatzes mit dem RANSAC- Algorithmus ermöglicht es, Ausreisser aus einem Datensatz zu eliminieren. Der um Ausreisser bereinigte Datensatz das sogenannte Consensus Set kann in der Folge mit einem der traditionellen Ausgleichungsverfahren ausgeglichen werden. Für die vorausgehende Anwendung des RANSAC-Algorithmus wird vorausgesetzt, dass der auszugleichende Datensatz mehr Datenpunkte enthält als für die eindeutige Bestimmung der Modellparameter notwendig sind. Prinzip des RANSAC-Algorithmus Der Ablauf des RANSAC-Algorithmus ist in der Darstellung Abb. 22 gegeben und setzt sich aus nachfolgenden Schritten zusammen: 1. Es werden zufällig so viele Datenpunkte aus dem Datensatz selektiert, wie für die eindeutige Bestimmung der Modellparameter notwendig sind. Allgemein werden Datenpunkte benötigt, für die Bestimmung einer Ebene sind es deren drei ( 3). Es wird dabei angenommen, dass die zufällig selektierten Datenpunkte frei von groben Fehlern sind. 2. Es wird überprüft, ob mit den selektierten Datenpunkten die Modellparameter kalkuliert werden können. Falls die selektierten Datenpunkte in einer ungünstigen Konfiguration vorliegen und die Modellparameter infolgedessen nicht berechnet werden können, werden erneut solange Datenpunkte zufällig selektiert, bis die Modellparameter bestimmbar sind. Für die Berechnung einer Ebene muss die Kollinearität überprüft werden, da die drei selektierten Datenpunkte nicht auf einer Geraden liegen dürfen. 21 Quelle: Wikipedia, RANSAC-Algorithmus, (Zugriff ) 22 z. B. die Parameterbestimmung von Geraden, Ebenen, Kreisen, Ellipsen, Zylinder, Kugeln, usw.

100 86 Anhang A RANSAC-Algorithmus Start des RANSAC Algorithmus Ende des RANSAC Algorithmus nein zufällige Selektion von s Datenpunkten aus dem Datensatz ja Anzahl Iterationen < t? nein Modellparameter kalkulierbar? Modellparameter speichern (bestes Modell) ja Berechnung der Modellparameter auf Basis der s selektierten Datenpunkte ja Berechnung der Distanz von jedem Datenpunkt des Datensatzes zum Modell Fehler der ausreisserfreien Punktmenge < Fehler des Consensus Set nein Distanz < Fehlerschranke δ? ja nein ja Ausreisser ausreisserfreie Punktmenge Grösse der ausreisserfreien Punktmenge >= Grösse des Consensus Set nein Abb. 22: Übersicht über den Ablauf des RANSAC-Algorithmus (Eigendarstellung 23 ) 23 in Anlehnung an (Zhang, N. (2011): Plane Fitting on Airborne Laser Scanning Data Using RANSAC, Lunds Tekniska Högskola)

101 Anhang A RANSAC-Algorithmus Ermittlung der Modellparameter aus den zufällig gewählten Datenpunkten (aktuelles Modell). 4. In der Folge wird der Abstand von jedem Datenpunkt des Datensatzes zum Modell berechnet. Überschreitet die Distanz eines Datenpunktes zum Modell eine zuvor festgelegte Fehlerschranke, so gilt dieser Datenpunkt in Bezug auf das aktuelle Modell als Ausreisser. Liegt die Distanz eines Datenpunktes zum Modell unterhalb der Fehlerschranke, so liegt für den betreffenden Datenpunkt kein grober Fehler vor (Modellunterstützung). Je mehr Punkte als fehlerfrei erachtet werden, umso wahrscheinlicher ist es, dass keiner der selektieren Datenpunkte ein Ausreisser war. Die Gesamtheit der ausreisserfreien Datenpunkte das sogenannte Consensus Set wird gespeichert. 5. Die Schritte 1 bis 4 werden insgesamt mal wiederholt. In jeder Iteration wird die Datenpunktmenge, die das jeweilige Modell unterstützt, mit dem Consensus Set verglichen. Falls die aktuelle ausreisserfreie Datenpunktmenge mehr Datenpunkte beinhaltet als das aktuelle Consensus Set, wird die aktuelle ausreisserfreie Datenpunktmenge als neues Consensus Set gespeichert. Bestehen die aktuelle ausreisserfreie Datenpunktmenge und das Consensus Set aus exakt gleich vielen Datenpunkten, so wird diejenige Punktmenge als Consensus Set übernommen, für welche die aufsummierten Distanzen der Datenpunkte zum Modell geringer ist. 6. Das nach Iterationen erhaltene Consensus Set enthält idealerweise keine Ausreisser mehr. Abschliessend können die definitiven Modellparameter mit einem traditionellen Ausgleichungsverfahren auf Basis des Consensus Sets bestimmt werden. Einfluss der Fehlerschranke Die Wahl der Fehlerschranke stellt den kritischen Schritt des RANSAC-Algorithmus dar und schlägt sich direkt in der Qualität des resultierenden Modells nieder. Wird die Fehlerschranke zu klein oder zu gross gewählt, besteht die Gefahr, dass der Algorithmus entweder zu wenige oder viele Datenpunkte als Ausreisser identifiziert. Wird die Fehlerschranke zu gross angesetzt, werden allfällig vorhandene Ausreisser im Datensatz nicht detektiert. Die Wahl einer zu kleinen Fehlerschranke führt dazu, dass die wenigsten Datenpunkte das Modell unterstützen. Das Consensus Set besteht deshalb nur aus einigen wenigen Datenpunkten, die Mehrheit der fehlerfreien Datenpunkte wird irrtümlicherweise als Ausreisser interpretiert. Der Einfluss der Fehlerschranke auf die Bestimmung der ausreisserfreien Datenpunktmenge für die Schätzung einer Modellgeraden ist in Abb. 23 illustriert.

102 88 Anhang A RANSAC-Algorithmus Abb. 23: Einfluss der Fehlerschranke auf die Bestimmung der ausreisserfreien Datenpunktmenge für einen Iterationsschritt des RANSAC-Algorithmus. Ziel ist die Bestimmung der ausreisserfreien Datenpunktmenge für die Schätzung einer Modellgeraden. Die zufällig ausgewählten Datenpunkte für die Berechnung der Modellparameter sind blau dargestellt, die resultierende Gerade ist grün. Die restlichen Datenpunkte des Datensatzes sind rot abgebildet. 24 (links): korrekte Lösung der Modellgeraden: zwei Datenpunkte werden als Ausreisser detektiert (Mitte): Wahl einer zu grossen Fehlerschranke : Zu viele Datenpunkte werden fälschlicherweise nicht als Ausreisser erkannt. (rechts): Wahl einer zu kleinen Fehlerschranke : Zu viele Datenpunkte werden als grob falsch angesehen, obwohl sie nicht fehlerbehaftet sind. Minimale Anzahl Iterationen Aus Gründen der Effizienz und der Berechnungszeit wird die Anzahl der Iterationen nicht auf einen konstanten Wert festgelegt. Stattdessen wird die Anzahl der durchzuführenden Iterationen aus dem Datensatz geschätzt. Die Ermittlung der minimalen Anzahl benötigter Iterationen basiert auf nachfolgenden Wahrscheinlichkeiten: relativer Anteil an Ausreissern im Datensatz relativer Anteil der ausreisserfreien Datenpunkte im Datensatz Wahrscheinlichkeit, dass sich unter den zufällig selektierten Datenpunkten kein Ausreisser befindet Wahrscheinlichkeit, dass sich unter den zufällig selektierten Datenpunkten mindestens ein Ausreisser befindet Wahrscheinlichkeit, dass in Iterationen sämtliche zufällig selektierte Datenpunkte Ausreisser sind Wahrscheinlichkeit, dass in Iterationen mindestens einmal Datenpunkte selektiert werden, unter denen sich kein Ausreisser befindet 24 leicht modifizierte Darstellung aus (Zugriff ): Wikipedia, RANSAC-Algorithmus,

103 Anhang A MSAC-Algorithmus 89 Die minimale Anzahl benötigter Iterationen wird derart festgelegt, dass mit einer bestimmten Wahrscheinlichkeit (frei wählbar) mindestens einmal Datenpunkte aus dem Datensatz selektiert werden, unter denen sich kein Ausreisser befindet. Es gilt demnach folgende Beziehung: ( 27 ) Aus dieser Beziehung lässt sich die minimale Anzahl benötigter Iterationen wie folgt ableiten: ln1 ln1 1 ( 28 ) Relativer Anteil an Ausreissern im Datensatz In der Regel ist der Anteil der Ausreisser im Datensatz unbekannt. Die Ungewissheit über den Ausreisseranteil hat zur Konsequenz, dass die minimale Anzahl benötigter Iterationen nicht berechnet werden kann. Um die Anzahl Durchläufe dennoch beschränken zu können, kann der Ansatz einer adaptiven Parameteranpassung angewendet werden. Der relative Anteil an Ausreissern wird mit einem Wert von 50% (Worst-Case-Annahme) initialisiert und die minimale Anzahl Iterationen gemäss der Formel ( 28 ) berechnet. Nach jeder Iteration kann aus der Grösse des aktuellen Consensus Sets der relative Anteil an Ausreissern und somit ebenfalls die minimale Anzahl Iterationen aktualisiert werden. A2. MSAC-Algorithmus Beim RANSAC-Algorithmus wird dasjenige Modell als das beste erachtet, für welches dem Consensus Set am meisten Datenpunkte zugeordnet werden können. Der RANSAC-Algorithmus kann deshalb als Optimierungsaufgabe angesehen werden, bei der die Anzahl Ausreisser minimiert wird. Die Anzahl Ausreisser wird mit einer sogenannten Kostenfunktion modelliert, in welche die fehlerfreien Datenpunkte mit dem Wert null und alle als Ausreisser identifizierten Datenpunkte mit dem Wert eins eingehen. Die resultierende Minimierungsfunktion kann gemäss der Gleichung ( 29 ) niedergeschrieben werden. Hierbei bezeichnet die Distanz des Datenpunktes zum Modell und die Fehlerschranke. 0 1 ( 29 ) 25 Für den Klassifikationsalgorithmus wurde für die Wahrscheinlichkeit ein Wert von 99% angenommen.

104 90 Anhang A MSAC-Algorithmus Der MSAC-Algorithmus (M-Estimator SAmple Consensus) ist eine Erweiterung des RANSAC-Algorithmus, bei der eine modifizierte Kostenfunktion minimiert wird. Als Ausreisser identifizierte Datenpunkte gehen noch stets mit dem Wert eins in die Kostenfunktion ein. Als fehlerfrei eingestufte Datenpunkte fliessen im Gegensatz zum RANSAC-Algorithmus nicht mit dem Wert null in die Kostenfunktion ein. Sie werden stattdessen gewichtet, sodass ein Datenpunkt umso weniger zur Minimierungsfunktion beiträgt, je besser er das jeweilige Modell unterstützt. Punkte, die das Modell in hohem Masse unterstützen, erhalten demnach ein niedriges Gewicht. Punkte, die das Modell zwar unterstützen, die Fehlerschranke jedoch nur minimal unterschreiten, erhalten ein hohes Gewicht. Die resultierende Kostenfunktion des MSAC-Algorithmus ist in der Abb. 24 dargestellt. Zusätzlich sind die Kostenfunktionen des RANSAC-Algorithmus sowie diejenige für die Methode der kleinsten Quadrate eingetragen. Abb. 24: Kostenfunktion für den RANSAC-Algorithmus (rot), Kostenfunktion für den MSAC-Algorithmus (blau) und Kostenfunktion für die Methode der kleinsten Quadrate (grün) (Eigendarstellung) Für die Implementierung des Klassifikationsalgorithmus wurde nachfolgende Kostenfunktion für den MSAC-Algorithmus definiert: ( 30 )

105 Anhang A Zusammenstellung ausgewählter Merkmale für Reussegg_s6 91 A3. Zusammenstellung ausgewählter Merkmale für Reussegg_s6 Abb. 25: merkmalscodierte Einfärbung der Punktwolke Reussegg_s6 für eine kugelförmige Nachbarschaft mit Kugelradius 50 (oben): Einfärbung der Punkte gemäss ihrem Wert für das Merkmal (Richtungsabhängigkeit) (unten): Einfärbung der Punkte gemäss ihrem Wert für das Merkmal (Sphärizität)

106 92 Anhang A Zusammenstellung ausgewählter Merkmale für Reussegg_s6 Abb. 26: merkmalscodierte Einfärbung der Punktwolke Reussegg_s6 für eine kugelförmige Nachbarschaft mit Kugelradius 50 (oben): Einfärbung der Punkte gemäss ihrem Wert für das Merkmal der (Linearität) (unten): Einfärbung der Punkte gemäss ihrem Wert für das Merkmal (Ebenheit)

107 Anhang A Zusammenstellung ausgewählter Merkmale für Reussegg_s6 93 Abb. 27: merkmalscodierte Einfärbung der Punktwolke Reussegg_s6 für eine kugelförmige Nachbarschaft mit Kugelradius 50 (oben): Einfärbung der Punkte gemäss ihrem Wert für das Merkmal σ (Oberflächenvariation) (unten): Einfärbung der Punkte gemäss ihrem Wert für das Merkmal (Abweichungswinkel zwischen dem Normalenvektor der lokalen Ebene und der Vertikalen)

108 94 Anhang A Zusammenstellung ausgewählter Merkmale für Reussegg_s6 Abb. 28: merkmalscodierte Einfärbung der Punktwolke Reussegg_s6 für eine kugelförmige Nachbarschaft mit Kugelradius 50 (oben): Einfärbung der Punkte gemäss ihrem Wert für das Merkmal (Punktabstand von der lokalen Ebene) (unten): Einfärbung der Punkte gemäss ihrem Wert für das Merkmal (Residuen der lokalen Ebene)

109 Anhang A Zusammenstellung ausgewählter Merkmale für Reussegg_s6 95 Abb. 29: merkmalscodierte Einfärbung der Punktwolke Reussegg_s6 für eine kugelförmige Nachbarschaft mit Kugelradius 50 (oben): Einfärbung der Punkte gemäss ihrem Wert für das Merkmal (Varianz des Abweichungswinkels ) (unten): Einfärbung der Punkte gemäss ihrem Wert für das Merkmal (Höhenvarianz)

110 (Ebenheit) für verschiedene Nachbarschaften (Datensatz Reussegg_s6) oben links: kugelförmige Nachbarschaft mit 30 (im Schnitt 321 Nachbarspunkte pro Punkt), oben Mitte: kugelförmige Nachbarschaft mit 50 (im Schnitt 876 Nachbarspunkte pro Punkt), oben rechts: kugelförmige Nachbarschaft mit 1 (im Schnitt 3289 Nachbarspunkte pro Punkt), unten links: zylindrische Nachbarschaft mit 30 und 50 (im Schnitt 405 Nachbarspunkte pro Punkt), unten rechts: zylindrische Nachbarschaft mit 50 und 1 (im Schnitt 1144 Nachbarspunkte pro Punkt) Abb. 30: Merkmal 96 Anhang A Merkmal «Ebenheit» für verschiedene Nachbarschaften A4. Merkmal «Ebenheit» für verschiedene Nachbarschaften