Machine Learning. Kurzeinführung Erfahrungen in GIS

Transkript

1 Machine Learning Kurzeinführung Erfahrungen in GIS Bernd Torchala

2 Anlass advangeo prediction Seit über 10 Jahren entwickelt, angewandt und vertrieben Integriert bislang: Neuronale Netze, Weights of Evidence und Fuzzy Logic Es besteht Bedarf nach weiteren Verfahren, vor allem Random Forest Folie 2 Folie 2

3 Kurzeinführung: Arten des ML Einige gängige Verfahren: einfache statistische Regression: Lineare Regression Polynomiale Regression Logistische Regression Support Vector Machines (SVM) Entscheidungsbäume Decision Trees Random Forest Boosting Ada Boost Gradient Boosting Klassifikation z. B.: Bodenart, Landnutzung inkl. binär: ja/nein bzw. 1/0 Regression z. B.: C org Anteil (%) supervised learning unsupervised learning (Clustering) Neuronal Networks (KNN) Multilayer Perceptron (MLP) Convolutional Neuronal Networks (Objekterkennung in Bildern) Recurrent Neuronal Network (Rekursive Erkenntnisse, Abfolgen) Reinforcement Learning (in der Robotic, Spiele) Folie 3 Folie 3

4 Kurzeinführung: Das Grundprinzip Machine Learning besteht prinzipiell aus zwei Phasen 1. Training (des Modelles) Minimieren des Fehlers (loss, cost function), d. h. des Abstands: tatsächliche - errechnete Werte X t + y t Modell Vektor mit n samples Es gibt auch multinomial sampling! y ist n*k-matrix n*p Matrix, p features; n samples (unabhängige Variablen) - bekannte Fälle, Ereignisse, Punkte 2. Vorhersage Anwendung des Modells X v + Modell y v Vektor mit n samples (abhängige Variablen) - unbekannte Fälle) n*p Matrix, p features; n samples Folie 4 Folie 4

5 Kurzeinführung: Die Güte des Modells Güte des Modells: Validierung nach dem Training tuning: automatisch Validierungsdaten abtrennen test split, cross validation, Vergleich der Vorhersage mit a priori abgetrennten Test-Daten (Test-Set); bekannte Fälle, die nicht ins Training/in die Validierung eingeflossen sind. Güte-Größen: Klassifikation Precision (1 gut, 0 schlecht) Recall (1 gut, 0 schlecht) Accuracy / Gesamtgüte (1 gut, 0 schlecht) F1-Score (1 gut, 0 schlecht) confusion matrix Regression R2-Score (1 gute, negativ sehr schlecht) MAE (mean absolut error) MSE (mean squared error) RMSE (root MSE) Percent variance explained / Bestimmtheitsmaß Folie 5 Folie 5

6 Kurzeinführung: 2 typische Ansätze Lernansatz: Objekterkennung (Quelle: Bild oder Ton) X t y t Beispiel: Ziffern- Erkennung jedes Bild ist ein 30x30 0/1-Raster (900 Pixel) Bild 1 Bild 2 Bild 3 Pixel 1 Pixel 2 Pixel 3 Pixel 4 Pixel 5 Pixel Ziffer Prediction: X v Bild y v Folie 6 Folie 6

7 Kurzeinführung: 2 typische Ansätze Lernansatz: Ereignis/Fall vorhersagen (Quelle: Analysedaten, Faktentabelle) Beispiel: organischer Kohlenstoff (C org) im Oberboden Punkt 1 Punkt 2 Punkt Slope Gaussian Curvatur Landnutzung Bodenarten DGM- Ableitungen Corg (%) ,3 0, , ,1-0, ,2... X t... y t Prediction: X v y v Punkt 5 8 9,3 0, ,9 oder für jede Zelle eines Rasters eine Zeile Folie 7 Folie 7

8 Eingabe- Layer Hidden- Layer Ausgabe- Layer Kurzeinführung: Prinzip künstl. neuronaler Netze Landnutzung Bodenart Slope Gaussian Curvatur weitere DGM- Ableitungen Training: X t - Zeilen Corg Prognose (Klasse) y t - Wert Ermitteln der Gewichte wi beim Minimieren des Quadratfehlers 1/n (y v y t ) 2 Prediction: ausrechnen X v y v e2 e3 e1 w2 w3 e4 w4 w1 f Aktivierungsfunktion (Sigmoidal-Funktion) z. B. logistische Funktion c / (1+a * e bx ) a Folie 8 Folie 8

9 Kurzeinführung: Prinzip Entscheidungsbäume Beispiel: Hangrutschung Eingabe: Landnutzung, Bodentyp, DGM-Ableitungen (Slope) Lern-Algorithmus: Bei jedem Split (an jedem Knoten) das Entscheidungskriterium finden, welches die Trainingsmenge am saubersten teilt!!? Hangneigung (0% 100%) Landnutzung: Wald, Wiese, Feld Erosion: wenig, mittel, stark slope > 21,5 Grad? Erosion: 1 wenig 8 mittel 15 stark ja Erosion: 10 wenig 20 mittel 20 stark nein Erosion: 9 wenig 12 mittel 5 stark = 50 = 24 = 26 Erosion: 1 mittel 12 stark ja 50 Trainingspunkte nein = 13 Landnutzung = Feld? Erosion: 1 wenig 7 mittel 3 stark y t - Werte X t - Spalte = 11 Folie 9 Folie 9

10 Kurzeinführung: Prinzip Zufallswälder Prinzipieller Algorithmus des Trainings: Schritt 1: Trainingsdaten für einen Baum b zusammenstellen: Bootstrap-Stichprobe, n mal Auswahl aus den n bekannten Punkten (samples), jeweils mit Zurücklegen Schritt 2: nicht verwendete Punkte bilden die sogen. OOB-Menge Schritt 3: Baum b generieren: Schritt 3.1: zufällige Auswahl von mtry, der p feature (mtry p), Schritt 3.2: besten binären Split am Knoten finden Schritt 3.3: Split in zwei Kindknoten nächster Knoten, bis Abbruchbedingung nächster Baum bis ntree Ergebnis: Wald mit ntree Bäumen Anwenden eines Waldes: X v Abstimmung der Bäume y v Folie 10 Folie 10

11 Erfahrungen in GIS: ArcGIS - Tools ArcSDM: Spatial Data Modeller (SDM) Weights of Evidence Logistische Regression, Fuzzy Logic, unsupervised and supervised neural network methods Beispiele in Desktop-Toolbar, jedoch sehr simple Folie 11 Folie 11

12 Erfahrungen in GIS: advangeo prediction ESRI- GRIDs X t, y t X v advangeo 2D und (3D) Base-Raster Source Data Processed Source Data Modelinput Data Training Data Data / Model Explorer ArcGIS-Extension Rechenkern o ANN: (FANN-library) o WoE o Fuzzy-Logic o weitere Verfahren Result y v ESRI-GRID GeoTiff oder ERDAS.img ESRI-GRID ESRI-fc csv-tabelle odbc-tabelle Python-Anwendungen: ML_advangeo_training ML_advangeo_prediction sklearn, tensorflow, H2O, o o o o o o o o o Decision Tree Classifier Decision Tree Regressor Random Forest Classifier Random Forest Regressor SVM Logische Regression MLP Classifier MLP Regressor Perceptron GeoTiff oder ESRI-fc oder csv-tabelle Folie 12 Folie 12

13 Erfahrungen in GIS: Anwendungen Flächiger Bodenabtrag Einzugsgebiet Talsp. Klingenberg Hangrutschungen/ Bodenkriechen Gebiet Tharandt/Freital Deutschland weit Rinnenerosion Südafrika/ Limpoporegion, Tharandt/ Freital Lagerstättenprognose Kosovo (Au, Pb/Zn, Cr), Ghana, Burkina Faso (Gold), Erzgebirge Folie 13 Folie 13

14 Erfahrungen in GIS: Anwendungen Geologische Kartierung Kosovo, Burkina Faso Forstschädlinge Osterzgebirge, Tharandter Wald Folie 14 Folie 14

15 Erfahrungen in GIS: Anwendungen Forstliche Standortkartierung Karten der Feuchtestufen Regionalisierung von Punktdaten im Bodenschutz Stadtböden Aue/ Annaberg Folie 15 Folie 15

16 Erfahrungen in GIS: Anwendungen Kohlebrände China Belegungsdichte von Manganknollen Brutvogel Dresden Folie 16 Folie 16

17 Erfahrungen in GIS: Anwendungen Sand/Schluff/Ton sowie Corg 1: Kartenblätter Freiberg und Meißen Random Forest Decision Tree Folie 17 Folie 17

18 Vielen Dank für Ihre Aufmerksamkeit Folie 18 Folie 18