Neue Trends aus dem maschinellen Lernen in Photogrammetrie und Fernerkundung. Jan Dirk Wegner Photogrammetry and Remote Sensing, ETH Zürich

Transkript

1 Neue Trends aus dem maschinellen Lernen in Photogrammetrie und Fernerkundung Jan Dirk Wegner Photogrammetry and Remote Sensing, ETH Zürich 1

2 Worum geht es? 2

3 Worum geht es? Jolanda Jan Bilderbuch 3

4 Worum geht es?? 4

5 und wie würde das gehen? 1. Trainingsphase: Erlernen anhand von (repräsentativen) Beispielen 2. Testphase: Anwendung des erlernten Wissens auf Neues 5

6 Weshalb maschinelles Lernen in P&F? in Text 6

7 Weshalb maschinelles Lernen in P&F? Microsoft Vexcel Microdrones Google Leica in Text in Bildern, Videos und Punktwolken 7

8 Beispiel 1 Strassenextraktion in Kooperation mit Javier Montoya L ubor Ladický Konrad Schindler Donnerstag, 20. November

9 Ziel: Extraktion topologisch vollständiger und korrekter Strassennetzwerke (aus Luftbildern) Kenwood Google 9

10 Warum ist das schwierig? Verdeckungen Ähnlichkeit Definition + komplexe Netzwerk- struktur ungelöstes Problem seit fast 40 Jahren, Bajcsy et.al. (TSMC 76). 10

11 Lokaler Kontext Luftbild Global optimales Modell Strassenwahrscheinlichkeit Ergebnis Inferenz Strassen- hypothesen Conditional Random Field Donnerstag, 20. November

12 1.Lokaler Kontext #1 BoW 4x4 x 80x80 160px x 160px Multi-feature TextonBoost Ladický et. al. (ICCV 09) #200 BoW Context-aware road scores Donnerstag, 20. November

13 2. Strassenbreite lokaler Kontext + Random Forest Strassenwahrscheinlichkeiten pro Breite Donnerstag, 20. November

14 3. Strassenhypothesen Strassenwahrscheinlichkeiten pro Breite Strassenhypothesen Donnerstag, 20. November

15 4. Globales Modell Strassenhypothesen Ergebnis konvexe Energiefunktion Strassenhinweise Soft-clique membership Donnerstag, 20. November

16 Ergebnis Standardklassifikation ohne Kontext 16

17 Ergebnis lokaler Kontext 17

18 Ergebnis lokaler + globaler Kontext 18

19 Beispiel 2 3D Stadtmodell in Kooperation mit Maros Bláha Christian Häne Konrad Schindler 19

20 Ziel: Semantisch annotiertes 3D-Stadtmodell axyz-design axyz-design 20

21 Probleme? Objekt- geometrie + Semantik Google Verdeckungen 21

22 Idee: nutze Semantik um Geometrie zu verbessern und umgekehrt! 22

23 ? 23

24 Simultanes Schätzen von Semantik und Geometrie Tiefenbild + Semantik Häne et. al. (CVPR 13) 24

25 Relative Orientierung Lerne Aussehen pro Kategorie Tiefenbilder Klassifizierung Lerne Objektgeometrie pro Kategorie + 25

26 Globales Modell konvexe Energiefunktion Hinweise auf Kategorie pro Voxel Objektgeometrie 26

27 erstes Ergebnis (auf ¼ Auflösung) Schrägluftbild 3D-Modell Tiefenbild Klassifizierung 27

28 Fazit =? 28

29 Fazit! 29

30 Zukunftsideen I 1. Kombination von diskreter Klassifizierung und kontinuierlicher Regression Anwendung klassisch geodätischer Instrumente wie z.b. Signifikanztests 2. Deep learning (z.b. Convolutional Neural Networks) open street map 30

31 Zukunftsideen II 3. Unüberwachtes Lernen? Erlernen von Strukturen in grossen Datensätzen ohne vorheriges annotieren (oder nur teilweise) 4. Detektion von Veränderungen Theodor Hosemann schwer erlernbar, da seltenes Vorkommen Können wir logisches Schliessen einsetzen oder sogar erlernen? Aber auch: Wie weit wollen wir gehen? Privatssphäre 31