Mapnik Eine Werkzeugsammlung für die Ableitung von Webkarten aus GIS-Daten

Transkript

1 Mapnik Eine Werkzeugsammlung für die Ableitung von Webkarten aus GIS-Daten Peter Kunz Bundesamt für Kartographie und Geodäsie 1

2 Workshop Erste Schritte mit Mapnik OSM-Daten vorbereiten Postgis-DB erzeugen OSM-Daten in Postgis-DB importieren und für das Rendern mit Mapnik vorbereiten Mit GDAL Schummerung und Höhenlinien berechnen OSM-Karte rendern Lokales Kachelarchiv rendern 2

3 Mapnik Bibliothek für das Rendern von Karten Bekannteste Anwendung: Hauptkarte (Slippy Map) von Open Street Map (OSM) Freie Software (Open Source) Anwendung Web-Server = Rendern bei Request Desktop = Vorprozessieren von Kacheln C++ und Python API 3

4 Wozu Mapnik? Nur bedingt geeignet für die Herstellung herkömmlicher Einzelkarten für den Druck Hervorragend geeignet für das Rendern von Kacheln für einen WMTS 4

5 256 Pixel WMTS mit Kacheln 256 x 256 Pixel 256 Pixel 5

6 Warum gerade Mapnik? Plattformen PC, Mac, Unix/Linux Konzept Saubere Trennung von» Programmierlogik,» Datenhaltung und» Kartenaufbau/-gestaltung Ergebnisse Sehr gute grafische Qualität Robust Erprobt bei Massendaten Schnell BRD ca. 14 Tage alle Zoomstufen Skalierbar Rendern kann auf mehrere Prozesse/ Rechner verteilt werden 6

7 Mapnik Datenformate Ein- und Ausgabe Datenquellen PostGIS-Datenbanken ESRI Shapefiles TIFF Rasterdaten OSM XML alle OGR-Vektorformate!! alle GDAL-Rasterformate!! Ausgabe AGG-Renderer PNG 8, 24 und 32 bit/pixel JPEG 24 bit/pixel TIFF Cairo-Renderer SVG PDF PS 7

8 Mapnik erzeugt Karten Ausgangsdaten Zieldaten Postgis DB1 Postgis DB2 Shapedatei Rasterdaten MAPNI K MAPNIK Einzelne Karte Programmierschnittstelle C++ Python Kachelarchiv 8

9 Die wichtigsten Mapnik-Objekte Map Die Karte Layer Ein Karte/Map enthält mehrere Layer. Dort wird die Datenherkunft beschrieben Style Ein Layer verweist auf die jeweilige Kartengestaltung Rule Jedes Styleelement enthält mehrere Regeln Filter Eine Regel gilt ggf. nur für bestimmte Objekte Scaledenominatoren Jeder Regel gilt nur für einen oder für mehrere Maßstäbe Symbolizern In den Regeln werden die eigentlichen Zeichenanweisungen mithilfe von Symbolizern beschrieben 9

10 Definition des Kartenaufbaus im Pythonskript Rein programmatisch in C++ bzw. Python Daten Programmlogik UND Gestaltung Pythonskript Hier erfolgt Festlegung - der Datenquellen - des Kartenaufbaus - der Grafikstile / Kartengestaltung und - der Programmierlogik für die Erzeugung der Tiles 10

11 Reiner Python-Code für das Rednern einer Karte # -*- coding: latin-1 -*- # Import der Mapnik Python bindings import mapnik2 as mapnik # Karten-Objekt anlegen m = mapnik.map(900,450) m.background = mapnik.color('steelblue') # Style erzeugen s = mapnik.style() # Rule erzeugen r = mapnik.rule() polygon_symbolizer = mapnik.polygonsymbolizer(mapnik.color(r=255,g=231,b=88)) r.symbols.append(polygon_symbolizer) # Symbolizer dem Rule-Objekt hinzufügen line_symbolizer = mapnik.linesymbolizer(mapnik.color('rgb(50%,50%,50%)'),0.1) r.symbols.append(line_symbolizer) # Symbolizer dem Rule-Objekt hinzufügen s.rules.append(r) # Rule dem Style hinzufügen m.append_style('my Style',s) # Style der Map hinzufügen 11

12 Reiner Python-Code für das Rednern einer Karte # Layer erzeugen layer = mapnik.layer('world') # Datenquelle ds = mapnik.shapefile(file='ne_110m_admin_0_countries.shp') # dem Layer die Datenquelle hinzufügen layer.datasource = ds # Style anwenden auf Layer layer.styles.append('my Style') # Layer der Karte hinzufügen m.layers.append(layer) # Zoom auf die BBox des Layers m.zoom_all() # Karte rendern mapnik.render_to_file(m,'world.png', 'png') Ü5 12

13 Definition des Kartenaufbaus in einem Mapfile Daten Programmlogik Gestaltung Pythonskript zum Rendern der Karte Mapfile mit - Datenquellen - Kartenaufbau - Kartengestaltung - ggf. Verweis auf weitere ausgelagerte Dokumente z.b. generate_image,py z.b. osm.xml und alle *.inc 13

14 Pythonskripte zum Starten des eigentlichen Renderns generate_image.py erzeugt ein einzelnes Bild entsprechend der Kartendefinition (Stylesheet) und des gewünschten räumlichen Ausschnitts (Bounding Box) generate_tiles.py ist vergleichbar, erzeugt aber ein Kachelarchiv für den Webserver in den gewünschten Zoomstufen 14

15 Pythonskript mit Verweis auf Mapfile import mapnik2 m = mapnik2.map(1000,1000) kartenaufbau = '/usr/local/share/mapnik/karte.xml' mapnik2.load_map(m, kartenaufbau) bbox=mapnik2.box2d(620512, , , ) m.zoom_to_box(bbox) mapnik2.render_to_file(m,'/home/user/gis/uebung_01/karte.png') 15

16 <?xml version="1.0" encoding="utf- 8"?> Verweis auf Entitäten <!DOCTYPE Map [ <!ENTITY % entities SYSTEM "inc/entities.xml.inc"> %entities; ]> Hintergrundfarbe und CRS der Karte <Map bgcolor="&farbe_hintergrund;" srs="+proj=utm +zone=32 +ellps=wgs84 +datum=wgs84 +units=m +no_defs" minimum_version="0.7.1"> &fontset-settings; <!-- *********************** --> &layer-landbedeckung; &layer-hoehenlinien; &layer-schummerung; &layer-gewaesser; &landuse-overlay; &layer-water_features; Verweis auf Fonts Mapfile Meine_Karte.XML &layer-tunnel; &layer-buildings; &layer-highway-area-casing; &layer-strassen-kontur; &layer-strassen-fuellung; &landuse-overlay-nsg; &layer-ferry-routes; &layer-aerialways; &layer-roads; &layer-bridges; &layer-admin; &layer-power; &layer-placenames; &layer-amenity-stations; &layer-amenity-symbols; &layer-amenity-points; &highway-junctions; &layer-river-text; &layer-roads-text; &layer-text; &layer-hl-zahlen; </Map> Layer in der Reihenfolge der Darstellung

17 Landbedeckung

18 Landbedeckung Gewässer Höhenlinien

19 Landbedeckung Gewässer Höhenlinien Gebäude

20 Landbedeckung Gewässer Höhenlinien Gebäude Straßenkonturen

21 Landbedeckung Gewässer Höhenlinien Gebäude Straßenkonturen Straßendecker

22 Landbedeckung Gewässer Höhenlinien Gebäude Straßenkonturen Straßendecker Schrift

23 Landbedeckung Gewässer Höhenlinien Gebäude Straßenkonturen Straßendecker Schrift Schummerung

24 Layer Woher kommen die Daten? In welchem SRS liegt Datenquelle vor? Welche Objekte sollen ausgewählt / dargestellt werden? Welcher Stil soll für die Darstellung verwendet werden? Layername Referenzierter Stil <Layer name="buildings" status="on" srs="&osm2pgsql_projection;"> <StyleName>buildings</StyleName> Datenquelle <Datasource> <Parameter name="type">postgis</parameter> <Parameter name="host"> </parameter> <Parameter name="dbname">hausumringe3</parameter> <Parameter name="user">postgres</parameter> <Parameter name="password">kennwort</parameter> <Parameter name="table">hu_brd</parameter> <Parameter name="extent"> , , , </parameter> </Datasource> </Layer> Extent der Kachel in der Projektion der DB

25 Mapnik Workshop, Peter Kunz, Bundesamt für Kartographie und Geodäsie PolygonSymbolizer LinePatternSymbolizer TextSymbolizer PointSymbolizer RasterSymbolizer ShieldSymbolizer PolygonPatternSymbolizer LineSymbolizer

26 Style Wie sollen die Objekte dargestellt werden? In welchen Zoomstufen / Maßstabsbereichen wird ein Objekt dargestellt? Einschränkung der Objektauswahl durch Filter Welcher Symbolizer wird für das Zeichnen verwendet? <Style name= Siedlung > <Rule> &maxscale_zoom11; &minscale_zoom12; <PolygonSymbolizer> <CssParameter name="fill">&farbe_haus12;</cssparameter> <CssParameter name="gamma">0.7</cssparameter> </PolygonSymbolizer> <LineSymbolizer> Darstellung nur in Zoomstufen 8 bis 12 Polygonfüllung Kontur des Polygons <CssParameter name="stroke">&farbe_haus12;</cssparameter> <CssParameter name="stroke-width">0.2</cssparameter> </LineSymbolizer> </Rule> </Style>

27 ShieldSymbolizer und PolygonPatternSymbolizer <Rule> <Filter>[highway] = 'BAB' and [length] = 3</Filter> &maxscale_zoom15; &minscale_zoom15; <ShieldSymbolizer fontset-name="bold-fonts" size="20" fill="&farbe_bab_nummer;" placement="line" file="&symbols;/bab_shield3.png" minimum-distance="120" spacing="800">[ref]</shieldsymbolizer> </Rule> Bild für ShieldSymbolizer <Rule> <Filter>[landuse] = 'hopfen'</filter> &maxscale_zoom8; &maxscale_zoom12; <PolygonPatternSymbolizer file="&symbols;/sk25_41510kl3.png" /> </Rule> Symbol für Füllung

28 Koordinatenreferenzsysteme Falls in Pythonskript keine Angabe gilt SRS des Mapfile <Map background-color="#b5d0d0" srs="+init=epsg:4326" minimumversion="2.0.0"> SRS des Mapfile kann in Pythonskript überschrieben werden m.srs = +proj=utm +zone=32 +ellps=wgs84 +datum=wgs84 +units=m +no_defs Jeder Layer muss auch mit den Angaben des SRS der Datenquelle ausgestattet werden <Layer name="roads-text-name" status="on" srs="&osm2pgsql_projection;"> <StyleName>roads-text-name</StyleName> <Datasource> <Parameter name="table">&prefix;_line</parameter> &datasource-settings; </Datasource> </Layer> 28

29 Entities (sg. Enitity) deutsch Einheiten, Gebilde, um wiederkehrende Informationseinheiten zu standardisieren Wiederholungen im Mapfile Datenquellen Verzeichnisse für die Symbole/Icons Farbdefinitionen Maßstabsbereiche Koordinatenreferenzsysteme Entities vergleichbar mit Variablen/Konstanten Mapfile kann in mehrere handliche Dokumente unterteilt werden. 29

30 Verweis auf eine Entität <!ENTITY % entities SYSTEM "inc/entities.xml.inc"> %entities; <!ENTITY % settings SYSTEM "settings.xml.inc"> %settings; <!ENTITY datasource-settings SYSTEM "datasource-settings.xml.inc"> &datasource-settings; <!ENTITY fontset-settings SYSTEM "fontset-settings.xml.inc"> &fontset-settings; <!ENTITY srs "+proj=merc +a= b= lat_ts=0.0 +lon_0=0.0 +x_0=0.0 +y_0=0 +k=1.0 +units=m +nadgrids=@null +no_defs +over"> &srs900913; <!ENTITY % layers SYSTEM "layers.xml.inc"> %layers; <!ENTITY % color-settings SYSTEM "farben.xml.inc"> %farben; 30

31 Anwendung von Entities z.b. Maßstabsbereiche und Farben <Style name="minor-roads-fill"> <Rule> <Filter>[highway] = 'motorway' and not [tunnel] = 'yes'</filter> &maxscale_zoom10; &minscale_zoom10; <LineSymbolizer stroke="&farbe_motorway_fuell;" stroke-width="9.5" strokelinejoin="round"/> </Rule> <Rule> <Filter>[highway] = 'primary' and not [tunnel] = 'yes'</filter> &maxscale_zoom10; &minscale_zoom10; <LineSymbolizer stroke="&farbe_primary_fuell;" stroke-width="4.18" strokelinejoin="round" stroke-linecap="round"/> </Rule> <Rule> <Filter>[highway] = 'secondary' and not [tunnel] = 'yes'</filter> &maxscale_zoom10; &minscale_zoom10; <LineSymbolizer stroke="&farbe_secondary_fuell" stroke-width="4.18" strokelinejoin="round" stroke-linecap="round"/> </Rule> 31

32 Anwendung von Entities z.b. Verzeichnisse, Datenquellen, SRS <Style name="points"> <Rule> &maxscale_zoom12; &minscale_zoom15; <Filter>[man_made]='schloss' or [man_made]='burg'</filter> <PointSymbolizer file="&symbols;/sk10_23800kl.png" allow_overlap="false" opacity="0.8"/> </Rule> <Rule> &maxscale_zoom16; <Filter>[man_made]='schloss' or [man_made]='burg'</filter> <PointSymbolizer file="&symbols;/sk10_23800.png" allow_overlap="false"/> </Rule> </Style> <Layer name="amenity-points" status="on" srs="&osm2pgsql_projection;"> <StyleName>points</StyleName> <Datasource> <Parameter name="table"> (select way,"natural man_made from &prefix;_point where man_made is not null or "natural" in ('hoehleneingang','nadelbaum','laubbaum','felsblock')) as points</parameter> &datasource-settings; </Datasource> </Layer> 32

33 datasource-settings.xml.inc Wichtigste, häufig verwendete Datenquelle <Parameter name="type">postgis</parameter> <Parameter name="password">xxxyyyzzz</parameter> <Parameter name="host"> </parameter> <Parameter name="port">5432</parameter> <Parameter name="user">username</parameter> <Parameter name="dbname">bdlm_osm</parameter> <Parameter name="multiple_geometries">true</parameter> <Parameter name="estimate_extent">false</parameter> <Parameter name="extent"> , , , </parameter> 33

34 layers.xml.inc <!ENTITY layer-shapefiles SYSTEM "layer-shapefiles.xml.inc"> <!ENTITY layer-landcover SYSTEM "layer-landcover.xml.inc"> <!ENTITY layer-water SYSTEM "layer-water.xml.inc"> <!ENTITY layer-water_features SYSTEM "layer-water_features.xml.inc"> <!ENTITY layer-buildings SYSTEM "layer-buildings.xml.inc"> <!ENTITY layer-ferry-routes SYSTEM "layer-ferry-routes.xml.inc"> <!ENTITY layer-aerialways SYSTEM "layer-aerialways.xml.inc"> <!ENTITY layer-placenames SYSTEM "layer-placenames.xml.inc"> <!ENTITY layer-amenity-stations SYSTEM "layer-amenity-stations.xml.inc"> <!ENTITY layer-amenity-symbols SYSTEM "layer-amenity-symbols.xml.inc"> <!ENTITY layer-amenity-points SYSTEM "layer-amenity-points.xml.inc"> <!ENTITY layer-power SYSTEM "layer-power.xml.inc"> <!ENTITY layer-admin SYSTEM "layer-admin.xml.inc"> 34

35 Mapnik: Ableitung von Topographischen Webkarten aus amtlichen Geobasisdaten

36 Höhenlinien und Schummerung mit GDAL - Geospatial Data Abstraction Library Informationen gdalinfo dgm10_geo.tif Umprojektion von geogr. nach UTM32 gdalwarp -t_srs "+proj=utm +zone=32 +datum=wgs84" -r cubic dgm10_geo.tif dgm10_utm32.tif Höhenlinien erzeugen gdal_contour -a hoehe dgm10_utm32.tif hl_utm32_10m.shp -i 20 Schummerung gdaldem hillshade dgm10_utm32.tif hillshade.tif -z 3 36

37 <Style name="hillshadestyle2"> <Rule> <RasterSymbolizer> Rasterlayer hier Schummerung Rastersymbolizer mit Parametern <CssParameter name="scaling">fast</cssparameter> <CssParameter name="opacity">0.8</cssparameter> <CssParameter name="mode">multiply</cssparameter> </RasterSymbolizer> </Rule> </Style> Referenzierter Stil <Layer name="schummerung" status="on"> <StyleName>hillshadestyle2</StyleName> <Datasource> <Parameter name="type">raster</parameter> Datenquelle <Parameter name="file">&rasterdaten;/schummerung.tif</parameter> <Parameter name="format">tiff</parameter> <Parameter name="lox">582192</parameter> <Parameter name="loy"> </parameter> <Parameter name="hix">598576</parameter> <Parameter name="hiy"> </parameter> </Datasource> </Layer> 37

38 Rasterlayer Verweis auf georeferenzierte Rasterdaten vom Typ GDAL <Style name="hillshadestyle"> <Rule> <RasterSymbolizer> <CssParameter name="scaling">fast</cssparameter> <CssParameter name="opacity">0.8</cssparameter> <CssParameter name="mode">multiply</cssparameter> </RasterSymbolizer> </Rule> </Style> <Layer name="gdal Layer from TIFF file"> <StyleName>schummerung2</StyleName> <Datasource> <Parameter name="type">gdal</parameter> <Parameter name="file">/home/user/gis/dgm10/hillshade.tif</parameter> </Datasource> </Layer> 38

39 Fehlende Beschriftung in benachbarten Kacheln Problem entsteht vermehrt beim Rendern kleiner Kacheln 256 x 256 Pixel Flens leswig Ham 39

40 Fehlende Beschriftung in benachbarten Kacheln Lösung 1: Berücksichtigung eines größeren Extents beim Rendern Hamburg 512 px buffer_size = 512 Pixel Größerer Extent je nach Zoomstufe 512 px * Auflösung in Meter/Pixel 40

41 2560 Pixel Fehlende Beschriftung in benachbarten Kacheln 2560 Pixel Lösung 2: Rendern von großen Kacheln 2560 x 2560 Pixel Nachträgliches Unterteilen in 100 kleine Kacheln 256 x 256 px Hamburg Ratze 41

42 Datenmengen Datenquelle PostGIS und DGM Basis-DLM DLM250 Höhenlinien Hausumringe (48,4 Mio.) Hauskoordinaten (ca. 22,3 Mio) DGM10 Kachelarchive Volltonvariante Schummerungsvariante Graustufen Halbton Summe 15 GB 1 GB 15 GB 12 GB 3 GB 20 GB 300 GB 500 GB 300 GB 300 GB 1,4 TB 42

43 BRD und Luxemburg Basis-DLM und OSM

44 Peter Kunz Derivation of a Multiscale Topographic Web Map Tile Service based on Federal Datasets 44

45 Links Mapnik Mapnik Mailing list Repositories auf Github OpenStreetMap-Wiki OpenStreetMap Subversion-Repository GDAL 45