Amt für Geoinformation, Lausanne AV-Importschnittstelle INTERLIS nach ArcSDE B. Hebel, J. Konnen & M. Boller: Spirgarten-Treffen, Zürich-Altstetten (CH) 26. März 2009 26.3.2009 Spirgarten-Treffen, Zürich-Altstätten (CH) 1 1
Inhalt Organisatorische Rahmenbedingungen Zielsetzung der Applikation Technisches Konzept Umsetzung und Ergebnisse Erkenntnisse und Schlussfolgerungen 26.3.2009 Spirgarten-Treffen, Zürich-Altstätten (CH) 2 1/1 Inhalt 2
Organisatorische Rahmenbedingungen: Gesetzliche Aufgaben prägen technologische Umsetzung Gemeinden / Nachführungsgeometer Aktivität Medium / Tool Aktivität Kanton Medium / Tool Mutationen erfassen Fehler korrigieren exportieren, liefern Geometer- System INTERLIS prüfen technisch, Fehler melden TG-Checker FTP-Server automatisiert konver- & importieren Import- Schnittstelle verifizieren inhaltlich, harmonisieren, Produkte herstellen ArcGIS Server Produkte vertreiben, Geodienste betreiben 26.3.2009 Spirgarten-Treffen, Zürich-Altstätten (CH) 3 1/1 Bedingungen 3
Zielsetzung: Automatisierte Import-Schnittstelle INTERLIS > ArcSDE Import von INTERLIS itf-dateien in ESRI ArcGIS Server (ArcSDE) Polling ab Importverzeichnis, automatischer Schnittstellenaufruf Min. 5 Operate pro Tag, tagsüber keine weissen Flecken Beibehaltung unsegmentierter Kreisbögen (gemäss Datenmodell) INTERLIS-exportierbare Struktur mit Kreisbögen-Überlappungen Produktestruktur mit Flächentopologie (ohne Überlappungen) 26.3.2009 Spirgarten-Treffen, Zürich-Altstätten (CH) 4 1/1 Zielsetzung 4
Technisches Konzept: Zeitlicher Ablauf ZIP eintreffende Daten FTP-Server Zeit tagsüber Produkt- Schema triggern ArcSDE itf INTERLIS- Schema entzippen Gemeinde löschen Gemeinde importieren lokales Verzeichnis itf GemeindeNummer ermitteln ab 2 00 nachts abschliessend: - Indizes neu rechnen - Tabellen analysieren Gemeinde löschen + importieren 26.3.2009 Spirgarten-Treffen, Zürich-Altstätten (CH) 5 1/3 Konzept INTERLIS-Schema (AV-Repository): Datenmodell analog INTERLIS-Dateien ( ilix ) Alle Informationen aus AV-Daten abbildbar (z.b. für Export) Produktschema: Weitestgehend denormalisiert Optimiert für die Visualisierung 5
Technisches Konzept: Von überlappenden Kreisbögen und Flächentopologie INTERLIS-Schema: - Linientopologie, Kreisbögen überlappend - Export nach itf gemäss ili möglich Produktschema: - Flächentopologie, frei von Überlappungen und Lücken - Arealstatistische Analysen möglich 26.3.2009 Spirgarten-Treffen, Zürich-Altstätten (CH) 6 2/3 Konzept 6
Technisches Konzept: Automatisierter Import-Prozess Sync'Serv FME & ili2fme batch FTP- Server Import.bat Python ArcSDE 26.3.2009 Spirgarten-Treffen, Zürich-Altstätten (CH) 7 2/3 Konzept Eingesetzte Software: 1. FME 2008 (build 5201+) Operats-ID ermitteln (Gemeinde-Nr.) Daten aus ArcSDE löschen Daten nach ArcSDE laden 2. ili2fme 4.7.3+ OSS Plugin für INTERLIS INTERLIS-Daten lesen und schreiben 3. Python 2.4 Log-Files aufbereiten Bei Problemen e-mails senden Neue Daten vom FTP-Server abholen, entzippen Analyze der Tabellen (Geoprocessing) ausführen ArcSDE-Indizes neu aufbauen (SDE commandline) 4. Batch-Skripts Koordination der verschiedenen Prozessschritte: - Operat-ID ermitteln - löschen - laden - etc. Fehlerbehandlung Logging (mtee.exe) 5. Sync Serv (Depth SA, Monthey): - Zeit- und/oder Ereignis-abhängiges triggern von Prozessen 7
Umsetzung und Ergebnisse: Entfernen von Kreisbogen-Überlappungen FMI-Skript: Z 1. Flächen aus Liniennetz erzeugen 2. Löcher suchen (Overlay Flächen & Zentroide) 3. Für jedes Loch: Nachbarobjekt mit längster gemeinsamer Grenze identifizieren 4. Dissolve des Nachbarobjekts mit Loch ausführen Flächentopologie ohne Überlappungen! Z Z 26.3.2009 Spirgarten-Treffen, Zürich-Altstätten (CH) 8 1/2 Ergebnisse FMI-Skript: Im ili2fme-plugin als Skript für Flächenbildung anzugeben 1. Flächen aus Liniennetz erzeugen Intersector (2x) AreaBuilder 2. Overlay der Flächen mit Zentroiden ausführen Flächen ohne Zentroid sind Löcher Für jedes Loch: Nachbarobjekt mit längster gemeinsamer Grenze suchen ID des Nachbars ermitteln und dessen ID auf Loch-Objekt übertragen 1. Dissolve des Nachbarobjekts mit Loch ausführen Group by ID Flächentopologie ohne Überlappungen! 8
Umsetzung und Ergebnisse: Erstellen von eindeutigen Objekt-IDs itf pro Gemeinde geliefert TABL Gemeinde OBJE 116000001 Frauenfeld 4566 Kantonsweit eindeutige Objekt-IDs GID 4566_110 4566_225 4566_434 4406_342 Vor dem Import: Alle Daten der Gemeinde in DB selektieren & löschen LIEGENSCHAFT_VON 4566_110 4566_225 4566_434 4406_293 26.3.2009 Spirgarten-Treffen, Zürich-Altstätten (CH) 9 2/2 Ergebnisse Itf-Daten pro Gemeinde geliefert eindeutige Operat-IDs (Gemeinde-Nr.) Kantonsweit eindeutige Objekt-IDs generieren Präfix der Operat-IDs in Schlüsselfeldern (PK und FK) CustomTransformer, VariableSetter/VariableRetriever, Concatenator Automatisch generierte FME Workbench Datei mit ca. 600 Transformern Vor dem Import: Alle Daten der Gemeinde in DB selektieren & löschen FME mit ArcSDEQuerier im delete-modus 9
Erkenntnisse und Schlussfolgerungen: Signifikante technologische Neuerung INTERLIS Linienattribute INTERLIS Mehrfach-Geometrien INTERLIS Kreisbögen (geometrisch korrekt) Botschaft an Hersteller Bleibende Herausforderung Kreisbogen & ArcGIS Topologie-Regeln Herausforderung Systemarchitektur & Performance Einschränkung aufgrund INTERLIS Löcher (z.b. Enklaven) im Geometrietyp AREA nicht möglich Probleme bei Harmonisierung zwischen Gemeinden / Kantonen 26.3.2009 Spirgarten-Treffen, Zürich-Altstätten (CH) 10 1/1 Schlussfolgerungen INTERLIS Linienattribute mit ili2fme: Besondere Attribute auf einzelnen Linien eines Polygons ili2fme-plugin erweitert: Linienattribute mit FME lesbar INTERLIS Mehrfach-Geometrien mit ili2fme: Mehrere Geometrien pro Tabelle definierbar ili2fme-plugin erweitert: Multigeometrien mit FME lesbar INTERLIS Kreisbögen mit ili2fme: Bis 2007 nur segmentierte Kreisbogen-Behandlung in FME möglich SAFE Rich Geometry: IFMEPaths aus Geraden und Kreisbögen Anpassung des ili2fme-plugin ermöglicht: echte Kreisbögen lesbar Bleibende Herausforderung Kreisbogen für jedes System FME und ArcSDE: Probleme mit Kreisbögen bei Topologie-Regeln Verbesserungspotential! Herausforderung Systemarchitektur ArcSDE 9.1 mit Oracle 10 i auf IBM AIX 5.2: Performance stösst an Grenzen bezüglich Vorgabe Offene Fragen zur Optimierung der Konfiguration, Einfluss von Netzwerk, Firewalls, etc. Einschränkung aufgrund INTERLIS Löcher (z.b. Enklaven) im Geometrietyp AREA nicht möglich Probleme bei Harmonisierung zwischen Gemeinden / Kantonen 10
Kontakt Kanton Thurgau Amt für Geoinformation: michael.boller@tg.ch +52 724 1613 bernd.hebel@tg.ch +52 724 1614 : jk@inser.ch +21 643 7711 Produkt: Basisplan 1:2 500 26.3.2009 Spirgarten-Treffen, Zürich-Altstätten (CH) 11 Weitere Mitarbeitende am Projekt: - Hr. Konnen und Hr. Miserez, INSER - Hr. Boller (Projektleiter), Kanton TG Dank an SAFE in Surrey, an con terra in Münster sowie an ESRI Schweiz und Deutschland für die stets tatkräftige Unterstützung! Dank Hr. Ehrminger (Kanton SG) für die FME-Skriptvorlage zur Eliminierung der Kreisbogen-Überlappungen! 11
ENDE Vielen Dank für Ihre Aufmerksamkeit! 26.3.2009 Spirgarten-Treffen, Zürich-Altstätten (CH) 12 12