VON OPEN DATA ÜBER BIG DATA ZU SMALL DATA

Transkript

1 VON OPEN DATA ÜBER BIG DATA ZU SMALL DATA Prof. Stefan Keller Geometa Lab am Institut für Software HSR Hochschule für Technik Rapperswil (CH) Feldkirch, 20. November 2014

2 Überblick Open Data Exkurs OpenStreetMap Crowdsourced Open Geo Data Big Data Small Data Fazit 2

3 Open Data 3

4 Open Data und Geodaten Nach Herkunft / Branche Open Governement Data (OGD) Von Berufsleuten; mit Steuergeldern bezahlt; bereits vorhanden Open Scientific Data Pangaea.de Open Business Data (basierend auf Shared Private Data)? Geodaten Open Geo Data OpenStreetMap: Crowd Sourced Open Geo Data 4

5 Was ist OpenStreetMap? 5

6 Was ist OpenStreetMap? Ein Projekt mit dem Ziel, freie geographische Daten zu sammeln und zur Verfügung zu stellen Die freie Wiki-Weltkarte Lizenz Daten ODbL, ansonsten CC-BY-SA (Share-alike, viral ) Aspekte: Karten und Webservices Geodaten Community (zum Abschluss) Software (siehe unten OSM und GIS-Welt und Technisches ) OSM ist der grösste und aktuellste freie Vektordatensatz der Welt! 6

7 OpenStreetMap-Karte (startseite 7

8 Weitere Karten aus OSM-Daten 8 Quelle: openwhatevermap.org

9 OpenStreetMap: Beispiel OpenEcoMap 9

10 Open Data-Beispiel: 3D OSM 10

11 Facts and Figures Geschichte 2005 in England gestartet 2012 Gründung SOSM der Millionste Nutzer Registrierte Nutzer (Stand ) Ca Nutzer Ca neue Nutzer pro Jahr Registrierte Nutzer weltweit ca. 1.6 Mio. Nutzer davon ~10% aktiv Daten (weltweit) ~330 GB Planet File (~19GB mit komprimiert mit PBF) Nodes (2 Mrd.) Ways (230 Mio.) Quelle: 11

12 Wem gehört OpenStreetMap? Wozu? Wem gehört OpenStreetMap? Daten gehören ihren Erhebern Server und Domains (openstreetmap.org, osm.org) gehören der OSM Foundation (osmfoundation.org) Hardware aus Spendengeldern finanziert (Community, Google, MapQuest) Serverbetrieb bei University of City London, UK Wozu OpenStreetMap? Karten zeichnen, nutzen, drucken Daten für Navigation, Geocodierung und GIS-Analysen Warum tun die/wir das? Volunteered Geographic Information: von Bürgern für Bürger Sammelleidenschaft, Altruismus Lokalpatriotismus, lokales Expertenwissen Freizeitbeschäftigung, die Spass macht 12

13 OpenStreetMap: Nutzen und Nachteile Nutzen Hobbyprojekte, Vereine usw. Gewerbliche Produktionen (Mobile Apps) Grosse, internationale Firmenanbieter: MapQuest, Bing Maps, Esri (Beispiel Esri/Jack Dangermond: ) (Grosse) Ämter: BKG Nachteile Abdeckung und Qualität unterschiedlich (Tiefe/Breite) keine Zusicherungen oder feste Prozeduren; Laien am Werk Präzision im Meter-Bereich freie Lizenz kaum Webservices (WFS) 13

14 OSM vs. Google Maps 14

15 OSM vs. Landeskarte/GeoAdmin 15

16 OSM vs. Landeskarte/GeoAdmin Bellevue, Zürich 16

17 Die Daten-Lizenz ODBL CC-BY-SA Creative Commons Namensnennung (Attribution) Unter gleichen Bedingungen (Share-Alike) gewerbliche Nutzung erlaubt Veränderungen erlaubt Weitergabe möglich (auch gegen Geld) unter Einhaltung der BY-SA ODbL Open Database License Vergleichbar mit CC-BY-SA aber Produced Works beliebig lizensierbar Dafür strengeres Share-Alike für Daten 17

18 OpenStreetMap: Qualität Fit-for-use (subjektive Qualität) Hintergrundkarten Detailreichtum / POIs Routing Geocodierung /Gebäudeadressen Objektive Qualitätskriterien Geometrische Genauigkeit: im Meterbereich, topologisch korrekt Topologische Konsistenz: gut Aktualität: hoch Vollständigkeit: bewohnte Gebiete gut, unbewohnte noch nicht so Homogenität: verbesserungswürdig => ( Studie OSMQualityCH (GeometaLab HSR)? 18

19 OSM und die GIS-Welt 19

20 OSM und GIS-Welt: Vergleich OSM hemdsärmelig für den Massenmarkt pragmatisch billig partizipative Kultur Open Source Key/Value-Datenmodell GIS-Welt professionell für Spezialisten sorgfältig teuer Hersteller und Konsumenten Closed Source, Patente Relationales Datenmodell Das Modell-Abbildung Problem! ( Schema Mapping ) Key/Value-Datenmodell => relationales Datenmodell 20

21 OSM und amtliche Geodaten 21

22 OSM und amtliche Geodaten: Vergleich OpenStreetMap pragmatisch Detail, wo es interessiert manchmal etwas uneinheitlich mehr Details u. POIs (u.a. Shops) grenzüberschreitend weltweit meist aktuell direkt verfügbar einfach zugänglich, kostenlos progressive, aktive Community amtliche Geodaten verbindlich Detail flächendeckend in sich einheitlich und konsistent sonst (noch) wenig vereinheitlicht Nach admin. Einheiten organisiert älter als > 6 Monate schwer zugänglich oft kostenpflichtig konservative Profis 22

23 OSM und amtliche Geodaten: Zusammenarbeit amtliche Stellen können amtliche Geodaten mit OSM vergleichen durch OSM ergänzen / ersetzen / gemeinsam mit OSM einsetzen OSM kann Daten von amtlichen Stellen als Luftbilder erhalten zur Verbesserung einsetzen, abgleichen ( zweites Augenpaar ) teilweise übernehmen - falls Lizenz der amtl. Geodaten es erlaubt (z.b. Gebäudeadressen, Gebäude) TIPP: Namensnennung lockern! Die Bürger werden in Zukunft immer häufiger an der Darstellung raumbezogener Informationen mitwirken. Mit «Crowdsourcing» beginnt eine neue Ära für den Kataster jene der Beteiligung der Öffentlichkeit an ihrer Arbeit. (Quelle: Diskussionspapier 2014/1 «Dimension Cadastre Grenzen überschreiten», swisstopo/v+d, , cadastre.ch) 23

24 Szenarien und praktische Beispiele 24

25 Wohnortfinder Zürioberland Studienarbeit Informatik Frühlingssemester 2014 Remo Liebi und Laurin Murer nd-wohnen.ch/ Beispiel einer Nutzung von OSM-Daten durch Verknüpfung mit anderen ( internen ) Datenbanken 25

26 BKG s TopPlus "TopPlus von der detaillierten Stadtkarte bis zur europaweiten Übersichtskarte", Artikel, KN 2/2014. "Um das Gebiet der Nachbarstaaten bis zu den höchsten Auflösungen darstellen zu können, werden OpenStreetMap-Daten verwendet. (...). Erst der Einsatz dieser Daten ermöglicht (aber) die Produktion von grenzübergreifenden Karten großer Maßstäbe. Damit wird erstmals bei einem BKG-Produkt der Versuch unternommen, amtliche Geodaten und freie Daten in einem Produkt zu integrieren. 26

27 Diskussion OpenStreetMap OpenStreetMap ist eine Karte? => v.a. eine Datenbank ist frei? => Share-alike, viral überträgt Tracks? => digitalisiert von Hand importiert Datenschenkungen? => selten; möchte nachhaltig wachsen ist ein GIS-Projekt? => bedingt Schema-Mapping kennt Punkte, Linien und Flächen? => Nodes, Ways/Arrays ist Konkurrent von Google Maps? => Teilweise ja (Kacheln, Routing, Geocoding); konkurrenzlos in Bezug auf freie Vektordaten Eine Bedrohung für GIS-Leute und Kartographen? einfache Geodaten werden billiger, langfristig kostenlos Lizenz- Geschäftsmodelle werden schwieriger Aber: 25 Jahre nach Erfindung von DTP sind Typographie und Schriftsatz lebendig wie eh und je 27

28 OpenStreetMap: Trends und Möglichkeiten Trends / Aktivitäten Interesse von Behörden steigt, wobei noch viel Aufklärung zu tun ist Datenaufbereitung Analyse Projekt dat (Trend) Webservice zur Abonnierung/Synchronisierung Mit Syncronisierung und integriertem Konversions-Service Möglichkeiten, mehr über OSM zu erfahren Gespräch mit Freiwilligen der Swiss OpenStreetMap Association (SOSM) OSM-Stammtisch in Zürich: jeden 11. im Monat 18:30, ETHZ Tageskurse an der HSR: Siehe 28

29 Big Data 29

30 Big Data Definition Sammeln und Auswerten sehr grosser, heterogener und schnell ändernder Datenmengen wofür die Rechenkapazitäten und Verfahren vor wenigen Jahren noch nicht ausreichten Basistechnologien Datenwarenhäuser (Datenbanken, Laden heterogener Daten mit ETL) Datenanalyse (Machine Learning, Statistik) Was ist neu Grundgesamtheiten statt Stichproben Z.T. in Echtzeit 30

31 Big Data ff. Hype (2001 Gartner) bzw. Technologie-Treiber (neben Cloud Computing und Crowdsourcing) Begriff wandelte sich von Daten zu Analyse Ist in Konsolidierungsphase (Gartner s Hype Cycle) Gefahren: Persönlichkeitsrechte Beispiele Industrie: Socia Media, Bewegungspofile Sensoren, Messsdaten Forschung: Biologie, Astronomie Politik / Behörden: Wahlprognose, Bürger-Feedback 31

32 Die 3 Vs von Big Data Gartner

33 Bild-Daten: Crowd Sourced Fotos (OSM) 33

34 Bild-Daten: Show me the Way (OSM, Live) 34

35 Log-Daten: Tile View Statistics (OSM, MapBox) 35

36 Messdaten: 3D LiDAR (terrestrisch) (Abkürzung für engl. Light detection and ranging) Crowdsourced / Shared Fotos Beispiel rechts: Amateur-3D- Modell erstellt mit 123D Catch App und Cloud Services (Autodesk, kostenlos) 36 3D aus simplen Kamerabildern

37 Small Data Kritik an Big Data Grundgesamtheit verbessert typische Datenanalyse-Problem wie Overfitting oder Bias nicht Nur Spezialisten vorbehalten Small Data (2013) Definition: Daten, die auf einem Laptop Platz haben Anwendungen Nützliche Apps Datenjournalismus 2014: Jahr von Small Data OKFN (2015: Jahr der Karte / ICA) 37

38 Verkehrshindernis-Datenbank Schweiz 38

39 Tourpl / On-a-Tour 39

40 Fazit Open Data Open Access! Webservices OpenStreetMap: relevant für Behörden, Unternehmen und Hochschulen Big Data Don t panic! Was ist der Anwendungsfall? Small Data Informatik und Daten sind wirklich das Öl der Innovation Was ist das Kerngeschäft? Spezialisten beiziehen 40

41 Events 2015 / Swiss Postgres Conference, 25./26. Juni 2015, HSR Hochschule für Technik Rapperswil, AGIT 2015 / GI_Forum, Juli 2015, Uni Salzburg, FOSS4G-Europe 2015, Juli 2015, Como Politecnico di Milano in Como, Italy. GEOSummit 2016, im Juni 2016, Bernexpo, Bern UNIGIS-Tag Schweiz, 18. September 2015, HSR Rapperswil. Geowebforum, GIS-News aus der Schweiz, wöchentlicher Newsletter per E- Mail, 41

42 KONTAKT Prof. Stefan Keller Geometa Lab am IFS der HSR

43 Quellen OpenStreetMap Folien: "OpenStreetMap Die freie WikiWeltkarte. Übersicht Chancen Grenzen", Frederik Ramm, Geofabrik, DGfK Stuttgart, Buch "OpenStreetMap Die freie Weltkarte nutzen und mitgestalten" von Frederik Ramm, Jochen Topf, 3. Auflage 2010, Lehmanns Media, 384 S. 29,95 GIS-Wiki der HSR: Big Data von Stefan Keller im HSR Magazin 2/2014 Small Data OKFN 43