Geografische Analysen auf hadoop-plattformen DOAG Konferenz 2015

Transkript

1 Geografische Analysen auf hadoop-plattformen DOAG Konferenz 2015 Hans Viehmann Product Manager EMEA ORACLE Corporation 17. November 2015 Copyright 2014, Oracle and/or its affiliates. All rights reserved.

2 Safe Harbor Statement The following is intended to outline our general product direction. It is intended for information purposes only, and may not be incorporated into any contract. It is not a commitment to deliver any material, code, or functionality, and should not be relied upon in making purchasing decisions. The development, release, and timing of any features or functionality described for Oracle s products remains at the sole discretion of Oracle. 2

3 Raumbezogene Daten in Big Data Umgebungen Jeder nutzt und teilt Standortdaten Wo ist... Wie komme ich nach... Finde den nächsten... Wann kommt der Bus? Ich habe eben ein Foto samt Standort auf Facebook gepostet. Heute bin ich auf der DOAG N , E N , E N , E N , E 10

4 Bedeutung raumbezogener Daten Wesentlicher Bestandteil jeder Anwendung Beispiele für Objekte mit Raumbezug Topographische Objekte (Straßen, Flüsse, Parks, etc.) Gegenstände (Pipelines, Kabel, Transformatoren, etc.) Kunden (Kundenstandorte, zugeordnete Vertriebsgebiete, etc.) Postalische Adressen (Kunden, Geschäfte, Fabriken, etc.) Explizit in Form von Koordinaten oder implizit als Text (Ortsbezeichnung),... Zwei mögliche Arten der Darstellung Vektordaten (in Form von Koordinaten) oder Rasterdaten (Satellitenbilder, etc.) Der Standort ist ein universeller Schlüssel, um Dinge zueinander in Beziehung zu setzen, die anderweitig keinen Bezug haben

5 Verknüpfung von Daten über den Standort Stehen diese Punkte in einer Beziehung zueinander? Tweet: Wir segeln an #goldengate vorbei! Instagram Bild: 골든게이트교 * SMS: Fahre auf US-101 North, bin gerade an der Grenze von Marin County und San Francisco County GPS Sensor: N W Betrachtet man alle Datenpunkte an der Golden Gate Bridge erkennt man... * Golden Gate Bridge (auf Koreanisch)

6 Hadoop als Big Data Plattform Beschreibung The Apache Hadoop software library is a framework that allows for the distributed processing of large data sets across clusters of computers using simple programming models. Hadoop is designed to scale up from single servers to thousands of machines, each offering local computation and storage. Rather than rely on hardware to deliver highavailability, the library itself is designed to detect and handle failures at the application layer, so delivering a highlyavailable service on top of a cluster of computers, each of which may be prone to failures. 7

7 Nutzen von Big Data Technologien Geringe Kosten durch Commodity Hardware Ausgezeichnete horizontale Skalierbarkeit Ermöglicht Speicherung von größerer Datenmenge, mehr Details, über längere Zeiträume bei vertretbarem finanziellen Aufwand Bietet kosteneffiziente Plattform zur Analyse riesiger Datenmengen Unterstützt Variabilität in den Daten mittels schema-on-read Arbeitet meist komplementär zu bestehenden Data Warehouse Technologien 8

8 Herkömmliche Datenbank oder Big Data Technologien Technische Entscheidungskriterien Straight Through Processing (STP) Tooling maturity Stringent Non-Functionals Ingestion rate ACID transactional requirement Hadoop Relational Cost effectively store low value data Security ETL simplicity Variety of data formats Data sparsity

9 MapReduce Paradigma vorwiegend Batch-orientiert INPUT 1 MAP MAP MAP REDUCE REDUCE MAP REDUCE MAP MAP MAP SHUFFLE /SORT REDUCE MAP REDUCE MAP MAP REDUCE MAP REDUCE INPUT 2 MAP MAP SHUFFLE /SORT REDUCE MAP SHUFFLE /SORT OUTPUT 10

10 Funktioniert das auch für raumbezogene Daten? Location Intelligence hat spezielle Anforderungen Standard MapReduce funktioniert für geometrische Operationen auf einzelnen Objekten z.b. Bestimmung des Schwerpunkts müsste aber auch umgehen mit Projektionen, komplexen Operationen wie Pufferberechnung,... Bestimmte Operationen profitieren sehr von räumlichen Indices z.b. spatial joins Geodaten liegen oft in speziellen Formaten vor (Shapefiles, GeoJSON,...) Implizite Standortdaten (in Textform) sollten ausgewertet werden können erfordert Anreicherung der Rohdaten Visualisierung ist für Auswertung von Quell- und Ergebnisdaten sehr hilfreich 11

11 Oracle Big Data Spatial and Graph Analyse von Geodaten: Anreicherung von Rohdaten Topologische Operatoren für räumliche Beziehung Prozessierung von Vektor- und Rasterdaten Kartendarstellung Property Graph Implementierung: Flexible, schemalose Speicherung und Verarbeitung Unterstützung großer Mengen verknüpfter Daten In-memory graph analytics

12 Oracle Big Data Spatial Features Geo-enrichment zur Datenharmonisierung Interpretation standortbezogener Information Bestimmung von hierarchischen Beziehungen Kategorisierung und Filterung Tracking, Nachbarschaftsbeziehung, geo-fencing und räumliche Zuordnung Parallelisierte Datenaufbereitung Skalierbare Prozessierung von Vektor- und Rasterdaten zur Bereinigung, Vorverarbeitung, Verdichtung von Sensordaten, Bilddaten oder anderen Rohdaten Kartendarstellung zur interaktiven Auswertung

13 Spatial Features Technischer Überblick Unterstützung von Geodaten in 2D und 3D, in verschiedenen Formaten, in geografischen Koordinatensystemen oder Projektionen Unterstützung georeferenzierter Bilddaten in unterschiedlichsten Formaten MapReduce Framework zur Auflösung von Standortbezeichnungen und Bestimmung von räumlichen Hierarchien auf Basis des GeoNames Referenzdatenbestands Spatial indexing zur schnellen Suche in großen Datenbeständen Bibliothek mit räumlichen Operatoren zur geometrischen Analyse (inside, within distance, anyinteract,...) Bibliothek mit Funktionen zur Rasterdatenbearbeitung (Mosaikbildung, Umprojektion, Formatumwandlung, raster analysis,...) Beispielanwendung in JEE zur Jobverarbeitung, Indexerstellung, Visualisierung, usw.

14 Framework zur Verarbeitung von Vektordaten Mapper und Reducer Klassen Eigene Anwendung Beispiel- Anwendung MapReduce Framework, Templates Räumliche Operatoren, Funktionen Java API Spatial Enrichment, Categorization API Customer data Generated data GeoJSON, JGeometry Format RecordReader Klasse GeoNames and Hierarchy data Oracle Provided Customer code Rohdaten (Vektordaten, Punktdaten, implizite Daten) - jedes Format HDFS Ergebnisse (angereicherte Daten, kategorisierte Daten, )

15 Demo 16

16 Beispiel Aggregation von Tweets je US-Bundesstaat Erzeugung des räumlichen Index auf Geodaten in HDFS

17 Beispiel Aggregation von Tweets je US-Bundesstaat Ausführung eines Map Reduce Jobs zur Kategorisierung und Bestimmung der räumlichen Hierarchie

18 Beispiel Aggregation von Tweets je US-Bundesstaat Ergebnisse in der Konsole Tweets im Mai je Bundesstaat

19 Verarbeitung von Rasterdaten Vektordaten Vektorkoordinaten , Rasterdaten , , , , , , , , , , , ,

20 Framework zur Verarbeitung von Rasterdaten Laden von georeferenzierten Rasterdaten in HDFS Blöcke Einzeln oder in Gruppen Aus verschiedensten Formaten mittels GDAL Zur parallelen Bearbeitung bei möglichst geringem Datentransfer zwischen Knoten Vorverarbeitung Umprojektion, Mosaikbildung,... Aufbau eines Datenkatalogs Ausführung von Bildverarbeitungsalgorithmen auf HDFS Raster Algebra, eigene Algorithmen Auf einzelnen Bildern oder Gruppen von Aufnahmen Aufteilung in überlappende Datenblöcke möglich Für Algorithmen, die benachbarte Pixel benötigen

21 Framework zur Verarbeitung von Rasterdaten Eigene Anwendung Beispielanwendung Raster MapReduce Framework Java API Eigene Algorithmen Customer data Subset Mosaic Raster Analysis API Generated data Oracle Provided Rasterdaten - Dateien auf NFS HDFS Customer code Datenkatalog Ergebnisse (Raster) GDAL Loader (GDAL formats) Rohdaten (Raster) 22

22 Beispiel: Aufbereitung von Rasterdaten Erzeugung von Auflösungs-Pyramiden Mosaikbildung Höhenlinien Schummerung

23 SOURCES The Big Picture Oracle Big Data Management System DATA RESERVOIR DATA WAREHOUSE Cloudera Hadoop Oracle Big Data SQL Oracle Event Processing Oracle NoSQL Oracle R Distribution Oracle Big Data Spatial and Graph Big Data Appliance Apache Flume Oracle GoldenGate Oracle Big Data Connectors Oracle Data Integrator Oracle Oracle Database Database In-Memory, Oracle Industry Multi-tenant Models Oracle Industry Models Oracle Advanced Analytics Oracle Advanced Oracle Spatial Analytics & Graph Oracle Spatial and Graph Oracle Data Integrator Exadata Oracle GoldenGate Oracle Event Processing

24 Lambda Architektur für Big Data Business Data Events and Streaming Analytic Tools Actionable Events Data Streams Social/Log Data Data Platform Actionable Insights Enterprise Data Other Data Sources Reservoir Factory Data Discovery Lab Warehouse Actionable Information Actionable Discoveries

25 Standortdaten aus Positions-Sensoren Fast Data Streaming Data und Event Processing Sensordaten liefern streaming data Kontinuierlich, zeitlich geordnet, ohne Abschluss Relationale Technologien nicht unbedingt optimal Typischer Einsatzfall für Event Processing / Event-Driven Architectures Event Processing Networks betrachten nicht einzelne Daten, sondern Veränderungen Bieten Filterung, Aggregation, Korrelation auf Datenströmen Leichtgewichtige Engines, auch zur verteilten Vorverarbeitung Reduzierung der Netzwerklast durch Vorverarbeitung and der Quelle (z.b. RFID Gate) 26

26 Input Adapter Output Adapter Oracle Stream Explorer High-level Architektur CEP Engine Sensors event event event Query event event event Backend Applications Query Real-time event data Context-aware filtering, correlation, aggregation and processing of data Processed business events for downstream applications 27

27 Modellierung von Event Processing Networks Inklusive räumlicher Auswertung SELECT vehicleid FROM in-channel [now] gps, ContextualServiceData route, WHERE route.geometry) = false 28

28 Zusammenfassung Big Data Plattformen wie hadoop bieten neue Ansätze zur Verarbeitung von Massendaten Auswertung riesiger Mengen strukturierter und unstrukturierter Daten Optional ergänzt um Komponenten zur Analyse von Ereignisdaten Integriert mit konventionellen Datenbanken, ETL Tools wie ODI, Oracle BI, usw. Oracle liefert Technologie zur Verarbeitung und Analyse von Geodaten Sowohl für Data Warehouse, als auch für Big Data Plattformen wie hadoop Mit Unterstützung für 2D, 3D, Vektor- und Rasterdaten, sowie Visualisierung Inklusive Anreicherung von Geodaten, etwa in Form von Ortsbezeichnungen Oracle Stream Explorer als Ergänzung für Lambda Architekturen 29

29 Anwendertreffen Spatial Summit 2016 Gemeinsame Anwenderkonferenz der IOUG Spatial SIG mit der IOUG Business Intelligence, Warehousing and Analytics SIG Redwood Shores, Oracle Headquarters, Januar 2016 Spatial Summit ist eigener Track Location Intelligence and Spatial Analytics Spatial Data Warehousing and Map Production Möglichkeit des Wechsels zwischen Tracks Inklusive Hands-on Workshops Separater Tag zum Austausch mit Entwicklung und PM Team 30

30 Weitere Informationen Allgemeine Informationen auf oracle.com Oracle Technology Network Big Data Spatial and Graph blog Oracle Spatial and Graph (!) Gruppe auf LinkedIn... oder zum ausprobieren: BigDataLite VM auf OTN download hier 31

31 32

32