Big Data Technologien - Einsatzmöglichkeiten für raumbezogene Daten IT Architekturen im Überblick

Transkript

1

2 Big Data Technologien - Einsatzmöglichkeiten für raumbezogene Daten IT Architekturen im Überblick Hans Viehmann Product Manager EMEA ORACLE Corporation 07. Mai 2015

3 Safe Harbor Statement The following is intended to outline our general product direction. It is intended for information purposes only, and may not be incorporated into any contract. It is not a commitment to deliver any material, code, or functionality, and should not be relied upon in making purchasing decisions. The development, release, and timing of any features or functionality described for Oracle s products remains at the sole discretion of Oracle. 3

4 Datenmengen wachsen weiter rasant... und raumbezogene Daten sind auch dafür verantwortlich, z.b. Positionsdaten Insbesondere aus Sensoren aller Art Georeferenzierte Rasterdaten Immer höhere Auflösung Immer mehr Plattformen 3D Daten Riesige Mengen LiDAR und 3D Image Matching Daten Implizite Geodaten Angaben in Textform, wie Adressen, Ortsbeschreibungen 4

5 Technologische Lösungsansätze Drei Möglichkeiten 1. Einsatz intelligenterer Software 2. Umstellung auf leistungsfähigere Hardware 3. Vollständig neue Architektur 5

6 Anwendungsbeispiel Geomarketing Vorbereitung von Massen-Mailing im Handel Zuordnung von ca. 1 Mio. Adressdatensätzen zur nächstgelegenen Filiale Bestimmung nach Fahrstrecke, nicht Luftlinie Filialstandort Wohnort Kunde 6

7 Anwendungsbeispiel Geomarketing Mögliche Lösungsansätze Berechnung der Fahrstrecke jedes Kunden zu jeder Filiale Aufwändige Berechnung, erfordert auch bei guter Parallelisierung viel Zeit Aufbau von Voronoi-Diagrammen zur Gruppierung von Kunden und Filialen Vorverarbeitung zeitintensiv Geschickte Ausnutzung von Netzwerk-Datenmodell in der Datenbank Bestimmung von Straßensegment aus Geocoding Berechnung aller Straßensegmente im Einzugsgebiet der jeweiligen Filiale Verknüpfung von Kunde und Filiale in einer einzigen SQL-Abfrage 7

8 Anwendungsbeispiel Geomarketing Voraussetzungen Straßennetz in der Datenbank In diesem Falle HERE Daten für die USA im Oracle Delivery Format (ODF) Verwendung des selben Straßennetzes für Geocoding und Routing Damit ID des Straßensegments und ID der zugehörigen Kante im Router übereinstimmt Ausnutzung von Parallelisierung beim Geocoding Bulk Geocoding mittels Parallel Pipelined Table Function Skalierbarkeitstest auf Oracle Exadata X4-2 Half Rack lieferte Geocodes in 3.32 Sekunden, funktioniert aber auch auf normaler Hardware 8

9 Exkurs: Routing auf Basis Network Data Model Abbildung des gesamten Straßennetzes in Knoten/Kanten-Modell in der Datenbank, mit oder ohne Geometrie Umfasst Konnektivität und optional auch Kosten (z.b. Fahrzeit) je Straßensegment Ermöglicht Analyse auf Basis des Netzwerks, z.b. Shortest Path, Nearest Neighbour Within Cost, Network Buffer (forward & reverse) Traveling Salesman Problem Umfassende Java-Schnittstelle A B C D G H I Nächster Punkt im gerichtetem Graphen E F 9

10 Anwendungsbeispiel Geomarketing Ergebnis Performante Analyse von Einzugsbereichen intelligente Ausnutzung vorhandener Funktionalitäten Gute Skalierbarkeit Höhere Performance durch mehr Prozessoren, falls nötig Basis für weitere Auswertungen Speicherung von Zwischenschritten zur Wiederverwendung Verfügbar als Workshop-Material samt OracleVM und HERE Daten Steht auf Oracle Technology Network zum Download bereit 10

11 Anwendungsbeispiel Kreditrisikobewertung (KKB) Turkish Credit Registry Kredi Kayıt Bürosu (KKB) KKB ist von Banken und Finanzdienstleistern gemeinsam getragene Organisation (ähnlich Schufa) Ziel ist Erbringung von Services für etwa 150 Anteilseigner übergreifende Erkennung von Kreditrisiken Trend- und Portfolioanalyse nach Standort Benchmarking der Institutionen gegeneinander Verwaltung von über 700 Mio. Konten 400 Mio. Anfragen pro Jahr, d.h. 1-2 Mio. pro Tag Von Risikoanalysten und Vertrieb 11

12 Anwendungsbeispiel Kreditrisikobewertung (KKB) Adressbereinigung und Geocodierung von 700 Mio. Datensätzen Kartendarstellung samt kleinräumiger Statistiken Zugänglich für alle beteiligten Institutionen Mehrstufiges Sicherheitskonzept Gemeinsamer Betrieb von OLTP und Warehouse 12

13 Anwendungsbeispiel Kreditrisikobewertung (KKB) Lösungsansatz Oracle Exadata Database Machine Engineered System zur Konsolidierung Gleichzeitiger Betrieb von Online Transaktionen, Data Warehouse und raumbezogener Analyse Ausnutzung von Hochgradiger Parallelisierung Komprimierung in der Datenbank Partitionierung der Daten 13

14 Exkurs: Engineered Systems Oracle Exadata Database Machine Optimierte Kombination aus Hard- und Software Teile der Datenbanklogik ausgelagert auf Storage CPUs Integrierte Datenkomprimierung Intelligentes Caching auf Basis Flash Memory Performantes 40 GBit Infiniband-Netzwerk innerhalb des Racks High-availability Architektur Erhältlich in vier Ausbaustufen, kombinierbar bis zu 8 Racks Je bis zu 192 Cores, 2 TB DRAM, 44 TB Flash, 672 TB Festplatte im Full Rack 14

15 Anwendungsbeispiel Kreditrisikobewertung (KKB) Ergebnis Deutliche Performancesteigerung gegenüber vorherigem System 25x schnellere Abfragen 100x schnellere Berichte Komprimierung der Daten um Faktor 5 sehr gute Skalierbarkeit (wichtig für weitere Stakeholder) Bei gleichzeitiger Kostenreduktion durch Engineered System Geringere Betriebskosten Reduzierte Hardware- und Lizenzkosten 15

16 Anwendungsbeispiel Social Media Anforderungen Social Media Plattform für GarminConnect Wearable erfasst Strecken (per GPS) und Zeiten der Sportler Aufbau einer Website zur Verwaltung und zum Austausch individueller Trainings- und Wettkampfdaten Kunden suchten Möglichkeit, sich mit anderen zu messen Gegenseitiger Vergleich entlang von definierten Wegstrecken Zeitmessung ergibt Tabellenplatz auf Leaderboard Bereinigung und Auswertung der GPS Datensätze Initiales Laden von bestehenden 300 Mio. Fitness-Aktivitäten 16

17 Anwendungsbeispiel Social Media Definition von Streckensegmenten Leaderboard 17

18 Anwendungsbeispiel Social Media Lösungsansatz Einsatz von Partitioning und Parallelisierung zur Verwaltung der Datenmenge Insbesondere wichtig für initiales Laden parallel zu Echtbetrieb Verwendung von Exadata (Half Rack) für Performance Einsatz von Oracle Spatial and Graph zum Abgleich und zur Bereinigung der Streckensegmente Erkennung von Ausreißern und unrealistischen Daten in GPS Datensätzen Ähnlichkeitsanalyse, Bestimmung von Start- und Zielpunkt, Streckenabweichungen Nutzung von Linear Referencing zur Bestimmung der Streckenzeit 18

19 Anwendungsbeispiel Social Media Ergebnisse Verarbeitung neuer Aktivitäten binnen Sekunden Wichtig für Kundenzufriedenheit Verarbeitung und Matching neuer Datensätze gegen >5 TB bestehender Wegstrecken Management von 40 TB Gesamtdatenbestand (Mai 2014) Bei monatlicher Wachstumsrate von 2 TB Basis für neue real-time Funktionalitäten der Garmin Endgeräte Möglichkeit der Nutzungsanalyse für den Hersteller 19

20 Technologische Lösungsansätze Drei Möglichkeiten 1. Einsatz intelligenterer Software 2. Umstellung auf leistungsfähigere Hardware 3. Vollständig neue Architektur 20

21 Alternative Architekturen Fast Data Streaming Data and Event Processing Immer größere Zahl von Sensoren liefert Datenströme Fortlaufend, zeitlich geordnet, ohne Abschluss Analyse in Echtzeit mit Datenbank-Technologie schwierig Idealer Einsatzfall für Event Processing Betrachtet überwiegend nicht Daten als solche, sondern Änderungen Erlaubt Filterung, Aggregation, Korrelation, usw., sowie räumliche Analysen Leichtgewichtige Engines, die auch verteilte Vorverarbeitung übernehmen können z.b. Verwendung am RFID Scanner 21

22 Input Adapter Output Adapter Exkurs: Event Processing High-level Architektur CEP Engine Sensoren event event event Query event event event Backend Anwendungen Query Real-time event data Context-aware filtering, correlation, aggregation and processing of data Processed business events for downstream applications 22

23 Exkurs: Event Processing Modellierung SELECT vehicleid FROM in-channel [now] gps, ContextualServiceData route, WHERE route.geometry) = false 23

24 Anwendungsbeispiel Telematik Sascar, Brasilien Vehicle tracking Verarbeitung in Echtzeit 1.5 Mio. CDRs/Stunde Über Fahrzeuge Projektziel: Unterstützung des Unternehmenswachstums Alte Plattform hatte Wachstumsgrenze erreicht, Hard- und Software skalierte nicht mehr 24

25 Alternative Architekturen Hadoop / MapReduce Hadoop: Java-basiertes Framework zur verteilten Verarbeitung auf großen (Commodity Hardware-)Clustern Programmierung von MapReduce Algorithmen, teilweise SQL-artige Frameworks zunehmend im Einsatz für Big Data Fragestellungen Ergänzt durch interaktive Werkzeuge zur Analyse (z.b. Oracle Big Data Discovery) üblicherweise genutzt zur Vorverarbeitung (z.b. für unstrukturierte Daten) Analyse vorverarbeiteter Daten erfolgt üblicherweise in konventioneller Datenbank-Technologie Nutzung vorhandener Tools, Expertise, Infrastruktur,... hoher Nutzen durch gute Integration 25

26 Datenquellen The Big Picture Oracle Big Data Management System DATA RESERVOIR DATA WAREHOUSE Cloudera Hadoop Oracle Big Data SQL Oracle Event Processing Oracle NoSQL Oracle R Distribution Oracle Big Data Spatial and Graph Big Data Appliance Apache Flume Oracle GoldenGate Oracle Big Data Connectors Oracle Data Integrator Oracle Oracle Database Database In-Memory, Oracle Industry Multi-tenant Models Oracle Industry Models Oracle Advanced Analytics Oracle Advanced Oracle Spatial Analytics & Graph Oracle Spatial & Graph Oracle Data Integrator Exadata Oracle GoldenGate Oracle Event Processing

27 Conventional database or Big Data technologies Typical technical decision criteria Straight Through Processing (STP) Tooling maturity Stringent Non-Functionals Ingestion rate Cost effectively store low value data ACID transactional requirement Security Hadoop Relational ETL simplicity Data sparsity Variety of data formats

28 Zusammenfassung 28

29 Zusammenfassung Verarbeitung großer Mengen raumbezogener Daten Ausschöpfung der Potenziale bestehender Software-Umgebungen intelligente Algorithmen, Parallelisierung, Partitionierung,... unter Verwendung vorhandener Erfahrungen und Fähigkeiten Optimierung der Hardware-Umgebung Prozessoren, Memory, Flash Cards, Infiniband,... ggf. Einsatz von Engineered Systems Integration zusätzlicher Architektur-Komponenten bei Bedarf Event-Processing Engines zur (räumlichen) Verarbeitung von Datenströmen MapReduce Technologien zur Vorverarbeitung 29

30 Weitere Informationen Allgemeine Materialien auf oracle.com Blog Entwicklerforum auf OTN LinkedIn Community Oracle Spatial and Graph Gruppe Google+ Community der IOUG SIG Oracle Spatial and Graph SIG 30

31 31

32