In-Memory Datenbanken im Kontext komplexer Analytics Pojekte am Beispiel der Otto Group BI

Transkript

1 In-Memory Datenbanken im Kontext komplexer Analytics Pojekte am Beispiel der Otto Group BI Hanau, Titel der Präsentation, Name, Abteilung, Ort, xx. Monat 2014

2 Der Aufbau der Group BI Plattform als umfassende Datengrundlage für NextGen BI-Zwecke verfolgt fünf zentrale Zielen Ziele der Group BI Datenplattform Umfassende Datengrundlage für NextGeneration BI Zukunftsfähige und kostengünstige BI-Plattform Entwicklung, Test und Verifikation von Algorithmen zur Optimierung des Geschäfts Automatisches Testen und Monitoring Speicherung von Clickstream-Daten sowie Backend-Daten Einfache Anbindung zusätzlicher ext. Datenquellen sowie nahtlose Auslieferung an Dienste Datengrundlage für die Entwicklung von Algorithmen zur operativen Steuerung des Geschäfts Transparenz über die Datenherkunft und Datenverantwortung (Metadaten Management) Niedrige Total-Cost-of-Ownership der Datenplattform Günstige Skalierbarkeit von Hard- und Software Modulare Architektur Geringe Administrationsaufwände Agile, schnelle & interaktive Entwicklung von Abfragen und Algorithmen Hohe Aktualität der Daten (near-realtime-fähigkeit) Flexibilität durch Sandboxes und Self-Service für Datenbereitstellungen Einfache Nutzung Automatisiertes Testen der implementierten Datentransformationen, Übereinstimmung mit Webtrends-Kennzahlen sowie der Tagging-Qualität Einfache Bereitstellung von anonymisierten und stark verfremdeten Testdaten Ausgefeiltes Monitoring zur Reduktion der Betriebskosten und zur schnellen Fehleranalyse IT Sicherheit und Datenschutz Übergreifendes Rechtekonzept für eingeschränkte Zugriffsrechte v.a. von Freelancern Eingeschränkte Möglichkeiten des Datenabzugs aus dem Cluster / auditierbare Dropbox Sicherstellung des Datenschutzes durch Prüfung an definierten Stellen 2 Group BI Architektur, Georg Niemeyer, Otto Group, Hanau, 25. Februar 2015

3 Clickstreams, Backenddaten & sonstiges Die Datenplattform ermöglicht neuartige Use-Cases auf Basis von Big, Fast und Smart Data gestützt von unterschiedlichen Speicher- und Integrationstechnologien Group BI Datenplattform Technologiekomponenten VEREINFACHT BI-Daten- und Entwicklungsplattform ssh, sftp, Flatfile, Datenintegration Datenvereinnahmung Raw Data Store & Analytics Plattform HDFS / Hadoop - Ecosystem Evolving Schema / Varietät von Datentypen Datenvorverarbeitung Analyse polystrukturierter Clickstreamdaten Analytische Datenbank Analyse auf Datenaggregaten/-sichten Stabile Schema Relationale Sicht als Basis von Analysen der Endanwender JSON, Avro, DB-Link Realtime-Processing (ASAP) & Model Management Framework Workflow & Koordination Workflow- und Abhängigkeitsmanagement Konfigurationsmanagement Monitoring Automatisches Testen Analytics/Entwicklung Entwicklung von stat. Modellen mit Python und R Entwicklung mit Java App-Server / Serving Layer Visual Analytics Reporting / Dashboarding D3, Java, OLAP FLASK 3 Group BI Architektur, Georg Niemeyer, Otto Group, Hanau, 25. Februar 2015

4 Die Datenarchitektur nutzt die Stärken und berücksichtigt die Schwächen von Hadoop und In-Memory-DB Datenarchitektur (Batch-Sicht) Hadoop Clickstream -daten Stage (Rohdaten) Langzeit Persistierung mit voller Historie Laden Processed Partitionieren & Komprimieren Data Hub Normieren Zusammenführe n/aggregieren Segmentieren Historisieren Denormalisieren Data Mart Temporäre und persistierte Marts Export Marts Security-driven Marts Dimensionierung Sichtbildung (UseCase-spez.) EXASolution (SpeedLayer) Produktdaten Dimensionen Fakten Sichten User Services Datenkatalog/- abhängigkeiten (Ad-Hoc) Datentransformationen 4 Group BI Architektur, Georg Niemeyer, Otto Group, Hanau, 25. Februar 2015

5 EXASOL The most powerful engine for your analytics 2015 EXASOL AG

6 The most powerful engine for your analytics 2015 EXASOL AG

7 We are the benchmark TPC-H is the industry standard benchmark for analytical databases #1 - dwarfing our followers Best-scalable solution Best price-performance ratio 100 GB 300 GB 1000 GB 3000 GB 10 TB 30 TB 100 TB EXASOL Competition EXASOL AG

8 Your Contact Thomas Scholz Head of Solution Engineering EXASOL Georg Niemeyer Leiter Data Management & Technology Otto Group Group BI 2015 EXASOL AG