Umsetzung von BI-Lösungen mit Unterstützung einer Suchmaschine. TDWI Stuttgart Tobias Kraft, exensio GmbH

Transkript

1 Umsetzung von BI-Lösungen mit Unterstützung einer Suchmaschine TDWI Stuttgart Tobias Kraft, exensio GmbH

2 Suchmaschinen Elasticsearch BI-Stack mit Elasticsearch Use Cases Pharmabranche 2

3 Funktionen einer Suche Unstrukturierte Suche Did you mean Synonyme Autocomplete Blätterung Sortierung Strukturierte Suche Facettierung Highlighting 3

4 Für Suchmaschinen gibt es viele Einsatzszenarien Speicher Volltextsuche Cache Geo-Suche Analytics Logfile-Analyse 4

5 Speichern von Daten in einer Suchmaschine Document Analyzing Struktur Aufbau 5

6 Near Realtime Inkrementell Indexieren Änderungen auch im Cluster schnell verfügbar Onlineabfragen für Facetting / Aggregationen 6

7 Suchmaschinen Elasticsearch BI-Stack mit Elasticsearch Use Cases Pharmabranche 7

8 Elasticsearch im Überblick Suchmaschine unter Apache 2 Open Source License Erstes Release 2010 Firma hinter Elasticsearch: Basiert auf Java Basiert auf Lucene JSON-API Schemalos Plugins Runterladen und loslegen Im Trend 8

9 Große Datenmengen über Shards verwalten Node 1 otcdrug Replica: 0 1 Replica: 0 document

10 Große Datenmengen über Shards verwalten Replica: 1 Node 1 1 otcdrug Node 2 1 otcdrug Replica: 0 document 1 2 document 3 4 Neuer Knoten im Cluster 10

11 Große Datenmengen über Shards verwalten Node 1 otcdrug Node 2 otcdrug Node 3 otcdrug Replica: Replica: 1 document document document Neuer Knoten im Cluster 11

12 Aggregationen - Buckets und Metrics Buckets Terme Ranges Histogramme Geo-Distanz Metrics Anzahl Summe Min / Max / Average Varianz Perzentile 12

13 Aggregationen für Analysen 13

14 Aggregationen für Analysen 14

15 Suchmaschinen Elasticsearch BI-Stack mit Elasticsearch Use Cases Pharmabranche 15

16 BI mit Elasticsearch ETL Speicherung / Berechnungen Analyse Logstash Implementierungen für JDBC CSV Eigene Loader mit ES-Client (Bsp. SpringBoot) Eigene Visualisierung 16

17 ELK-Stack (Logstash, Elasticsearch, Kibana) ETL Speicherung / Berechnungen Analyse Shield für Security Logstash Implementierungen für JDBC CSV Eigene Loader mit ES-Client (Bsp. SpringBoot) Eigene Visualisierung 17

18 Datentransport mit Logstash Event Processing Engine Optimiert für Log-Dateien Pipeline-Prinzip Input (50+) Filter (60+) Output (75+) input filter output file grok{ } elasticsearch date{ } rename{ } 18

19 Visualisierungen mit Kibana Aktuelles Release: Kibana Browserbasierte Visualisierung von Daten Abfragen über JSON an ES Aufbereitung über Discover Visualize Dashboards 19

20 Eigene Analyse-Komponenten sind einfach zu erstellen Darstellung der JSON-Rückgabewerte von ES auf Basis von JavaScript 20

21 Eigene Analyse-Komponenten sind einfach zu erstellen Innensensor u. Erfassung Außen-Wetterstation Innensensor u. Erfassung Knoten 1 Innensensor u. Erfassung Knoten 2 Dashboard Abfrage und Datenhaltung Innensensor u. Erfassung Darstellung der JSON-Rückgabewerte von ES auf Basis von JavaScript 21

22 Suchmaschinen Elasticsearch BI-Stack mit Elasticsearch Use Cases Pharmabranche 22

23 Marktanalysen Pharmamarkt Starschema 23

24 Marktanalysen Pharmamarkt Suchmaschine 24

25 Marktanalysen Pharmamarkt Suchmaschine 25

26 DrillDown des SellIn von Firma, Business Unit und Linie 26

27 DrillDown des SellIn von Firma, Business Unit und Linie 27

28 DrillDown des SellIn von Firma, Business Unit und Linie 28

29 Donat-Diagramm für SellIn auf BU-und Linien-Ebene 29

30 Visualisierung von Aggregationen mit einer Tabelle 30

31 Competitive Intelligence als weiteres Einsatzszenario Beispiel Shop/Handel: Mapping bspw. über den Weinnamen, falls keine eindeutige ID wie EAN Code vorhanden ist 31

32 Fazit Aggregationen ersetzen Dimensionen im Star-Schema Near Realtime Leichtgewichtig Kostengünstige Alternative Einfach zu integrieren und erweitern Kombinierbar mit Vorteilen von Suchmaschinen Matching Unstrukturierte Daten 32

33 Fragen? Vielen Dank! Partner: