Search-Driven Applications. Florian Hopf, freiberuflicher Softwareentwickler Tobias Kraft, exensio GmbH

Transkript

1 Search-Driven Applications Florian Hopf, freiberuflicher Softwareentwickler Tobias Kraft, exensio GmbH

2 Agenda Motivation Aufbau der Such-Datenstruktur Anwendungsfälle Fallstricke

3 Was ist Suche?

4 Was wollen wir in diesem Vortrag zeigen Suche ist mehr als Volltextsuche Suche funktioniert im Kleinen wie im Großen Suche kann auch bei klassischen Anwendungsfällen unterstützen

5 Strukturierte vs. unstrukturierte Daten Strukturiert Datenbanken LDAP Spreadsheets (teilweise) Applikations- / API-Daten Unstrukturiert Web Seiten Text- und Office- Dokumente PDF-Dokumente Log-Files Quelle: Search-Based Applications: At the Confluence of Search and Database Technologies

6 Probleme klassischer Applikationen Daten-Silos Konsolidierung Daten Daten-Menge steigt immer weiter Skalierbarkeit Häufige Änderungen Flexibles Schema und Abfragen

7 Suchserver vs. Datenbank Eigenschaft Suchserver Datenbank Semantisches Modell Dokumenten-Modell Relationales Modell Speicherstruktur Index Tabelle Ablage der Daten Denormalisiert Normalisiert

8 Search-Driven Applications Suche ist Kernbestandteil Suchserver als zentraler Lesespeicher

9 Agenda Motivation Aufbau der Such-Datenstruktur Anwendungsfälle Fallstricke

10 Vom Inhalt zum Index Document Analyzing Struktur Aufbau

11 Input-Dokumente

12 Text-Analyzing Verarbeitung der Inputdokumente Preprocessing vor der Ablage Entfernen, modifizieren, hinzufügen von Termen

13 Beispiel Text-Analyzing Suchgetriebene Applikationen Source Suchgetriebene suchgetriebene suchgetrieb Applikationen applikationen applikation Standard Tokenizer Lowercase Filter German-Light- Stem-Filter

14 Der Indexaufbau Invertierter Index Inputfeld kann auf unterschiedliche Weise abgelegt werden Suchterm zu Dokument zuordnen

15 Die Indexstruktur suchgetrieb applikation enterpris Doc 1 Doc 1 Doc 2 Doc 2 Kraft Hopf Doc 1 Doc 2 Doc 1

16 Das Mapping

17 Modellierung des Index Dokumentenmodell Datenablage anhand geplanter Abfragen Duplizierte Datenablage

18 Near Realtime Inkrementell Indexieren Änderungen auch im Cluster schnell verfügbar Onlineabfragen für Facetting / Aggregationen

19 Agenda Motivation Aufbau der Such-Datenstruktur Anwendungsfälle Fallstricke

20 Suche ist zentraler Bestandteil der Applikation DB Anwendung Verwaltung Pflege CMS Dateisystem Abfragen Indexierungen Weitere Systeme Suchserver

21 Vereinheitlichung von verschiedenen Quellen News title message created Report title abstract published Document filename created Payload binary? Relationale DB Vereinheitlichung in einer Ansicht/Liste ist schwierig Suchengine Vereinheitlichung über Index Entsprechendes Mapping Index-Prozess

22 Listen für CRUD-Dialoge Geschäft Vertrieb

23 Listen für CRUD-Dialoge Geschäft Vertrieb Aussendienst

24 Facetten für den Drilldown von Events

25 7 SQL-Abfragen für den Aufbau der Facetten

26 Facette mit Elasticsearch

27 Personalisierung und Berechtigungen Verschachtelungen / Hierarchien

28 Anwendungsfälle für E-Commerce

29 Der Suchserver rückt in den Mittelpunkt DB Anwendung Abfragen Suchserver

30 Der Suchserver rückt in den Mittelpunkt DB Anwendung Abfragen Suchserver

31 Kategorien-Navigation Bücher /Bücher /select?q=*:*&facet=on&facet.field=category&rows=0 Bücher/Fachbücher /Bücher /Bücher/Fachbücher

32 Produktlisting /select?q=*:*&fq=category:/bücher/fachbücher/informatik &sort=instock desc, price asc

33 Umgang mit großen Datenmengen Sharding / Verteilung

34 Realtime Analysis am Beispiel Javaland

35 Agenda Motivation Aufbau der Such-Datenstruktur Anwendungsfälle Fallstricke

36 Komplexität der Architektur steigt Synchronisierung Systeme Fehlersuche Mehrere `Verursacher` Nachstellen Produktionsprobleme Entwicklungssetup

37 Daten Analyzing ist verlustbehaftet Update einzelner Felder schwierig Originalinhalt für Anpassungen weiter zugreifbar

38 Testbarkeit Testunterstützung ist vorhanden SolrtestCaseJ4 Elasticsearch Test Framework Relevanz ist subjektiv Analyzing-Prozess kann komplexer werden Rollback in Tests

39 Betrieb Security Separate Installation Verfügbarkeit Verteilte Logfiles Monitoring

40 Transaktionen

41 Fazit Was bringt die Umsetzung von Applikations-Logik mit Suchmaschinen? Abfragen sind teilweise einfacher Flexibler für Erweiterungen Performance-Vorteile Neue Anwendungsszenarien

42 Vielen Dank! Florian Tobias