BIW Wahlpflichtmodul. Einführung in Solr, Pipeline und REST. Philipp Schaer, TH Köln (University of Applied Sciences), Cologne, Germany

Größe: px

Ab Seite anzeigen:

Download "BIW Wahlpflichtmodul. Einführung in Solr, Pipeline und REST. Philipp Schaer, TH Köln (University of Applied Sciences), Cologne, Germany"

Viktoria Waldfogel
vor 6 Jahren
Abrufe

1 BIW Wahlpflichtmodul Einführung in Solr, Pipeline und REST Philipp Schaer, TH Köln (University of Applied Sciences), Cologne, Germany Version:

2 Überblick über gängige Lösungen 2

3 3 in a nutshell Solr ist eine Suchmaschine (keine Datenbank!), stellt einen Index zur Verfügung, arbeitet über HTTP und nach dem REST-Prinzip, hat ein grafisches Benutzungsinterface, beherrscht Relevance-Ranking (Vektorraum), beherrscht Boolesche Anfragen, hat ein flexibles Datenschema, ist Open-Source (Apache-Lizenz), uvm.

4 4 Die Hauptmerkmale von Solr Scalable Solr scales by distributing work to multiple servers in a cluster. Ready to deploy Solr is open source, is easy to install and configure, and pro- vides a preconfigured example to help you get started. Optimized for search Solr is fast and can execute complex queries in subsecond speed. Large volumes of documents Solr is designed to deal with indexes containing millions of documents. Text-centric Solr is optimized for searching natural-language text, like s, web pages, resumes, PDF, and social messages such as tweets or blogs. Results sorted by relevance Solr returns documents in ranked order based on how relevant each document is to the user s query. Solr in Action, Seite 4

5 5 Solr ist Text-zentriert Solr ist eine Suchmaschine, die sich auf Text fokussiert, d.h. Text-zentriert (kann gut mit unstrukturierten Texten umgehen, entgegengesetzt zu einer Datenbank, die eher auf strukturierte Daten setzt) Lese-zentriert (es wird mehr aus einer Suchmaschine heraus gelesen, als in sie hineingeschrieben) Dokumenten-zentriert (die indexierten Elemente sind flache Informationseinheiten, meist Dokumente kein Multimedia, keine Netzwerkdaten etc.) Flexibles Schema (die zu indexierenden Daten müssen nicht alle dem gleichen Format und der gleichen Struktur folgen Es dürfen auch unterschiedliche Verteilungen der Inhalte vorliegen)

6 6 Was Solr nicht leisten kann... Es gibt Dinge, für die Solr nicht gut geeignet ist, z.b. wenn mehr als die üblichen Dokumente als Ergebnis erwartet werden, z.b. 1 Million Ergebnisdokumente; wenn große Untermengen des Indexes analysiert werden sollen; wenn Beziehungen zwischen Dokumenten wichtig sind; wenn Zugriffsrechte und Security wichtig sind; Nochmal in aller Deutlichkeit: Solr ist keine Websuchmaschine wie Google oder Bing! Solr hat nichts mit Search Engine Optimization (SEO) zu tun!

7 7 Solr in Action, Seite 10

8 8

9 9 Wie funktioniert eine Suchmaschine?

10 10 Die Indexierungspipeline Dokument Friends, Romans, countrymen. Tokens Tokenizer Friends Romans Countrymen Linguistische Module (z.b. Spellchecker, Stemmer etc.) Modifizierte Tokens friend roman countryman Indexer friend Invertierter Index roman countryman

11 11 Solr in Action, Seite 12

12 12 Solr als Such-Server auf REST-Basis Solr ist Such-Server auf Basis von Lucene mit REST-like API Solr basiert auf der Lucene Search Library und erweitert diese! Solr arbeitet in Servlet Containern wie Apache Tomcat (oder Jetty) Indexing: Dokumente zum Index hinzufügen in Form von XML oder JSON über HTTP POST Suche: Anfrage / Query an Solr in Form von XML, JSON, CSV,... über HTTP GET

13 Seite 13 Solr in Action, Seite 120

14 Seite 14 Solr-Demo analog zum kommenden Laborpraktikum

15 Quellen der heutigen Vorlesung Kapitel 1 von Solr in Action (liegt im Moodle) Apache Solr Reference Guide Covering Apache Solr 6.2: 15

16 HTTP Basiswissen Hypertext Transfer Protocol (HTTP) Zentrales Übertragungsprotokoll im Internet Ressourcen werden über URI adressiert: Protokoll Host Ressource GET-Parameter

17 HTTP GET-Parameter Es gibt viele grundlegende HTTP Befehle: GET: Abruf einer Ressource (z.b. Wikipedia-Seite) POST: Absenden einer Ressource (z.b. Formular) DELETE: Löschen einer Ressource... GET können Parameter in der URL übergeben werden: /wiki/spezial:search?search=katzen&go=artikel Argument search go Wert Katzen Artikel

18 Besondere Regeln Beachte Einsatz von? und & im Parameter! Manche Zeichen müssen kodiert werden: Leerzeiche n? & # + oder %20 %3F %26 %23 Braucht man aber nicht händisch machen:

Ähnliche Dokumente

SODA. Die Datenbank als Document Store. Rainer Willems. Master Principal Sales Consultant Oracle Deutschland B.V. & Co. KG

SODA. Die Datenbank als Document Store. Rainer Willems. Master Principal Sales Consultant Oracle Deutschland B.V. & Co. KG SODA Die Datenbank als Document Store Rainer Willems Master Principal Sales Consultant Oracle Deutschland B.V. & Co. KG vs No Anforderungskonflikte Agile Entwicklung Häufige Schema-Änderungen Relationales