Einführung in. Apache Solr PRAXISEINSTIEG IN DIE INNOVATIVE SUCHTECHNOLOGIE. Markus Klose & Daniel Wrigley

Größe: px

Ab Seite anzeigen:

Download "Einführung in. Apache Solr PRAXISEINSTIEG IN DIE INNOVATIVE SUCHTECHNOLOGIE. Markus Klose & Daniel Wrigley"

Luisa Frank
vor 6 Jahren
Abrufe

1 Einführung in Apache Solr PRAXISEINSTIEG IN DIE INNOVATIVE SUCHTECHNOLOGIE Markus Klose & Daniel Wrigley

2 Ebenso geht unser Dank an Freunde und Familie, die sich ohne Bezug zur Thematik sehr interessiert zeigten, was sich zusätzlich motivierend auf das Verfassen der Seiten ausgewirkt hat. Als ich, Daniel, mit dem Schreiben dieses Buchs begann, habe ich noch in einer WG gewohnt. Damals habe ich für mich folgende Regel entdeckt: Je mehr Personen unter einem Dach wohnen, desto mehr kann die Arbeit darunter leiden. Andererseits gilt genauso: Je mehr Personen unter einem Dach wohnen, desto mehr Hilfe wird einem angeboten. Daher geht mein persönliches Dankeschön noch an meine beiden Ex-Mitbewohner Jan und Kusi! XVI Einleitung

3 KAPITEL 1 Schnelleinstieg in Solr In diesem Kapitel erhalten Sie zunächst einen Einblick in das Zusammenspiel von Apache Solr und Apache Lucene, dem Kern von Solr. Hier finden Sie zudem einen kurzen historischen Rückblick zur Entstehung der Software und einen Überblick über die Solr-Features und -Einsatzmöglichkeiten. Aber Sie werden auch schon erste Erfahrungen mit Apache Solr machen können: Nach Installation und dem Starten der Software erstellen Sie einen Index und werden dann bereits einfache Suchen absetzen. Was ist Solr? Solr ist ein Open Source-Suchserver aus dem Hause Apache. Die Apache Software Foundation ist so etwas wie ein Dachverband vieler Projekte. Hinter ihr stehen Sponsoren wie Microsoft, Google oder Yahoo!. Open Source bedeutet im Prinzip, dass jeder die Software samt ihrer Quelldateien herunterladen und nach Belieben einsetzen kann, ohne dafür zahlen zu müssen. Die Lizenzbedingungen sind natürlich etwas ausführlicher, als in diesem Halbsatz beschrieben, aber es trifft den Nagel auf den Kopf. Und Sie haben sich sicherlich nicht dieses Buch gekauft, um eine Abschrift der Lizenzbedingungen zu erhalten. Solr ist ein Framework, das um Apache Lucene gebaut wurde (Lucene selbst wird im folgenden Abschnitt etwas näher beschrieben). Dieses Framework erlaubt es, schnelle, skalierbare, innovative Suchlösungen zu erstellen, die es leicht mit kommerziellen Produkten aufnehmen können. Es sind bereits viele zeitgemäße Features enthalten, die ohne viel Aufwand einsetzbar sind. Diese Features sind z. B. Highlighting, die»meinten Sie «- Funktion, Facettierung und die Gruppierung von Ergebnissen. Zudem lässt es sich an eine Vielzahl unterschiedlicher Datenquellen, die Sie letztendlich durchsuchen wollen, anbinden. Das heißt, es bietet sich Ihnen mit dieser Technologie die Möglichkeit, mit einer Anwendung viele Quellen gleichzeitig durchsuchen zu können. Es werden auch Schnittstellen geboten, die eine Integration in komplexe Anwendungen einfach ermöglichen. 1

4 Was ist Lucene? Apache Lucene ist wie Solr ein Top-Level-Projekt der Apache Software Foundation. Es bildet das Herzstück von Solr, denn es ist eine Einheit, die für die Indexierung, also das Einlesen, Verarbeiten und Speichern von Daten, zuständig ist. Diese Daten müssen nicht unbedingt strukturiert sein, wie es bei relationalen Datenbanken beispielsweise der Fall ist. Es ist ebenso möglich, unstrukturierten Inhalt, z. B. aus PDF-Dateien, zu indexieren. Die Daten werden so abgelegt, dass eine schnelle Suche möglich ist. Lucene selbst hat also bereits einige wichtige Features, die für Solr extrem wichtig sind. Was Lucene fehlt, sind Möglichkeiten zur Administration und Replikation sowie weiterführende Features, die jedoch in Solr enthalten sind. Beide Technologien sind perfekt miteinander verschmolzen und bilden eine starke Einheit. Was kann Solr? Sie haben nun einen groben Überblick darüber, wie Solr und Lucene miteinander arbeiten. Noch interessanter ist jedoch die Frage, was Solr alles leisten kann. Der folgende Abschnitt soll die Features von Solr sowie die Open Source-Community, die sich um dieses Projekt gebildet hat, kurz beleuchten, dazu wird die eine oder andere Einsatzmöglichkeit, die sich Ihnen mit diesem Produkt bietet, betrachtet. Features Solr bietet Ihnen eine ganze Reihe nützlicher Features an, die Sie nicht mehr selbst implementieren müssen, sondern höchstens konfigurieren und dann sofort einsetzen können. Der nächste Abschnitt greift einige davon heraus und gibt Ihnen gleich den Hinweis, an welcher Stelle des Buchs Sie mehr darüber erfahren können. Skalierbarkeit Solr hat die Fähigkeit, (nahezu) linear zu skalieren. Das bedeutet: Wenn Ihre Installation an Grenzen stoßen sollte, können Sie diese Grenzen einfach erweitern. Diesem Thema haben wir ein eigenes Kapitel gewidmet (siehe Kapitel 6). Dazu stehen Ihnen mehrere Möglichkeiten zur Verfügung: Wenn Ihr Index, also die Datenmenge, die Sie durchsuchen können, zu groß wird bzw. Ihr Festplattenplatz zu klein, können Sie Sharding verwenden. Wenn Sie mehr Suchanfragen pro Sekunde verarbeiten müssen, setzen Sie eine Master/Slave-Architektur auf mit mehreren Slaves, die Ihre Suchanfragen bearbeiten. Seit Solr 4.0 haben Sie die Möglichkeit, Solr in einem neuen Modus zu betreiben, der SolrCloud. Dadurch sind Sie administrativ sehr flexibel und können auf jede Gegebenheit gut reagieren, ohne Ihre komplette Architektur neu aufsetzen zu müssen. Abschnitt»SolrCloud«auf Seite 234 gibt Ihnen einen tiefen Einblick in diese Thematik. 2 Kapitel 1: Schnelleinstieg in Solr

5 Spellchecking Nichts frustriert mehr als eine Suche, die zu keinen Ergebnissen führt, weil man sich vertippt hat. Mit Solr lassen sich»meinten Sie «-Funktionen unproblematisch und mit sehr wenig Aufwand realisieren. So machen Sie Ihren Benutzern Vorschläge, sollten diese sich vertippt haben. Das Beste dabei: Die Vorschläge können direkt aus dem Index kommen. Dadurch geben Sie Ihren Benutzern eine»treffergarantie«bei der Suche nach diesem Vorschlag. Das erhöht die Benutzerfreundlichkeit und Fehlertoleranz Ihrer Anwendung. Abbildung 1-1 zeigt einen Vorschlag von Amazon für die fehlerhafte Eingabe grend thaft auto. Abbildung 1-1:»Meinten Sie «-Funktion von Amazon Highlighting Warum ist dieses Dokument in der Trefferliste aufgeführt? Fragen dieser Art können immer wieder auftreten, wenn nicht auf den ersten Blick ersichtlich ist, warum dieses Dokument bei den eingegebenen Suchbegriffen in der Trefferliste erscheint. Das Aufkommen solcher Fragen können Sie minimieren, indem Sie durch optische Hervorhebungen der gefundenen Suchterme deutlich machen, warum dieses Dokument in die Trefferliste gehört. Abbildung 1-2 zeigt die Google-Highlighting-Funktion. Für die Suche nach apache solr wurden diese beiden Begriffe auch in der URL und im Titel optisch fett hervorgehoben. Abbildung 1-2: Highlighting-Funktion von Google Faceting Faceting ermöglicht eine Gruppierung der Ergebnisse anhand der Inhalte der einzelnen Dokumente. So können Sie dem Benutzer ein Navigationselement anbieten, das ihn die Ergebnismenge schnell und komfortabel einschränken lässt. In Abbildung 1-3 sehen Sie drei der Facetten, die dem Nutzer auf einer Ressource für die Lucene/Solr-Entwicklung, zur Verfügung gestellt werden. AutoSuggest Eine AutoSuggest-Funktion gehört mittlerweile auch schon zum Standardrepertoire einer zeitgemäßen Suchapplikation. Mit ihr lassen sich Suchvorschläge beim Eintip- Was kann Solr? 3

Abbildung 1-3: Facetten als Navigationselemente in der Suche von www.searchhub.org pen des Benutzers machen, sodass dieser sich weniger vertippt und schneller zum Ziel kommen kann.

6 Abbildung 1-3: Facetten als Navigationselemente in der Suche von pen des Benutzers machen, sodass dieser sich weniger vertippt und schneller zum Ziel kommen kann. In Abbildung 1-4 sehen Sie eine AutoSuggest-Funktion. Sie ist von Zappos.com, die Solr als Suchmaschine einsetzen. Near Real Time Search Sie haben Inhalte, die sofort nach der Indexierung verfügbar, also durchsuchbar sein sollen? Kein Problem mit Solr! Durch spezielle Techniken ist es möglich, dass Ihre Nutzer den neuen Inhalt sofort auffinden können. Administrationsoberfläche Solr kommt mit einer fertigen Administrationsoberfläche, über die Sie nicht nur einfache, sondern auch komplexere, z. B. die Architektur betreffende Entscheidungen treffen können, ohne eine Zeile Code zu schreiben. Mehrere Client-APIs Solr und Lucene sind komplett in Java geschrieben. Es gibt Client-APIs in mehreren Sprachen, die Sie verwenden können, um Solr in Ihre Anwendung zu integrieren. Und das sind keine exotischen, sondern weitverbreitete: Java, PHP, Ruby sind nur einige davon. 4 Kapitel 1: Schnelleinstieg in Solr

Ähnliche Dokumente

Apache Lucene. Mach s wie Google! Bernd Fondermann freier Software Architekt bernd.fondermann@brainlounge.de berndf@apache.org

Apache Lucene. Mach s wie Google! Bernd Fondermann freier Software Architekt bernd.fondermann@brainlounge.de berndf@apache.org Apache Lucene Mach s wie Google! Bernd Fondermann freier Software Architekt bernd.fondermann@brainlounge.de berndf@apache.org 1 Apache Apache Software Foundation Software free of charge Apache Software