Google Search Appliance Feed Indizierung mit Mindbreeze InSpire

Transkript

1 Google Search Appliance Feed Indizierung mit Mindbreeze InSpire Konfiguration und Indizierung Version 2016 Fall Release Status: 23. September 2016

2 Copyright Mindbreeze GmbH, A-4020 Linz, Alle Rechte vorbehalten. Alle verwendeten Hard- und Softwarenamen sind Handelsnamen und/oder Marken der jeweiligen Hersteller. Diese Unterlagen sind streng vertraulich. Durch die Übermittlung und Präsentation dieser Unterlagen alleine werden keine Rechte an unserer Software, an unseren Dienstleistungen und Dienstleistungsresultaten oder sonstigen geschützten Rechten begründet. Die Weitergabe, Veröffentlichung oder Vervielfältigung ist nicht gestattet. Aus Gründen der einfacheren Lesbarkeit wird auf die geschlechtsspezifische Differenzierung, z.b. Benutzer/- innen, verzichtet. Entsprechende Begriffe gelten im Sinne der Gleichbehandlung grundsätzlich für beide Geschlechter. Google Search Appliance Feed Indizierung mit Mindbreeze InSpire 2

3 Inhalt 1 Google Search Appliance Feeds Basiskonfiguration des GSA Feed Adapter Services Collections, und Destination Mappings 5 2 Metadaten Extrahierung Metadaten und URL Feeds HTTP Headers Metadaten Extraktion aus dem Inhalt Robots-Meta-Tag 8 3 Konfiguration des Index Services 8 Google Search Appliance Feed Indizierung mit Mindbreeze InSpire 3

4 1 Google Search Appliance Feeds Der Mindbreeze InSpire GSA Feed Adapter ermöglicht Google Search Appliance Feeds mit Mindbreeze InSpire zu indizieren. Der Feed ist eine XML-Datei, die URLs enthält. Ein Feed kann außerdem auch den Inhalt der Dokumente, Metadaten und zusätzliche Informationen wie Datum der letzten Änderung enthalten. Die XML-Datei muss dem von gsafeed.dtd definierten Schema entsprechen. Diese Datei befindet sich auf der Google Search Appliance unter APPLIANCE - Host-Name>:7800/gsafeed.dtd. Von den GSA Feed Typen werden aktuell Web Feeds unterstützt ( feedtype header ist metadataand-url oder datasource header ist web ). ACL Informationen werden in der aktuellen Version nicht berücksichtigt. Verwenden Sie die Mindbreeze Inspire GSA Feed Adapter ausschließlich für öffentliche Daten. Die GSA Feed XML Dokumente sollten mit einem HTTP Post Request auf den GSA Feed Adapter Service Port geschickt werden. Wenn der Feed erfolgreich empfangen und bearbeitet wurde, sendet der Service den Text Success mit dem Status Basiskonfiguration des GSA Feed Adapter Services In der Mindbreeze Konfiguration öffnen Sie den Indices Tab. Fügen Sie einen neuen Service mit dem Symbol Add new Service hinzu. Setzen Sie den Display Name und wählen Sie den Service Type GSAFeedAdapter aus. Service Settings: GSA Feed Adapter Service Port: HTTP Port an den die Feed Dokumente geschickt werden können Following Patterns : Link Patterns, die nachverfolgt werden sollen Do Not Follow Patterns : Link Patterns, die nicht nachverfolgt werden sollen Document Dispatcher Thread Count: Anzahl der Threads die heruntergeladene Dokumente bearbeiten und an die Mindbreeze Indizes weiterschicken. Web Crawler Thread Count: Anzahl der Threads die URLs besuchen und um Dokumente herunterzuladen. Die Following bzw. Do Not Follow Patterns können mit der Syntax von Google URL Patterns definiert werden: patterns.html Google Search Appliance Feed Indizierung mit Mindbreeze InSpire 4

5 1.2 Collections, und Destination Mappings Im Abschnitt Collections der GSA Feed Adapter Service Konfiguration, ist es möglich URL Gruppen anhand von URL Patterns zu definieren. Ein Dokument kann zu mehreren Collections gehören, indiziert wird es aber nur einmal pro Category und Category Instance. Die Namen von allen Collections die ein Dokument enthalten werden in das Metadatum collections gespeichert. Damit URLs in den Collections indiziert werden können, muss mindestens ein Destination Mapping definiert werden. Klicken Sie dazu auf das Symbol Add Composite Property im Bereich Destination Mapping. Google Search Appliance Feed Indizierung mit Mindbreeze InSpire 5

6 Referenzieren Sie eine oder mehrere Collections im hinzugefügte Destination Mapping ( Collection Pattern ). Sie können dafür einen regulären Ausdruck angeben der auf die gewünschten Collection Namen passt. Weiterst müssen hier die für die Indizierung verwendeten Category und Category Instance Eigenschaften definiert werden. Für Web Inhalte ist zum Beispiel die Category Web. Die Category Instance kann frei gewählt werden. Zuletzt ist eine Index URL und eine Filter URL wohin die Daten geschickt werden sollen. 2 Metadaten Extrahierung Wenn Dokumente mit dem GSA Fassadendienst indiziert werden, ist es möglich benutzerdefinierte Metadaten für die Dokumente auf verschiedene Weise zu definieren : Metadaten definiert im Feed, Metadaten hinzugefügt vom HTTP-Header, Im Falle von HTML-Dokumenten, benutzerdefinierte Metadaten aus dem Inhalt. Robots Metatags 2.1 Metadaten und URL Feeds Die in den URL-Records definierten Metadaten werden automatisch extrahiert und indiziert. In diesem Beispiel werden die Metadaten meta-keywords, targetgroup und group indiziert. <record url=" action="add" mimetype="text/html" lock="true" crawl-immediately="true"> <metadata> <meta name="meta-keywords" content="newsletter, My Company"/> <meta name="targetgroup" content="fachkunde"/> <meta name="group" content="public"/> Google Search Appliance Feed Indizierung mit Mindbreeze InSpire 6

7 </record> </metadata> Die Metadaten der Records werden nur für die Record URL-s indiziert und nicht für die Unterseiten. 2.2 HTTP Headers Zusätzlich zu den Metadaten aus den http Records werden für alle URL-s die Metadaten aus dem X-gsa-external-metadata http Header extrahiert. Der Header enthält eine, durch Komma getrennte Liste von Werte. Alle Werte haben den Form meta-name=meta-value. Die meta-name und metavalue Elemente sind URL-kodiert ( Section 2). 2.3 Metadaten Extraktion aus dem Inhalt Für HTML Dokumente ist es möglich benutzerdefinierte Metadaten auch aus dem Inhalt zu extrahieren, analog zum Mindbreeze Web Connector. Wie beim Metadatum Mapping, ist es möglich für URL Collections auch Content Extractoren und Metadata Extractoren zu definieren. Ein Content Extractor hat ein Collection Pattern wo ein regulärer Ausdruck konfiguriert werden kann. Auf alle URL-s von allen passenden Collections werden die Regeln für Inhalt und Titel Extrahierung angewendet. Metadata Extraktoren können auch für die Collections definiert werden. Hier ist es möglich benutzerdefinierte Metadaten mit verschiedenen Formaten und Formatierungsoptionen zu extrahieren. Die Metadata Extraktoren verwenden XPath Ausdrücke für das Extrahieren von textuellen Inhalten. Diese können dann formatspezifisch bearbeitet, und zum Beispiel als Datum interpretiert werden. Google Search Appliance Feed Indizierung mit Mindbreeze InSpire 7

8 2.4 Robots-Meta-Tag Das Robots-Meta-Tag ermöglicht eine detaillierte, seitenspezifische Herangehensweise, um festzulegen, wie eine bestimmte Seite indiziert und den Nutzern in Suchergebnissen angezeigt werden soll. ( Das Robots Meta Tag ist im <head> Abschnitt der jeweilige Seite platziert: <!DOCTYPE html> <html> <head> <meta name="robots" content="noindex" /> ( ) </head> <body>( )</body> </html> Der Mindbreeze InSpire GSA Feed Adapter Service berücksichtigt den folgenden Robots-Meta-Tag Werte: noindex: Diese Seite nicht wird nicht indiziert. nofollow: Den Links auf dieser Seite wird nicht gefolgt. none: Entspricht noindex, nofollow. 3 Konfiguration des Index Services Klicken Sie auf den Reiter Indices und dann auf das Symbol Add new service, um ein Index zu erstellen (optional). Geben sie den Indexpfad ( Index Path ) ein. Falls nötig, passen Sie den Anzeigenamen ( Display Name ) vom Index Service, die Index Parameter und den zugehörigen Filter Service an. Zur Erstellung von Datenquellen für einen Index klicken Sie im Abschnitt Data Sources auf Add new custom source. Hier sollte für alle Kategorien die im GSA Feed Adapter Service für diesen Index zugeordnet sind eine Datenquelle konfiguriert werden (Siehe dazu Kapitel 1.2). Da die Datenquellen nur für die Suche verwendet werden, sollten die Crawler deaktiviert werden. Dazu aktivieren Sie den Advanced Settings Modus und aktivieren Sie die Option Disable Crawler für die konfigurierten Datenquellen: Google Search Appliance Feed Indizierung mit Mindbreeze InSpire 8

9 Google Search Appliance Feed Indizierung mit Mindbreeze InSpire 9