Suchportale und Intranet- Suchmaschinen mit YaCy... und Beispiele von Anwendern

Transkript

1 SearchEngine Suchportale und Intranet- Suchmaschinen mit YaCy... und Beispiele von Anwendern, open-it summit, Messegelände Berlin

2 Abstract Search Appliances sind weit verbreitete Werkzeuge, um Suchportale für Intranets oder Unternehmens/ Institutsdaten zu realisieren. In diesem Vortrag wird gezeigt, dass kommerzielle Appliances durch die freie Suchmaschinensoftware YaCy ersetzt werden kann. Wir zeigen als live-demonstration: wie einfach es ist, ein Suchmaschinenportal selbst zu erstellen wie man einen Suchindex für das Web oder Intranet erstellt wie leicht es ist, ein Produktions- set-up zu machen um wiederkehrende Aufgaben zu kontrollieren. wie die Suchmaschine dann als Nachrichtendienst genutzt werden kann und mit automatischen Suchanfrage und RSS feeds Nachrichten aus den indexierten Daten erzeugt werden wie die Suchmaschine als SEO-Tool genutzt werden kann. YaCy wurde als Peer-to-Peer Suchmaschine für das Web konzipiert, aber im stand-alone Modus kann sie auch wie eine Appliance genutzt werden. Durch zahlreiche Projekte in diesem Umfeld hat die Software nun eine Funktionsmenge erreicht, die sie zum Kandidaten für den Ersatz von kommerziellen Appliances macht.

3 Anwendungen für eine Search Appliance Suche für Web-Portal geteiltes Wissen für verteilte Systeme Nachrichtendienste automatisches Suchen ohne Suchananfrage Intranet- und Filesuche Konsolidierung der Datenablage (ftp/smb-suche) SEO & Web- Admin Tools fremde Server durchstöbern und Strukturen analysieren Finden was andere nicht finden (können) z.b. öffentl. FTP Server, torrents, div. binaries, etc.

4 Anwendungen: Web-Portal Suche Suche für Web-Portal geteiltes Wissen für verteilte Systeme Suchmaschine Vernetzung von Wissen Create / Share Produktion Dokumente Projektsteuerung Versionskontrolle Discussion Bugtracker (micro)blogging

5 Anwendungen: Intranet- und Filesuche Intranet- und Filesuche Konsolidierung der Datenablage (ftp/smb-suche) Suchmaschine Vernetzung von Wissen Create / Share Produktion Dokumente Projektsteuerung Versionskontrolle Vorteile im Unternehmen: Information ist unabhängig vom Ablagesystem sichtbar Gemeinsame Navigation unterstützt Vernetzung Nutzer wählen das optimale System zur Ablage Discussion Bugtracker Vernetzung von Menschen (micro)blogging Technologische Vernetzung wie setze ich Technik ein um Wissen zu generieren? Soziotechnische Vernetzung wie gehen Menschen mit Technik um?

6 Anwendungen: Nachrichtendienste Nachrichtendienste automatisches Suchen ohne Suchananfrage Funktionsweise: Jede Suche kann ein RSS Nachrichtenstrom sein Suchergebnisse können nach Aktualität geordnet werden Suchergebnisse können automatisch weiterverarbeitet werden (RSS Reader, Alerts, u.s.w.) Vorteile im Unternehmen: Zeitnahe Reaktionsfähigkeit Alerts für Aktivitäten der Mitarbeiter (im Intranet) Alerts für Aktivitäten der Konkurrenz (im Einsatz in einer Websuche) Beispiel: Ausschreibungssuche

7 Anwendungen: Business Analytics, SEO, Web-Admin SEO & Web- Admin Tools fremde Server durchstöbern und Strukturen analysieren Funktionen: Die Datenstruktur fremder Server durchstöbern und Strukturen analysieren Tote Links aufdecken Visualisierung von Verlinkungsstrukturen Durchsuchbarkeit des eigenen Webauftritts testen

8 Anwendungen: zusätzliche nützliche Funktionen Finden was andere nicht finden (können) z.b. öffentl. FTP Server, torrents, div. binaries, etc. Suchergebnisdarstellung: mehr Suchinterfaces: nicht nur 'übliche' Websuche, sondern auch GSA-Interface, RSS-Nachrichten, File-Suche, Opensearch, JSON, XML, native Solr-Interface Facetten zu Hosts, Zeit, Dateitypen, Autoren, Protokoll Benutzergenerierte Suchfacetten über Vokabularien nicht ausschliesslich http(s), auch ftp + SMB-Shares Harvester, Datenaquise: Parser:,unübliche Formate (z.b. torrents), Anpassung an spezielle Unternehmensdaten möglich Skalierbarkeit durch Vernetzungsfähigkeit besseres Timing: Individueller Crawler-Scheduler Vielfältiges Harvesting: Crawler, Intranet-Scanner, sitelist, RSS feed import, OAI-PMH Import, mediawiki-dump u.s.w.

9 Wissen wie Suchmaschinen funktionieren search server I web interface crawler robots balancer queues network interfaces file http ftp smb oai-pmh doc parser xls html rss zip pdf eml search index schema facets ranking moderation document cache api opensearch gsa solr monitoring I/O requests Disk/RAM administration/ steering

10 YaCy Komponenten search server crawler search index api network interfaces parser document cache monitoring administration/ steering

11 YaCy subsumiert Solr Embedded Solr Solr ist die Indexing-Engine in YaCy administration crawler parser monitoring oder: externer Solr Solr kann per Solr-API extern eingebunden werden, Schemas lassen sich anpassen. Solr API in YaCy search interface der in YaCy integrierte Solr kann über die Standard Solr-API (http/xml) angesprochen werden

12 Solr mit YaCy als Framework YaCy ist ein Suchmaschinen-Framework für Solr - Solr Schema in YaCy basiert auf dem Solr Cell Schema - Support für remote Solr - Das YaCy Schema kann einem externen Solr Schema angepasst werden

13 YaCy Nutzer: Peer-to-Peer Netz,freeworld freie dezentrale Suchmaschine für alle freeworld: Suchmaschine, bestehend aus den Peers freiwilliger 1200 Peers im Monat, weltweit verteilt > 1 Milliarde Dokumente

14 YaCy Nutzer: Johannes Gutenberg Universität Mainz Gutenberg-Universität Mainz

15 YaCy Nutzer: Free Software Foundation Europe Free Software Foundation Europe

16 YaCy Nutzer: Karlsruhe Institut für Technologie Karlsruhe Institut für Technologie

17 YaCy Nutzer: Verwaltungssuchmaschine NRW Anpassungen an YaCy für die Migration der Verwaltungssuchmaschine NRW von einer GSA im Vollausbau nach YaCy: Implementierung des GSA Anfrageund Suchergebnisformates, entsprechend documentation/68/xml_reference Mandantenfähigkeit Crawler-Verbesserungen Synonym-Matching Host Browser / Crawling - Diagnose Verwaltungssuchmaschine NRW > 10 Millionen Dokumente

18 YaCy Nutzer: EnergieCity Leipzig Energie- und Umwelttechnik für nachhaltiges Bauen

19 YaCy Betrieb: automatische Prozesse, Verfügbarkeit yacy0: master node Linux Back-End Appliance Administration port 443 Portal Admin Search Interface Load Balancer using a Reverse Proxy with Failover Configuration port 8100 (or 80) Search Users Config + Crawls Search Requests Search Requests Search-API Search-API Admin port 8090 Index Backup Storage,hot dump,hot restore yacy1: replication node port 8091 Cron-Jobs during set-up: Set-Up-Replikation: full copy of master node to replication node Index Replikation: dump to Backup + Restore from Backup Supervisor: checkalive-ping + restart if peer is dead Software Update: automated download and alternating update No Downtime: Availability is ensured for all processes

20 Bitte sprechen Sie mich an! Messestand 139, Halle 7.1A SearchEngine Dipl. Inf. Produkte und Beratung: YaCy Search Appliance - Vorkonfiguration und Migration Betriebssupport - Inbetriebnahme, Support Software Entwicklung - Funktionserweiterungen, Suchportale Schulungen - Suchmaschinentechnik, Wissensmanagement, YaCy Operating QR-Code: vcard