Eine persönliche Suchmaschine

Transkript

1 nr-jahreskonferenz 2013 #nr13 #yacy SearchEngine Eine persönliche Suchmaschine Eigene und fremde Datenbestände durchsuchbar machen mit Netzwerkrecherche Jahreskonferenz NDR Fernsehen, Hamburg

2 Plan Vortragsablauf Wie funktionieren Suchmaschinen eigentlich? Was bedeutet das? Kann ich sowas selber machen? Ist das dann besser? Datenakquise mal ganz anders (Piratebox und noch mehr Spass) Live-Demo mit Nachmachenfunktioniert-Garantie!

3 Plan Details zur Demo 1. Persönlicher Nachrichtendienst 2. Dinge finden, die andere Suchmaschinen nicht finden (wollen/können) 3. Fremde Webserver durchstöbern 4. Fremde Dateisysteme durchstöbern! 5. Verlinkungsstrukturen visualisieren 6. Plagiate entdecken!

4 Wissen wie Suchmaschinenportale funktionieren Webseiten RSS Feeds, etc. Suchserver Werbung User Data Suchlog, Stammdaten etc. Verschlagwortung Admin Suchseite Kontrolle Websuche Bilder/Medien Navigation Ranking User Alerts (nach Anmeldung) Account History

5 Realität selbstgemachte Suchmaschine Webseiten RSS Feeds, etc. Suchserver zensierte Daten andere Suchserver andere Protokolle (z.b. FTP) oder andere Dateitypen (z.b. torrent) eigene Daten Verschlagwortung Verschlagwortung Suchseite Websuche Bilder/Medien Navigation Ranking Anonymität User Admin Alerts (persönlicher geheimer Nachrichtendienst) File Browser Downloader Zitierungen Analysen

6 Suchmaschinennetz Community aus Suchmaschinen Sie besitzen den Suchserver..und verbinden ihn mit den anderen.. Search Engine Search Engine Search Engine Search Engine Search Engine Search Engine Search Engine Search Engine Search Engine Search Engine Search Engine Search Engine Search Engine Search Engine Search Engine

7 Suchmaschinennetz -to- Suchmaschine YaCy Ein Verbund aus privaten Such-s formt eine dezentrale P2P Suchmaschine

8 -to-- Suche den Suchindex mit anderen teilen Das YaCy,freeworld Netz

9 -to-- Suche den Suchindex mit anderen teilen Das YaCy,freeworld Netz > 1 Milliarde Dokumente, ca. 500 Nutzer/Tag

10 Zensur überwinden was man nicht findet existiert nicht! Google,Transparenzbericht

11 Zensur überwinden was man nicht findet existiert nicht! Google,Transparenzbericht 16 Millionen URLs / Monat!

12 Zensur überwinden was man nicht findet existiert nicht! Google,Transparenzbericht eigentlich eine schöne Linkliste

13 Anonymität Informations- Suche braucht Unbefangenheit Google,Transparenzbericht Auskunftsersuchen nach Berichtszeitraum Larry Page nach,prism

14 Anonymität Informations- Suche braucht Unbefangenheit Google,Transparenzbericht countries/?t=table&p= Auskunftsersuchen von Strafverfolgungsbehörden im Zeitraum Juli-Dezember 2012

15 Anonymität Informations- Suche braucht Unbefangenheit YaCy,Stealth Mode

16 persönliche Suchmaschine eigene und fremde Datenbestände YaCy im,portalmodus ohne -to- Netz ein eigenes Suchportal errichten Suchmaschine Vernetzung von verschiedenen Quellen Create / Share Produktion Dokumente Projektsteuerung Discussion Versionskontrolle Bugtracker Projektsuche (micro)blogging

17 persönliche Suchmaschine eigene und fremde Datenbestände YaCy im,portalmodus ohne -to- Netz ein eigenes Suchportal errichten Suchmaschine Vernetzung von verschiedenen Quellen Communities

18 persönliche Suchmaschine eigene und fremde Datenbestände Johannes Gutenberg Uni Mainz YaCy-Appliance für die Universität:

19 persönliche Suchmaschine eigene und fremde Datenbestände Karlsruhe Institut für Technologie YaCy-Appliance für die Universität:

20 persönliche Suchmaschine eigene und fremde Datenbestände Verwaltungssuchmaschine NRW YaCy-Appliance für NRW:

21 persönliche Suchmaschine eigene und fremde Datenbestände YaCy im,portalmodus ohne -to- Netz ein eigenes Suchportal errichten Suchmaschine Nachrichten- Portale Vernetzung von Foren verschiedenen Quellen Blogs+Tweets Nachrichten- Suche Beleg- Archivierung Offline- Suchergebnisse

22 persönliche Suchmaschine eigene und fremde Datenbestände YaCy im,portalmodus ohne -to- Netz ein eigenes Suchportal errichten Suchmaschine Vernetzung von verschiedenen Quellen Ausschreibungen Jobportale Rechtsfragen Jobsuche

23 Nachrichtendienste automatisches Suchen ohne Suchananfrage Funktionsweise: Jede Suche kann ein RSS Nachrichtenstrom sein Suchergebnisse können nach Aktualität geordnet werden Suchergebnisse können automatisch weiterverarbeitet werden (RSS Reader, Alerts, u.s.w.) Vorteile im Unternehmen: Zeitnahe Reaktionsfähigkeit Alerts für Aktivitäten der Mitarbeiter (im Intranet) Alerts für Aktivitäten der Konkurrenz (im Einsatz in einer Websuche) Beispiel: Ausschreibungssuche

24 SEO & Web- Admin Tools fremde Server durchstöbern und Strukturen analysieren Funktionen: Die Datenstruktur fremder Server durchstöbern und Strukturen analysieren Tote Links aufdecken Visualisierung von Verlinkungsstrukturen Durchsuchbarkeit des eigenen Webauftritts testen

25 Zitate und Plagiate Text-Übereinstimmungen autom. finden Zu jedem Suchtreffer die zitierenden Quellen finden Treffer zu: findet in: 22 identische Sätze in: Zitate finden zu jedem Treffer

26

27 Finden was andere nicht finden (können) z.b. öffentl. FTP Server, torrents ftp:// smb://?....torrent Suchergebnisdarstellung: mehr Suchinterfaces: nicht nur 'übliche' Websuche, sondern auch GSA-Interface, RSS-Nachrichten, File-Suche, Opensearch, JSON, XML, native Solr-Interface Facetten zu Hosts, Zeit, Dateitypen, Autoren, Protokoll Benutzergenerierte Suchfacetten über Vokabularien nicht ausschließlich http(s), auch ftp + SMB-Shares Harvester, Datenakquise: Parser:,unübliche Formate (z.b. torrents), Anpassung an spezielle Unternehmensdaten möglich Skalierbarkeit durch Vernetzungsfähigkeit besseres Timing: Individueller Crawler-Scheduler Vielfältiges Harvesting: Crawler, Intranet-Scanner, sitelist, RSS feed import, OAI-PMH Import, mediawiki-dump u.s.w.

28 Intranet- und Filesuche Konsolidierung der Datenablage (ftp/smb-suche) SCARY SHARING SHIT Mac : Finder- K YaCy: Portscanner!..und dann alles in den Suchindex!

29 persönliche Suchmaschine eigene und fremde Datenbestände Zitate und Plagiate Text-Übereinstimmungen autom. finden Nachrichtendienste automatisches Suchen ohne Suchananfrage Finden was andere nicht finden (können) z.b. öffentl. FTP Server, torrents SEO & Web- Admin Tools fremde Server durchstöbern und Strukturen analysieren Intranet- und Filesuche Konsolidierung der Datenablage (ftp/smb-suche) Zensur überwinden was man nicht findet existiert nicht! Anonymität Informations-Suche braucht Unbefangenheit

30 Vielen Dank fürs Zuhören! SearchEngine Dipl. Inf. QR-Code: vcard Download Community & Discussion News Dienstleistungen + Beratung Development Bugs Documentation