Nicht- Monopolisierbarkeit. Vortrag zur Peer-to-Peer Suchmaschine YaCy von Dipl. Inf. Michael Christen

Transkript

1 Nicht- Monopolisierbarkeit Vortrag zur Peer-to-Peer Suchmaschine YaCy von Dipl. Inf. Michael Christen

2 Agenda Motivation Peer-to-Peer YaCy Konzeption Demo

3 Motivation Welche Interessen können Monopole vertreten? politische wirtschaftliche (Werbung) ideelle (Jugendschutz, ethische Fragen) technische (Benutzerprofile, Data-Mining durch Surf-Analyse) Wer darf solche Kontrolle über Information ausüben?

4 Was kann man Suchmaschinen- Monopolen entgegenstellen? freie Suchmaschine (einfache Erhöhung der Vielfalt) Meta- Suchmaschine (größere Vielfalt) p2p-netz aus Suchmaschinen (inhaltlich heterogene Vielfalt und Zensurfreiheit)

5 Was ist P2P? Client-Server P2P ist nicht gleich File-Sharing P2P ist nicht illegal Es existiert kein zentraler Server Clients sind auch Server und umgekehrt Peer-to-Peer

6 Gesamtkonzept Informationsfreiheit keine Zensur persönlicher Schutz eigene Publikation Mehrwert-Dienste Informationsfreiheit Konzept zur Informationsfreiheit beinhaltet auch die Wahrnehmung von Verantwortung

7 keine Zensur Suchen im Index verteilter Index, Löschungen können nur partiell sein unempfindlich gegen Störungen durch Redundanzen offene Algorithmen, maschinelle nicht-subjektive Autorität über Inhalte unzensierbare, anonyme und globale/lokale Internet Web-Suche

8 persönlicher Schutz selbst-zensur WWW Filter Peer Browser & YaCy-Suchmaske unerwünschte Suchergebnisse abwehren unerwünschte Webinhalte abwehren Schutzfilter können gemeinschaftlich moderiert werden (Import + Export über Peers)

9 eigene Publikation WWW Mehrwertdienste Private Publikationsplattform (Web-Server, Wiki, Messages,File-Share) Eigene Domain-Vergabe Proxy Peer & HTTP Server Browser & YaCy-Suchmaske ökonomisches Nutzen der Netz- Bandbreite durch caching HTTP Proxy

10 Indexierung durch Crawler Die Nutzer entscheiden unabhängig, welche Inhalte indexiert werden und in den globalen Index einfließen (Auswahl der Start-URL & Crawl- Tiefe; Site-Crawl ist möglich) Crawl-Jobs werden von anderen Peers unterstützt Jeder hat die Freiheit, andere Peers beim Indexieren zu unterstützen

11 Indexierung durch Proxy WWW Proxy Peer Browser & YaCy-Suchmaske Indexe können erzeugt werden, ohne zu crawlen Scraping-Proxy erzeugt kostenlos Indexe wirkt wie automatisches Moderieren, denn der Surfer wählt aus Seiten ohne Verlinkung können erreicht werden Umfassende Schutzmechanismen, um das Indexieren von privaten Inhalten zu verhindern

12 Anonymisierung URL hash URL Urheber Indexierer Speicherung Suche keine Verantwortung für den Besitz eines bestimmten Indexes! der Hersteller eines Index wird nicht gespeichert keine Wörter im Klartext in der Datenbank der Besitzer eines Indexes ist nicht zwingend der Urheber der Indexierung auch der indexierende Peer ist nicht zwingend der Urheber der Indexierung

13 YaCy - Komponenten Information Provider HTTP Proxy Cache Indexer RWI Generierung Datenbank Dateibasierte AVL-Bäume Suche User Interface HTTP Server verteilter Crawler remote crawls DHT- Partitionierung YaCy Protocol YaCy Peer-to-Peer - basierende DHT-Kontrolle

14 Anforderungen an System & Benutzer keine spezielle Kenntnisse notwendig die Installation ist besonders einfach keine weitere Datenbank-Software Plattformunabhängig YaCy ist kostenlos! - Lizenz auf GPL-Basis

15 Ausblick YaCy-in-a-Box User-Groups: Interessengemeinschaften Wissenschafts-/ Schulnetz mit User-Groups Internet-Cafés: YaCy als Betriebssoftware Browser-Integration (dann ohne Proxy)

16 Weitere Informationen Projektseiten Englisch: Deutsch: Forum Demo

17 Peer-to-Peer Web-Suche mit YaCy Das Wichtigste zu YaCy im Überblick Architektur: Michael Christen Telefon: Information ist im Web eine stark kontrollierte Ressource Portale, Suchmaschinen und das DNS sind gegenwärtig in de-facto-monopolen organisiert und bestimmen, welche Daten verfügbar sind. Mit YaCy kann die Kontrolle wieder an die Nutzer zurück gegeben werden. Konzept Informationsfreiheit YaCy ist eine Suchmaschine für das Web ohne globale Zensurmöglichkeit mit persönlich anwendbaren Schutzmechanismen: unabhängige, unzensierte, anonyme Internet Web-Suche Wahrnehmen von Verantwortung gegenüber Inhalten Vergessen Sie nicht den Flyer! Abwehren von unerwünschten Web-Inhalten und Suchergebnissen Verteilte Web-Indexierung und Anonymität YaCy ist ein Web-Crawler für jedermann ohne externe Kontrolle und ohne zentrale Datenspeicherung: kooperatives Crawlen, andere YaCy-Crawler unterstützen Intranet-Indexieren/Suchen ad-hoc Erfassung beliebiger Web-Seiten, jeder User ist gleichberechtigt umfassendes Konzept zur Anonymisierung der Teilnehmer Mehrwertdienste Die Funktionsweise von P2P-Netzen erfordert eine lange online-zeit jedes einzelnen Peers. YaCy bietet daher - außer dem Suchen im Web - Mehrwertdienste in Synergie mit Such- und Indexierungstechnik: persönliche Publikations-Plattform (Web-Server, Wiki, FileShare, Messages) unabhängige YaCy-Domains, beispielsweise integrierter caching http proxy mit gemeinschaftlich moderierten Filtern Indexieren ohne Crawlen, nicht-gelinkte Seiten erfassen und indexieren ökonomische Auslastung des Netzwerkdurchsatzes durch caching proxy YaCy ist Plattform-unabhängig und GPL-Lizensiert Projektseiten Englisch: Deutsch: Forum Material Präsentation Nicht-Monopolisierbarkeit von Suchmaschinen: P2P Web-Suche mit YaCy und weiteres Pressematerial finden Sie auf im Menüpunkt Material Online-Demo

18 Reservefolien

19 DHT-Indexwanderung verteilte RWI-Generierung Selektion bestimmter RWI s für diesen Peer RWI s RWI s Peer Peer Proxy Modus Trigger Crawl Modus html html html html Browser WWW RWI s Trigger URL s Crawl Modus Peer Peer Remote Crawl RWI s Suche RWI s Browser spezialisierte Peers Peer 2005 by Michael Christen free architecture: redistribution granted under the terms of the GPL RWI s Peer RWI s DHT-Indexwanderung nicht-spezialisierte Peers

20 Verteilte Suche & Mehrwert Ihre Arbeitsumgebung Ihr persönlicher Peer spezialisierte Peers YaCy-Backbone Mehrwerte * Web-Suche * YaCy-Messages * YaCy-Wiki * YaCy-Domains Mehrwerte * Web-Crawling * Web-Hosting * URL-Filter * Content-Filter spezialisierter Peer Browser & YaCy-Suchmaske Config & Proxy Mode Peer Web- Suche RWI s spezialisierter Peer normaler Internetzugang Proxy & Crawling 2005 by Michael Christen free architecture: redistribution granted under the terms of the GPL WWW spezialisierter Peer

21 Screenshots

22

23

24

25

26

27

28 Nicht-Monopolisierbarkeit von Suchmaschinen: P2P Web-Suche mit YaCy Vortrag zur SuMa-eV - Veranstaltung Portale/Suchmaschinen - und ihre Grenzen Michael Christen