Informationen im Internet vernetzen, Zensur verhindern und Privatsphäre sichern mit Peer-to-Peer Suchmaschinen

Transkript

1 Berliner Bibliothekswissenschaftliches Kolloquium (BBK) Informationen im Internet vernetzen, Zensur verhindern und Privatsphäre sichern mit -to- Suchmaschinen, Vortrag am am Institut für Bibliotheks- und Informationswissenschaft, Humboldt-Universität zu Berlin

2 Abstract Suchmaschinen sind durch ihre Ergebnisauswahl meinungsbildend, sie führen uns durch das Ergebnisranking selektiv zu Informationen und beeinflussen letztendlich Normen und Werte von Gemeinschaften. Die Nutzer sind es gewohnt, daß Suchportale für sie bereitgestellt werden, aber welche Vorteile kann es haben, wenn statt dessen die Nutzer selbst die Suchmaschine für sich und andere bereitstellt? Die freie Suchmaschinensoftware YaCy wurde zu diesem Zweck von Open-Source Entwicklern im Hinblick auf philosophische Fragen zur Informationsfreiheit, Zensurresistenz, Vernetzbarkeit und Methodiken des Wissensmanagements erschaffen. Der Vortrag führt vor, wie auch jede(r) nicht-fachmann/frau diese Anwendung bedienen und eine bessere Suche im Bezug auf Suchergebnisse, Suchnavigation und Privatsphäre erschaffen kann. Es werden Anwendungen für Internet- und Intranetsuche (auch) in Kombination mit vernetzten Informationen (Stichwort: Linked Open Data) und kontrollierten Vokabularien für eine thematisch angepasste Suchnavigation vorgeführt.

3 Motivation zur Nutzung eigener Suchmaschinen 1. Philosophische Argumentation freie Software/freie Daten, Privatsphäre, Zensurresistenz, Bürgerrechte 2. Soziologische Aspekte Meinungsbildung, Normen und Werte, Privatsphähre, Datenschutz 3. Technologische Herausforderung Datenvernetzung und -to- Vernetzung von Suchmaschinen 4. Wissensmanagement-Methoden und LOD Vernetzung von Wissen bei zeitgleicher Vernetzung von Menschen Suche I 5. Demo: Nutzen für Anwender Virtuelle Fachbibliotheken - Themensuche mit Fachnavigation Kontextualisierung - Vernetzung 6. Anwendungen/Anwender YaCy Community; mitmachen!

4 1 - Philosophisches Argument: Freiheit freie Daten können nur dann wirklich frei sein wenn sie mit freier Software gefunden werden können freie Daten Suche Nutzer u.a.: freie Software Daten unter Creative Commons Lizenz Open Access Archive Suchmaschinenmonopol: proprietäre und zentralisierte Technik, Aufzeichnung aller Datenspuren, Zensur, Filterung, Löschung, Verschmutzung durch Werbung Der Nutzer ist auf die Existenz und korrekte Funktion proprietärer, zentralisierter und kontrollierter Suchportale angewiesen, um freie Inhalte finden zu können zwischen freien Informationen und dem Nutzer fehlt eine wesentliche Verbindung: die freie Suche

5 1 - Philosophisches Argument: Qualität mit einer freien Suche sind dezenztrale Nutzer/Suchmaschinentopologien möglich Nutzer + freie Daten freie Suche Nutzer + freie Daten Zensur durch Dritte kann durch das Betreiben einer eigenen Suchmaschine verhindert werden & Das Betreiben einer Suchmaschine für eigene Zwecke ermöglicht eine bessere Qualität der Suchergebnisse, denn: Eine Suchmaschine findet relevante Informationen nur für eine bestimmte Gruppe von Menschen, wobei diese Gruppe die gleichen Relevanz-Kriterien teilt

6 2 - Soziologischer Aspekt: Relevanz Betrachtung einer definierten Benutzergruppe: unstrukturierte Daten Ranking Suchmaschine Kontext und Vernetzung von Information g Generierung von Wissen Gruppe Relevanz Gemeinschaften und Gesellschaften brauchen eigene Suchmaschinen um relevante Informationen entsprechend ihrem eigenen Relevanzbegriffes finden zu können

7 2 - Soziologischer Aspekt: freier Wissenszugang Die Suchergebnisse einer Suchmaschine für eine bestimmte Gemeinschaft ist meinungsbildend für diese Gemeinschaft im Bezug zu Normen und Werte Fazit: verschiedene Gruppen g verschiedene Interessen g eigene Suchmaschinen Gruppe Gruppe Gruppe Suchmaschine Suchmaschine Suchmaschine

8 3 - Suchmaschinentechnik Crawler Suchseite Server im Netz round-robin Zugriff robots.txt und Latenz beachten viele Dateiformate FTP SMB Suchen und Ergebnisse mit Navigatoren darstellen Snippets Parser z.b.: HTML, XHTML, RSS, RDF, XHTML+RDFa, FOAF, vcard, Flash, PDF, PS, Word, Excel, Visio, Powerpoint, OpenOffice, RTF, csv, gzip, zip, tar, rar, bzip2, 7zip, images(exif) Dokumente Indexierer Verschlagwortung ist die Umkehrung der Dokument: Referenzg {Wort*} Relation zu einer Index: Wortg {Referenz*} Relation Dokumentencache

9 3 - Herausforderung: -to- Vernetzung Leistungsfähige, skalierbare Suchmaschinen vertikale Skalierung: mehr Durchsatz Suchmaschinencluster horizontale Skalierung: mehr Dokumente

10 3 - Herausforderung: -to- Vernetzung Leistungsfähige, skalierbare Suchmaschinen

11 3 - Herausforderung: -to- Vernetzung Dezentrale Websuche mit -to- Technik

12 3 - Herausforderung: -to- Vernetzung -to- Suchmaschine für das World Wide Web Web Crawlen, Indexieren, verteilt speichern DHT Distributed Hash Table Suchen in einer Distributed Hash Table DHT-Store DHT-Read Das YaCy Suchmaschinennetz besteht aus eigenständigen Suchmaschinen, aber sie sind auch miteinander vernetzt.

13 3 - Herausforderung: -to- Vernetzung -to- Suchmaschine für das World Wide Web Jeder kann mitmachen. Keiner kann global zensieren.

14 4 - Wissensmanagement: technologisch & soziologisch Verwendung einer,own-cloud Suchmaschine zur Vernetzung von Wissen zur Vernetzung von Menschen zum Datenschutz und Wahrung von Privatsphäre Gruppe Suchmaschine Vernetzung von Wissen technologische Ebene (,wie setze ich Technik ein ) soziotechnische Ebene (,wie gehe ich mit Technik um ) Entwerfen Entwickeln Dokumentieren Projektsteuerung Versionskontrolle (micro)blogging Vernetzung von Menschen Diskussions-Foren Bugtracker

15 4 - Google Knowledge Graph: things, not Strings Objekteigenschaften erkennen: Orte, Personen, Dinge Quelle:

16 4 - Linked Open Data Linked Open Data Konzept 1.URIs als Namen für Dinge benutzen. Nutzung in Suchmaschinen Objekttypen identifizieren URIs definieren: 2.URIs sollen HTTP URIs sein. Dadurch sind Information leicht abrufbar. 3.Standards/Ontologien zur Ablage benutzen, z.b. RDF + Triplestores. http-rumpf / Vokabular bilden indexierte Webseiten annotieren Objekt-ID Terme Synonyme Dokument- Metadaten 4.Referenzen zu weiteren URIs integrieren, um mehr zu entdecken. Suche: Vokabular-Facetten Visualisierung

17 4 - Linked Open Data: Automatisierung Prozesse in Suchmaschinen-Set-up Webcrawl Nutzung in Suchmaschinen Objekttypen identifizieren Selektion mit Seitenindex http-rumpf URIs definieren: http-rumpf / Objekt-ID Objekt-URIs Terme Vokabular bilden Terme Synonyme Webcrawl Parser nutzt Terme Triplestore indexierte Webseiten annotieren Dokument- Metadaten Suche: Vokabular-Facetten Maps Augmented Browsing Tags Visualisierung

18 4 - Linked Open Data: Automatisierung Prozesse in Suchmaschinen-Set-up Webcrawl Seitenindex Soziotechnische Strategie Autoritäten identifizieren Fachthemen-Datenbanken Normen, Werte, Wissen Selektion mit http-rumpf definiert Wikis,Deep Web Objekt-URIs Terme fachliche Moderation Webcrawl Parser nutzt Terme erweitert Synonyme User-Tags Triplestore Strategie: Gruppen-Integration Gruppen-Suche Suche: Vokabular-Facetten Maps Augmented Browsing Tags Visualisierung

19 4 - Soziotechn. Strategie: Gemeinschaften vernetzen Gemeinschaft A Gemeinschaft B Themengebiet A Themengebiet B Dokumente A Dokumente B eine Suche verwendet referenziert referenziert eine Suche verwendet Vokabular A Vokabular B produziert produziert Navigation für A Navigation für B

20 4 - Soziotechn. Strategie: Gemeinschaften vernetzen Gemeinschaft A Teilen von Wissen: erweiterte Gemeinschaft Gemeinschaft B Themengebiet A Themengebiet B Dokumente A gemeinsame Suche Dokumente B referenziert gemeinsam Vokabular A Vokabular B produziert gemeinsame Navigation für A Navigation für B referenziert gemeinsam

21 5 - Demo Wissensmodule aktivieren (Orte, PND), Anzeigeoptionen (tags) aktivieren Vokabular anlegen - Freizeit {Biergarten, Spree} Vokabular anlegen - Publikation {Dissertation, Diplomarbeit} automatische Ontologie-Erzeugung (API-Icon in Vokabulareditor) OAI-PMH Harvester starten - BerlinWiki crawlen - aus Dokumenten in Literatur automatisch einen Personen-Navigator erstellen aus Wiki-Seiten Topic-Navigator erstellen Domain Crawler - Domain Crawler - Domain Crawler - Suchen / Navigieren, Tags anklicken, Metadaten anschauen Such-API (opensearch/rss) zeigen Triplestore anzeigen

22 5 - Demo: APIs in der Suche SRU Facets File Types, Protocols, Domains, Authors user-generated ontologies every link is verified before it is displayed: the content is loaded, parsed and used for a search snippet generation Standards APIs Tools Opensearch (search results with RSS), JSON, AJAX tools search widget, ready-to-use code snippets to embed search everywhere

23 6 - Anwendungen: virtuelle Fachbibliothek Bibliotheken >2000 Open Access Repositories OAI-PMH Import Dublin Core Metadaten (web) Suchindex Fachbibliothek deutsche Universitäten

24 6 - Anwendungen: Point of Interest (POI) Point of Interest aus OpenStreetMap

25 6 - Anwendungen: Projektportal YaCy Community

26 6 - Anwendungen: Community Geocaching Community

27 6 - Anwendungen: Portalsuche Free Software Foundation Europe

28 6 - Anwendungen: Portalsuche Gutenberg-Universität Mainz

29 6 - Anwender: Sciencenet / KIT Suchmaschine für wissenschaftliche Publikationen Wissenschaft Sciencenet: Suchmaschine des Karlsruhe Institut für Technologie 35 s in eigenem Netz, > 200 Mio. Dokumente

30 6 - Anwender: Internet-Community freie dezentrale Suchmaschine für alle wir freeworld: Suchmaschine, bestehend aus den s freiwilliger 600 s im Monat, weltweit verteilt > 1 Milliarde Dokumente

31 Vielen Dank für Ihre Aufmerksamkeit! Dipl. Inf., Beratung: Suchmaschinen, Wissensmanagement, Softwarearchitektur, Crowdsourcing QR-Code: vcard Download Diskussion News Dokumentation Bugs Development all images are (CC0), many are from