Swoogle. Patrice Matthias Brend amour

Transkript

1 Swoogle Finding and Ranking Knowledge on the Semantic Web Patrice Matthias Brend amour Fachbereich Informatik und Informationswissenschaft Universität Konstanz Kurs: Web Services and Semantic Web Datum:

2 Inhalt Einleitung Suchen Indexieren Ranking /Metadaten Sichten und Schnittstellen Alternative Suchdienste 2

3 Das Projekt Swoogle - Einleitung - Suchen - Indexieren - Ranking - Sichten und Schnittstellen Ein Projekt der University of Maryland (UMBC) Offizieller Projektbeginn: Februar 2004 Ende 2006 offiziell beendet Entwickelt in 2 Stufen: Swoogle Beta (bis 2005) Swoogle (bis Ende 2006) 3

4 Was ist Swoogle? eine Semantic Web Suchmaschine? ein Semantic Web crawler? ein Ranking- Mechanismus für das Semantic Web? 4

5 Swoogle ist das alles und noch viel mehr! Indexiert auch non-semantic Inhalte (IR) Findet URIs selbstständig Speichert Meta-Informationen zu SWDs Bietet Ergebnisse als XML/RDF 5

6 Die Kernstruktur von Swoogle 6

7 SWDs finden - Einleitung - Suchen - Indexieren - Ranking - Sichten und Schnittstellen Klassische Crawler können die Informationen von Semantic Web Dokumenten (SWD) nicht nutzen SWDs lassen sich nicht mit klassischen Suchmaschinen finden Swoogle nutzt 3 eigene Crawler: Google-, Focused-, und Swoogle-Crawler 7

8 Der Google-Crawler Sucht SWDs in Google Basis: Dateiname-Erweiterungen Multiple Queries nötig (Limits) Wöchentliche Aktualisierung ca SWDs Inaktiv seit

9 Der Focused Crawler Indexiert Dokumente einer Domain Beschränkungen verbessern Ergebnisse: Dateierweiterungen vorgegebenes Regelwerk Seit 2005 inaktiv 9

10 Der Swoogle Crawler Kombiniert und erweitert die bisherigen Crawler Generiert selbstständig neue URI-Kandidaten Integriert bekannte IR-Heuristiken 10

11 11

12 Indexieren - Einleitung - Suchen - Indexieren - Ranking - Sichten und Schnittstellen Der Swoogle-Bot: Prüft auf valides SWD Analysiert die SWD-Relationen (SWD-Indexer): URIref owl:imports rdfs:see 12

13 Indexieren mit dem Swoogle-Bot IR-Methoden helfen, den Inhalt zu analysieren (IR-Indexer) Aus den Indexierung werden Meta- Informationen erzeugt 13

14 14

15 Ranking/Metadaten - Einleitung - Suchen - Indexieren - Ranking /Metadaten - Sichten und Schnittstellen Welche Informationen eines SWD sind wichtig für eine Suche? Was für Schlüsse kann ich aus einem SWD ziehen? Wann ist ein SWD wichtig/relevant? 15

16 Metainformationen in Swoogle 3 Kategorien von Metadaten: Basisdaten (z.b. SWD-Typ) Beziehungen zu anderen SWDs Klassifizierende Daten (u.a. OntoRank) 16

17 Basisdaten Language-Feature Codierung (RDF/XML, N3 usw..) Sprache (OWL, RDFS) (OWL-Spezifikation: OWL-Full usw.) RDF-Statistiken: Ontology Ratio Ontology Annotation 17

18 Ontology Ratio Gedanke: Definiert ein SWD eher neue Ontologien oder erweitert es eher bestehende 18

19 Ontology Annotation Meta Informationen, die in speziellen Feldern des SWD vorkommen, z.b.: rdfs: label rdfs:comment daml:versioninfo 19

20 Beziehungen zu SWDs 6 mögliche Fälle: IM (imports) TM (term reference) EX (extends) PV (prior version) CPV (compatible prior version) IPV (incompatible prior version) 20

21 Beziehungen in Swoogle 4 Klassen: imports uses term extends asserts 21

22 Ranking Prinzip: Rational Random Surfer (RRS) Basis: Google s PageRank Aber: SWD Linkstrukturen sind komplexer Unterschiedliche Wahrscheinlichkeiten für unterschiedliche Linktypen 22

23 OntoRank A B weight(l) linkto(a) link(a,l,b) OTC(A) d das zu berechnende SWD ein anderes SWD Gewichtung nach Link-Art Array mit Links zu A Link von A nach B mittels Tag l Array von SWDs, welche A IM oder EX Magic Number 23

24 24

25 Sichten und Schnittstellen - Einleitung - Suchen - Indexieren - Ranking /Metadaten - Sichten und Schnittstellen Webschnittstelle für Benutzer Schnittstelle für Web-Agenten (als SWD) 25

26 Swoogle im Web (oder: 26

27 Swoogle Ergebnisse 27

28 Schnittstelle für Agenten Liefert Suchergebnisse als RDF Arbeitet auf Basis einer REST-Schnittstelle: Kann HTTP GET Anfragen verarbeiten z.b. querytype=search_swd_ontology&searchstring =service&key=demo 28

29 Nackte Zahlen rund um Swoogle Gefundene URLs: Gefunden SWDs: Valide SWDs: Dokumente mit eingebetteten Semantischen Daten:

30 Alternative Suchangebote Manuell gepflegte Ontologie-Sammlungen Schema Web DAML ontology library SemWebCentral mit ontology repository. Protege's OWL ontology library OwlSeek rdfdata.org ontology collection und data collection des SIMILE Projekt am MIT 30

31 Alternative Suchangebote SemanticWeb Suchmaschinen und Browser Ontaria vom W3C Semantic Web Search von IntelliDimension ontosearch von AKT Crawler DAML Crawler RDF Crawler OCRA scutter 31

32 Fragerunde?? 32

33 Vielen Dank für Eure Aufmerksamkeit! 33