Große Ressourcen für das Semantic Web: Freebase und Wikidata. Devon Fritz Information Retrieval, WS 14 Universität Heidelberg 26.1.

Transkript

1 Große Ressourcen für das Semantic Web: Freebase und Wikidata Devon Fritz Information Retrieval, WS 14 Universität Heidelberg

2 Inhalt 1. Überblick über Semantic Web 2. Freebase 3. Wikidata 4. Zusammenfassung

3 Überblick über Semantic Web Ziele des Semantic Web "The Semantic Web provides a common framework that allows data to be shared and reused across application, enterprise, and community boundaries ( Teilen und Wiederverwenden von Daten durch eine gemeinsame Struktur Realisiert durch Metadaten, Ontologien und Logik

4 Freebase URL: Erworben von Google 2010 Ziele Öffentliche Sammlung von manuell kodierten Wissensrepräsentationen Verschmilzt Skalabilität von strukturierten Datenbanken mit der Diversität kollaborativer Beiträge Fakten Mehr als 2,5 Milliarden Tupel Mehr als 46 Millionen Topics Kostenlos durch Creative Commons License

5 Freebase - Datenschema Schema Komponenten Topic represents a single concept or real-world thing ( Property defines a HAS A relationship between the topic and the value of the property ( Type denotes an IS A relationship about a Topic ( Domain is a collection of Types which share a namespace ( Dynamisch Domains, Types, und Properties können alle verändert werden

6 Freebase Anwendungsbeispiel in Google

7 Freebase: Komponenten Datenbank Tuple Store Automatisiertes Versioning Groß und facettenreich API Interface für Programmierer, um Zugang zu Daten zu bekommen MQL - Metaweb Query Language Abfragen, Einfügen, Löschen, Mergen, Bearbeiten von Topics, Tuples, Arten von Eigenschaften Typing Loosely typed Widersprüchliche Infos können existieren Beispiel-Abfrage: query={"type":"/people/person","id":"/en/madonna","children":[]}

8 Freebase: Bewertung Vorteile Viele Daten Semi-strukturiert Einfaches Vorgehen mit komplizierten Abfragen und Datenbearbeitung Nachteile Domains, Types, und Properties können sich ändern man kann sich nicht auf diese verlassen Viele Daten nur in bestimmten Bereichen (z.b. Musik)

9 Freebase Das Knowledge Graph Team bei Google stellt die Arbeit an Freebase ein und transferiert die Daten in Wikidata Können nicht mehr gegen Wikidata konkurrieren: they're growing fast they have an active community they are better-suited to lead an open collaborative knowledge base Read-Only (schreibgeschützt) ab Alle Daten werden in Wikidata übertragen Dabei müssen auch die Quellenangaben an den Wikidata-Standard angepasst werden: Viele Daten stammen aus Wikipedia und haben in Freebase nur Wikipedia als Quelle statt der ursprünglichen Quelle (Quelle: )

10 Freebase Schnittstelle Loading Freebase into Wikidata as-is wouldn't meet the Wikidata community's guidelines for citation and sourcing of facts -- while a significant portion of the facts in Freebase came from Wikipedia itself, those facts were attributed to Wikipedia and not the actual original non-wikipedia sources. So we ll be launching a tool for Wikidata community members to match Freebase assertions to potential citations from either Google Search or our Knowledge Vault, so these individual facts can then be properly loaded to Wikidata.'' - Freebase Blogpost, z2wvqcqc

11 Freebase - Anwendung Python-Code: import json import urllib k = 'key' service_url = ' query = [ {'mid': None, 'name': None, 'type': '/music/artist', 'album': [{ 'mid': None, 'name': None, 'limit': 10, }], 'limit': 3}] params = { 'query': json.dumps(query), 'key': k } url = service_url + '?' + urllib.urlencode(params) response = json.loads(urllib.urlopen(url).read()) print response for musician in response['result']: print musician['name'] for a in musician['album']: print '\t' + unicode(a['name'])

12 Freebase - Ergebnisse

13 Wikidata "Wikidata is a collaboratively edited knowledge base operated by the Wikimedia Foundation. It is intended to provide a common source of certain data types (for example, birth dates) which can be used by Wikimedia projects such as Wikipedia. This is similar to the way Wikimedia Commons provides storage for media files and access to those files for all Wikimedia projects. Wikidata is powered by the software Wikibase." ( URL: Ein Projekt der Wikimedia Foundation Ähnlich wie Freebase Kostenlos Creative Commons License Kollaborativ Einfügen, Löschen, Mergen, Bearbeiten von Items, Statements Erlaubt die Existenz widersprüchlicher Strukturen und Fakten

14 Wikidata...aber anders Geteilte Struktur mit anderen Wikiprojekten Teilt Code mit Semantic MediaWiki, ein Softwaresystem Ursprüngliche Quellen Multilingual Unmittelbare Integration mit anderen Wikiprojekten

15 Wikidata: Schema Datenmodell Items ein Gegenstand (wie Topic in Freebase) ( ) Label ein nicht-eindeutiger String für den Item ( ) Description eine Beschreibung des Item ( ) Property Verbindet einen Topic und dessen Wert (wie Freebase) ( ) Links Verlinken Items zu anderen Sprachen des gleichen Item estimated population in 2010 Item: Rom Property: Population Value: 2,651,040 Property 2 As of : 2010

16 Wikidata - Fakten Mehr als 13 Millionen Items Alle veröffentlichten Daten können manuell oder mit einem Programm abgefragt werden Funktioniert durch REST in JSON oder XML Wikipedia verwendet Wikidata Fakten

17 Wikidata - Anwendung Python-Code: import pwb import pywikibot site = pywikibot.site() page = pywikibot.page(site, 'Douglas Adams') item = pywikibot.itempage.frompage(page) repo = site.data_repository() item = pywikibot.itempage(repo, 'Q42') item.get() # Ein Weg, um Eigenschaften zu bearbeiten item.editlabels(labels={'en': 'Douglas Adams'}, summary=u'edit label') item.editdescriptions(descriptions={'en': 'English writer'}, summary=u'edit description') item.editaliases(aliases={'en':['an alias', 'Another alias']}, summary=u'set aliases') item.setsitelink(sitelink={'site': 'enwiki', 'title': 'Douglas Adams'}, summary=u'set sitelink') item.removesitelink(site='enwiki', summary=u'remove sitelink') # Alles auf einmal bearbeiten data = {'labels': {'en': 'Douglas Adams'}, 'descriptions': {'en': 'English writer'}, 'sitelinks': [{'site': 'enwiki', 'title': 'Douglas Adams'}]} item.editentity(data, summary=u'edit item')

18 Zusammenfassung Semantic Web will ein strukturiertes Web aufbauen Freebase ( ) Geschichte 2005 von Metawab Technologies, Inc. begründet 2010 von Google erworben und als Basis von Google Knowledge Graph verwendet 2015 von Google zu Gunsten von Wikidata aufgegeben Datenbank von Fakten Dynamisch Domains, Types, und Properties können alle verändert werden Wikidata Geschichte 2004 als Wikimedia-Projekt von Erik Möller vorgeschlagen 2012 offizieller Projektstart mit Unterstützung von Google 2015 von Google als Ablösung von Freebase eingesetzt Multilinguale Datenbank mit Millionen von Items Benutzt von anderen Wikimedia-Projekten Freebase und Wikidata bieten beide eine API zu Daten

19 Quellen Bollacker, Kurt, Colin Evans, Praveen Paritosh, Tim Sturge & Jamie Taylor (2008). Freebase: A collaboratively created graph database for structuring human knowledge. In Proceedings ofthe 2008 ACM SIGMOD International Conference on Management of Data, Vancouver, B.C.,Canada, June 2008, pp Denny Vrandečić, Markus Krötzsch. Wikidata: A Free Collaborative Knowledgebase. In Communications of the ACM 57:10, pp ACM Freebase. Freebase API. Wikitools Python Plugin. Wikidata. Pywikibot Python Plugin.

20 Fragen?