Markus Matzker, Martin Huth 1 OPENCALAIS. VL Text Analytics Prof. Dr. Leser

Transkript

1 1 OPENCALAIS VL Text Analytics Prof. Dr. Leser

2 Gliederung 2 Was ist OpenCalais Funktionsweise Linked Data Anwendung Nutzungsrechte Was hat Reuters davon? Beispiel Quelle:

3 Was ist OpenCalais? 3 Textanalyse Tool zur Anreicherung von Texten mit semantischen Metadaten Entwickelt von ClearForest, 2007 von Thomson Reuters gekauft Web Service API Aufruf über REST oder SOAP Schnittstelle Verarbeitung von Englisch, Französisch und Spanisch

4 Was ist OpenCalais? 4 Quelle:

5 Funktionsweise 5 Natural Language Processing Engine Machine learning: hard coded learning Database built by ClearForest Input: Unstrukturierte Dokumente Text, HTML, XML Output: Semantische Metadaten Personen, Orte, Unternehmen, Geographien, Fakten, Ereignisse Inkl. Links zu externen Datenquellen nach Linked-Data-Prinzipien Formate: Microformats, Simple Format, JSON, N3, RDF Relevanzschätzung <1Sekunde

6 Funktionsweise 6 Quelle:

7 Funktionsweise 7 Nutzung der Linked-Data-Cloud Linked-Data: Methode zum Darstellen, Teilen und Verknüpfen Von Daten, Informationen und Wissen im Semantic Web Nutzung von de-referenceable URIs (Universal Resource Identifier) und RDF (Resource Description Framework)

8 8 Linking Open (LOD) Data Project Cloud Diagramm Quelle:

9 9 Linking Open (LOD) Data Project Cloud Diagramm Quelle:

10 Linking Open Data und OpenCalais 10 Von OpenCalais genutze Resourcen: Dbpedia Wikipedia Freebase Reuters.com GeoNames Shopping.com IMDB LinkedMDB

11 Anwendung 11 OpenCalais Web Service Calais Marmoset Mikroformat-Metadaten an yahoo! und andere Crawler Calais Tagaroo Wordpress Plugin Automatische Tag Vorschläge, Flickr Bildsuche/- einbindung Social Tagging, Relevanzschätzung, Event Tags, Dokumententorganisation

12 Anwendung 12 Gnosis Web Browser Plugin für Firefox und IE OpenCalais Submission Tool Standalone Übertragungstool

13 Nutzungsrechte 13 Leistungsfähigkeit OpenCalais OpenCalais Professional Max. täglicher Transaktionen 50, ,000 Transaktionsrate (pro Sekunde) 4 20 Laufzeit Kein Jahresvertrag Service Level Agreement? Nein Ja Serviceklasse Niedrig Hoch OpenCalais Professional for Publishers: Erweiterung von OpenCalais Professional für Herausgeber mit noch größerem Bedarf

14 Was hat Reuters davon? 14 When the world's content is quickly and readily accessible to their customers, Reuters wins. Semantic technologies result in better, faster, more precise and relevant information, and Reuters, as a big player in the information space, wants to be one of the first companies delivering this kind of experience. Gerry Campbell, the President/Global Head of Search & Content Technologies at Reuters Ein freies System hat den Vorteil das es mit viel mehr Daten trainiert werden kann

15 Powerhouse Museum - Sydney 15 Amateurradio Ausrüstung der 1970er und 1980er Einige klar falsche Zuordnungen z.b.: Ray Oscilloscope als Person Quelle:

16 Powerhouse Museum - Sydney 16 Schwerpunkt vom Entwicklungsursprung im Finanz- und Geschäftsfeld Komplexe Daten aus Kunst, etc. besonders anfällig für Fehler Vorteile: Bisher schwer zugängliche Passagen im Datenbestand leicht durch Tags erreichbar Handkorrektur immer notwendig?

17 Quellen

18 Danke für die Aufmerksamkeit! 18

19 Backup Anwendungsbeispiel 19 Beispiel für Nutzung von Linked Data: I want to process today s business news. For each article I want to extract all of the companies mentioned but only if the article also mentions a merger or acquisition. I am only interested in companies whose headquarters (or those of their subsidiaries) are located in New York State. Do all of that and give me a widget for my news site titled Merger Activity for NY Consulting Companies. And oh, by the way, this isn t a research project I want you to do it real time for the 10,000 pieces of news I process every day. How would you do that? Option 1 is to hire a bunch of researchers, give them a fast internet connection and teach them to type very very fast. Option 2 is to write some code that looks like this: For each Article Submit to Calais, get response If MergerAcquisition exists then For each Company Retrieve Calais Company URI, extract DBpedia link Send Linked Data inquiry to DBpedia, get response If CompanyIndustry contains Consulting If CompanyHeadquarters = New York Put them on the list For each subsidiary Send Linked Data query to Dbpedia, get result If CompanyHeadquarters = New York Put them on the list

20 Backup - OpenCalais Performance 20

21 Backup Beispiel Output Format 21 Beispiel Entität Unternehmen ClearForest Ltd. in RDF: