Informationsextraktion mit XSLT

Größe: px

Ab Seite anzeigen:

Download "Informationsextraktion mit XSLT"

Rudolph Brinkerhoff
vor 8 Jahren
Abrufe

1 1/29 Informationsextraktion mit XSLT + Einbindung in eine Pythonanfrage an Wikipedia/Dbpedia Jani Takhsha HS Information Retrieval Institut für Computerlinguistik Universität Heidelberg 12. Januar 2015

2 2/29 1. Motivation 2. XSLT 2.1 XSLT kurze Erklärung 2.2 einzelne Templates 3. Python 3.1 Wikipediaanfrage 3.2 Dbpediaanfrage 3.3 Mit Python XML editieren 4. Probleme und Hürden 5. weitere Aufgaben 5.1 Überblick 5.2 Plenarprotokolle 6. Ressourcen 7. Open Data Projekte

3 Motivation Inspiration Bundestagsradar von SPON in Zus.arbeit mit abgeordnetenwatch (Screenshot von [2]). 3/29

4 Motivation Input: XML Im Hintergrund: XML-Datei (von abgeordnetenwatch.de) Figure: Auszug aus der XML-Datei. (Alle Vor-und Nachnamen in den Screenshots der XML-Dateien sind anonymisiert.) 4/29

5 Motivation 5/29 Idee Mit den Informationen über die MdBs herausfinden, mit welchen anderen Personen des öff. Lebens/der Wirtschaft sie über ihre Nebentätigkeiten vernetzt sind.

6 Motivation 6/29 Verarbeitungsschritte Schritt Input Modul Output 1. radar.xml splittnodes.xslt splitnodes.xml 2. splitnodes.xml getcompany.py company-knoten 3. company-knoten Wikipedia Liste [Erg1, Erg2,...] 4. Liste [Erg1, Erg2,...] Dbpedia Liste [Person1, P2,...] 5. Liste [P1, P2,] getcompany.py mdbknows.xml Splittnodes.xslt wird auf das erste Xml angewendet. Über das daraus transformierte XML splitnodes.xml läuft das Python-Script getcompany.py, in welchem die Datenbankabfragen erfolgen und das auch das letztendliche Output mdbknows.xml generiert.

XSLT XSLT kurze Erklärung 7/29 XSLT (Schritt 1) XSLT = EXtensible Stylesheet Language Transformation Sprache, um v.a. Xml-Dokumente zu verändern und in andere Formate zu transformieren.

7 XSLT XSLT kurze Erklärung 7/29 XSLT (Schritt 1) XSLT = EXtensible Stylesheet Language Transformation Sprache, um v.a. Xml-Dokumente zu verändern und in andere Formate zu transformieren. Xslt Dokumente beinhalten Templates, die auf einen bestimmten Knoten eines Input Dokuments gematcht werden. Der Pfad zu einem Knoten nennt sich XPATH. Figure: Oben links ist der XPATH zum 3. t -Knoten des 1. person -Knotens zu sehen (/personen/person[1]/n[1]/t[3]).

8 XSLT einzelne Templates 8/29 XSLT: Header Relevante Knoten extrahieren (mit XSLT 2) vereinfachte XML-Datei Figure: Header der xslt-datei. Das Encoding ist (hier) dasselbe wie das des Input-XML und die Spezifikation für xsl:output sorgt dafür, dass z.b. Umlaute richtig dargestellt werden. Die namespaces definieren, welche Sprache im Dokument verwendet wird. exclude-result-prefixes stellt sicher, dass die angegebenen Präfixe nicht in die Output-Datei ausgegeben werden.

9 XSLT einzelne Templates 9/29 XSLT: Output (Header) Figure: Output: Encoding Wie in diesem Ausschnitt zu sehen, entspricht das Encoding des ausgegebenen XML-Files der Spezifikation in der auf der vorherigen Folie abgebildeten XSLT-Datei (windows-1252).

XSLT einzelne Templates XSLT:Template (Wurzelknoten) Figure:

in info -Knoten umschlossen und die übrigen Templates auf sie

10 XSLT einzelne Templates XSLT:Template (Wurzelknoten) Figure: Wurzelknoten erstellen Ohne Root ist der Output nicht wohlgeformt! Der Slash matcht alle Knoten im Input-XML, dann werden diese in info -Knoten umschlossen und die übrigen Templates auf sie angewandt. Figure: Ouput. Anfang und Ende des ausgegebenen XML-Files: Die Wurzelknoten schließen alle anderen Knoten ein. 10/29

11 XSLT einzelne Templates 11/29 XSLT: Template (Person) Figure: Das Template matcht den Knoten person. id erhält seinen eigenen Wert, der für name wird aus zwei anderen Attributwerten zusammengesetzt. Auf alle Kindknoten werden die anderen Templates angewandt. Figure: Output: Das Attribut id sowie das kombinierte Attribut name werden als einzige person -Attribute ausgegeben.

12 XSLT einzelne Templates 12/29 XSLT: Haupt-Template Figure: Das Haupt-Template matcht den Knoten t und gibt ihm das Attribut id des Großvaterknoten person (Z.22). Der Regex unterteilt den im XML-File in einem t-knoten vorhandenen String in drei Gruppen, 1 = Name der Firma, 2 = Ort, 3 = Position des MdB.

13 XSLT einzelne Templates Figure: Das vollständige tranformierte XML: Jetzt sind nur noch die für die Aufgaben notwendigen Daten da. Company, place und pos sind die neu erstellten Kindknoten von t. 13/29 XSLT: finales Output

14 Python 14/29 Python (Schritt 2) Figure: Die company-knoten werden mit dem Paket xml.etree.elementtree (etree) extrahiert. company entspricht dem Knoten company im vereinfachten XML-File.

Python Wikipediaanfrage Python (Schritt 3) Wikipedia wird nach Einträgen zu den einzelnen company -Knoten durchsucht. Figure: Eine Abfrage wie auf Abb. 12, diesmal mit Python. Die links, in Abb.

15 Python Wikipediaanfrage Python (Schritt 3) Wikipedia wird nach Einträgen zu den einzelnen company -Knoten durchsucht. Figure: Eine Abfrage wie auf Abb. 12, diesmal mit Python. Die links, in Abb. 12 angezeigten Ergebnisse werden als Liste ausgegeben. Figure: Statt dem hier abgeb. manuellem Aufruf wird die Enzyklopädie mit dem Python-Paket Wikipedia abgefragt. (siehe [9], 15/29

16 Python Dbpediaanfrage 16/29 Python (Schritt 4) Die Liste mit den Titeln der möglichen Wikipages zu einer Suchanfrage soll auf Personen beschränkt werden Die Titel sind gleichzeitig Dbpedia-Label (wikilabels). Dbpedia Dbpedia benutzen, um festzustellen, ob das wikilabel eine Person bezeichnet. Wenn ja, diese Person als Kontaktperson zum entsprechenden MdB hinzufügen.

17 Python Dbpediaanfrage 17/29 Python Figure: Dbpedia Abfrage mit SparqlWrapper.

Python Dbpediaanfrage 18/29 SPARQL Figure: 1.-3.Zeile: Prefix Deklaration. 5.: Setzen der Variable?label as gewünschte Ausgabe. 8.: Entität soll den rdf:type person besitzen. 9.:Variable aus Z.

18 Python Dbpediaanfrage 18/29 SPARQL Figure: 1.-3.Zeile: Prefix Deklaration. 5.: Setzen der Variable?label as gewünschte Ausgabe. 8.: Entität soll den rdf:type person besitzen. 9.:Variable aus Z.5 als Wert des Prädikats rdfs:label setzen. 10.: Label soll in deutscher Srache sein. Das rdfs:label entspricht Vorname Nachname, d.h. dem Wikilabel, d.h. dem Titel der dazugehörigen Wikipedia-Seite (s. nächste Folie).

19 Python Dbpediaanfrage 19/29 Dbpedia Figure: Ausschnitt der DBpediaseite einer Person: links stehen die Attribute, rechts die Werte. Die eine der abgefragten Eigenschaften, rdf:type, ist unten zu sehen. (siehe [10],

20 Python Mit Python XML editieren 20/29 XML ergänzen (Schritt 5) Figure: Der person -Knoten wird für jeden Menschen, der zu seinen company -Knoten gefunden wurde, um jeweils einen knows -Knoten ergänzt. Auch hierfür wurde das Paket etree benutzt.

21 Python Mit Python XML editieren 21/29 Output Figure: Ausschnitt aus dem finalen XML-File. Die (potentiellen) Kontaktpersonen des jeweiligen MdB stehen in den knows Knoten.

22 Probleme und Hürden 22/29 Probleme und Hürden Zugriff Limits (wikipedia, dbpedia) Daten nicht verfügbar (Infobox Mapping für Firmen vs. Infoboxen von Musikbands) Daten in falschem Format (Plenarprotokolle in PDF, bzw. unformatiertem Text) Handelsregister zu wenig Daten, keine API

23 weitere Aufgaben Überblick 23/29 weitere Aufgaben ALLE Label für Suchanfrage von Wikipedia zurückerhalten (siehe Mediawiki: continue) Lebensdaten von knows-personen müssen sich mit denen des MdB überschneiden! (Disambiguieren) Encoding! (auch wichtig für Visualisierung des Graphen, csv) Graph visualisieren (mit welchen Personen ist MdB x über seine Arbeit verknüpft?) Plenarprotokolle (text) in xml/xces o.ä. transformieren Redebeiträge einzelner MdBs aus zu MdB-Datei hinzufügen Videoschnitte von zu MdB-Datei hinzufügen

24 weitere Aufgaben Plenarprotokolle 24/29 Plenarprotokolle: kurzer Einblick in TEI Die Plenarprotokolle liegen nur in unstrukturiertem Text vor. Die Text Encoding Initative (TEI) hat Codierungsformate für verschiedene Textsorten entwickelt. Plenumsdiskussion große Ähnlichkeit zu Theaterstück: (Redner = Sprecher, Zwischenrufe = Regieanweisung, etc) Daher: TEI-Drama

25 weitere Aufgaben Plenarprotokolle Plenarprotokolle in TEI-drama Figure: Bsp. von für Dramen gedachtem TEI-Drama auf Plenarprotokoll. 25/29

26 Ressourcen 26/29 Ressourcen I [1] Abgeordnetenwatch: ( ) [2] Bundestagsradar: ( ) [3] XML Parser: ( ) [4] ElementTree Overview: ( )

27 Ressourcen 27/29 Ressourcen II [5] A Pythonic wrapper for the Wikipedia API: ( ) [6] RDFLib is a Python library for working with RDF: ( ) [7] SPARQL Endpoint interface to Python (1.6.4): ( ) [8] Text Encoding Initiative: ( ) [9] Deutsche Wikipedia: ( )

28 Ressourcen 28/29 Ressourcen III [10] Deutsche Dbpedia: ( )

29 Open Data Projekte 29/29 Links zu Open Data Projekten ( ) ( ) ( ) ( ) (wie, UK), ( ) (wie, US), ( ) ( )

Ähnliche Dokumente

IT-Zertifikat: Daten- und Metadatenstandards. Transformation von XML-Dokumenten mit XSLT (und XPATH) XSLT kurz und knackig. XSLT und die Praxis

IT-Zertifikat: Daten- und Metadatenstandards Transformation von XML-Dokumenten mit XSLT (und XPATH) XSLT kurz und knackig I. Was ist XSLT? XSL Transformation (XSLT) ist eine Programmiersprache zur Transformation