MULTILINGUAL PERSON NAME RECOGNITION AND TRANSLITERATION

Transkript

1 MULTILINGUAL PERSON NAME RECOGNITION AND TRANSLITERATION Bruno POULIQUEN, Ralf STEINBERGER, Camelia IGNAT Irina TEMNIKOVA, Anna WIDIGER, Wajdi ZAGHOUANI, Jan ŽižKA Referenten: Inna Scherer, Alla Shashkina Hauptseminar Transliteration der Eigennamen SS2007 CIS LMU München

2 JRC (Jo Joint Research Center) EMM (Europe Media Monitor) Tool für Personennamen- Erkennung

3 Extraktion von Personennamen aus multilingualen News-Artikelsammlungen (cluster: >2 & <100 Artikel über das gleiche Ereignis) ) (auch aus verschiedenen Schriftsystemen) Erkennung von verschiedenen Varianten der Personennamen Feststellung der Relationen zwischen den Personen

4 Multilingual lingual Named Entity Recognition (Background) Methoden zur Personennamenserkennung: durch Abgleich mit einer PN-Datenbank durch Analyse des lokalen Kontextes durch Erkennen eines Teils des Personennamens durch Analyse der Wortfolge und Wortklassen JRC Tool verwendet die Methoden 1-3

5 Transliteration Herkunft des Namens Transliteration <=> Transkription Chirac (fr. fr.) Ширак JRC Tool verwendet Transkriptionsregel Internal Standard Representation

6 Proper Name Recogniton Lexikon für Namen (aktueller Stand) RegEx in Flex -> endlicher Automat z.b. RegEx zum Erkennen von Namen Tony Blair und Romano Prodi in slowenischen Texten: Tony(a o u om em m ja ju jem)?s+ (a o u om em m ja ju jem)?s+blair(a o u om em m ju jem ja) Roman(a o u om em m ju jem ja)?s+prodi(a o u om em m ju jem ja)?

7 Trigger Words Liste von lokalen Kontexten zum Erkennen von neuen Personennamen(trigger words) Für Englisch 1100 trigger words : Titel (Dr., Mr.), Nationalität (Estonian Estonian), Beruf (actor actor, tennis player), spezifische Muster ([0-9]+ year-old old) etc.

8 Automatisches Erkennen von Namensvarianten Beispiel für orthographische Namensvarianten: Rafik Hariri, Rafik al-hariri, Rafiq Hariri, Rafiq al-hariri Wann sind zwei Namen die Varianten desselben Namens: Die Kandidaten wurden im gleichen News-Cluster gefunden Das Ähnlichkeitsmaß ist hoch (über 70%)

9 Normalisierung Bevor das Ähnlichkeitsmaß ausgerechnet wird, werden alle Namen mit Hilfe von etwa. 30 Substituierungsregel standardisiert (Internal Standard Representation) á => a Liste von Ausnahmen: pp => p ou => u Джеймс => James wl => vl ck => k ph => f ž => j š => sh

10 Fuzzy matching

11 Fuzzy matching

12 Datenbank Jeder gefundene Name wird automatisch in Datenbank eingefügt, zusammen mit folgenden Informationen: Wann und wo wurde der Name gefunden In welcher Sprache war der Text Welche trigger words hat der Name Welche Namensvarianten gibt es und bekommt einen nummerischen Index.

13 Evaluation (1) Evaluation von Personennamenserkennung (2) Evaluation der Transliteration: -russisch, -arabisch, -persisch (3) Praktische Anwendung von dem Online-Tool: Verhältnisgewicht zwischen 2 Entitäten, Relation Map (4) Fazit

14 (1) Evaluation der Personennamenserkennung Ziel: praktisch testen, ob die Namen in verschieden Sprachen, aus verschiedenen Schriftsystemen tatsächlich erkannt werden. Prinzip: für jede Sprache ca. 100 Zeitungsartikel, aus denen manuell von Experten alle Personalnamen extrahiert wurden. Dann wurde der Tool angewandt und beide Ergebnisse verglichen (Recall-Precision). Auf Firmen- und Ortsnamen wurde verzichtet.

15 Niedriger Recall im Englischen -> es wurde an zu komplexen internationalen Artikeln trainiert (z.b. Phe Naimahawan, of Chiang Mai's Mae Ai district, has been selected (...) to present Thailand in a swimming event.) Presicion im Deutschen -> jedes Nomen wird groß geschrieben. Im Russischen -> nur 10 Namen in der Datenbank definiert: Das System musste die Namen selbst erkennen.

16 (2) Evaluation der Transliteration Allgemeinprinzip: Natürlich wurden keine Testsprachen gewählt, deren Schriftsystem sich auf Lateinisch basieren (denn die Datenbank erhält bereits solche). Man wählt eine nicht lateinbasierte Sprache, lässt das System die Namen erst transliterieren und dann in der Datenbank suchen (Fuzzy-Matching). Russisch: R & P=94,3% (53 Namen -> 1 fehlte in Database Robert Bradtke->Robert Bartko,, 2 wurden falsch identifiziert Jean-Claude Juncker->Carsten Jancker u. Heinz Fischer ->Joschka Fischer). Arabisch: P=89.3%, R=83.3% (30 Namen: 3 falsch identifiziert, 2 nicht gefunden). Persisch: 22 Namen (2 nicht gefunden).

17 (3) Praktische Anwendung des Online-Tools Die Tools zum Erkennen und Matchen der Personennamen sind nur ein Teil des Gesamtsystems Visualisierung der Eigennamen auf der geografischen Weltkarte Name browser: relationenbasierte Datenbank für jeden Cluster in mind. 8 Sprachen Relationen zwischen den Personen, Ländern Database up-to-date (?). Identifizierung der Verknüpfung zwischen den Personen

18

19 Identifikation der Verknüpfungen zwischen den Personen Gewicht der Kookurenz in einem Text Frequenz der Kookurenz Verhältnisgewicht zwischen 2 Entitäten Allgemein gilt: e1,e2: : Entitäten Ce1,e2: : Zahl von Artikeln, wo e1, e2 zusammen vorkommen Ae1,e2: : Wie oft kommen die Entitäten zusammen?

20 Wozu diese Berechnung? Laut Manual: um die Frequenzliste fair zu machen, ausgleichen -> solche Namen wie George W. Bush u.ä. werden in meisten Frequenzlisten an der ersten Stelle stehen und andere Namen herunter schieben, die aber tatsächlich wichtiger sind. im Tool: Frequenzlisten -> related people u. ranking Liste nach Gewicht -> associated people.. Die letzte wird eben nach der oben erwähnten Formel berechnet.

21 Relation Map Zeigt den nächst nahe liegenden Knoten mit Hilfe von 2-D Grafen. geordnet laut dem Wert, der nach der Formel des Verhältnisgewichts berechnet ist.

22 (4) Fazit Verbesserung der Namenserkennung, -extraktors -> Personalnamen werden mitsamt Firmen- u. Ortsnamen erkannt Erweiterung der Datenbank (inklusive Sprachen aus nicht lateinischen Schriftsystemen) rechtzeitige Aktualisierung der News- Datenbank Associated People-Rankinglist: die meist auftrettenden Namen sind nicht dabei (Bush kommt nie in so einer Rankingliste vor)

23 Literaturverzeichnis dentifier=oai%3aarxiv.org%3acs%2f