Gliederung. Informationsextraktion Materialien zur Vorlesung. Entwicklung eines regex für Firmennamen. Entwicklung eines regex für Firmennamen

Transkript

1 Gliederung Informationsextraktion Materialien zur Vorlesung Beispiel: reguläre Ausdrücke für Firmennamen 1 D. Rösner Institut für Wissens- und Sprachverarbeitung Fakultät für Informatik Otto-von-Guericke Universität Magdeburg 2 Winter 2011/12, 16. Dezember 2011, c D.Rösner eines regex für Firmennamen eines regex für Firmennamen im folgenden wird ein regex für (bestimmte) Firmennamen entwickelt erfolgt schrittweise dabei spielt Betrachtung von Fehlern und Schwächen von (Teil-)Lösungen eine wichtige Rolle Aufgabe: ein regex für Firmennamen wie Mueller GmbH erste GmbH Mögliche Probleme? Current INPUT is: Die Mueller GmbH ist Nachfolger der Schulze GMBH u. Co KG I found the text "GmbH" starting at index 12 and ending at index 16. Mögliche Abhilfe?

2 eines regex für Firmennamen eines regex für Firmennamen Aufgabe: auch GMBH erkennen G[mM][bB]H angewndet: Current INPUT is: Die Mueller GmbH ist Nachfolger der Schulze GMBH u. Co KG I found the text "GmbH" starting at index 12 and ending at index 16. I found the text "GMBH" starting at index 44 Aufgabe: der dem GmbH vorausgehende Firmenname sollte mit erfasst werden \b[a-z][a-z]+\sg[mm][bb]h Current INPUT is: Die Mueller GmbH ist Nachfolger I found the text "Mueller GmbH" starting at index 4 and ending at index 16. I found the text "Schulze GMBH" starting at index 36 Schwächen bzw. mögliche Probleme? eines regex für Firmennamen eines regex für Firmennamen \b[a-z][a-z]+\sg[mm][bb]h angewendet auf: I found the text "Diese GmbH" starting at index 0 I found the text "Schulze GMBH" starting at index 30 and ending at index 42. Aufgabe: auch Gmbh und Co KG erfassen \b[a-z][a-z]+\sg[mm][bb]h((und u\.)\sco\skg)? der Schulze GMBH und Co KG I found the text "Diese GmbH" starting at index 0 I found the text "Schulze GMBH und Co KG" starting at index 30 and ending at index 52.

3 eines regex für Firmennamen eines regex für Firmennamen Aufgabe: wenn Artikel Die oder Diese vorangeht, soll dieser nicht als Teil des Firmennamens betrachtet werden ((?!(Die Diese))\b[A-Z][a-z]+\s)?\bG[mM][bB]H verwendet: negativer Lookahead I found the text "GmbH" starting at index 6 at index 30 and ending at index 51. Aufgabe: auch Firmennamen, aber nicht Artikel Die oder Diese akzeptieren ((?!(Die Diese))\b[A-Z][a-z]+\s)?\bG[mM][bB]H Current INPUT is: Die Diesel GmbH ist Nachfolger der Schulze GMBH u. Co I found the text "GmbH" starting at index 11 and ending at index 15. Problem? Mögliche Abhilfe? eines regex für Firmennamen eines regex für Firmennamen Aufgabe: Namen, die Die oder Diese nur als Teilstrings enthalten, sollen zugelassen werden ((?!((Die Diese)\b))\b[A-Z][a-z]+\s)?\bG[mM][bB]H Current INPUT is: Die Diesel GmbH ist Nachfolger I found the text "Diesel GmbH" starting at index 4 and ending at index 15. Aufgabe: auch Dieser soll nicht als Name akzeptiert werden ((?!((Die Dieser? Der)\b))\b[A-Z][a-z]+\s)?\bG[mM][bB]H Current INPUT is: Dieser GmbH ist als Nachfolger I found the text "GmbH" starting at index 7 and ending at index 11.

4 eines regex für Firmennamen eines regex für Firmennamen Aufgabe: auch zwei oder mehr vorausgehende Namen sollen akzeptiert werden ((?!((Die Dieser? Der)\b))\b[A-Z][a-z]+\s)* \bg[mm][bb]h Current INPUT is: Die Karl Diesel GmbH ist Nachfolger I found the text "Karl Diesel GmbH" starting at index 4 and ending at index 20. starting at index 40 and ending at index 74. Aufgabe: auch egmbh akzeptieren ((?!((Die Dieser? Der)\b))\b[A-Z][a-z]+\s)* \be?g[mm][bb]h Current INPUT is: Die Karl Diesel egmbh ist Nachfolger I found the text "Karl Diesel egmbh" starting at index 4 and ending at index 21. starting at index 41 and ending at index 75. eines regex für Firmennamen Aufgabe: nicht nur GmbH, sondern auch AG, GbR u.a. sollen akzeptiert werden ((?!((Die Dieser? Der)\b))\b[A-Z][a-z]+\s)*\b ((e?g[mm][bb]h AG GbR KG)\b) Current INPUT is: Die Karl AG, die Diesel egmbh und die Mueller GbR verkaufen AGFA als AG an die Nachfolger I found the text "Karl AG" starting at index 4 and ending at index 11. I found the text "Diesel egmbh" starting at index 16 and ending at index 28. I found the text "Mueller GbR" starting at index 37 I found the text "AG" starting at index 68 and ending at index 70. starting at index 93 and ending at index 127. eines regex für Firmennamen Offene Probleme?

5 eines regex für Firmennamen Reguläre Ausdrücke Vorgehen zusammengefasst: von Kernstring(s) ausgehen Welche alternativen Schreibweisen? zu erfassende Strings vor bzw. nach Kernstring(s) Welche irrtümlichen Matches müssen ausgeschlossen werden? Weitere Varianten? bei Herleitung im Beispiel immer zwei Arten von Fehlern betrachtet: false positives... irrtümlicherweise akzeptierte Strings false negatives... irrtümlicherweise verworfene Strings für viele Verfahren der Sprachverarbeitung gibt es diese antagonistischen Herausforderungen bei der Fehlerreduktion: Erhöhen der Genauigkeit (Minimieren von false positives) Erhöhen der Abdeckung (Minimieren von false negatives) vgl. [JM08], Ch , bzw. [Hab04] Literatur: I Mehran Habibi. Java Regular Expressions: Taming the java.util.regex engine. Apress, Berkeley, Daniel Jurafsky and James H. Martin. Speech and Language Processing: An introduction to natural language processing, computational linguistics, and speech recognition