Informationsextraktion Materialien zur Vorlesung

Transkript

1 Vordefinierte Informationsextraktion Materialien zur Vorlesung Reguläre Ausdrücke D. Rösner Institut für Wissens- und Sprachverarbeitung Fakultät für Informatik Otto-von-Guericke Universität Magdeburg Winter 2011/12, 16. Dezember 2011, c D.Rösner

2 Gliederung Einleitung Vordefinierte 1 Einleitung Vordefinierte 6 7 8

3 Vordefinierte Reguläre Ausdrücke viele interessierende Token und Token-Kombinationen lassen sich mithilfe regulärer Ausdrücke beschreiben im folgenden wird die API aus java.util.regex als Beispiel einer Sprache für reguläre Ausdrücke vorgestellt URL: tutorial/extra/regex/index.html unter dieser URL ist auch ein einfaches Testprogramm verfügbar (sog. RegexTestHarness) s.a. [Hab04]

4 Vordefinierte Reguläre Ausdrücke einfachster Fall eines regulären Ausdrucks ist ein String-Literal Beispiel: REGEX ist foo String (INPUT) ist ebenfalls foo Ergebnis des RegexTestHarness ist dann Current REGEX is: foo Current INPUT is: foo I found the text "foo" starting at index 0 and ending at index 3.

5 Vordefinierte Reguläre Ausdrücke ein regulärer Ausdruck kann mehrmals Erfolg haben Current REGEX is: foo Current INPUT is: foofoofoo I found the text "foo" starting at index 0 and ending at index 3. I found the text "foo" starting at index 3 and ending at index 6. I found the text "foo" starting at index 6 and ending at index 9.

6 Vordefinierte Reguläre Ausdrücke Beachte: ein erneuter Match kann erst frühestens bei der End-Position des vorherigen Match beginnen Current REGEX is: foofo Current INPUT is: foofoofoofoofo I found the text "foofo" starting at index 0 and ending at index 5. I found the text "foofo" starting at index 6 and ending at index 11.

7 Vordefinierte Reguläre Ausdrücke flexibler als mit String-Literalen lassen sich Match-Bedingungen formulieren, wenn Meta-Zeichen verwendet werden Meta-Zeichen werden vom Matcher auf spezielle Weise interpretiert Beispiel: der Punkt (.) als Meta-Zeichen passt auf ein beliebiges Zeichen Current REGEX is: cat. Current INPUT is: cats I found the text "cats" starting at index 0 and ending at index 4.

8 Vordefinierte Reguläre Ausdrücke: Meta-Zeichen die durch die regex-api unterstützten Meta-Zeichen sind: ( [ { \ ^ $ )? * +. Meta-Zeichen können auf folgende Weise als gewöhnliche Zeichen verwendet werden: durch Voranstellen eines Backslash ( \) durch Einschluss zwischen \Q und \E

9 Vordefinierte Reguläre Ausdrücke: im von regulären Ausdrücken wird eine Zeichenklasse geschrieben als eine Menge von Zeichen innerhalb eckiger Klammern eine Zeichenklasse enthält die für den Match mit einem einzelnen Zeichen der Eingabe in Frage kommenden Zeichen Beispiel: Zeichenklasse [rcb] Current REGEX is: [rcb]at Current INPUT is: bat I found the text "bat" starting at index 0 and ending at index 3.

10 Vordefinierte Reguläre Ausdrücke: damit alle Zeichen ausser den aufgelisteten erfolgreich sind, muss das Meta-Zeichen für Negation (^) an den Anfang der Zeichenklasse gestellt werden Current REGEX is: [^bcr]at Current INPUT is: rat No match found. Current REGEX is: [^bcr]at Current INPUT is: hat I found the text "hat" starting at index 0 and ending at index 3.

11 Vordefinierte Reguläre Ausdrücke: um Bereiche von Zeichen (z.b. Buchstaben von u bis z, Ziffern von 5 bis 9) zu kennzeichnen, kann zwischen Anfangselement und Endelement des Bereichs ein - geschrieben werden Current REGEX is: foo[1-5] Current INPUT is: foo5 I found the text "foo5" starting at index 0 and ending at index Current REGEX is: foo[1-5] Current INPUT is: foo6 No match found.

12 Vordefinierte Reguläre Ausdrücke: Bereiche können auch nebeneinandergestellt werden, z.b. [a-za-z] Negation kann mit Bereich verwendet werden Current REGEX is: foo[^1-5] Current INPUT is: foo1 No match found. Current REGEX is: foo[^1-5] Current INPUT is: foo6 I found the text "foo6" starting at index 0 and ending at index

13 Vordefinierte Reguläre Ausdrücke: Mengenoperationen bei für beliebige (nicht nur Bereiche) stehen die Mengenoperationen Vereinigung, Durchschnitt und Mengendifferenz zur Verfügung syntaktisch wird die Vereinigung durch Einbetten einer Zeichenklasse innerhalb einer anderen dargestellt Current REGEX is: [0-4[789]] Current INPUT is: 0 I found the text "0" starting at index 0 and ending at index 1.

14 Vordefinierte Reguläre Ausdrücke: Mengenoperationen syntaktisch wird der Durchschnitt mit dem Operator && dargestellt Current REGEX is: [0-9&&[345]] Current INPUT is: 5 I found the text "5" starting at index 0 and ending at index 1. Current REGEX is: [0-9&&[345]] Current INPUT is: 2 No match found.

15 Vordefinierte Reguläre Ausdrücke: Mengenoperationen syntaktisch wird die Mengendifferenz als Durchschnitt mit einem Komplement realisiert Current REGEX is: [0-9&&[^345]] Current INPUT is: 2 I found the text "2" starting at index 0 and ending at index 1. Current REGEX is: [0-9&&[^345]] Current INPUT is: 3 No match found.

16 Vordefinierte Reguläre Ausdrücke: mit n kann festgelegt werden, wie oft ein Match erwartet wird bzw. zulässig ist die Meta-Zeichen * +? haben zunächst die aus formalen Sprachen (Kleene; s. z.b. XML-DTDs) bekannte Bedeutung: Muster Bedeutung x* null oder endlich viele x x+ ein oder endlich viele x x? null oder ein x

17 Vordefinierte Reguläre Ausdrücke: mit in nachgestellten geschweiften Klammern angegebenen n kann festgelegt werden, dass ein Muster exakt n mal erfolgreich sein soll (Syntax: {n}), ein Muster mindestens n mal erfolgreich sein soll (Syntax: {n,}), ein Muster mindestens m und höchstens n mal erfolgreich sein soll (Syntax: {m,n}).

18 Vordefinierte Reguläre Ausdrücke: Muster exakt n mal erfolgreich Current REGEX is: a{3} Current INPUT is: aa No match found. Current REGEX is: a{3} Current INPUT is: aaa I found the text "aaa" starting at index 0 and ending at index 3. Current REGEX is: a{3} Current INPUT is: aaaa I found the text "aaa" starting at index 0 and ending at index 3.

19 Vordefinierte Reguläre Ausdrücke: Muster mindestens n mal erfolgreich Current REGEX is: a{3,} Current INPUT is: aaaaaaaaa I found the text "aaaaaaaaa" starting at index 0 and ending at index 9.

20 Vordefinierte Reguläre Ausdrücke: Muster mindestens m und höchstens n mal erfolgreich Current REGEX is: a{3,6} // find at least 3 // (but no more than 6) a s in a row Current INPUT is: aaaaaaaaa I found the text "aaaaaa" starting at index 0 and ending at index 6. I found the text "aaa" starting at index 6 and ending at index 9.

21 Vordefinierte Reguläre Ausdrücke: können auch auf und angewendet werden Current REGEX is: (dog){3} Current INPUT is: dogdogdogdogdogdog I found the text "dogdogdog" starting at index 0 and ending at index 9. I found the text "dogdogdog" starting at index 9 and ending at index 18. Current REGEX is: dog{3} Current INPUT is: dogdogdogdogdogdog No match found.

22 Vordefinierte Reguläre Ausdrücke: für Zeichenklasse Current REGEX is: [abc]{3} Current INPUT is: abccabaaaccbbbc I found the text "abc" starting at index 0 and ending at index 3. I found the text "cab" starting at index 3 and ending at index 6. I found the text "aaa" starting at index 6 and ending at index 9. I found the text "ccb" starting at index 9 and ending at index 12. I found the text "bbc" starting at index 12 and ending at index 15.

23 Vordefinierte Reguläre Ausdrücke: Es gibt subtile Unterschiede zwischen unterschiedlichen bei der Verarbeitung von Mustern mit n greedy (Default): es wird versucht, so viel wie möglich zu matchen; Reduktion des Ergebnisses (Backup) nur, wenn wegen späterem Fehlschlag erforderlich lazy oder reluctant (Syntax: nachgestelltes?): es wird versucht, so wenig wie möglich zu matchen; Ausweitung des Ergebnisses nur, wenn wegen späterem Fehlschlag erforderlich...

24 Vordefinierte Reguläre Ausdrücke:... possessive (Syntax: nachgestelltes +): es wird versucht, so viel wie möglich zu matchen, aber im Unterschied zu greedy wird ein einmal erfolgreicher (lokaler) Match nicht wieder (zugunsten globalen Erfolgs) aufgegeben

25 Vordefinierte Reguläre Ausdrücke: Beispiele für Current REGEX is:.*foo // greedy quantifier Current INPUT is: xfooxxxxxxfoo I found the text "xfooxxxxxxfoo" starting at index 0 and ending at index 13. Current REGEX is:.*?foo // reluctant quantifier Current INPUT is: xfooxxxxxxfoo I found the text "xfoo" starting at index 0 and ending at index 4. I found the text "xxxxxxfoo" starting at index 4 and ending at index 13. Current REGEX is:.*+foo // possessive quantifier Current INPUT is: xfooxxxxxxfoo

26 Vordefinierte Reguläre Ausdrücke: Varianten bei n Greedy Lazy Possessive Bedeutung x* x*? x*+ null oder endlich viele x x+ x+? x++ ein oder endlich viele x x? x?? x?+ null oder ein x x{n} x{n}? x{n}+ exakt n mal x x{n,} x{n,}? x{n,}+ mindestens n mal x x{m,n} x{m,n}? x{m,n}+ m bis n mal x

27 Vordefinierte Reguläre Ausdrücke Die regex API bietet die folgenden vordefinierten : Muster Bedeutung. beliebiges Zeichen \d eine Ziffer: [0-9] \D eine Nicht-Ziffer: [^0-9] \s ein Leerzeichen (whitespace): [ \t\n\x0b\f\r] \S ein Nicht-Leerzeichen (non-whitespace): [^\s] \w ein Wort-Zeichen: [a-za-z_0-9] \W ein Nicht-Wort-Zeichen: [^\w]

28 Vordefinierte Reguläre Ausdrücke: Begrenzungsbedingungen mit den sog. boundary matchers kann Match von einer speziellen Begrenzungsbedingung abhängig gemacht werden: Boundary Matcher Bedeutung ^ Zeilenanfang $ Zeilenende \b eine Wortgrenze \B keine Wortgrenze \A Beginn der Eingabe \G Ende des vorherigen Match \Z Ende der Eingabe (ignoriert Terminatorzeichen \z Ende der Eingabe

29 Vordefinierte Reguläre Ausdrücke: (capturing groups) sind in Klammern zusammengefasste Folgen von Zeichen oder von rekursiv Zählung der Gruppen anhand der Klammern von links nach rechts: der Ausdruck ((A))(B(C))) enthält die Gruppen 1 ((A))(B(C))) 2 (A) 3 (B(C)) 4 (C) Gruppe 0 ist der gesamte Ausdruck

30 Vordefinierte Reguläre Ausdrücke: auf kann wieder verwiesen werden Syntax: Backslash ( \) gefolgt von Nummer der Gruppe Beispiel: Current REGEX is: (\d\d)\1 Current INPUT is: 1212 I found the text "1212" starting at index 0 and ending at index 4. Current REGEX is: (\d\d)\1 Current INPUT is: 1234 No match found.

31 Vordefinierte Reguläre Ausdrücke: bei werden die matchenden Teilstrings des Kandidaten von der regex engine im Speicher gehalten will man eine Gruppe nur als logische Einheit behandeln ohne den matchenden Teilstring zu speichern, so kann dies durch eine nicht-ergreifende Wiederholungsgruppe geschehen (engl. noncapturing group) nicht-ergreifende werden bei der Indexvergabe an Grupppen nicht gezählt

32 Vordefinierte Reguläre Ausdrücke: Syntax: nach der öffnenden Klammer der Gruppe (?:) anbringen Beispiel: Unterschied zwischen den Mustern (\w)(\d\d)(\w+) und (\w)(\d\d)(?:\w+) Beispiel: Unterschied zwischen den Mustern (good bad terrible great) morning und (?:good bad terrible great) morning

33 Vordefinierte Reguläre Ausdrücke: mit sog. lookarounds kann der berücksichtigt werden, ohne ihn zu konsumieren vier Varianten: positive Vorausschau negative Vorausschau positive Rückschau negative Rückschau engl. Bezeichner: lookahead bzw. lookbehind

34 Vordefinierte Reguläre Ausdrücke: lookahead Syntax: nach der öffnenden Klammer der Gruppe?= anbringen Beispiel: Muster (?=\d\d) Beispiel: akzeptieren von IP-Adressen, aber nur wenn sie mit 255 beginnen Muster: (?=^255).* Kandidat: beachte unterschiedliches Verhalten von (?:=^255).*

35 Vordefinierte Reguläre Ausdrücke: negative lookahead Syntax: nach der öffnenden Klammer der Gruppe?! anbringen damit wird ausgedrückt, dass etwas nicht folgen soll im Kandidatenstring Beispiel: akzeptieren von Namen aus Vorname John gefolgt von Nachname, sofern dieser nicht Smith ist Muster: John (?!Smith)[A-Z]\w+

36 Vordefinierte Reguläre Ausdrücke: positive lookbehind Syntax: nach der öffnenden Klammer der Gruppe?<= anbringen Beispiel: sicherstellen, dass dem Kandidaten zwei Ziffern vorangehen Muster: (?<=\d\d).* Beispiel: akzeptieren als URL, wenn vorangeht Muster: (?<=

37 Vordefinierte Reguläre Ausdrücke: negative lookbehind Syntax: nach der öffnenden Klammer der Gruppe?<! anbringen Beispiel: sicherstellen, dass dem Kandidaten nicht zwei Ziffern vorangehen Muster: (?<!\d\d).* Frage: Wie wird String 42 ist die Antwort mit dem Muster verarbeitet?

38 Vordefinierte Reguläre Ausdrücke Hinweise zum Erhöhen der (vgl. [M. Habibi, 2004, Ch. 3]) Bevorzuge nicht-ergreifende, sofern möglich. Schalte der regex-verarbeitung einfache Tests vor. Beispiel: Bevor auf -adresse und ihre Komponenten getestet wird, prüfe, ob überhaupt enthalten: if (candidate.indexof("@")) //..

39 Vordefinierte Reguläre Ausdrücke Hinweise zum Erhöhen der cont. Ordne Alternativen nach erwarteter Häufigkeit. Beispiel: wenn 90 Prozent der Mitglieder eines Klubs promoviert, dann Muster für Titel.*\b(?:Dr Mr Mrs Miss Brother Mister).* Kandidat: Please meet Dr Hana Saez

40 Vordefinierte Reguläre Ausdrücke Hinweise zum Erhöhen der cont. Sei so spezifisch wie möglich. Wenn bekannt, dass nur Ziffern zu erwarten, dann nicht \w, sondern \d Wenn bekannt, dass Grossbuchstabe gefolgt von Kleinbuchstaben, dann [A-Z][a-z]+ statt \w* Literale Strings werden (in der J2SE regex Implementation) schneller verarbeitet als so ist bei Suche nach Zahl zwischen 10 und 19 das Muster 1\d effizienter als \d+, \d\d, \d{2},...

41 Vordefinierte Reguläre Ausdrücke Hinweise zum Erhöhen der cont. Spezifiziere die Position des Kandidaten, falls angebbar. m.a.w. wenn Begrenzungsbedingungen gelten müssen, sollten diese angegeben werden Spezifiziere die Länge des Kandidaten, falls angebbar. m.a.w. \b[a-z][a-z]{1,20} besser als \b[a-z][a-z]+ m.a.w. bei sechs oder mehr Zeichen ist \w\w\w\w\w\w+ besser als \w+

42 Vordefinierte Reguläre Ausdrücke Hinweise zum Erhöhen der cont. Grenze den Bereich von Alternativen ein. m.a.w. gegenüber Good Morning Good Evening ist Good (?:Morning Evening) vorzuziehen

43 Literatur: I Einleitung Vordefinierte Mehran Habibi. Java Regular Expressions: Taming the java.util.regex engine. Apress, Berkeley, 2004.