Stemming. OS Einblicke in die Computerlinguistik Felix Hain HTWK Leipzig

Transkript

1 Stemming OS Einblicke in die Computerlinguistik Felix Hain HTWK Leipzig

2 Gliederung Motivation Der Begriff Stemming Potentielle Probleme Stemming-Algorithmen Ansätze Porter-Stemmer-Algorithmus Substitute-and-Strip-Algorithmus Evaluation von Stemmern

3 Motivation Aufgabe: Finden von Informationen in großen Mengen natürlichen Textes zum Beispiel: Volltextsuche automatischer Textvergleich Information Retrieval / Wissensextraktion

4 Motivation Wörter treten in verschiedenen Formen auf Konjugation ich lerne, du lernst, er/sie/es lernt Deklination das schöne Haus, dem schönen Haus Wortart sauber, säubern, Sauberkeit Zahl Buch, Bücher

5 Motivation Problem: einfache Stichwortsuche erkennt i.d.r. keine Verwandtschaft zwischen Wörtern Lösungsansatz: Reduktion des Vokabulars auf grundlegende Wortformen Stemming

6 Der Begriff Stemming Stammformreduktion, Normalformenreduktion Bezeichnung für die Abbildung von Wörtern auf sogenannte Stämme (engl.: Stems )

7 Der Begriff Stemming nicht unbedingt Wortstämme im linguistischen Sinne gemeint Abbildung von Wörtern aufeinander mittels Stemming nennt man Conflation ( Zusammenführung, Verschmelzung )

8 Potentielle Probleme unregelmäßige Wortformen nehmen, nahm, genommen Infixe essen, gegessen vortragen, vorgetragen

9 Potentielle Probleme speziell im Deutschen: Umlaute Haus, Häuser Komposita Kunstmuseum Fußballstadion

10 Potentielle Probleme Understemming Wort wird zu schwach reduziert eigentlich verwandte Wörter werden auf unterschiedliche Stämme zurückgeführt Overstemming Wort wird zu stark reduziert eigentlich nicht verwandte Wörter werden auf gleichen Stamm zurückgeführt

11 Stemming-Algorithmen Unterteilung in verschiedene Typen: Table Lookup Successor Variety Affix Removal N-Gram

12 Table Lookup Stemming Konsultation einer Tabelle, die jedem Wort ihren Stamm zuordnet Problem: Tabelle woher? müsste erst erstellt werden wäre sehr groß kann niemals wirklich vollständig sein

13 Successor Variety Nachfolgervielfalt gegeben: Textkorpus Successor Variety S ist eine Funktion :: String N sei Z eine Zeichenkette der Länge n sei M die Menge aller Zeichenketten der Länge n+1 im Korpus, die mit Z beginnen dann ist S(Z) = M

14 Successor Variety sei Z die Zeichenkette der ersten i Zeichen eines Wortes W dann ist S i (W) = S(Z)

15 Successor Variety Stemming verschiedene Methoden zur Segmentierung eines Wortes: Cutoff Method Peak and Plateau Method Complete Word Method Entropy Method

16 Cutoff Method Festlegung eines Cutoff-Wertes c für i = 1 n: wenn S i (W) c, dann Schnitt (Beginn eines neuen Segmentes) Problem: Ermittlung eines guten c wenn zu klein: zu viele Segmente wenn zu groß: zu wenige Segmente

17 Peak and Plateau Method Berechnung aller S i (W) für ein gegebenes W Bestimmung der Stellen der lokalen Maxima, also alle i, für die gilt: S i (W) > S i-1 (W) S i (W) > S i+1 (W) für jedes solche i: Schnitt nach dem i. Zeichen des Wortes

18 Complete Word Method Schnitt nach jedem Teilwort, welches auch als eigenständiges Wort im Korpus vorkommt

19 Entropy Method sei D αi die Anzahl der Vorkommen einer Zeichenkette α im Textkorpus sei D αij die Anzahl der Vorkommen der Zeichenkette gefolgt von einem Buchstaben j D dann ist αij D die Wahrscheinlichkeit, dass αi dieser Buchstabe auf die Zeichenkette folgt Entropie H αi = D αij j=1 D αi log D αij 2 D αi

20 Auswahl eines Segmentes ermittelte Segmente werden verwendet, um daraus den Stem festzulegen im Englischen z.b.: 1. Segment, falls dieses in 12 Wörtern im Korpus enthalten ist, 2. Segment sonst im Deutschen schwierig Bsp.: aufräumen unaufgeräumt

21 Affix Removal Stemming gegeben: Set von Regeln (sprachabhängig) zur Entfernung von Affixen evtl. Vorbedingungen evtl. zusätzliche Transformation bei den meisten Stemmern wird jeweils diejenige Regel zuerst ausgewählt, die die meisten Zeichen entfernt

22 N-Gram Stemming N-Gramm = Folge von n Zeichen Bigramm (2), Trigramm (3),... Ermittlung der Anzahl verschiedener N- Gramme in einem Wort bei gegebenem n Berechnung eines Ähnlichkeitswertes zwischen Wörtern, z.b. Koeffizient von Dice

23 N-Gram Stemming Koeffizient von Dice: sei A die Anzahl einzigartiger N-Gramme eines Wortes sei B die Anzahl einzigartiger N-Gramme eines anderen Wortes sei C die Anzahl gemeinsamer einzigartiger N-Gramme der beiden Wörter dann ist Dice's Koeffizient S = 2C A+B

24 Porter-Stemmer-Algorithmus Martin Porter, 1980 bekannter, weit verbreiteter Stemming- Algorithmus hat Varianten für zahlreiche verschiedene Sprachen Affix-Removal-Algorithmus

25 Porter-Stemmer-Algorithmus jedes Wort besteht (nur) aus Buchstaben Zahlen, Satzzeichen und Sonderzeichen werden nicht berücksichtigt Buchstaben werden in Vokale und Konsonanten unterteilt

26 Porter-Stemmer-Algorithmus für die deutsche Sprache gilt: V = {a, e, i, o, u, y, ä, ö, ü} C = \ V ß ss

27 Porter-Stemmer-Algorithmus Definition der Wortregionen R1 und R2: R1 = Teil des Wortes nach dem ersten Konsonanten, welcher einem Vokal folgt (, welcher nicht der erste Buchstabe des Wortes ist) W = (C V) + VCR 1 R2 = Teil von R1 nach dem ersten Konsonanten, welcher einem Vokal folgt R 1 = (C V)*VCR 2

28 Porter-Stemmer-Algorithmus weitere Definitionen: gültiges s-ende E S = {b, d, f, g, h, k, l, m, n, r, t} gültiges st-ende E ST = {b, d, f, g, h, k, l, m, n, t}

29 Porter-Stemmer-Algorithmus Schritt 1: 3 Prüfungen, in dieser Reihenfolge: a) endet R1 auf em, ern oder er? b) endet R1 auf e, en oder es? c) endet R1 auf s, welches auf ein E S folgt? falls eine der Prüfungen wahr aus: Endung entfernen, restliche Prüfungen überspringen anschließend: im Fall b) Endung niss nis

30 Porter-Stemmer-Algorithmus Schritt 2: 2 Prüfungen, in dieser Reihenfolge: a) endet R1 auf en, er oder est? b) endet R1 auf st, welches auf ein E ST folgt? fällt eine der Prüfungen wahr aus: Endung entfernen, restliche Prüfung überspringen

31 Porter-Stemmer-Algorithmus Schritt 3: 4 Prüfungen, in dieser Reihenfolge: a) endet R2 auf end oder ung? b) endet R2 auf ig, ik oder isch, welches nicht auf ein e folgt? c) endet R2 auf lich, oder heit? d) endet R2 auf keit? fällt eine der Prüfungen wahr aus: Endung entfernen, restliche Prüfungen überspringen

32 Porter-Stemmer-Algorithmus a) endet R2 auf end oder ung? b) endet R2 auf ig, ik oder isch, welches nicht auf ein e folgt? c) endet R2 auf lich, oder heit? d) endet R2 auf keit? anschließend: im Fall a) Endung ig aus R2 entfernen, wenn sie nicht auf ein e folgt im Fall c) Endung er oder en aus R1 entf. im Fall d) Endung lich oder ig aus R2 entf.

33 Porter-Stemmer-Algorithmus schließlich: ä a ö o ü u

34 Substitute-and-Strip-Algorithmus Jörg Caumanns Ziel: einfacher und schneller Algorithmus zum Stemming deutscher Texte teilweiser Verzicht auf Korrektheit zugunsten von Simplizität

35 Substitute-and-Strip-Algorithmus 2 Schritte: Substitution bestimmter Zeichen bzw. Zeichenketten Zweck: Behandlung von Umlauten sowie aus mehreren Buchstaben bestehenden Lauten Entfernung von Affixen Zweck: Entf. v. Deklinationsendungen etc.

36 Substitute-and-Strip-Algorithmus Substitution: ä a, ö o, ü u, ß ss Zeichendopplungen: Ersetzung des zweiten Zeichens durch * sch $, ch, ei %, ie &

37 Substitute-and-Strip-Algorithmus Affixentfernung: rekursive Entfernung von e, s, n, t, em, er, nd am Wortende danach: Entfernung von ge am Wortende und -anfang

38 Substitute-and-Strip-Algorithmus Affixentfernung: Vorbedingung für die Entfernung von... (allem): noch mindestens 4 Zeichen im Wort em, er: noch mindestens 5 Zeichen im Wort nd: noch mindestens 6 Zeichen im Wort t: Kleinbuchstabe am Wortbeginn

39 Substitute-and-Strip-Algorithmus Verbesserungsvorschläge: z x (Matrix, Matrizen) eigene Regeln für häufige unregelmäßige Verben

40 Evaluation von Stemmern Kriterien: Verhältnis gefundener relevanter Dokumente zur Gesamtzahl rel. Dokumente (Recall) Verhältnis gefundener relevanter Dokumente zur Gesamtzahl gef. Dokumente (Precision) Geschwindigkeit Komplexität Textkompression

41 Quellen Information Retrieval: Data Structures & Algorithms (William B. Frakes, Ricardo Baeza-Yates) Computerlinguistik und Sprachtechnologie (Kai-Uwe Carstensen, Christian Ebert, Cornelia Ebert, Susanne J. Jekat, Ralf Klabunde, Hagen Langer) A Fast and Simple Stemming Algorithm for German Words (Jörg Caumanns)