Kapitel IR:IV. IV. Indexkonstruktion. Stammformreduktion n-gramme Termanreicherung Wortklassenbestimmung

Größe: px

Ab Seite anzeigen:

Download "Kapitel IR:IV. IV. Indexkonstruktion. Stammformreduktion n-gramme Termanreicherung Wortklassenbestimmung"

Michael Bach
vor 7 Jahren
Abrufe

1 Kapitel IR:IV IV. Indexkonstruktion Stammformreduktion n-gramme Termanreicherung Wortklassenbestimmung IR:IV-1 Index Construction STEIN

2 Bemerkungen: Die im folgenden vorgstellten Techniken und Algorithmen werden von einigen Autoren zur Textvorverarbeitung gezählt. Ziel der Verfahren ist es, die Retrieval-Performanz zu erhöhen und die Größe der Indexdateien zu reduzieren. IR:IV-2 Index Construction STEIN

Ziel der Verfahren ist es, die Retrieval-Performanz zu erhöhen und

3 Rückführung eines Wortes auf seinen Wortstamm durch Entfernung der Veränderung aufgrund von Flektion (Beugung). Die Flektion betrifft die Deklination bei Nomina (Kasus, Numerus, Genus) die Konjugation bei Verben (Person, Numerus, Zeit, Modus,... ) die Steigerung (Komparation) bei Adjektiven und Adverbien Ein (Wort-)Stamm ist der Teil des Wortes, der nach der Entfernung der Flektionsinformation (z. B. Affixen) übrigbleibt. Beispiel: connect connects connected connecting connection IR:IV-3 Index Construction STEIN

.. ) die Steigerung (Komparation) bei Adjektiven und Adverbien Ein (Wort-)Stamm ist der Teil des Wortes, der nach der Entfernung

4 Bemerkungen: Verschiedene Untersuchungen haben gezeigt, dass Stammwortreduktion nicht zwangsläufig die Retrieval-Performanz erhöht. Deshalb wenden viele Internet- Suchmaschinen keine Stammwortreduktion an. IR:IV-4 Index Construction STEIN

5 Prinzipien [Frakes 1992] 1. Table-Lookup: Zu einem Wortstamm werden mögliche Flektionen (in einer Hash-Tabelle) gespeichert. Problematik: Speicherplatz. 2. Nachfolgervariation (successor variety): Wendet Wissen aus der strukturellen Linguistik an, um Morphem-Grenzen zu bestimmen. Problematik: schwierig zu automatisieren. 3. n-gramm-analyse: Typische 2-Gramme und 3-Gramme werden mittels Windowing identifiziert und zur Wortstammerkennung ausgenutzt. 4. Affix-Eliminierung: Regelbasierte Algorithmen zur Entdeckung von Präfixen und Suffixen. Wegen ihrer Effizienz und unmittelbar einleuchtenden Funktionsweise handelt es sich um das gebräuchlichste Prinzip. IR:IV-5 Index Construction STEIN

n-gramm-analyse: Typische 2-Gramme und 3-Gramme werden mittels Windowing identifiziert und zur Wortstammerkennung ausgenutzt. 4.

6 Affix-Eliminierung Prinzip: iterative longest match stemming 1. Entfernung des längsten, möglichen Matches auf Basis einer Regelmenge. 2. Wiederholung von Schritt 1, bis keine Regel mehr anwendbar ist. 3. Recodierung, um Unregelmäßigkeiten, die in den Regeln erfasst sind, zu korrigieren. IR:IV-6 Index Construction STEIN

Wiederholung von Schritt 1, bis keine Regel mehr anwendbar ist. 3.

7 Affix-Eliminierung Prinzip: iterative longest match stemming 1. Entfernung des längsten, möglichen Matches auf Basis einer Regelmenge. 2. Wiederholung von Schritt 1, bis keine Regel mehr anwendbar ist. 3. Recodierung, um Unregelmäßigkeiten, die in den Regeln erfasst sind, zu korrigieren. Notation: c steht für einen Konsonant, C für eine nichtleere Folge von Konsonanten. v steht für einen Vokal, V für eine nichtleere Folge von Vokalen. Jedes Wort ist von der Form [C](VC) m [V] Konsonant: Buchstaben außer A, E, I, O und U sowie Y nach einem Konsonanten. (in TOY ist Y demnach ein Konsonant, in LOVELY ein Vokal) Vokal: Buchstabe, der kein Konsonant ist IR:IV-7 Index Construction STEIN

Notation: c steht für einen Konsonant, C für eine nichtleere Folge von Konsonanten. v steht für einen Vokal, V für eine nichtleere Folge von Vokalen.

8 Affix-Eliminierung: Porter-Algorithmus Konzepte: 9 Regelgruppen, die jeweils 3-20 Regeln enthalten die Regeln in jeder Gruppe sind sortiert, Anwendung von oben nach unten nur eine Regel pro Gruppe darf zur Anwendung kommen Aufbau einer Regel: <Bedingung> S1 S2 IR:IV-8 Index Construction STEIN

Anwendung von oben nach unten nur eine Regel pro Gruppe darf zur Anwendung

9 Affix-Eliminierung: Porter-Algorithmus Konzepte: 9 Regelgruppen, die jeweils 3-20 Regeln enthalten die Regeln in jeder Gruppe sind sortiert, Anwendung von oben nach unten nur eine Regel pro Gruppe darf zur Anwendung kommen Aufbau einer Regel: <Bedingung> S1 S2 Semantik: Falls eine Zeichenkette mit S1 endet und die Teilzeichenkette vor S1 (= Wortstamm) <Bedingung> erfüllt, wird S1 durch S2 ersetzt. Bedingungen: (m>x) Anzahl von Vokal-Konsonant-Folgen ist größer x. (*S) Wortstamm endet mit dem String S. (*v*) Wortstamm enthält einen Vokal. (*o) Wortstamm endet mit cvc, wobei der zweite Konsonant c {W, X, Y}. (*d) Wortstamm endet mit zwei identischen Konsonanten. IR:IV-9 Index Construction STEIN

Wortstamm) <Bedingung> erfüllt, wird S1 durch S2 ersetzt. Bedingungen: (m>x) Anzahl von Vokal-Konsonant-Folgen ist größer x. (*S) Wortstamm endet mit dem String S.

10 Affix-Eliminierung: Porter-Algorithmus Auswahl einiger Regeln: Regelgruppe Bedingung Suffix Ersetzung Beispiel 1a Null sses ss caresses caress 1a Null ies i ponies poni 1b (m>0) eed ee feed feed agreed agree 1b (*v*) ed ε plastered plaster bled bled 1b (*v*) ing ε motoring motor sing sing 1c (*v*) y i happy happi sky sky 2 (m>0) biliti ble sensibiliti sensible IR:IV-10 Index Construction STEIN

agree 1b (*v*) ed ε plastered plaster bled bled 1b (*v*) ing ε motoring motor sing sing 1c (*v*) y i

11 Affix-Eliminierung: Porter-Algorithmus Originaltext: Document will describe marketing strategies carried out by U.S. companies for their agricultural chemicals, report predictions for market share of such chemicals, or report market statistics for agrochemicals, pesticide, herbicide,fungicide,insecticide, fertilizer, predicted sales, market share, stimulate demand, price cut, volume of sales Nach dem Stemming: market strateg carr compan agricultur chemic report predict market share chemic report market statist agrochem pesticid herbicid fungicid insecticid fertil predict sale stimul demand price cut volum sale IR:IV-11 Index Construction STEIN

herbicide,fungicide,insecticide, fertilizer, predicted sales, market share, stimulate demand, price cut, volume of sales Nach dem Stemming: market strateg carr

12 Affix-Eliminierung: Porter-Algorithmus Schwächen des Algorithmus: schwer zu modifizieren: Auswirkungen von Änderungen lassen sich kaum abschätzen neigt zur Übergeneralisierung: policy/police university/universe organization/organ erfasst eindeutige Generalisierungen nicht: European/Europe matrices/matrix machine/machinery generiert Stämme, die zum Teil schwer zu interpretieren sind: iteration/iter general/gener IR:IV-12 Index Construction STEIN

organization/organ erfasst eindeutige Generalisierungen nicht: European/Europe matrices/matrix machine/machinery

Ähnliche Dokumente

Stemming. OS Einblicke in die Computerlinguistik Felix Hain HTWK Leipzig

Stemming. OS Einblicke in die Computerlinguistik Felix Hain HTWK Leipzig Stemming OS Einblicke in die Computerlinguistik Felix Hain 12.06.2014 HTWK Leipzig Gliederung Motivation Der Begriff Stemming Potentielle Probleme Stemming-Algorithmen Ansätze Porter-Stemmer-Algorithmus