Kapitel 18 Fehlertolerantes Retrieval

Transkript

1 Kapitel 18 Fehlertolerantes Retrieval HHU Düsseldorf, WS 2008/09 Information Retrieval 272

2 Eingabefehler in den Dokumenten in den Suchanfragen Formen Leerzeichenfehler ("...ofthe..."; "th_ebook") Fehler an Worten, die isoliert erkannt werden typographische Fehler ("teh" statt "the") orthographische Fehler ("recieve" statt "receive") phonetische Fehler ("4u" statt "for you") Fehler an Worten, die erst im Kontext erkannt werden syntaktische Fehler ("the study was conducted be XY") semantische Fehler ("they are leaving in about 15 minuets to go...") Kukich K. (1992): Techniques for automatically correcting words in texts. In: ACM Computing Surveys 24, S HHU Düsseldorf, WS 2008/09 Information Retrieval 273

3 Fehler an Worten, die isoliert erkannt werden Zusätzlicher Buchstabe 10% Multiple Error 13% Buchstabendreher 2% Falscher Buchstabe 59% Ausgelassener Buchstabe 16% Damerau, F.J. (1964): A technique for computer detection and correction of spelling errors. In: Communications of the ACM 7, S HHU Düsseldorf, WS 2008/09 Information Retrieval 274

4 Fehlertolerantes Retrieval. Ansatz 1: Phonetik (1a) Der Soundex-Algorithmus Verschmelzung von Wortformen anhand ihres Klanges Vorgehen: erster Buchstabe bleibt erhalten Vokale a, e, i, o, u, y 1 labiale und labiodentale Laute b, f, p, v 2 Kehl- und Zischlaute c, g (übergehen: gh), k,q, x, s, z (ohne Schluss-s und -z) 3 Dentallaute d, t 4 palataler Reibelaut l 5 labionasaler Laut: m 6 dento- oder linguanasaler Laut n 7 dentaler Reibelaut r 8 Russell, R.C. (1917): Index. Patent-Nr. US Erteilt am: (Eingereicht am ). HHU Düsseldorf, WS 2008/09 Information Retrieval 275

5 Fehlertolerantes Retrieval. Ansatz 1: Phonetik Der Soundex-Algorithmus Regeln: aufeinander folgende Buchstaben derselben Lautklasse: nur den ersten berücksichtigen ("Ball" wird zu "Bal") mehrere Vokale im Wort: nur den ersten berücksichtigen ("Carter" wird zu "Catr") Heutiger Stand: H ist Vokal m und n: nur eine Klasse Jacobs, J.R. (1982): Finding words that sound alike. The SOUNDEX algorithm. In: Byte 7, S HHU Düsseldorf, WS 2008/09 Information Retrieval 276

6 Fehlertolerantes Retrieval. Ansatz 1: Phonetik Der Soundex-Algorithmus Hoppa H oppa H opa (doppelte Belegung) H op (nur 1 Vokal) H 12 Highfield H ighfield H ifield (gh wird übergangen) H ifld(nur 1 Vokal) H 1254 HHU Düsseldorf, WS 2008/09 Information Retrieval 277

7 Fehlertolerantes Retrieval. Ansatz 1: Phonetik (1b): Phonix Verfeinerungen von Soundex phonetische Regeln werden auch auf den 1. Buchstaben angewandt (night - knight) "phonetische Ersetzung": gleiche Buchstabenfolgen (z.b. "ough") klingen in unterschiedlichen Worten unterschiedlich ("plough" - "cough") Regeln beziehen sich auf die Stellung der Zeichenfolge im Wort: am Anfang (z.b. "kn" zu "n"), in der Mitte und am Ende (dort "kn" nicht ändern) Gadd, T.N. (1988): 'Fisching fore werds': Phonetic retrieval of written text in information systems. In: Program 22, S Gadd, T.N. (1990): PHONIX: The algorithm. In: Program 24, S HHU Düsseldorf, WS 2008/09 Information Retrieval 278

8 18. Fehlertoleranz phonetische Ersetzung HHU Düsseldorf, WS 2008/09 Information Retrieval 279

9 Fehlertolerantes Retrieval. Ansatz 2: Damerau-Methode benötigt Wörterbuch Schritt 1: Fehleridentifikation (Vergleich: Wort - Wörterbuch) Schritt 2: Identifikation des Fehlertyps (die Damerau- Methode bearbeitet nur Einzelfehler, keine multiple errors) Schritt 3: Fehlerkorrektur Damerau, F.J. (1964): A technique for computer detection and correction of spelling errors. In: Communications of the ACM 7, S HHU Düsseldorf, WS 2008/09 Information Retrieval 280

10 Fehlerkorrektur nach Damerau-Methode FALSCHER BUCHSTABE: Eingabe: Lexikon: Ergebnis ALPHIBET ALPHABET einzige Differenz bei Stelle 5 Korrigiere Alphibet zu Alphabet! HHU Düsseldorf, WS 2008/09 Information Retrieval 281

11 Fehlerkorrektur nach Damerau-Methode BUCHSTABENDREHER: Eingabe: Lexikon: Ergebnis ALHPABET ALPHABET Differenzen bei Stellen 3 und 4. HP in der Eingabe entspricht umgekehrter Reihenfolge PH im Lexikon Korrigiere Alhpabet zu Alphabet! HHU Düsseldorf, WS 2008/09 Information Retrieval 282

12 Fehlerkorrektur nach Damerau-Methode ZUSÄTZLICHER BUCHSTABE Eingabe: Lexikon: Ergebnis ALLPHABET ALPHABET Erste Differenz bei Stelle 3 Löschen des L bei Eingabe ALPHABET Übereinstimmung mit Lexikon: Korrigiere Allphabet zu Alphabet! HHU Düsseldorf, WS 2008/09 Information Retrieval 283

13 Fehlerkorrektur nach Damerau-Methode AUSGELASSENER BUCHSTABE Eingabe: Lexikon: Ergebnis ALPABET ALPHABET Erste Differenz bei Stelle 4 Löschen des H bei Lexikon ALPABET Übereinstimmung mit Eingabe: Korrigiere Alpabet zu Alphabet! HHU Düsseldorf, WS 2008/09 Information Retrieval 284

14 Fehlertolerantes Retrieval. Ansatz 3: n-gramme benötigt Wörterbuch; Zerlegung der Lexeme in n-gramme Schritt 1: Fehleridentifikation (wenn Wort ein n-gramm enthält, das nicht im Wörterbuch vorkommt) Schritt 2: Fehlerkorrektur (Ähnlichkeit nach Dice) (m, m': Anzahl der Buchstaben): # n-gramme des Wortes: m' + n - 1 # n-gramme des Lexems: m + n - 1 # gemeinsamer n-gramme: g Ähnlichkeit(Wort-Lexem) = 2g / (m + n -1 + m' + n - 1) Angell, R.C.; Freund, G.E.; Willett, P. (1983): Automatic spelling correction using a trigram similarity measure. In: Information Processing & Management 19, S HHU Düsseldorf, WS 2008/09 Information Retrieval 285

15 Eingabewort: CONSUMMING; Lexem: CONSUMING; N=3 CONSUMMING hat zehn Buchstaben und wird demnach durch zwölf Trigramme (m'+n-1 = 12) ausgedrückt: **C, *CO, CON, ONS, NSU, SUM, UMM, MMI, MIN, ING, NG*, G**. Die Zerlegung von CONSUMING ergibt elf Trigramme (m+n-1 = 11): **C, *CO, CON, ONS, NSU, SUM, UMI, MIN, ING, NG*, G**. Gemeinsam haben die beiden Zeichenketten zehn Trigramme (g = 10): **C, *CO, CON, ONS, NSU, SUM, MIN, ING, NG*, G**. Die Ähnlichkeit von CONSUMMING und CONSUMING beträgt also: 2 * 10 / ( ) = 20 / 23 = 0,87. HHU Düsseldorf, WS 2008/09 Information Retrieval 286