Eigenschaften von Texten

Transkript

1 Worthäufigkeite Eigeschafte vo Texte Eiige Wörter sid sehr gebräuchlich. 2 der häufigste Wörter (z.b. the, of ) köe ca. 0 % der Wortvorkomme ausmache. Die meiste Wörter sid sehr selte. Die Hälfte der Wörter i eiem Korpus erscheit ur eimal, dies et ma hapax legomea (Griechisch für ur eimal lese ) Dies ergibt eie schiefe Verteilug. 3 Statistische Eigeschafte vo Text Beispiel: Worthäufigkeite (vo B. Croft, UMass) Wie ist die Häufigkeit verschiedeer Wörter verteilt? Wie schell wächst die Größe des Vokabulars mit der Größe eies Korpus? Solche Faktore beeiflusse die Performaz des Iformatio Retrieval ud köe verwedet werde, um agemessee Termgewichte ud adere Aspekte eies IR-Systems auszuwähle. 2 4

2 Zipfs Gesetz Rak (r): Die umerische Positio eies Wortes i eier ach abehmeder Häufigkeit (f ) sortierte Liste Zipf (949) etdeckte dass: f f r k (für Kostate k) r We die Wahrscheilichkeit der Ragstelle rp r ist ud N die Gesamtzahl der Wortvorkomme: p r f N A r für Korpus - uabhägige Kost. A 0. 5 Vorhersage zu Wort-Häufigkeite Gemäß Zipf, hat ei Wort, das mal erscheit, die Ragordug r =AN/ Mehrere Wörter köe -mal auftrete. Wir ehme a, dass die Ragordug r für das letzte davo gilt. Also komme r Wörter -fach oder öfter vor ud r + Wörter +-fach oder öfter. Da beträgt die Azahl der Wörter, die geau Mal vorkomme: I r r AN AN AN ( ) 7 Zipf ud Termgewichtug Luh (958) wies darauf hi, dass sowohl sehr häufige als auch sehr seltee Wörter icht sehr ützlich für das Idexiere sid. Forts. Vorhersage vo Worthäufigkeite Nehme wir a, dass der am höchste gerakte Term eimal vorkommt ud daher die Ragordug D = AN/ hat. Der Ateil der Wörter mit Häufigkeit ist da: I D ( ) Der Ateil der Wörter, die ur eimal vorkomme, ist demzufolge ½. 6 8

3 Date zu Vorkommes-Häufigkeite (vo B. Croft, UMass) Vergleich vo Zipf mit Brow-Korpus 9 k = 00,000 Passe reale Date zu Zipfs Gesetz? Ei Verhältis der Form y = kx c wird als Potezgesetz bezeichet. Zipf s Gesetz ist ei Potezgesetz mit c = Bei eiem log-log Plot ergebe Potezgesetze eie gerade Liie mit Neigug c. Madelbrot-Korrektur (954) Die folgede allgemeiere Form gibt eie etwas bessere Agleich: B f P( r ) für Kostate P, B, log( y) log( kx c ) log k c log( x) Zipf ist ziemlich geau, außer bei sehr hoher ud sehr iedriger Ragordug. 0 2

4 Madelbrot-Fit Die Auswirkug vo Zipfs Gesetz auf IR Gute Nachricht: Stopwörter mache eie große Teil des Textes aus, so dass dere Beseitigug die Speicherkoste des ivertiere Idexes i großem Umfag reduziert. Schlechte Nachricht: Für die meiste Wörter ist es schwierig, ausreiched Date für eie aussagefähige statistische Aalyse zu sammel (z.b. für Korelatiosaalyse für Afrageerweiteruge), da sie ziemlich selte sid. P = 0 5.4, B =.5, = Erläuteruge zum Zipf-Gesetz Zipfs Erläuterug war sei Prizip des gerigste Aufwads : der Ausgleich zwische dem Wusch des Sprechers ach weig ud dem des Hörers ach viel Vokabular. Debatte (955-6) über die Erläuterug zwische Madelbrot ud H. Simo. Li (992) zeigt, dass ur willkürliches Tippe vo Buchstabe eischließlich Leerraum Wörter mit eier Zipfsche Verteilug erzeugt. Wachstum des Vokabulars Wie wächst die Größe des gesamte Vokabulars (Azahl eideutiger Wörter) mit der Größe des Korpus? Dies bestimmt, wie die Größe des ivertierte Idexes mit der Größe des Korpus wächst. Das Vokabular ist aufgrud vo Eigeame, Tippfehler, etc. icht wirklich ach obe bgrezt. 4 6

5 Heaps Gesetz Falls V die Größe des Vokabulars ud die Läge des Korpus i Wörter ist: V K mit Kostate K, 0 Erläuterug zu Heaps Gesetz Ka vo Zipfs Gesetz abgeleitet werde, wobei ageomme wird, dass Dokumete i eier willkürliche Wortauswahl aus eier Zipfsche Verteilug erzeugt werde. Typische Kostate: K (d.h. ugefähr Quadratwurzel) 7 9 Date, die Heaps Gesetz folge 8