PAT-Trees. Hauptseminar Information Retrieval. PD Dr. Karin Haenelt. Thema: PAT-Trees. Referent: Bernd Mehnert. Datum:

Transkript

1 1

2 1. Was sind? Definition: Ein PAT-Tree ist ein aus allen möglichen Sistrings eines Textes konstruierter Patricia Tree Was sind Sistrings? 1. Was ist ein Patricia Tree? 1. PAT-Tree 1 übersetzt: Frakes, Baeza-Yates (199)

3 1.1 Sistrings (semi-infinite-strings) Beispieltext: Es klapperten die Klapperschlangen, bis ihre Klappern schlapper klangen. Sistring 1 Sistring Sistring 4 Sistring 19 Sistring 7 : Es klapperten die Klapperschlangen : s klapperten die Klapperschlagen, bi : klapperten die Klapperschlangen, bis : Klapperschlangen, bis ihre Klappern : chlangen, bis ihre Klappern schlapp Sortierung nach ASCII-Code: 7 < 1 < 19 < 4 <

4 1.. Patricia Tree 4 Definition: Practical Algorithm To Retrieve Coded In Alphanumeric Ein Binärbaum, in dem die abzuspeichernden Bitfolgen (Schlüssel) über die Verzweigung der Knoten bestimmen 0-Bit: linke Verzweigung 1-Bit: rechte Verzweigung Bitfolgen = alle alphanumerisch kodierten Sistrings eines Textes, z.b. Sistring 1 von Patricia : PAT-Tree

5 1. PAT-Tree Text Bitposition Query 5

6 1. PAT-Tree 6 Merkmale: Interne Knoten mit nur einem Nachfolger werden eingespart Speicherplatzbedarf interner Knoten Bitposition = gibt an, welches Bit in der Query zur weiteren Suche im Baum benutzt wird (links rechts?) Pointer auf Nachfolgeknoten Speicherplatzbedarf externer Knoten Pointer auf den ihm zugeordneten Sistring n externe Knoten, n-1 interne Knoten Größe des Baums O(n)

7 . Suchverfahren.1 Präfix-Suche. Abstandssuche. Bereichssuche.4 Häufigkeitssuche.5 Längste-Wiederholung-Suche.6 Reguläre Ausdrücke 7

8 .1 Präfix-Suche Text Bitposition 0 0 Query 1 Suche endet entweder in internem Knoten Präfix kommt mehrmals im Text vor (oder gar nicht) in externem Knoten genau ein Sistring mit gesuchtem Präfix existiert (oder keiner) O(log n)

9 . Abstandssuche s1 4 8 s Text Bitposition (s1) (s) Query 1 Bei mehrfachem und unterschiedlich häufigem Vorkommen von s1 & s Sortierung von s1 nach Position im Text Vergleich aller Positionen s1 mit s m1 Textstellen s1 vor s und m Textstellen s vor s1 O((m1+m)*log m1)

10 . Bereichssuche Text Bitposition alles zwischen 000 und 01 Query 1 Gesucht werden alle Wörter zwischen zwei Bereichsgrenzen, z.b. zwischen abc & acc Ergebnis ist der Bereich zwischen den beiden erreichten Knoten inklusive der Unterbäume O(log n)

11 .4 Häufigkeitssuche Text Bitposition Länge n = Query 4 Häufigster String der Länge n Knoten mit dem größten Unterbaum; deren Größe wird zusätzlich in den Knoten gespeichert

12 .5 Längste-Wiederholung-Suche Text Bitposition Gesucht wird längster String, der in zwei verschiedenen Sistrings vorkommt => fester Wert

13 .6 Reguläre Ausdrücke Regulärer Ausdruck: 0[01]* ,1 Ergebnis: {1,8} Regulärer Ausdruck wird in einen minimierten deterministischen endlichen Automaten umgewandelt Das Eingabealphabet des DEA wird binär kodiert DEA wird auf Baum simuliert Wurzel = Startzustand Endzustand in internen Knoten gesamter Unterbaum ist Ergebnis Wird ein externer Knoten erreicht wird der Rest des DEA auf dem referierten String ausgeführt

14 . Optimierungsverfahren.1 Bucketing. Supernodes. PAT-Arrays..1 Verschmelzen kleiner mit großen PAT-Arrays.. Verschmelzen großer PAT- Arrays 14

15 .1 Bucketing 1 Zusammenfassen von b externen Knoten in sog. buckets b 1 interne Knoten werden eingespart 15

16 16 [4] [7] [8] Frakes, Baeza-Yates (199).1 Bucketing [1] [5] We have [ ] a very simple trade-off between time (a factor of b) and space (a factor of bln). 1 Nachteile: Die Suche muß auf allen enthaltenen externen Knoten ausgeführt werden Verlängerung der Suchzeit maximal um Faktor b Maximaler Füllzustand der buckets wird nicht immer erreicht Ø b*ln Knoten in bucket Die Kosten für interne Knoten können um den Faktor b*ln verringert werden

17 . Supernodes Nur ein Zugangspunkt Endpunkte entweder externe Knoten Pointer auf anderen Supernode (FP- Sektor)

18 . Supernodes 18 Sektoreneinheit Zylinder Spur Sektor Belegen aufeinanderfolgende Sektoreneinheiten (disk pages) Reduzierte und optimierte Zugriffszeiten Speicherplatzeinsparung durch verkürzte Adressierung der Knoten (Pointer ~halbes word) Füllzustand der disk pages durchschnittlich 50-80% Beispiel: bit CPU Disk page ~4000 byte Knoten ~1/ bis 1 word ~1000 Knoten pro disk page 10 Baumlevel 1 Plattenzugriff

19 19 [7] [4] [8] 1 [5] [1]. PAT-Arrays [6] [] [] Text Bitposition Problem: enormer Speicherplatzbedarf der internen Knoten Lösung: sortierte buckets werden zu Array verbunden Interne Knoten werden eingespart Bauminformationen bleiben größtenteils erhalten O(log n)

20 . PAT-Arrays Vorgehensweise auf großen Korpora: Erstellen der PAT-Arrays aus einzelnen Text(en)/(abschnitten), die dann zu einem Gesamtindex verschmolzen werden Sistrings erstellen Sistrings lexikographisch sortieren (z.b. mit Quicksort) und zusammenführen Techniken: Verschmelzen kleiner mit großen PAT-Arrays Verschmelzen großer PAT-Arrays 0

21 1..1 Verschmelzen kleiner mit großen PAT-Arrays Kleiner Text / RAM Teil des großen Textes Aa Ac Af Ak Al Bi Kleiner Index (n) Zählarray (n+1) An As Az Ba Bb Cj E Gi Bk Bz Ca Im Verschmolzener Index Aa Ac Af Ak Al An As Az BaBb Bi Bk BzCa PAT-Array des kleinen Textes wird im RAM erstellt Sistrings des großen Textes werden sequentiell eingelesen und im kleinen Index gesucht Zählarray speichert dabei die Anzahl der Sistrings pro Position Sequentielles Einfügen des kleinen Indexes anhand des Zählarrays in den großen Index

22 1c P1.. Verschmelzen großer PAT-Arrays Text (Sistrings) i d 4b 5g 6h 7a 8e 9f 10j P P P4 P5 P6 P7 P8 PAT-Array (Pointer) 7a P1 Temporäres File A 7a 4b 1c d 8e 9f 5g 6h i 10j P9 P10 Sortierte Sistrings 4b 1c d 8e 9f 5g 6h i 10j P P P4 P5 P6 P7 P8 P9 P10 Temporäres File B 8a 6b c 10d 1e 7f 9g h 5i 4j Reduziert Anzahl der Random Access FP- Zugriffe durch sequentielle Anordnung der Sistrings Die zu vergleichenden Sistrings werden gekürzt Speichereinsparung Fehlgeschlagene Vergleiche werden nachträglich vorgenommen 8a I1 Sortierte Sistrings 6b c 10d 1e 7f 9g h 5i 4j I I I4 I5 I6 I7 I8 I9 I10 Sistringsvergleich Verschmolzenes PAT-Array 7a 8a 4b 6b 1c c d 10d 1e 8e P1 I1 P I P I P4 I4 I5 P5 7f 9f 5g 9g h 6h i 5i 4j 10j I6 P6 P7 I7 I8 P8 P9 I9 I10P10

23 4. Evaluierung Signature Files Vorteile ~x schneller als Stringvergleiche geringer Speicherplatzbedarf Nachteile lineare Suchzeit = ineffizient für große Datenmengen falsche Suchergebnisse möglich Inverted Files PAT- Arrays einfach zu implementieren sehr effizient (logarithmische Suchzeit) ähnlich effizient wie Inverted Files Vielfalt unterschiedlicher Suchmethoden großer Overhead beim Speicherbedarf hohe Kosten für Änderungen bei dynamischem Dokumentbestand aufwendige Implementierung vorwiegend für geschlossene Dokumentmengen geeignet

24 Literaturverzeichnis William B. Frakes, Ricardo Baeza-Yates (eds.): : Data Structures & Algorithms. Prentice Hall, 199 Gaston Gonnet, Ricardo Baeza Yates (eds.): Handbook of Algorithms and Data Structures. Addison Wesley, 1991 Robert Sedgewick: Algorithmen. Addison Wesley, 199 Prof. Dr. T. Kudraß: Speicherverwaltung: Festplatten und Dateien Speicherverwaltung.pdf 4

25 Literaturverzeichnis 5 Maria Tzolova, Fatih Ekrem Genc: Refererat: New Indices for Text: PAT Trees and PAT Arrays. LCL, Ruprecht-Karls- Universität Heidelberg, David Felstead: CS09 HOW-TO Series: How to build Patricia Tries, Kenny Kwok: Referat: Introduction to PAT-Tree and ist variations. Department of Computer Science and Engineering, The Chinese University of Hong Kong Uwe Quasthoff: Skript:. Institut für Informatik, Universität Leipzig, 004