Exkurs Eine Algorithm-Engineering-Fallstudie Volltextsuche mit invertiertem Index

Transkript

1 Sanders / van Stee: Algorithmentechnik October 25, Exkurs Eine Algorithm-Engineering-Fallstudie Volltextsuche mit invertiertem Index Motivation: Volltextsuchmaschinen wie Google haben die Welt verändert. und machen das WWW erst nützlich. Dazu sind Algorithmen unerlässlich

2 Sanders / van Stee: Algorithmentechnik October 25, Algorithmen die Google Ausmachen Invertierter Index. Zum Beispiel Informatik Karlsruhe Phrasensuche, z.b. to be or not to be Ranking. PageRank braucht im wesentlichen wiederholte Multiplikation dünn besetzter Matrizen mit Vektoren (iterative Eigenwertberechnung). Versteigerungsmechanismen für Werbung.

3 Sanders / van Stee: Algorithmentechnik October 25, Konjunktive Volltextsuche Gegeben: Dokumente d 1,..., d U Schlüsselwörter t 1,..., t k aus Wörterbuch mit W Einträgen. Gesucht: IDs ( 1..U) der Dokumente, die t 1,..., t k

4 Sanders / van Stee: Algorithmentechnik October 25, Invertierter Index Für jedes Wort t berechne eine sortierte Liste L(t) mit den docids der Dokumente, die t enthalten. (Entwurfstrategie Vorberechnung) Ergebnis ist L(t 1 ) L(t k ) Reduktion auf Mengenschnitt sortierter Folgen.

5 Sanders / van Stee: Algorithmentechnik October 25, Indexkonstruktion foreach Document d i do foreach term t d do L(t).pushBack(i)

6 Sanders / van Stee: Algorithmentechnik October 25, Mengenschnitt sortierter Folgen Gut, wenn Folgenlängen sehr unterschiedlich: Sortiere Suchterme so um, dass L(t 1 ) L(t k ) berechne ( ((L(t 1 ) L(t 2 )) L(t 3 )) ) L(t k ) t 1 t t k Reduktion auf Mengenschnitt zweier sortierter Folgen.

7 Sanders / van Stee: Algorithmentechnik October 25, Mengenschnitt zweier sortierter Folgen Function zipper( α 1,β 1,...,ω 1, α 2,β 2,...,ω 2 ) if α 1 < α 2 then return zipper( β 1,...,ω 1, α 2,β 2,...,ω 2 ) if α 1 > α 2 then return zipper( α 1,β 1,...,ω 1, β 2,...,ω 2 ) else return α 1 zipper( β 1,...,ω 1, β 2,...,ω 2 ) Hochoptimierte, nichtrekursive, feldbasierte Variante von zipper funkioniert sehr gut, solange Längenverhältnis < 10

8 Sanders / van Stee: Algorithmentechnik October 25, Mengenschnitt zweier ungleich langer Folgen O.B.d.A. sei m = L 1 L 2 = n Zipper braucht O(m+n) Zeit. Vergleichsbasierte untere Schranke (Skizze): Es gibt ( n m) verschiedene Möglichkeiten, m Elemente in n Elementen zu positionieren. wir brauchen log ( n log m) Bits Information (durch Vergleiche). ( ) n m ( n log m ) m = mlog n m

9 Sanders / van Stee: Algorithmentechnik October 25, Mengenschnitt zweier ungleich langer Folgen Obere Schranke Function exponentialsearchintersect( α 1,β 1,...,ω 1,L 2 ) suche α 1 in L 2, d.h., A 2 B 2 spalte L 2 = A 2 B α 2 mit 1 > α 1 C = exponentialsearchintersect( β 1,...,ω 1,B 2 ) if α 1 = last(a 2 ) then C:= α 1 C return C

10 Sanders / van Stee: Algorithmentechnik October 25, Exponentielle Suche Function exponentialsearch(e, a : Array ) i:= 1 while e a[i] do i:= 2i now binary search in a[i/2..i] return found pos j... Zeitaufwand O(1+logk)

11 Sanders / van Stee: Algorithmentechnik October 25, Mengenschnitt zweier ungleich langer Folgen Analyse exponentialsearchintersect teilt L 2 in Teillisten der Längen 1,..., m. Aufwand O(1+log i )) = O (m(1+log n ) m ) m i=1 (Konvexität der Logarithmusfunktion) Leider sind diese Verfahren in der Praxis ziemlich langsam. Idee: weitergehende Vorverarbeitung der Listen. Idee: breche untere Schranke. Nutze aus, dass die Elemente ganze Zahlen sind mittlere Ausführungszeit O(m).

12 Sanders / van Stee: Algorithmentechnik October 25, Verfeinerungen und Verallgemeinerungen Parallele Konstruktion. Zum Beispiel mittels MCSTL? singler/mcstl/ Phrasensuche mittels Positional Index Nur Paare bestimmter Suchwörter ermöglichen vernünftige Sucheingrenzung? Vorberechnung von Listen auch für solche Wortpaare. Datenkompression

13 Sanders / van Stee: Algorithmentechnik October 25, Zusammenfassung Algorithmenentwurfstechnik Vorverarbeitung: Hier Reduktion auf Manipulaiton von Begriffs- und Dokument-Nummern. Algorithmenentwurfstechnik Vorberechnung: Hier Inverted Index Algorithmenentwurfstechnik Basic Toolbox: Hier unbounded array, mischen, Mengenschnitt, exponentielle Suche, binäre Suche, Wörterbücher, sortieren, Datenkompression,...