D 1 D 2 D 3 D 4 D 5... D m S S S S n

Transkript

1 Page-Rank Wir wollte in einem Corpus von Texten, wie z.b. Bücher, Webseiten, Anleitung usw., nach bestimmten Inhalten aus einer Menge von Schlüsselworten suchen Sei S = {S,S,...,S n,s n } eine eine alphabeitsch geordnete Liste der Schlüsselworte. Z.B. S = Aachen,S = Abel,...,S n = Zaun,S n = Zug und sei D = {D,D,...,D m } eine durchnummerierte Liste der Dokumente. Ein gegebenes Textdokument enthält bestimmte Schlüsselworte aus der Liste und kann daher durch eine Teilmenge der Liste dargestellt werde D D D D 4 D 5... D m S S S S n Das j-te Dokument D j ist also durch einen Spalten-vektor d j charakterisiert, der die für das Dokument relevante Terme auflistet. Das k-te Schlüsselwort S k ist verbunden mit einem Zeilen-Vektor s k, der die Dokumente kennzeichnet, in denen das Schlüsselwort auftaucht. Die Zahl D kj in der Term-Dokument-Matrix gibt an, wie wichtig der Term S k im Dokument D j ist (z.b. wie oft er auftaucht). Eine Suchanfrage ist eine Ansammlung von Termen und kann genauso durch einen Dokumentvektor d dargestellt werden. Einen Dokument D j aus dem Corpus passt am besten zu der Suchanfrage, wenn die Schlüsselworte aus der Anfrage auch im Dokumentvektor d j stehen. In Vektorsprache heißt das: d und d j sollen möglichst parallel sein (also einen kleinen Winkel bilden). Also wollen wir zur Anfrage d den Dokumentenvektor d j mit kleinsten Winkel bestimmen. Wir können den Winkel φ j zwischen den Vektoren d und d j über Cosinus bestimmen: d T dj cos(φ j ) = d d j. (.) Je kleiner der Winkel zwischen zwei Vektoren, desto näher an ist der Cosinus.

2 Betrachten wir nun einen Beispiel. Wir haben eine Term-Dokument-Matrix B: D D D D 4 D 5... Auto S Kfz S Kraftfahrzeug Und die Suchanfrage: Kfz mit d = (0,0,,0,0,...) T Die Winkelberechnung führt zu folgenden Ergebnissen: cos(φ ) = / = cos(φ 4 ) = / = Optimallösung! cos(φ 5 ) = / = Man würde aber eigentlich eher erwarten, dass D and D 5 die Suchanfrage besser beantworten. Das Problem mit dem Ansatz besteht darin das die Eigenartigkeit der natürlichen Sprache, wie z.b. Mehrdeutigkeit und Synonyme, ignoriert wird. Die Abhilfe schafft das Verfahren Latent Semantic Indexing. Dieses beseitig die Abhängigkeiten und Mehrdeutigkeiten der Sprache und verringert die Dimension des Term-Raumes durch Berücksichtigung von Mehrdeutigkeiten und Korrelationen. In der Sprache von Vektoren heißt das: zuerst werden die Zeilen von der Term-Dokument-Matrix orthogonalisiert und dann der Winkel mit den Spaltenvektoren in der reduzierten Matrix bestimmt. Nun widmen wir unsere Aufmerksamkeit den Web-Graphen. Erinnern wir uns nochmal, dass ein Graph G = (E,K) ist ein Tupel mit Ecken E = {E,...,E n }undkantenk = {K,...,K m }.ZumBeispiel,indiesemGraph

3 habenwirdiekanten(,),(,),(,4),(,),(,5),(4,),(4,5),(4,6),(5,6), (5,7),(5,8),(6,8),(7,),(7,5),(7,8),(8,6),(8,7) und n = 8, m = 7. Neben einer Menge von Tupeln, können wir die Verbindungen in einem Graph auch mithilfe einer Adjazenzmatrix abbilden. Die Adjazenzmatrix A hat in der i-ten Zeile und j-ten Spalte genau dann einen, wenn es eine Kante von Ecke i zur Ecke j existiert. Unser Graph induziert, z.b. folgende Adjazenzmatrix: A G = Diese Matrix ist nicht symmetrisch, weil unser Graph gerichtet ist. Gerichtete Graphen werden zur Modellierung diveres Strukturen mit Relationen und Abhängigkeiten verwendet. Ein prominenter Beispiel ist die Modellierung von Links zwischen Webseiten. So würde in unserem Beispiel oben die Webseite auf die Webseiten und verlinken, die Webseite 4 auf die Webseiten, 5 und 6 usw. Was kann man jetzt mit diesem Modell tun? Stelle dir einen Webnutzer vor, der von einer Seite zur nächsten über die Links springt. Dieser Webnutzer ist nicht wählerisch und entscheidet sich ueber die nächste Seite zufällig. So, wenn er sich z.b. auf der Webseite aufhält, wird er als nächstes entweder die Webseite oder Webseite mit gleichen Wahrscheinlichkeit 0.5 besuchen. Wir nennen dieses Verhaltensmodel Random Surfer. Was sind die von Random Surfer meist besuchten Webseiten? Um diese Frage beantworten zu können, führen wir wir den Vektor von Aufenthaltswahr-

4 scheinlichkeiten im k-ten Schritt: = (,,, 4, 5, 6, 7, 8 ) T. Und da er zu jedem Zeitpunkt nur eine Seite besuchen kann, verlangen wir zusätzlich dass alle Komponenten von sich zu addieren: =. Beim Schritt von k zu k+ klickt der Nutzer auf den nächsten Link und es ändern sich die Aufenthaltswahrscheinlichkeiten: x (k+) = x(k) 7 x(k) + x(k) + x(k) 4 x(k) x(k) + x(k) 4 + x(k) 7 x(k) 4 + x(k) 5 + x(k) 8 x(k) 5 + x(k) 8 x(k) x(k) 7. (.) Diese Transformation lässt sich auch in Form einer Matrix-Vektor Multiplikation schreiben: / 0 / 0 / / / x (k+) = / / 0 0 / 0 4 = A / / 0 0 / / 0 0 / / / 0 Die Matrix A wird stochastische Matrix oder auch Übergangsmatrix genannt. Ein aufmerksamer Student würde an dieser Stelle merken, dass die Matrix A genau so wie die Matrix A G aussieht. Nur die Einträge von A sind so normiert, dass die Spaltensumme immer ergibt. (k) k Wenn die Folge von Aufenthaltswahrscheinlichkeiten konvergiert, x x (k) k, dann gilt auch A x A x. Für die Aufenthaltswahrscheinlichkeiten im Gleichgewichtszustand gilt 8 A x = x. (.)

5 Im diesem Fall heißt Eigenwert von A und x der dazu gehörige Rechtseigenvektor. Außerdem gilt es (,,...,) A = T A = T. Und daher ist T = (,,...,) Linkseigenvektor zu Eigenwert. Die Perron-Frobenius-Theorie besagt, dass sochastische (nich-zerfallende) Matrizen einen Rechtseigenvektor mit positiven Einträgen zu maximalen Eigenwert haben. In unserem Beispiel ist der Rechtseigenvektor zu von der Matrix A: x = (0.060,0.068,0.00,0.068,0.098,0.0,0.80,0.95) T. Das ist der PageRank-Vektor. Unser PageRank Vektor besagt, dass die Webseiten 8, 6 und 7 die höhere Aufenthaltswahrscheinlichkeiten in stationären Zustand haben. Solche Webseiten werden von Google und anderen Suchmaschinen stärker gewichtet. Zwei Problemen haben wir noch zu berücksichtigen Aufgaben. Was passiert wenn wir Webseiten ohne jegliche ausgehende Links haben? Wir nehmen an, der Random Surfer wählt eine neue Webseite absolut zufällig aus. Dafür ersetzen wir die Nullspalten in der Matrix A durch den Spaltenvektor n.. Ist die Matrix zerfallend, dann verlieren wir die Konvergenzgarantie. Die Lösung ist einfach: A ρa+ ρ. n.... = ρa+( ρ) T /n.. Gegeben seien vier Dokumente D,...,D 4 und vier Suchbergriffe S,...,S 4. Das Vorkommen der Begriffe in den Dokumenten kann, wie gezeigt, in einer Term-Dokument-Matrix dargestellt werden. In dieser Aufgabe verwenden wir die Matrix B =

6 Hier entsprechen die Dokumente den Spaltenvektoren der Matrix und die Suchbegriffe den Zeilenvektoren. Suchbegriff S taucht also dreimal in Dokument D auf. Die Suchanfrage wird ebenfalls als Vektor dargestellt, ähnlich einem Dokumenten- (bzw. Spalten-) vektor von B. Der in dieser Aufgabe verwendete Anfragevektor lautet v = Es wird also nach dem Suchbegriff S gesucht. a) Berechne für jedes Dokument die Ähnlichkeit zur Suchanfrage. Die Ähnlichkeit sei hier definiert im Cosinusmaß cos(a, b), das wie folgt definiert ist cos(a,b) = cos(winkel zwischen Vektor a und Vektor b) = at b a b Welches Dokument entspricht der Anfrage am ehesten? b) Um das Suchergebnis zu verbessern, können wir die Abhängigkeiten zwischen den Dokumenten ausnutzen. Das ist die Grundlage des Latent Semantic Indexing. Dazu wird eine Singulärwertzerlegung benötigt. Glücklicherweise bietet beispielsweise NumPy Bibliothek der Programmiersprache Python diese bereits fertig implementiert als Funktion numpy.linalg.svd an. Wir berechnen die rechte bzw. linke ortogonale Matrix U bzw. V sowie die Singulärwertmatrix S. Nun gilt B = U S V U = V = S =

7

8 Die Wichtigkeit einer Station ermittelt sich also aus der Aufenthaltswahrscheinlichkeit des Random-Surfers. i. Schreibe Gleichung (.4) als Matrix S. Verwende dazu die Abbildung p 0 = Petuelring, p = Scheidplatz, p = Hohenzollernplatz, p = Milbertshofen, p 4 = Bonner Platz, p 5 = Münchner Freiheit, p 6 = Giselastr. und p 7 = Dietlindenstr.. ii. Welche Summe haben die Komponenten der Spaltenvektoren von S (Entspricht der -Norm der Spaltenvektoren)? Warum? iii. Bevor das tatsächliche Ergebnis berechnet wird: überlege, welche Stationen du intuitiv in dem gegebenen Beispielgraph als wichtig und welche als weniger wichtig einstufen würdest. b) Wie in der Vorlesung gezeigt, kann man die Aufenthaltswahrscheinlichkeiten u zu Zeitpunkt t+ aus den Wahrscheinlichkeiten zum Zeitpunkt t durch die Beziehung u t+ = Su t berechnen. Wenn dises iterative Vorgehen konvergiert, dann muss für das Ergebnis u gelten u = Su. Diese Gleichung zeigt, dass der Vektor der Aufenthaltswahrscheinlichkeiten ein Eigenvektor von S mit Eigenwert sein muss. Überprüfe, dass Vektor a = (0.065, 0.50, 0.065, 0.065, 0.5, 0.50, 0.5, 0.065) der rechte Eigenvektor von S zum Eigenwert ist. Wie könnte man diesen Vektor berechnen? Welche Stationen sind die wichtigsten? Stimmt das mit unserer Intuition überein?