14. Google Explained: Eigenwerte, Graphen, Flüsse

Transkript

1 4. Goole Eplained: Eienwerte, Graphen, Flüsse 4.. Eienwerte und Eienvektoren Def D 4- Eienwerte und Eienvektoren Geeben sei eine nn-matri A. Ein Vektor v0 heißt Eienvektor zu A, wenn Av die leiche oder die eenleiche Richtun zu v hat. Als Gleichun ausedrückt: Es ibt eine Zahl, so dass ilt Av = v Die Zahl nennt man den Eienwert zu A. Graphische Darstellun s...\..\maple\eienwert.mws Viele Fraen schließen sich an: Wozu braucht man Eienvektoren und Eienwerte? Wie findet man Eienwerte und Eienvektoren? Wieiviele Eienwerte hat eine Matri? Hat überhaupt ede Matri Eienwerte? 4... Wozu braucht man Eienwerte? Beispiel City Factory Outlet Lit.: [Brill0, S. 49] Kunden und Kundenwanderun von Jahr zu Jahr: 80% 20% City-Kunden c n 0% Outlet-Kunden o n 90% Um ihre Laerbestände besser planen zu können, fraen sich die City-Einzelhändler: Gibt es einen stationären Zustand? D. h. ibt es ein Verhältnis von City-Kunden zu Outlet-Kunden, das im nächsten Jahr und damit in allen Foleahren enau leich sein wird? Mathematische Problemformulierun: n c n, o n : City-, Outlet-Kunden im Jahr n. vn on cn cn vn Av o n o n W. Konen PaeRank-Workshop-et.doc Seite n c

2 Wenn wir einen stationären Zustand suchen, dann ist dies ein v mit v Av. Dies ist ein Spezialfall der Gleichun aus Def D 4- mit =. Wir suchen also Eienvektoren v der Matri A zu Eienwert =. Beispiel Goole's PaeRank [L. Pae, S. Brin et al. The PaeRank citation rankin: Brinin order to the web. Stanford Diital Libraries Workin Paper, 998, ["PaeRank" unter Eine der berühmtesten Suchmaschinen im Web, Goole, eründet von Larry Pae und Sere Brin, hat nicht zuletzt deshalb eine solch überraende Verbreitun erlant, weil sie die Abertausend Weblinks zu einer Suchanfrae clever sortiert. Grundidee: Die Websites nach Bedeutun sortieren. Was ist "bedeutend"? Eine Website v ist umso bedeutender, e mehr bedeutende Websites u auf sie zeien. Henne-Ei-Problem: Um die Bedeutun von v zu berechnen, müssen wir bereits die Bedeutun von u kennen. Wie kommen wir da raus? Formulieren wir enauer (vereinfachter PaeRank-Alorithmus): u : Bedeutun der Website u N u : Anzahl der Websites, auf die u zeit (so. Outlinks von u). Jede Website u verteilt ihre Bedeutun u auf ihre Outlinks, und zwar zu leichen Teilen: Abbildun 4.: (a) Bedeutunsübertraun, (b) konverierter Zustand im vereinfachten PaeRank-Verfahren v u A vu u mit A vu / N 0 u wenn u auf sonst v zeit Die Matri A heißt spaltenstochastisch: Die Summe der Elemente in eder Spalte eribt. (s. Aufabe 4.3. für eine einfache Folerun daraus) Beispiel: Wir betrachten ein minimales WWW-Universum aus 5 Websites mit folender Linkstruktur: W. Konen PaeRank-Workshop-et.doc Seite 2

3 A Der PaeRank-Alorithmus hat einen konverierten Endzustand erreicht, wenn die Anwendun von A wieder liefert. Kennen wir also den Eienvektor der Matri A zu Eienwert =, so haben wir das Henne- Ei-Problem zur Bedeutunsfindun elöst! Die Web-Crawler, die für Goole das iantische WWW durchsurfen erledien also periodisch eine iantische Eienwertaufabe (letze Zählun: 3 Mrd. Webseiten) "PaeRank relies on the uniquely democratic nature of the web by usin its vast link structure as an indicator of an individual pae's value. Goole interprets a link from pae A to pae B as a vote, by pae A, for pae B. But, Goole looks at more than the sheer volume of votes, or links a pae receives; it also analyzes the pae that casts the vote. Votes cast by paes that are themselves 'important' weih more heavily and help to make other paes 'important'." Weitere Anwendunsfelder von Eienwert und Eienvektor: Wie berechnet man A 0000 OHNE Matrimultiplikationen zu brauchen? Welches Mischunsverhältnis stellt sich, ein, wenn bestimmte Reaktions-Diffusions- Voräne ablaufen? Wie findet man Eienwerte und Eienvektoren? Die nachfolende Definition und der Satz werden in Vorlesun motiviert: Def D 4-2 Charakteristisches Polynom und Gleichun A sei eine nn-matri, E die nn Einheitsmatri. Dann heißt p() = det( A - E) das charakteristische Polynom zu A, bzw det ( A - E) = 0 charakteristische Gleichun der Matri A. Satz S 4- Charakteristisches Polynom und Eienwerte Die (-fachen) Nullstellen des charakteristischen Polynoms von A sind (-fache) Eienwerte der Matri A. Zu edem Eienwert i von A eistieren Vektoren v 0 mit A v = i v Nach Def D 4- sind die v die Eienvektoren von A zum Eienwert i. ANMERKUNGEN: W. Konen PaeRank-Workshop-et.doc Seite 3

4 Wenn v ein Eienvektor ist, so ist auch kv ein Eienvektor für edes k 0. Wenn v (a) und v (b) Eienvektoren zum Eienwert i sind, dann ist auch ede Linearkombination v = cv (a) + dv (b) ein Eienvektor. Wir haben also folendes Rezept zur Bestimmun von Eienwerten und vektoren:. Finde alle Nullstellen des charakteristischen Polynoms, dies sind die Eienwerte i. 2. Für eden Eienwert i löse man das LGS (A - i E) v = 0, das immer mindestens eine Lösun v 0 hat und das für einen mehrfachen Eienwert auch mehrere linear unabhänie Vektoren v als Lösun haben kann bun: Bestimmen Sie die Eienwerte und vektoren der Matri A aus dem City Factory Outlet-Beispiel! Welcher Gleichewichts-Kundenvektor stellt sich also ein? Satz S 4-2 Eienschaften von Eienwerten a) Die Eienvektoren eines -fachen Eienwertes einer Matri A bilden einen mindestens eindimensionalen und höchstens -dimensionalen Unterraum. b) Hat die nn-matri A n paarweise verschiedene Eienwerte i R, i=,..n, dann kann man v i, i=,..n Eienvektoren der Läne aneben, so daß die Mene dieser Eienvektoren V={v i v i ist Eienvektor zu i mit v i = } linear unabhäni ist. c) Die Matrizen A und A T haben dieselben Eienwerte. Folerun: Ein -facher Eienwert hat also bis zu linear unabhänie Eienvektoren der Läne Flüsse in Graphen Def D 4-3 Netzwerk und Flüsse Ein Netzwerk ist ein Diraph (erichteter Graph) mit höchstens einer Quelle q und einer Senke s, in dem eder Kante i von nach i enau eine Zahl c i R 0, ihre Kapazität, zueordnet ist. Ein (zulässier) Fluss ist Kantenbeleun f i R 0, für die ilt. 0 f i c i 2. Kirchhoff'sches Gesetz: An edem Knoten k q,s ilt: W. Konen PaeRank-Workshop-et.doc Seite 4

5 Fluss in den Knoten k Fluss i f ki f o aus ok dem Knoten k BEACHTE: Wir notieren hier die Kantenbewertun erade andersherum als im Kapitel Graphentheorie: "von" steht hinten, "nach" vorne. Warum? Damit in Termen wie f ki Akii die Indizes, über die summiert wird, zusammenstehen. i i Im PaeRank-Anwendunsfall ist der Fluß fki Akii die Mene an Bedeutun, die über Link von i nach k übertraen wird. Wenn wir der Konvention folen, dass die Summe aller Bedeutun im WWW Eins ereben soll, also i, dann ist c i = eine Kapazitätsvorabe, die ede denkbare Bedeutunsübertraun zu einem ültien Fluss macht i (klar?) Aufaben zu PaeRank-Paper [BryanLeise06] Spaltenstochastische Matri Sei A eine spaltenstochastische Matri (Summe eder Spalte = ). Sei die Norm eines Vektors mit lauter nichtneativen Einträen definiert als N( ) n i A verändert die Norm nicht, d.h. in y=a hat y dieselbe Norm wie. i. Zeien Sie: Die Matri Link-Farm-Beispiel Im Graph aus Fi. 2. aus [BryanLeise06]: Kann Owner 3 sein Rankin verbessern, wenn er eine neue Pae 5 kreiert, mit Links 53 und 35? (+) Die Theorie der Link-Farmen O w (n) O f 2 I f Link-Farm F (n Paes) 3 I w (n) f Web W Zunächst ibt es nur das Web, das aus den Paes {,2,3,}=W besteht. (Die Seiten,2,3 stehen dabei nur stellvertretend für beliebie Webs W, es könnte enausout {,2,...,M,} = W mit beliebi roßem M lauten. Wir wollen allerdins voraussetzen, dass [BryanLeise06] K. Bryan, T. Leise: The $25,000,000,000-Eienvector: The Linear Alebra Behind Goole. to appear in SIAM Review; W. Konen PaeRank-Workshop-et.doc Seite 5

6 das Web keine unzusammenhänende Sub-Webs besitze, s. 4.4.) Der Owner von will die Bewertun seiner Seite steiern und baut dazu eine Link-Farm F hinzu. Jede Pae der Link-Farm F hat enau einen Outlink auf und enau einen Inlink von. Kann er damit seine Bewertun steiern? Wenn a, um wieviel? Satz S 4-3 Link-Farm In edem Web W erhöht eine Link-Farm mit n Paes der oben eschilderten Form die Bewertun der Seite, und zwar kann mit steiendem n die Bewertun dem Grenzwert 0.5 beliebi nahe kommen. Genauer: Hat ohne Link-Farm k w Outlinks und eine Bewertun, dann ist ihre Bewertun mit Link-Farm: k w k w n 2n Zeien Sie diesen Satz entweder direkt (nicht anz einfach!), oder folen Sie den unten darestellten Einzelaufaben, bei denen Sie am Ende von Punkt 6. dieser Satz S 4-3 bewiesen haben. Denken Sie daran, dass Sie Flüsse im Graphen durch die Web-Matri A darstellen können, z.b. O A i. if, Dies zeit auch sehr schön die mathematisch-analytische Heranehensweise an Probleme: Hat man ein roßes Problem, das man nicht in einem Rutsch lösen kann, so versucht man, es in mehrere kleinere Teilaufaben zu zerleen. Die Formulierun der Teilaufaben ist oft schon der halbe We zum Ziel! Genauso können Sie auch an diesen etwas rößeren Beweis heranehen. Wenn Ihnen Punkt (.),(2.) erstmal zu schwer scheint, können Sie auch erstmal bei (3.) starten: Setzen Sie einfach (.) und (2.) als eeben voraus, und versuchen Sie daraus (3.) zu zeien. Wenn es trotz hartnäckiem Grübeln nicht elint: Leen Sie die Aufabe beiseite, denken Sie nicht dran und versuchen Sie's am nächsten Moren wieder. Manchmal ibt Ihnen das Unterbewußtsein einen Tipp. Aber Sie müssen es vorher hart versucht haben... ;-) Alternativ (falls Sie mit dem Beweisen nicht weiterkommen): Schreiben Sie Maple- Routinen, die Satz S 4-3 bzw. die untenstehenden Punkte (.)-(6.) auf Richtikeit prüfen, mölichst für allemeine Webs und beliebie Farm-Größe n. Ein weni Wissenschaftstheorie: Sie können mit einer Maple-Prozedur die in diesem Fall eine Simulation eines oder mehrerer mölichen Webs darstellt natürlich nicht beweisen, dass ein Sachverhalt für alle Webs ilt. Aber es ist trotzdem nützlich: Denn Sie können schauen, ob der Sachverhalt (Ihre Theorie, von der Sie vielleicht nicht 00%i sicher sind, ob Sie sie richti formuliert haben) überhaupt stimmen kann. D. h. es ist eine notwendie Bedinun, dass der Sachverhalt in der Simulation eines oder mehrerer Webs stimmt. Stimmt er da schon nicht, so haben Sie Ihre Theorie falsifiziert und sich die Mühe eines fruchtlosen Beweisversuches erspart. [eine der zentralen Forderunen, die der Wissenschaftstheoretikers Sir Karl Popper an ein "ute" Theorie stellte: Sie muss falsifizierbar sein. 2 ] Ich verwende die Simulation auch öfters für ein weni "empirische Mathematik": Sie hilft die sicher schlechten von den vielleicht uten Ideen und Gedanken abzutrennen. Nun eht's also los: 2 Karl Popper, Loik der Forschun,. Aufl., Verla Mohr Siebeck, Tübinen, W. Konen PaeRank-Workshop-et.doc Seite 6

7 (.) Beründen Sie, warum der Input I in die Link-Farm im stationären Zustand leich ihrem Output O sein muss. Beründen Sie, warum ede Farm-Pae die leiche Bewertun f haben muss. Leiten Sie damit her: n k w f worin Bewertun der Pae, für die die Farm ist f Bewertun eder Link-Farm-Pae n Anzahl der Farm-Paes = Größe der Link-Farm k w Anzahl der Links die Pae ins "richtie" Web W hat (Die Anzahl der Outlinks von Pae ist also N =n+k w ) (2.) Zeien Sie: Der Anteil ihrer Bewertun, den die Pae ins "richtie" Web W zurückspeist, eht für n een Null, enauer k w n 0 n k w (3.) Beründen Sie, warum der Input I (n) w von Pae ins "richtie" Web W im stationärem Zustand leich ihrem Output O (n) w ins Web W sein muss. Dies ilt sowohl für den Graph ohne Link-Farm (n=0) als auch für den Graph mit Link-Farm der Größe n. (4.) Zeien Sie: Für die Web-Paes i,, die NICHT mit der Link-Farm verbunden sind, ilt: Die relative Bewertun zueinander ändert sich nicht, d.h für alle i,w \ {} ilt worin i i i oder äquivalent i ßi mit Konstante i Bewertun der Web-Pae i bei Anwesenheit der Link-Farm, Bewertun der Web-Pae i ohne Link-Farm (5.) Leiten Sie unter Verwendun der Erebnisse (.)-(4.) her: Für alle W \ {} ilt ß k f w (6.) Zeien Sie unter Verwendun der Erebnisse (.)-(5.) und einer zusätzlichen Eienschaft, die für Bewertunen ilt: k w n k 2n w Leiten Sie daraus die zentrale Aussae her: In einem Web, das nach dem vereinfachten PaeRank-Verfahren bewertet wird, kann ede Pae durch eine Link- Farm enüender Größe auf eine Bewertun eboostet werden, die nur beliebi weni von 0.5 abweicht. Ein paar weitere (einfachere) Aufaben: (7.) Zeien Sie: In edem Web ist 0.5 die maimal erzielbare Bewertun. (8.) Warum reicht im realen Web eine Link-Farm der Größe n=00 oder n=000 meist nicht aus, um die Seite auf /2 hochzutreiben? (9.) Meine Webpae hat eine verschwindend kleine, aber doch eistente Bewertun im WWW. Was muss ich tun, um die Bewertun meiner Webpae nach dem vereinfachten PaeRank-Verfahren zu verdoppeln (zu verdreifachen)? Abschließende Bemerkun: Denken Sie etzt nicht, Sie könnten zuhause mal schnell eine Link-Farm bauen und dann in Goole fantastische Rankins erzielen. Man hat natürlich W. Konen PaeRank-Workshop-et.doc Seite 7

8 schon früh die potentielle Gefährdun durch Link-Farmen entdeckt und entsprechende Geenmaßnahmen entwickelt (die meisten von ihnen hält Goole natürlich eheim). Es ist z.b. für die Web-Crawler mölich, anormale Substrukturen, die für Link-Farmen typisch sind (alle zeien auf einen und der zeit auf alle), zu entdecken und die entsprechenden Subnetze auszuschließen. W. Konen PaeRank-Workshop-et.doc Seite 8

9 4.4. PaeRank: Praktische Probleme und praktische Lösunen Probleme Der einfache PaeRank-Alorithmus hat enseits der Frae, ob die durch ihn ermittelte Bedeutun in edem Fall fair ist noch mindestens 3 praktische Probleme, die zum Glück ut behoben werden können:. Danlin Nodes (Seiten, die keine Outlinks haben) 2. Webs, die aus nicht zusammenhänenden Sub-Webs bestehen 3. Das LGS Ev 0 A für das reale Web mit seinen Milliarden Seiten kann kaum mit Gauss-Verfahren o.ä. elöst werden, die Matri passt in keinen Speicher. Um die Problematik bei. und 2. zu verstehen, ist es besser sich die Bedeutunsübertraun als Markov-Prozess oder Markov-Kette vorzustellen: Ein Random Surfer sitzt mit Wahrscheinlichkeit k auf Pae k mit N k Outlinks und verlässt diese im nächsten Schritt zufälli über einen der Outlinks von Pae k, Wahrscheinlichkeit p k = /N k. Die Transitionsmatri A = (p k ) ist erade unsere Link-Matri A von oben. Wenn wir viele Random Surfer nehmen und diese auf die Paes verteilen, dann entspricht die Population (=Anzahl der Surfer) k einer Pae k erade der Bedeutun dieser Seite. Unter bestimmten Vorausssetzun an die Markov-Kette stellt sich von eder Startpopulation aus eine stationäre (zeitlich stabile) Populationsverteilun ein. Ein stationärer Zustand in den Populationen entspricht einem Eienvektor der Matri A zu Eienwert Lösunen. Das Problem mit den Danlin Nodes wird nun klar: Die Random Surfer, die sich einmal auf einer Seite ohne Outlinks (N u =0) versammelt haben, kommen nie mehr von dort we. Die Bedeutun wird nie mehr übertraen, das Verfahren wird hinfälli (keine saubere Markov- Kette mehr) Abhilfe: Ersetzte ede Nullspalte (ede Danlin- Node-Spalte) in Matri A durch eine Spalte s mit lauter /n: 0 / n 0 / n s 0 / n worin n die Anzahl aller Paes im Web ist. Die neue Matri nennen wir A'. Interpretation: Der reale Random Surfer steuert von einem Danlin Node irendeine Seite an, wir nehmen der Einfachheit halber die Gleichverteilun an. 2. Das Problem mit den Sub-Webs wird nun auch klar: Gibt es nichtzusammenhänende Sub- Webs, so werden sich die Populationen nicht mi- W. Konen PaeRank-Workshop-et.doc Seite Node 3 ist Danlin Node (keine Outlinks) Sub-Web {,5,6} hat keine Verbindun zu Sub-Web [2,3,4} 6

10 schen. Wenn in Sub-Web nur 00 Random Surfer sind, in Sub-Web 2 aber 0.000, so hat ede Pae aus Sub-Web 2 automatisch eine 00mal so hohe "Bedeutun" wie eine aus Sub-Web. Jedes andere Verhältnis läßt sich enauso realisieren. Mathematisch: Es ibt mehrere linear unabhänie Eienvektoren zu Eienwert (s. Beispiel auf S. 4 oben in [BryanLeise06]). Abhilfe: Ersetze die Matri A' durch einen neue Matri M mit / n / n M ( m) A' ms mit S / n / n worin m ein Mischunsparameter ist, typischerweise wählt man m=0.5. Interpretation: Der reale Random Surfer eht nicht immer, sondern nur mit Wahrscheinlichkeit (-m) entlan der Outlinks weiter. Im Rest der Fälle, Wahrscheinlichkeit m, verhält er sich völli zufälli, d.h. er steuert irendeine unter allen Web-Paes an. Damit wird edes Web zu einem zusammenhänenden Web, ede Random-Surfer- Population mischt sich durch Wenn sich durch wiederholtes Anwenden der Markov-Kette die stationäre Verteilun eribt, dann können wir darüber, also über wiederholtes Anwenden von A bzw. M auch den Eienvektor zum Eienwert berechnen: lim M r r 0 Man startet also mit irendeiner Ausanspopulation 0 und wendet r-mal die Matri M an. In der Prais ereben meist r= Multiplikationen ute Werte. bun 4.: Nehmen wir an, eine nn Matri A habe n linear unabhänie Eienvektoren v i, i=..n, mit Eienwerten > n. Es elte =. Zeien Sie: Für eden Startvektor 0 konveriert die Fole { 0,, 2,... } mit r = A r 0 een einen Vektor parallel zum Eienvektor v. bun 4.2: (a) Zeien Sie: Die Matrimultiplikation ' M ( m) A' ms kann vereinfacht berechnet werden durch ' ( m) A' ms (mit Vektor s aus Lösun ) unter der Voraussetzun dass ilt. [Das ist allerdins nur effizient für A'=A, wenn also A keine Danlin Nodes enthält] (b) Zeien Sie: Auch für den Fall mit Danlin Nodes kann ' M ( m) A' ms effizient durch folenden pfiffien Alorithmus berechnet werden (nach [Kamvar03] 4 ). y ( m) A 2. w y mit z z (-Norm) 3. ' y ws (c) Wieso ist der Alo aus (b) für das reale Web mit seinen Milliarden Paes viel effizienter zu berechnen als ' = M? 3 In [BryanLeise06] wird mathematisch präzise ezeit, dass die Matri M zu Eienwert immer enau einen linear unabhänien Eienvektor besitzt, die Dimension des Eienraums ist dim(v )=. 4 S. Kamvar, T. Haveliwala, G. Golub: Adaptive Methods for the Computation of PaeRank (Stanford Diital Library, 2003), W. Konen PaeRank-Workshop-et.doc Seite 0

11 bun 4.3: Können Sie beründen, unter Zuhilfenahme von bun 4.2, dass die Methode r r lim M zur Berechnun des Eienvektors zum Eienwert viel effizienter ist als die 0 Methode, das Gauss-Verfahren auf das LGS ( M E) 0 anzuwenden? Schätzen Sie hierzu die Kompleität beider Methoden ab! Zeien Sie damit: Für typische Werte (n=0 9 Web-Paes, ede habe im Mittel k=5 Outlinks und r =20) ist Methode bis zu 5 Millionen mal schneller als Methode 2 (!) W. Konen PaeRank-Workshop-et.doc Seite