Übungsaufgaben mit Lösungsvorschlägen

Transkript

1 Otto-Friedrich-Universität Bamberg Lehrstuhl für Medieninformatik Prof. Dr. Andreas Henrich Dipl. Wirtsch.Inf. Daniel Blank Einführung in das Information Retrieval, 8. Mai 2008 Veranstaltung für die Berufsakademie Karlsruhe Übungsaufgaben mit Lösungsvorschlägen Aufgabe Internetsuchmaschinen Suchmaschinenoptimierung Recherchieren Sie für die Beantwortung dieser Frage im Web: Google nutzt bei Berechnung des PageRanks die Linkstruktur der Dokumente im Web. Beschreiben Sie, auf welche Art und Weise dieses Verfahren manipuliert werden kann, so dass Dokumente eine hohe Gewichtung erhalten. Nennen Sie hierbei einige Möglichkeiten, wie versucht wird, die eigene Webseite in den Ergebnislisten nach vorne zu katapultieren. Lösungsvorschlag Grundidee des PageRank-Algorithmus ist es, die Hyperlink-Struktur des WWW zu nutzen, um die Qualität und Relevanz der Dokumente im WWW besser einschätzen zu können. Die Qualität eines Dokuments ist umso höher ist, je mehr Backlinks es aufzuweisen hat. Dies bedeutet nämlich im Allgemeinen, dass eine Reihe von Autoren im WWW das Dokument für so gut halten, dass sie von ihren Dokumenten aus auf dieses Dokument verlinken. Die Anzahl der Backlinks auf ein Dokument kann also als ein grobes Maß für die Qualität dieses Dokuments dienen. Durch Link-Farmen und das gegenseitige Verlinken von Webseiten unter befreundeten Institutionen ergeben sich nun Möglichkeiten der Manipulation. So sind z.b. ausgehende Links von universitären Seiten recht begehrt, weil diese durch die Regeln von Google leicht einen hohen PageRank erreichen können, der dann über den ausgehenden Link weitergeleitet werden kann. Außerdem hat sich im Internet ein reger Handel mit Links entwickelt. Viele Seitenbetreiber versuchen außerdem durch gezielte Einträge in Foren, Gästebücher und Blogs Backlinks auf die eigene Seite zu setzen. Berechnung des PageRank Gegeben sei der folgende Graph mit den fünf Webseiten A bis E. Berechnen Sie für jede dieser Seiten den PageRank (vgl. PDF-Folien S. ). Als Dämpfungsfaktor ǫ können Sie vereinfachend ǫ = 0, 5 annehmen. Stellen Sie zunächst mit Hilfe der in den PDF-Folien angegebenen Gleichung ein Gleichungssystem bestehend aus fünf Gleichungen auf und lösen Sie dieses in MS Excel. Unter finden Sie eine Anleitung für das Lösen linearer Gleichunssysteme in MS Excel.

2 Lösungsvorschlag Gemäß dem Graphen in der Aufgabenstellung und der Formel zur Berechnung des PageRank im Skript ergeben sich fünf Gleichungen mit fünf Unbekannten. Hierbei steht die Variable A z.b. für den PageRank R(a) von Seite a. A = 0, 5 + 0, 5 (C/ + D) B = 0, 5 + 0, 5 (A/2) C = 0, 5 + 0, 5 (A/2 + B) D = 0, 5 + 0, 5 (C/ + E) E = 0, 5 + 0, 5 (C/) Eine Lösung des Gleichungssystems führt zu folgenden Werten: A = 7, 2 B = , 8 C = 4 9, 2 D = 9, 06 E = , 72 2

3 Aufgabe 2 Invertierte Listen Sie haben invertierte Listen als Datenstrukturen kennen gelernt. Gegeben seien die folgenden Dokumente: := italy is world champion := germany and italy played each other in the semifinal := germany was in the semifinal := germany won the semifinal in italy 990 Angenommen die Terme is, and, in, the, was, each, other seien Stoppworte. Konstruieren Sie nun aus den obigen Dokumenten eine invertierte Liste. Was fällt Ihnen auf? Wie könnte man die invertierte Liste kompakter repräsentieren? Lösungsvorschlag Lange URLs wie z.b. http// führen zu einem großen Index. Daher werden vor Konstruktion der eigentlichen invertierten Liste die langen URLs durch kürzere Document Identifier (hier einfache Integer-Werte) repräsentiert. http// http// 2 http// http// 4 Daraus resultiert folgende invertierte Liste: italy (, 2, 4) world () champion () played (2) won (4) 2006 (, ) germany (2,, 4) semifinal (2,, 4) 990 (4)

4 Aufgabe Coordination Level Match Gegeben sei ein IR-System, welches für das Retrieval von Dokumenten das Coordination Level Match benutzt. Folgende Dokumentenkollektion mit vier (recht kurzen) Dokumenten sei vorhanden: D: Auto-Hersteller BMW übernimmt Werk in Japan. D2: Japanische Autos sind in Deutschland weniger gefragt. D: Deutschland: Auto-Hersteller BMW schließt Werk. D4: Hersteller aus Japan und Deutschland im Vergleich. Nehmen Sie nun an, dass sich nach einer Umwandlung in Kleinbuchstaben, einer Stoppworteliminierung und einer Stammformreduktion (z.b. Autos auto; Japanische japan) ein Vokabular mit den Termen auto, bmw, deutschland, hersteller, japan, vergleich, werk ergeben hat. Das bedeutet u.a. auch, dass durch einen Bindestrich verbundene Wortgruppen in die einzelnen Wörter aufgelöst werden, z.b. Auto-Hersteller auto, hersteller. Ermitteln Sie nun für die folgenden Anfragen die zugehörigen Ergebnislisten: Auto Hersteller NOT Japan BMW Werk Japan Lösungsvorschlag D: Auto-Hersteller BMW übernimmt Werk in Japan. D2: Japanische Autos sind in Deutschland weniger gefragt. D: Deutschland: Auto-Hersteller BMW schließt Werk. D4: Hersteller aus Japan und Deutschland im Vergleich. Invertierte Liste: auto: (D, D2, D) hersteller: (D, D, D4) bmw: (D, D) werk: (D, D) japan: (D, D2, D4) deutschland: ( D2, D, D4) vergleich: ( D4) Auto Hersteller NOT Japan D: +; D2: -; D: +2; D4: 0 BMW Werk Japan D: +; D2: +; D: +2; D4: + 4

5 Aufgabe 4 Vektorraummodell Berechnung der Repräsentationen des Vektorraummodells Gegeben sei ein IR-System, welches für das Retrieval von Dokumenten das Vektorraummodell benutzt. Folgende Dokumentenkollektion mit vier (recht kurzen) Dokumenten sei vorhanden: D: Ubuntu ist eine Linux-Distribution basierend auf Debian. D2: Ubuntu und Debian verwenden den gleichen Paketmanager. D: Die Distribution Ubuntu ist bei Linux-Nutzern sehr beliebt. D4: Debian gilt als stabile Distribution. Nehmen Sie nun an, dass sich nach Anwendung verschiedener Transformationsschritte ein Vokabular mit den Termen { ubuntu, linux, distribution, debian, paketmanager, nutzer } ergeben hat. Das bedeutet u.a. auch, dass durch einen Bindestrich verbundene Wortgruppen in die einzelnen Wörter aufgelöst werden, z.b. Linux-Nutzer linux, nutzer. Aufgabe 4. Berechnen Sie die Vektoren für die Dokumentenkollektion nach der tf idf-formel (Skript S. 8) auf zwei Nachkommastellen genau. Verwenden Sie bei den Berechnungen den natürlichen Logarithmus (z.b. ln(2) 0.69). Geben Sie nur die resultierenden Vektoren an! Aufgabe 4.2 Bestimmen Sie für die folgenden Anfragen die zugehörigen Vektoren nach der Formel von Salton und Buckley (Skript S. 85). Verwenden Sie auch hierbei den natürlichen Logarithmus (z.b. ln(2) 0.69). Linux Distribution Debian Paketmanager Geben Sie auch hier nur die resultierenden Vektoren an! Aufgabe 4. Ermitteln Sie nun die Ähnlichkeit zwischen den Anfragen und den Dokumenten mit Hilfe des Skalarprodukts (Skript S. 86). Geben Sie nur die resultierenden Ähnlichkeitswerte (auf 2 Nachkommastellen genau) an! 5

6 Lösungsvorschlag 4. Berechnen Sie die Vektoren für die Dokumentenkollektion nach der tf idf-formel. Term-Dokument-Matrix (N = 4): D D 2 D D 4 n k ubuntu 0 linux distribution 0 debian 0 paketmanager nutzer Berechnung des Zählers der tf idf-formel: D D 2 D D 4 tf ;k ln(n/n k ) tf 2;k ln(n/n k ) tf ;k ln(n/n k ) tf 4;k ln(n/n k ) ubuntu 0,29 (=ln(4/)) 0,29 0,29 0 linux 0,69 (=ln(4/2)) 0 0,69 0 distribution 0,29 (=ln(4/)) 0 0,29 0,29 debian 0,29 (=ln(4/)) 0,29 0 0,29 paketmanager 0,9 0 0 nutzer 0 0,9 0 Berechnung der Dokumentvektoren: zum Beispiel: w ; = ln(4/) (ln(4/))2 + (ln(4/2)) 2 + (ln(4/)) 2 + (ln(4/)) = ln(4/) 0, 4 (ln(4/))2 + ln(2) 2 D D 2 D D 4 w ;k w 2;k w ;k w 4;k ubuntu 0,4 0,20 0,8 0 linux 0,8 0 0,4 0 distribution 0,4 0 0,8 0,7 debian 0,4 0,20 0 0,7 paketmanager 0 0, nutzer 0 0 0,87 0 6

7 Lösungsvorschlag 4.2 Bestimmen Sie für die folgenden Anfragen die zugehörigen Vektoren nach der Formel von Salton und Buckley Q Q 2 wq ;k wq 2;k ubuntu 0 0 linux 0,69 0 distribution 0,29 0 debian 0 0,29 paketmanager 0,9 nutzer 0 0 Lösungsvorschlag 4. Ermitteln Sie nun die Ähnlichkeit zwischen den Anfragen und den Dokumenten mit Hilfe des Skalarprodukts. similarity(d, Q ) = 0, 66 similarity(d 2, Q ) = 0 similarity(d, Q ) = 0, 5 similarity(d 4, Q ) = 0, 20 similarity(d, Q 2 ) = 0, 0 similarity(d 2, Q 2 ) =, 9 similarity(d, Q 2 ) = 0 similarity(d 4, Q 2 ) = 0, 20 7

8 Aufgabe 5 Vektorraummodell Anfragebearbeitung anhand von invertierten Listen Gegeben sei ein IR-System das intern mit invertierten Listen arbeitet und für die Ähnlichkeitssuche das Vektorraummodell einsetzt. Hierbei sei nun folgende Situation gegeben: Bestimmen Sie mit Hilfe des Algorithmus von Buckley & Lewit (Skript S. 88 ff.) die relevantesten Dokumente für den angegebenen Anfragevektor. Geben Sie nach den jeweiligen Schritten die Zustände der Hilfsdatenstrukturen an. 8

9 Lösungsvorschlag Datenstrukturen nach Betrachten der invertierten Liste des Terms Hilbert: TopDocs D 6,4 D 4,8 D 7 4,8 D 2,4 Hilfsdaten D 2,4 D 4,8 D 7 4,8 D 6,4 Datenstrukturen nach Betrachten der invertierten Liste des Terms Gödel: TopDocs D,2 D 8,4 D 7 4,8 D 4,6 Hilfsdaten D 2,4 D 2,8 D 8,4 D 4,6 D 7 4,8 D,2 Datenstrukturen nach Betrachten der invertierten Liste des Terms Schubert: TopDocs D,8 D 8,4 D 7 5,4 D 4,9 Hilfsdaten D 2,4 D 2, D 8,4 D 4,9 D 7 5,4 D,8 Damit ergeben sich D, D und D 7 als die drei relevantesten Dokumente. Anmerkung: Eine Betrachtung des Terms Goethe ist trotz der Gewichtung im Anfragevektor nicht mehr notwendig, weil sich durch die maximal mögliche Veränderung der Retrievalgewichte von + keine weitere Veränderung der gesuchten drei relevantesten Dokumente ergeben kann, da die Differenz zwischen D 7 und D 4 in TopDocs 5,4-,9=,5 beträgt und somit größer als ist. 9

10 Aufgabe 6 Fuzzy-Set Modell Gegeben sei ein IR-System, welches für das Retrieval von Dokumenten das Fuzzy-Set- Modell benutzt. Folgende Dokumentenkollektion mit vier (recht kurzen) Dokumenten sei vorhanden: D: Ubuntu ist eine Linux-Distribution basierend auf Debian. D2: Ubuntu und Debian verwenden den gleichen Paketmanager. D: Die Distribution Ubuntu ist bei Linux-Nutzern sehr beliebt. D4: Debian gilt als stabile Distribution. Nehmen Sie nun an, dass sich nach einer Umwandlung in Kleinbuchstaben, einer Stoppworteliminierung und einer Stammformreduktion (z.b. Nutzern nutzer ) ein Vokabular mit den Termen { ubuntu, linux, distribution, debian, paketmanager, nutzer } ergeben hat. Das bedeutet u.a. auch, dass durch einen Bindestrich verbundene Wortgruppen in die einzelnen Wörter aufgelöst werden, z.b. Linux-Distribution linux, distribution. Bestimmen Sie als erstes die Term Term-Matrix für das Vokabular und geben Sie diese an. Berechnen Sie mit Hilfe der Term Term-Matrix nun die verschiedenen Grade µ i,j der Zugehörigkeit der Dokumente D j zur Menge T i. Geben Sie diese Zugehörigkeits-Matrix an. Geben Sie in Ihrer Lösung sowohl die Term Term- als auch die Zugehörigkeits- Matrix an, wobei Sie sämtliche Werte auf zwei Nachkommastellen genau runden sollten. Ermitteln Sie anschließend die Fuzzy-Sets für die Anfragen: Ubuntu Debian Nutzer (Ubuntu Debian) Distribution (Ubuntu Debian) Distribution Lösungsvorschlag Aufstellung der Termhäufigkeiten D D 2 D D 4 n k ubuntu 0 linux distribution 0 debian 0 paketmanager nutzer

11 Berechnung der Term Term-Matrix Zur Berechnung der Term Term-Matrix wird für jede Zelle die folgende Formel berechnet: n i,l c i,l = n i + n l n i,l Für die. Zelle von links in der oberen Zeile erhalten wir nun: n i,l =, da die Terme ubuntu und ubuntu zusammen in Dokumenten vorkommen, n i =, da der Term ubuntu in Dokumenten vorkommt und n l =, da der Term ubuntu in Dokumenten vorkommt. Damit ist c i,l =. Für die 2. Zelle von links in der oberen Zeile erhalten wir nun: n i,l = 2, da die Terme linux und ubuntu zusammen in 2 Dokumenten vorkommen, n i = 2, da der Term linux in 2 Dokumenten vorkommt und n l =, da der Term ubuntu in Dokumenten vorkommt. Damit ist c i,l = 2. Mit allen gefüllten Zellen erhalten wir damit die Term Term-Matrix: i ubuntu linux distribution debian paketmanager nutzer 2 l ubuntu linux distribution debian paketmanager nutzer Anmerkung: Die Werte in der Term Term-Matrix sind symmetrisch zur Diagonale. Die Diagonale ist mit dem Wert besetzt. Es genügt also, wenn man nur eine Seite der Diagonale berechnet und dann die Werte in die andere Hälfte überträgt. Berechnung der Zugehörigkeitsgrade Der Grad der Zugehörigkeit eines Dokumentes D j zur Menge T i wird folgendermaßen berechnet: µ i,j = Π tl D j ( c i,l ) Für alle j = werden die c-werte für alle die Terme betrachtet, die in Dokument enthalten sind. Dies sind die Terme t = ubuntu, t2 = linux, t = distribution, t4 = debian.

12 Für die. Zelle von links in der oberen Zeile erhalten wir nun: µ, = Π tl D ( c,l ) = ( )( 2 )( 0, 5)( 0, 5) = Für die. Zelle von links in der fünften Zeile erhalten wir nun: µ 5, = Π tl D ( c 5,l ) = ( )( 0)( 0)( ) = 5 9 0, 56 Mit allen gefüllten Zellen erhalten wir damit die Zugehörigkeits-Matrix: D D 2 D D 4 ubuntu 0,75 linux 0,75 0,75 distribution 0,75 debian 0,8 paketmanager 0,56 0, 0, nutzer 0,78 0, 0, Berechnung der Anfragen Anfrage : Ubuntu Debian Nutzer min(µ,j, min(µ 4,j, ( µ 6,j ))) für j = : min(, min(, ( 0, 78))) 0, 22(2/9) für j = 2: min(, min(, ( 0, ))) 0, 67(2/) für j = : min(, min(0, 8, ( ))) = 0 für j = 4: min(0, 75, min(, ( 0, ))) 0, 67(2/) Damit erhalten wir folgende Werte für die Anfrage: j D D 2 D D 4 Anfrage 0,22 0,67 0 0,67 Anfrage 2: (Ubuntu Debian) Distribution min(max(µ,j, µ 4,j ), µ,j ) für j = : min(max(, ), ) = für j = 2: min(max(, ), 0.75) = 0.75 für j = : min(max(, 0.8), ) = für j = 4: min(max(0.75, )) = Damit erhalten wir folgende Werte für die Anfrage: 2

13 j D D 2 D D 4 Anfrage 2 0,75 Anfrage : (Ubuntu Debian) Distribution min( max(µ,j, µ 4,j ), µ,j ) für j = : min( max(, ), ) = 0 für j = 2: min( max(, ), 0.75) = 0 für j = : min( max(, 0.8), ) = 0 für j = 4: min( max(0.75, )) = 0 Damit erhalten wir folgende Werte für die Anfrage: j D D 2 D D 4 Anfrage