Übungsaufgaben. Aufgabe 1 Internetsuchmaschinen. Einführung in das Information Retrieval, 8. Mai 2008 Veranstaltung für die Berufsakademie Karlsruhe

Größe: px

Ab Seite anzeigen:

Download "Übungsaufgaben. Aufgabe 1 Internetsuchmaschinen. Einführung in das Information Retrieval, 8. Mai 2008 Veranstaltung für die Berufsakademie Karlsruhe"

Fritz Günther
vor 8 Jahren
Abrufe

1 Otto-Friedrich-Universität Bamberg Lehrstuhl für Medieninformatik Prof. Dr. Andreas Henrich Dipl. Wirtsch.Inf. Daniel Blank Einführung in das Information Retrieval, 8. Mai 2008 Veranstaltung für die Berufsakademie Karlsruhe Übungsaufgaben Aufgabe 1 Internetsuchmaschinen Suchmaschinenoptimierung Recherchieren Sie für die Beantwortung dieser Frage im Web: Google nutzt bei Berechnung des PageRanks die Linkstruktur der Dokumente im Web. Beschreiben Sie, auf welche Art und Weise dieses Verfahren manipuliert werden kann, so dass Dokumente eine hohe Gewichtung erhalten. Nennen Sie hierbei einige Möglichkeiten, wie versucht wird, die eigene Webseite in den Ergebnislisten nach vorne zu katapultieren. Berechnung des PageRank Gegeben sei der folgende Graph mit den fünf Webseiten A bis E. Berechnen Sie für jede dieser Seiten den PageRank (vgl. PDF-Folien S. 111). Als Dämpfungsfaktor ǫ können Sie vereinfachend ǫ = 0, 5 annehmen. Stellen Sie zunächst mit Hilfe der in den PDF-Folien angegebenen Gleichung ein Gleichungssystem bestehend aus fünf Gleichungen auf und lösen Sie dieses in MS Excel 1. 1 Unter finden Sie eine Anleitung für das Lösen linearer Gleichunssysteme in MS Excel. 1

nutzt bei Berechnung des PageRanks die Linkstruktur der Dokumente im Web.

2 Aufgabe 2 Invertierte Listen Sie haben invertierte Listen als Datenstrukturen kennen gelernt. Gegeben seien die folgenden Dokumente: := italy is world champion := germany and italy played each other in the semifinal := germany was in the semifinal := germany won the semifinal in italy 1990 Angenommen die Terme is, and, in, the, was, each, other seien Stoppworte. Konstruieren Sie nun aus den obigen Dokumenten eine invertierte Liste. Was fällt Ihnen auf? Wie könnte man die invertierte Liste kompakter repräsentieren? 2

html := germany was in the semifinal 2006 http://www.mydocs.de/soccer/test4.

3 Aufgabe 3 Coordination Level Match Gegeben sei ein IR-System, welches für das Retrieval von Dokumenten das Coordination Level Match benutzt. Folgende Dokumentenkollektion mit vier (recht kurzen) Dokumenten sei vorhanden: D1: Auto-Hersteller BMW übernimmt Werk in Japan. D2: Japanische Autos sind in Deutschland weniger gefragt. D3: Deutschland: Auto-Hersteller BMW schließt Werk. D4: Hersteller aus Japan und Deutschland im Vergleich. Nehmen Sie nun an, dass sich nach einer Umwandlung in Kleinbuchstaben, einer Stoppworteliminierung und einer Stammformreduktion (z.b. Autos auto; Japanische japan) ein Vokabular mit den Termen auto, bmw, deutschland, hersteller, japan, vergleich, werk ergeben hat. Das bedeutet u.a. auch, dass durch einen Bindestrich verbundene Wortgruppen in die einzelnen Wörter aufgelöst werden, z.b. Auto-Hersteller auto, hersteller. Ermitteln Sie nun für die folgenden Anfragen die zugehörigen Ergebnislisten: Auto Hersteller NOT Japan BMW Werk Japan 3

D3: Deutschland: Auto-Hersteller BMW schließt Werk. D4: Hersteller aus Japan und Deutschland im Vergleich.

4 Aufgabe 4 Vektorraummodell Berechnung der Repräsentationen des Vektorraummodells Gegeben sei ein IR-System, welches für das Retrieval von Dokumenten das Vektorraummodell benutzt. Folgende Dokumentenkollektion mit vier (recht kurzen) Dokumenten sei vorhanden: D1: Ubuntu ist eine Linux-Distribution basierend auf Debian. D2: Ubuntu und Debian verwenden den gleichen Paketmanager. D3: Die Distribution Ubuntu ist bei Linux-Nutzern sehr beliebt. D4: Debian gilt als stabile Distribution. Nehmen Sie nun an, dass sich nach Anwendung verschiedener Transformationsschritte ein Vokabular mit den Termen { ubuntu, linux, distribution, debian, paketmanager, nutzer } ergeben hat. Das bedeutet u.a. auch, dass durch einen Bindestrich verbundene Wortgruppen in die einzelnen Wörter aufgelöst werden, z.b. Linux-Nutzer linux, nutzer. Aufgabe 4.1 Berechnen Sie die Vektoren für die Dokumentenkollektion nach der tf idf-formel (Skript S. 83) auf zwei Nachkommastellen genau. Verwenden Sie bei den Berechnungen den natürlichen Logarithmus (z.b. ln(2) 0.693). Geben Sie nur die resultierenden Vektoren an! Aufgabe 4.2 Bestimmen Sie für die folgenden Anfragen die zugehörigen Vektoren nach der Formel von Salton und Buckley (Skript S. 85). Verwenden Sie auch hierbei den natürlichen Logarithmus (z.b. ln(2) 0.693). Linux Distribution Debian Paketmanager Geben Sie auch hier nur die resultierenden Vektoren an! Aufgabe 4.3 Ermitteln Sie nun die Ähnlichkeit zwischen den Anfragen und den Dokumenten mit Hilfe des Skalarprodukts (Skript S. 86). Geben Sie nur die resultierenden Ähnlichkeitswerte (auf 2 Nachkommastellen genau) an! 4

D3: Die Distribution Ubuntu ist bei Linux-Nutzern sehr beliebt. D4: Debian gilt als stabile Distribution.

5 Aufgabe 5 Vektorraummodell Anfragebearbeitung anhand von invertierten Listen Gegeben sei ein IR-System das intern mit invertierten Listen arbeitet und für die Ähnlichkeitssuche das Vektorraummodell einsetzt. Hierbei sei nun folgende Situation gegeben: Bestimmen Sie mit Hilfe des Algorithmus von Buckley & Lewit (Skript S. 88 ff.)die 3 relevantesten Dokumente für den angegebenen Anfragevektor. Geben Sie nach den jeweiligen Schritten die Zustände der Hilfsdatenstrukturen an. 5

Hierbei sei nun folgende Situation gegeben: Bestimmen Sie mit Hilfe des Algorithmus von Buckley & Lewit (Skript S.

6 Aufgabe 6 Fuzzy-Set Modell Gegeben sei ein IR-System, welches für das Retrieval von Dokumenten das Fuzzy-Set- Modell benutzt. Folgende Dokumentenkollektion mit vier (recht kurzen) Dokumenten sei vorhanden: D1: Ubuntu ist eine Linux-Distribution basierend auf Debian. D2: Ubuntu und Debian verwenden den gleichen Paketmanager. D3: Die Distribution Ubuntu ist bei Linux-Nutzern sehr beliebt. D4: Debian gilt als stabile Distribution. Nehmen Sie nun an, dass sich nach einer Umwandlung in Kleinbuchstaben, einer Stoppworteliminierung und einer Stammformreduktion (z.b. Nutzern nutzer ) ein Vokabular mit den Termen { ubuntu, linux, distribution, debian, paketmanager, nutzer } ergeben hat. Das bedeutet u.a. auch, dass durch einen Bindestrich verbundene Wortgruppen in die einzelnen Wörter aufgelöst werden, z.b. Linux-Distribution linux, distribution. Bestimmen Sie als erstes die Term Term-Matrix für das Vokabular und geben Sie diese an. Berechnen Sie mit Hilfe der Term Term-Matrix nun die verschiedenen Grade µ i,j der Zugehörigkeit der Dokumente D j zur Menge T i. Geben Sie diese Zugehörigkeits-Matrix an. Geben Sie in Ihrer Lösung sowohl die Term Term- als auch die Zugehörigkeits- Matrix an, wobei Sie sämtliche Werte auf zwei Nachkommastellen genau runden sollten. Ermitteln Sie anschließend die Fuzzy-Sets für die Anfragen: Ubuntu Debian Nutzer (Ubuntu Debian) Distribution (Ubuntu Debian) Distribution 6

Ähnliche Dokumente

Übungsaufgaben mit Lösungsvorschlägen

Übungsaufgaben mit Lösungsvorschlägen Otto-Friedrich-Universität Bamberg Lehrstuhl für Medieninformatik Prof. Dr. Andreas Henrich Dipl. Wirtsch.Inf. Daniel Blank Einführung in das Information Retrieval, 8. Mai 2008 Veranstaltung für die Berufsakademie