Suchmaschinen. Anwendung RN Semester 7. Christian Koczur

Transkript

1 Suchmaschinen Anwendung RN Semester 7 Christian Koczur

2 Inhaltsverzeichnis 1. Historischer Hintergrund 2. Information Retrieval 3. Architektur einer Suchmaschine 4. Ranking von Webseiten 5. Quellenangabe

3 1. Hist. Hintergrund Höhlenmalerei, Papyrus (2.Jh.v.Chr.) Scriptorien (1000 n. Chr.) Klassifikation 1450 Gutenberg 1700 öffentl.bibliothek in Amerika Computer Such Systeme 1989 Tim Bernes - Lee 1998 Link analysis Systeme

4 1.1 erste Suchmaschinen 1990 Archie Indexieren von FTP-Dateien Netz von Archie Servern Abgleich der Daten untereinander Nutzer kann auf Datenbank zugreifen 4 Suchoptionen

5 1.1 erste Suchmaschinen 1992 Veronica (Uni Las Vegas) Vorläufer heutiger Suchmaschinen Benutzerinterface Spider Aufbauend auf Gopher Automatisierte DB-Pflege

6 2. Information Retrieval 2.1 Definition 2.2 Vergleich trad. IR und IR im Web 2.3 Modelle des IR 2.4 Evaluierung von IR-Systemen 2.5 IR im Web durch strukt.dokumente

7 2.1 Definition IR Ist die Suche nach Informationen, bzw. die Repräsentation, Speicherung und Organisation von Wissen. IR modelliert Informationsprozesse, in denen Benutzer aus einer großen Menge von Wissen, die für ihre Problemstellung relevante Teilmenge suchen. (Gerard Salton - Wissenschaftler des IR)

8 2.1 Definition IR Unstrukturierten Datenmengen Vergleich Datenbanken Zusammenfassung der Verfahren zur Wiedergewinnung Speicherung Aufbereitung von Informationen

9 2.1 Definition IR

10 2.1 Definition IR Indexierungsmöglichkeiten Kontrolliertes Vokabular Freitextverfahren Multimediale Inhalte Vagheit und Unsicherheit

11 Trad. IR 2.2 Vergleich trad. IR und IR im Web bspw. Universitätsbibliothek statisch IR im Web Suche in weltgrößter verlinkter Dokumentenmenge dynamisch

12 2.3 Modelle des IR Computerunterstüzung 3 klassische Modelle Boolsches Modell Vektorraum-Retrieval Probabilistisches Modell Metaverfahren

13 2.3.1 bool. Modell Anfragelogik / Semantik Zeichenketten Vorgang der Anfrage Relevanz der Dokumente Lösung kommerzieller Anbieter

14 2.3.1 bool. Modell Logik dieses Modells Mengenoperationen Attribute-Werte-Paare Bool.Operatoren Abgleich Matching

15 2.3.1 bool. Modell Vor- und Nachteile Relevanzabstufungen Matching Ergebnismenge komplexität der Anfragen Anwendung dieses Modells meist Literatur Datenbanken

16 2.3.2 Vektorr. Modell Relevanzabstufung Matching SMART-Projekt Hochdimensionaler, metrischer Vektorraum

17 2.3.2 Vektorr. Modell Logik dieses Modells Gewichtung / Relevanz / Ähnlichkeit Festes Vokabular an Termen Grundformenreduktion Abgleich Ergebnisliste

18 2.3.2 Vektorr. Modell Gewichtungsmethoden lokale Gewichtung globale Gewichtung Häufigkeiten Räumliche Nähe Dimensionen

19 2.3.2 Vektorr. Modell

20 2.3.2 Vektorr. Modell Vor- und Nachteile Geschwindigkeit Realisierung Cluster Relevanz-Feedback

21 2.3.3 Probabil. Modell Grundidee : Zu jeder Anfrage existiert eine Menge an Dokumenten die alle rel. Dokumente enthält. Warscheinlichkeiten der Relevanz Rekursiver Algorithmus verbessertes Ranking w(rel) / w(!rel)

22 2.3.3 Probabil. Modell Vor- und Nachteile Implementierung Unabhängigkeitsannahme Erweiterbarkeit

23 2.3.4 Überblick

24 2.3.5 Metaverfahren Kombination Vorteil Funktion Spezialisierung Bsp s :

25 2.4 Evaluierung Precision p = REL && GEF / GEF Recall r = REL && GEF / REL Beziehung Precision und Recall Andere relevante Kenngrößen Medlars

26 2.5 IR im Web Dokumente und Datenmengen 1986 ISO Standard 8879 SGML (IS) HTML und XML Dokumentelemente Potential für IR?

27 2.5.1 Metadaten Input für Crawler Spezifizierte Angaben HTML 4.0 Dublin Core Metadaten Element Set <meta name= DC.CREATOR Content= Chr. Koczur >

28 3. Architektur einer SM 3.1 Crawler Modul 3.2 Page Repository 3.3 Indexing Modul 3.4 Indexes 3.5 Query Modul 3.6 Ranking Modul

29 3. Architektur einer SM

30 3.1 Crawler Modul Zentralisiertes Netz? Aufgaben Realisierung Interaktion Schutz

31 3.2 Page Repository Speicher temporär Speicher dauerhaft Interaktion

32 3.3 Indexing Modul Verarbeitung Blackbox Interaktion

33 3.4 Indexes Speicherung Form Arten content index structure index special purpose index

34 3.5 Query Modul Userinterface Primäre Aufgabe Interaktion

35 3.6 Ranking Modul Entgegennahme Einordnung Interaktion Relevanz für die Suchmaschine Scoring-Typen Content scrore popularity score

36 4. Ranking v. Webseiten PageRank (S.Brim,L.Page) Link analysis Web als vernetzter Graph In- und Outverbindungen Wichtigkeit nach Empfehlungen

37 4. Ranking v. Webseiten

38 5. Quellenangabe Google s Pagerank and Beyond