Suchmaschinen. Yeliz Güler. Proseminar Auszeichnungssprachen WS04/

Transkript

1 Suchmaschinen Yeliz Güler Proseminar Auszeichnungssprachen WS04/

2 Übersicht Einleitung Was sind Suchmaschinen? Überblick Suchdienste im World Wide Web Webkataloge Suchmaschinen Metasuchmaschinen Payed Listing Suchmaschinen

3 Übersicht Arbeitsweise von Suchmaschinen Einsammeln der Web-Dokumente Berechnung der Relevanz von Suchergebnissen Sortierung der Treffer nach ihrer Relevanz Suchoperatoren der Suchmaschinen 3 Modelle zur Suche der Web-Dokumente Textbasierte Suche Linkbasierte Suche Themenbasierte Suche Aktualisierung der Datenbank

4 Übersicht Was die Suchmaschinen nicht finden Bezug zur Auszeichnungssprachen Hypertextdokumente Neue Technologien Informationsquellen

5 Was sindsuchmaschinen? Suchmaschinen (englisch search engines), Suchdienste im Internet, die zum Auffinden von Daten und Informationen im World Wide Web (WWW) dienen. Das WWW : - enthält sehr viele Informa- tionen - keine zentrale Verwaltung --> kein Inhaltsverzeichnis manuelle Suche wenig erfolgreich --> Suchdienste

6 Überblick Suchdienste im WorldWide Web(WWW) Webkataloge alle Dokumente und Dateien werden von Mitarbeitern des jeweiligen Suchdienstes manuell geprüft, redaktionell bewertet, verworfen oder akzeptiert. Der Content-Anbieter muss ein umfamgreiches Eintragungsformular mit weiterführenden Informationen ausfüllen. Das Redaktionsteam entscheidet ob und wo das Dokument zugeordnet wird.

7 Webkataloge nach welchen Kriterien werden die Kataloglisten sortiert? 2 unterschiedliche Verfahren: gewichtetes Verfahren: wird manuell von Redakteuren geordnet je genauer der Inhalt dem Thema der entsprechenden Kategorie entspricht, desto höher wird das Dokument bewertet und um so weiter vorne erscheint es in der Auflistung ungewichtetes Verfahren: gleichfalls durch manuelle Prüfung und Zuordnung Unterschied; Die Sortierung, entweder alphabetisch oder nach dem Datum der Aufnahme in den Datenbestand.

8 Webkataloge Beispiele für Webkataloge Allesklar Ask Jeeves Bellnet (ungewichtetes Verfahren; alphabetisch) Dino Online Looksmart Web.de Yahoo

9 Überblick Suchdienste im WorldWide Web(WWW) Suchmaschinen Sie verfügen ein spezielle Systemkomponente, den Webrobot, der aktiv das Internet nach neuen Dokumenten durchsucht. Sie setzen verschiedene Softwaretools ein, die eine vollständig automatisierte Analyse und inhaltliche Bewertung von Dokumenten vornehmen. manueller Eingriff, falls Elimination eines Do kuments nötig (bei Verstößen gegen die Nutzungsordnung)

10 Suchmaschinen Beispiele für Suchmaschinen Altavista Alltheweb Fireball Google HotBot Lycos NorthernLight Tiscali Teoma

11 Überblick Suchdienste im WorldWide Web(WWW) Metasuchmaschinen Sie verfügen über keinen eigenen Datenbestand, sondern greifen gezielt auf die Daten anderer Suchmaschinen und Webkataloge zu. Sie ist ein Recherchetool und verfügt eine eigene Benutzerfläche. Die Suchanfragen werden via HTTP-Requestabgeschickt Doppelte Ergebnisse werden eliminiert und es werden eigene mathematische und statistische Kriterien zur Bestimmung der Rangreihenfolge angewendet.

12 Metasuchmaschinen Beispiele für Metasuchmaschinen MetaGer (qualitif hochwertig) [ Metacrawler.de Nettz.de Liste aller relevanten Suchmaschinen [w w w.- m etasuchm aschinen.net/m etasuchm aschinen_01.htm ]

13 Überblick Suchdienste im WorldWide Web(WWW) Payed Listing Suchmaschinen hier handelt es sich um gekaufte Rangpositionen, die bei verschiedenen Suchmaschinen und Webkatalogen erscheinen. (in der Regel: Sponsered Links) Vorteil für Content-Anbieter: kann in kürzester Zeit ganz oben auf Suchergebnisliste erscheinen.

14 PayedListingSuchmaschinen Bespiele für Payed Listing Suchmaschinen Overture Portal-Partner von Overture in Deutschland T-Online Altavista Freenet, usw. Espotting Portal-Partner von Esposting in Deutschland Ciao! Tiscali Netscape, usw. QualiGo

15 Arbeitsweise vonsuchmaschinen Einsammeln der Web-Dokumente Webrobotsystem unterteilt in vier Komponenten: Gatherer sammelt Dokumente im WWW Loaderer organisiert die auszuführenden Auf träge URL-Datenbank verwaltet alle gespeicherten URL's Checker wendet unterschiedliche Filter an

16 Webrobotsystem aus einem bestehenden Bestand wird eine Liste der zu besuchenden URL's erstellt diese wird dem Loaderer übergeben. Loaderer verteilt die URL's an die einzelnen Gatherer und überwacht deren Abarbeitung die Gatherer richten HTTP-Requests an die WWW-Server und übergeben die zurückgelieferten Daten an die Checker werden nicht mehr existierende URL's erkannt, erfolgt eine Löschungsmeldung an die URL-Datenbank

17 Webrobotsystem der Checker entscheidet mit unterschiedlichen Filtern über die Weitergabe der Dokumente an das Retrivialsystem zur Indexierung gefundene Dokumente werden entweder sofort behandelt oder kommen an die URL-DB und wird später indiziert die akzeptierten Dokumente werden vom IR-System analysiert und in den Datenbestand aufgenommen

18 Arbeitsweise vonsuchmaschinen Sortierung der Treffer nach ihrer Relevanz die wichtigsten Dokumente stehen vorne in der Liste (Ranking). die Wichtigkeit ergibt sich aus der Übereinstimmung der gefundenen Dokumente mit der Suchanfrage.

19 Suchoperatorender Suchmaschine Suchoperatoren zur Vereinfachung von Suchanfragen zwischen Operatoren und Suchwort kein Leerzeichen die Bedeutung der Operatoren im einzelnen: AND (+) das Wort muss im Suchergebnis enthalten sein OR Mindestens eines der Suchwörter muss im Ergebnis erscheinen NOT (-) das Wort darf nicht im Suchergebnis enthalten sein

20 Suchoperatorender Suchmaschine NEAR Die Suchbegriffe sind max Worte von- einander entfernt FAR Im Dokument stehen die Suchbegriffe mindes- tens einmal im Abstand voneinander, der 25 Wörter (oder mehr) umfasst (...) Mit Klammerausdrücken können Operatoren zusammengefasst werden, die zuerst abge- arbeitet werden müssen z.b. (A OR B) AND (C NEAR D)... Definiert eine Phrasensuche, die exakt in der Form vorkommen muss

21 Arbeitsweise vonsuchmaschinen 3 Modelle zur Suche der Web-Dokumente Textbasierte Suche Linkbasierte Suche Eine Seite ist umso populärer und relevanter, je mehr Seiten auf sie zeigen Themenbasierte Suche Seiten werden einem Thema zugeordnet

22 Textbasierte Suche Berechnung der Relevanz von Suchergebnissen unterschiedliche (im Detail nicht veröffentlichte) Verfahren Kriterien: die Anzahl der gefundenen Wörter die Position der Wörter der Abstand der Suchbegriffe im Dokument die Häufigkeit von Suchbegriffen innerhalb von Dokumenten

23 Linkbasierte Suche Page Rank (Google) theoretischer Ansatz: (bei wissenschaftlichen Veröffentlichungen) Texte, die von Autoren häufig zitiert werden sind relevanter. Google verläßt sich auf die Struktur des Hypermedia mit seiner Hyperlinkstruktur. relevantes Kriterium: Anzahl und Qualität von verweisenden Hyperlinks

24 Themenbasierte Suche Topic search (Wray buntine) alle Dokumente werden zu bestimmten Themen zugeordnet jedes Dokument wird charakterisiert zu jedem Dokument gibt es eine Beschreibung

25 Aktualisierungder Datenbank Aktualisierung der Datenbank zeitliche Aktualisierung in einem vorgegebenen Zeitraster oder in Abhängigkeit der Zugriffe auf ein Web-Dokument die URLs der Web-Dokumente, auf die nicht mehr zugegriffen werden kann, werden aus der Datenbank gelöscht.

26 Was die Suchmaschinennicht finden Web-Dokumente, die bei den Suchmaschinen nicht eingetragen sind bzw. auf die kein Verweis existiert auf den Web-Servern existierende Dateien, die Informationen enthalten, die von den Suchmaschinen nicht erfasst werden sollen geschützte und dynamisch generierte Web-Dokumente, die durch Passwortregistrierung, Firewall bzw. über Formulare dynamisch generiert werden

27 Bezugzur Auszeichnungssprachen Hypertextdokumente Suchmaschinen erfassen überwiegend Textdokumente in HTML-Format. Hyperlinks (eingebettete Verweise zu anderen Dokumenten als Beispiel: Page Rank; Benuntzung zur Erkennung der Links-Strukuren Auszeichnung von Seiten mit Themen (Themenbasierte Suche, SemanticWeb)

28 Neue Technologien Genre und Art (im Bezug auf das Internet) wird in den Informationswissenschaften Genre so definiert: andere Art von Web-Seiten mit einer an- erkannten Form und einem Zweck Beispiele: home pages, Nachrichten freigeben und Produkt Broschure P2P-Peer to Peer eine Technologie populär mit Musikdownload-Programmen außerdem eine ideale Platform für allgemeine Suche

29 Neue Technologien Text Mining and Information Extraction bekannt in Bereich der Medizin und Bioinformatik Fakten aus Texten herausgeben Beispiel: Was ein bestimmtes medikamen enthält oder wie viel es kostet Shallow Natural Language Processing läßt mehr Analyse zu ohne ein komplettes Textverständnis Beispiele: die Kennzeichnung der Namen der Leute und der Plätze und die Kennzeichnung der Schlüsselphrasen

30 Neue Technologien Automatische Kategorisierung Kernaufgabe einer Enzyklopädie oder des bibliographischen Services Beispiele: Kategorienentwürfe, die Klassifizierungssysteme und alternative Indizes in der digitalen Bibliothek Themen spezifische Suche viele kleine Suchmaschinen gibt es in spezifischen Bereichen oder verwenden die spezifische Technologie

31 Neue Technologien Relevance and Authority verbessert die Kombination von Verweisstruktur, und Textinhalt zum Beispiel: Page Rank ( Google)

32 Informationsquellen Micheal Glöggler, Suchmaschinen im Internet, Ulrich Babiak, Effektive Suche im Internet, 1997 Thomas Potempa, Peter Franke, Wilfrid Osowoski, Maria- Elisabeth Schmidt,Informationen finden im Internet, 3.Auflage, 2001 Michael Otto, Suchstrategien im Internet, 1997