Seminar Neue Technologien in Internet und WWW

Transkript

1 Seminar Neue Technologien in Internet und WWW Thema: Suchmaschinen im WWW Sebastian Roolant & Sören Apelt

2 Gliederung 1. Einleitung 2. Überblick Suchdienste 3. Systemumfeld 4. Funktionsweise von Suchmaschinen 5. Qualität der Suchergebnisse 6. Suchprozess 7. Benutzerschnittstelle

3 Einleitung WWW: gigantische, ungeordnete Menge heterogener Seiten ca. eine Billion Web-Seiten Zahl wächst mit einer immer größer werdenden Geschwindigkeit Anzahl neuer Seiten im Web verdoppelt sich alle 6 Monate Suchmaschinen sollen Informationssuche erleichtern Problem: Vollständigkeit & Genauigkeit

4 Einleitung 1993: erste Such-Robot für das gerade neu entstehende WWW The Wanderer von Mathew Gray (MIT-Student) programmiert zählte zunächst nur WWW-Server Erweiterung von Michael L. Maudlin: Wandex gesammelte Daten konnten durchsucht werden durchsuchte und katalogisierte von Juni 1993 bis Januar 1996 zweimal pro Jahr das Netz Im selben Jahr: Aliweb, Jumpstation, WorldWideWeb Worm indizierten nach Titel und URL RBSE Spider: Trefferliste nach Rankingsystem sortiert

5 Einleitung 1994: WebCrawler wurde später an AOL verkauft Von AOL an Excite Lycos Michael L. Maudlin nicht nur Worthäufigkeit entscheidend erstmals auch Auswertung der Nähe von Suchbegriffen untereinander David Filo und Jerry Yang (Stanford University) starten eine Sammlung ihrer besten Web-Adressen unter dem Namen Yahoo!

6 Einleitung 1995: ersten Suchmaschinen, die nicht von Universitäten, sondern von kommerziellen Firmen entwickelt wurden Infoseek Architext (Excite) 1996: AltaVista Inktomi Corp. wird gegründet gleichnamige Suchmaschine wird zur Grundlage von Hotbot und anderen Suchdiensten 1998: Google wird entwickelt von Larry Page und Sergey Brin

7 Einleitung größte Suchmaschine im World Wide Web 3 Milliarden Webseiten im Google-Index täglich über 200 Millionen Suchanfragen Infrastruktur: Server "Cheap and fast" hoher Grad an Redundanz (viele Zwillinge) ca. 80 Server fallen pro Tag aus Belastung an einem Google-Tag entspricht 40 Jahre normaler Betrieb

8

10 Überblick Suchdienste Zwei Arten von Suchmaschinen Webkataloge (Verzeichnisbasierte Suchdienste) Suchmaschinen (Indexbasierte Suchdienste) Verteilte Suchmaschinen Metasuchmaschinen P2P Netzwerke Payed Listing Suchmaschinen Spezialisierte Suchmaschinen z.b. Google Voice Search

11 Webkataloge Dokumente werden von Mitarbeitern manuell geprüft, bewertet, verworfen oder akzeptiert Hauptargument: durch intellektuelle Bewertung steigt die Präzision von Suchergebnissen im Vergleich zu (indexbasierten) Suchmaschinen Kriterien nach dem die Suchergebnisse sortiert werden Gewichtetes Verfahren Redakteur ordnet manuell eine Gewichtung zu wird bei nahezu allen bedeutenden Webkatalogen verfolgt Ungewichtetes Verfahren Sortieren erfolgt alphabetisch oder nach dem Datum der Aufnahme in den Datenbestand

12 Indexbasierte Suchmaschinen Ausschließlich automatisierte Verfahren 4 Kernfunktionen Datenbeschaffung Dokumentenanalyse und bewertung Aufbau und Verwaltung von Datenstrukturen Suchanfrage mit der Berechnung dafür notwendig: 3 Systemkomponenten Webrobot-System Information Retrieval System Query-Processor

13 Metasuchmaschinen greifen gezielt auf Daten anderer Suchmaschinen und Webkataloge zu senden Suchanfragen über HTTP-Request an verschiedene Suchmaschinen und Webkataloge setzen eigene Suchergebnisliste daraus zusammen eigene mathematische und statistische Kriterien zur Bestimmung der Rangreihenfolge werden angewendet

14 Suche in Peer to Peer Netzwerken peer-to-peer: frei übersetzt Verbindung zwischen Einzelnen bezieht sich auf die Netzstruktur dieser Systeme P2P ist dezentralisert es gibt eine Direktverbindung zwischen den einzelnen Nutzern jeder Teil des Netzwerkes ist gleichzeitig Client und auch Server die Peers sind somit gleichberechtigt

15 Suche in Peer to Peer Netzwerken Vorteil: Flexibilität selbstadministrierend Nachteil: zu jedem Zeitpunkt sind einige Peers nicht online Teile der Dokumentenkollektion nicht verfügbar bekanntesten P2P-Systeme: Filesharing Börsen (z.b. KaZaa) beschränken ihre Retrievaldienste vornehmlich auf die Suche nach Begriffen in den Namen der verfügbaren Dokumente geht man einen Schritt weiter und erweitert jeden Peer um Methoden des Information Retrieval P2P Suchmschinen (z.b. Opencola) Problem: Zeit (doppelte Einträge usw.)

16 Payed Listing Suchmaschinen eigene Bereichen innerhalb der Suchergebnisliste Prinzip: Verkauf von Positionen bei anderen Suchdiensten gegen Höchstgebot Betreiber haben bei unterschiedlichen Suchdiensten Flächen innerhalb der Suchergebnislisten gekauft Höhe des gebotenen Pay-Per-Click Betrages bestimmt die Position in der Suchergebnisliste Google (AdWords Programm): Position bestimmt sich aus Kombination von Pay-Per-Click und Click-Through-Rate

18 Systemumfeld Client-Server - Prinzip HTTP-Protokoll URL - Aufbau & Funktion HTML

19 Client-Server Prinzip Client (bekanntester: Browser) stellt Anforderung zur Übertragung von Daten der Dienst erbringende Prozess wird vom Server ausgeführt Ressource wird an den Client übertragen Kommunikation erfolgt über das HTTP-Protokoll Suchmaschinen fungieren sowohl als Server, als auch als Client

20

21 HTTP Protokoll Kommunikation im WWW basiert auf dem HTTP-Protokoll Wichtigste Methode: GET-Request (Client) Server antwortet mit Response Response-Header überträgt: Ressourcen spezifischen Informationen Information über den Serverstatus Auswirkungen auf den Datenbestand

22 URL Aufbau & Funktion einer der wichtigsten Bestandteile des HTTP-Protokolls eindeutige Adresse im Internet Werden von Suchmaschinen zum Zweck der Verwaltung und der Aktualisierung des Datenbestandes gespeichert URL beschreibt das Wie, das Wo und das Was eines Dokuments im Internet Bsp.: Auswertung der URL durch ein Webrobot ermöglicht die Gewinnung wichtiger Informationen

23 HTML

25 Funktionsweisen von Suchmaschinen Arbeitsweisen von Webrobots Datenaufbereitung und Analyse Datenstrukturen der Information Retrieval Systeme

26 Arbeitsweisen von Webrobots Web Wanderer, Web Crawler, Spider Systemkomponente der Suchmaschinen verantwortlich für Erfassung von neuen und veränderten Ressourcen im Internet besteht aus verschiedenen Hardware- und Softwarekomponenten entspricht dem Client im Client-Server-Modell neue Ressourcen durch Verfolgung von Hyperlink- Verweisen aus bereits indexierten Dokumenten Verschiedene Datenformate und Anwendungsprotokolle

27

28 Datenaufbereitung und Analyse Umwandlung in ein einheitliches Datenformat Textdokumente werden inhaltlich erschlossen Ergebnis: dient zur Entwicklung des Datenbestandes der Suchmaschinen und stellt somit die Basis für die Verfahren der Relevanzbewertung dar

29 Datenaufbereitung und Analyse Der Indexierungsprozess lässt sich in drei Teilprozesse unterteilen: Datennormalisierung Dokumentenanalyse die Bildung von durchsuchbaren Datenstrukturen

30

31 Datenstrukturen der IR-Systeme Der Indexierungsprozess lässt sich in drei Teilprozesse unterteilen: Datennormalisierung Dokumentenanalyse die Bildung von durchsuchbaren Datenstrukturen Suchergebnisse entsprechend ihrer Relevanz zu sortieren, erfordert spezielle Datenstrukturen von der Mehrzahl eingesetzt: das invertierte Dateisystem mit eine zentrale Indexdatei

32 Datenstrukturen der IR-Systeme ein invertiertes Dateisystem bei Suchmaschinen basiert im allg. auf drei verschiedenen Datenstrukturen: den direkten Dateien den invertierten Dateien dem Index Die Gesamtheit aller Maßnahmen zur Entwicklung dieser Datenstrukturen wird Indexierung genannt die Information zur Berechnung der Relevanz werden im invertierten Dateisystem mit abgespeichert

33

34 Datenstrukturen der IR-Systeme Direkten Dateien: datennormalisierte Textdateien + ergänzende Dateien vollständige Speicherung oder ausgesuchte Bereiche des Dokuments Wordlist: Deskriptoren DocID Invertierte Dateien verweist auf sämtliche direkten Dateien, die einen bestimmten Begriff als Keyword in ihrer Wordlist führen numerische ID Informationen zur Gewichtung (direkt oder in Location List) Anzahl der Vorkommnisse von Keywords, Position usw. ermöglicht verfeinerte Gewichtungsverfahren Docinfo-Datei: weiterführende Informationen

35 Datenstrukturen der IR-Systeme Indexdatei: Sortierte Liste aller vorkommenden Begriffe Verweis auf jeweiligen invertierten Dateien bei kontrollierten Indexierung: Wörterbuch zulässiger Begriffe Vorteil: Kontrolle Nachteil: Aktualität bei unkonktrollierter Indexierung: alle vom Keyword-Filter generierten Begiffe Vorteil: einfache Aufnahme Nachteil: auch falsch geschriebene Wörter werden indexiert Google: unkontrollierte Indexierung + Wörterbuch bei großen Datenbeständen: Lineare Liste nicht hinreichend effizient daher: Einsatz von B-Bäumen

37 Qualität der Suchergebnisse Qualität Relevanz Gewichtungsmodelle Page Rank Manipulation Optimierung

38 Qualität Systemeffizienz (Kosten/Zeit) beeinflussende Faktoren Art der Datenstrukturen Organisation der Speichermedien Methoden der Query-Abfrage Systemeffektivität zwei relevante Messgrößen Problematik Recall: alle nachgewiesenen relevanten Dokumente bei Suchanfrage Precision: beurteilt die Exaktheit der nachgewiesenen Dokumente Synonyme (keine Thesaurusregeln) Homonyme (Mehrdeutigkeit z.b. Golf) Lösung durch Cluster-Verfahren (Themen-Cluster)

39 Relevanz Sortierung nach Relevanz (früher alphabetisch) Unterschied zu DBS SQL Anfrage (100%) IR-System Anfrage (Ähnlichkeit reicht aus) Funktionalität von IR-Systemen mathematische Berechnungen (Retrievalfunktionen) Verbesserung der Suchergebnisse mehrere Parameter verschiedener Gewichtungsmodelle mehrere Gewichtungswerte unterschiedlich berücksichtigen Verteilung des Wirkungsgrades

40 Gewichtungsmodelle grobe Unterscheidung Statische Vektorraummodell TF & ITF Algorithmus Keywordrelevanz Hypermedia basierte Gewichtungsmodelle Page Rank Click Popularity Cluster-Verfahren

41 Vektorraummodell (1) einfach und benutzerfreundlich unmittelbar auf neue Datenbestände anwendbar bietet relativ gute Retrievalqualität Dokument wird durch Vektor repräsentiert Vektorraum aus n - Schlüsselwörter gebildet Suchanfrage als m - dimensionaler Vektor Korrelation zwischen Suchanfrage- und Dokumentsvektoren bestimmt den Grad der Ähnlichkeit

42 Vektorraummodell (2) Ansätze binäre VRM 1 = im Dokument enthalten 0 = falls nicht keine Differenzierung bzgl. Ähnlichkeit möglich gewichtete VRM gewichtete Vektorendarstellung ermöglicht einfache Abbildung und Verarbeitung Dokumente = gewichteter Vektor seiner Schlüsselwörter Schlüsselwort = Dimension des Vektors Identifikation der Schlüsselwörter durch den Einsatz eines Keyword Relevanzfilters Funktion berechnet den Ähnlichkeitswert

43 TF (Term Frequency) Relative Worthäufigkeit Zipf`sches Gesetz (Gesetz des geringsten Widerstandes) Keyword = Substantiv einfach: Summe der auftretenden Wörter Bsp: TF-Wert=20 (absolute Worthäufigkeit) Verbesserung: Häufigkeit eines Wortes im Verhältnis zu allen vorkommenden Wörtern

44 ITF (Inverse Document Frequency) Inverse Dokumentenhäufigkeit repräsentieren und diskriminieren Bsp. Rechner relative Worthäufigkeit zur Keywordbestimmung Precision zur Unterscheidung Schlüsselwort hoch bewerte, je seltener in anderen Dokumenten, bzw. umso niedriger, je häufiger in anderen Dokumenten Häufigkeit aus Word List über betreffende invertierte Datei werden Informationen kalkuliert

45 Keywordrelevanz zwei Gewichtungverfahren absolute Position eines Keywords Unterscheidung in Dokumentenkopf und körper Meta-Tag s Analyse mittels HTML-Phraser Keywords in URL Nähe von Schlüsselwörtern zueinander (Proximity- Verfahren) Suchanfragen aus mindestens zwei Wörtern umso näher desto repräsentativer

46 Page Rank (1) Erfinder und Gründer von Google (Sergey Brin, Lawrence Page) Daten beantwortet > 200 Millionen Anfragen pro Tag suche auf 3 Millarden Web-Seiten 8,8 Millionen Besuchern pro Tag Prinzip der Link-Popularität Page Rank-Algorithmus 500 Millionen Variablen und >2 Milliarden Begriffe werden verglichen Durchschnittsgeschwindigkeit von 29 Hundertstelsekunden pro Anfrage

47 Page Rank (2) WWW als gerichteter Graphen mit gewichteten Knoten und Kanten (Knoten sind die Webseiten, Kanten die Links) Algorithmus 1. Knoten mit Startgewicht 1 2. ausgehende Kantengewichtung = Gewicht des Knotens / Anzahl der ausgehenden Kanten 3. neues Gewicht = Summe eingehenden Kantengewichte 4. Verfahren ab 2. wiederholen, bis die Knotengewichte hinreichend genau approximiert

48 Page Rank (3) PR(A) = (1-d) + d(pr(t1) / C(T1) + + PR(Tn) / C(Tn)) A = untersuchte Seite T1 Tn = Seiten, die auf A verweisen d = Dämpfungsfaktor, liegt zwischen 0 und 1 wirkt normalisierend damit Summe konstant bleibt C(T1) = Links, die aus der Seite T1 zeigen PR(A) = PageRank von A Bsp. (

49 Page Rank (4) BadRank Umkehrung des Page Rank "linking to bad neighborhoods" Identifizierung von Spam Seiten BR(A) = E(A) (1-d) + d (BR(T1)/C(T1) BR(Tn)/C(Tn)) BR(A) der BadRank von Seite A, BR(Ti) der BadRank derjenigen Seiten T, auf die Seite A verlinkt, C(Ti) die Anzahl der eingehenden Links der jeweiligen Seite Ti und d der auch hier erforderliche Dämpfungsfaktor E(A) ein numerischer Wert (z.b. Schwere des Spammings)

50 Page Rank (5) PR0 - Die PageRank 0 Bestrafung seit 2001 angestrebten hohen Skalierbarkeit weniger Personalaufwand Kombination von BadRank & PageRank Einsatz von Spam-Dexing Filter

51 Click Popularity erstmals 1998 entwickelt von Direct.Hit.com Anzahl der Klick s auf URL entscheidend kombiniert mit bekannten Gewichtungsmodellen Nachteile leichte Manipulation wenn einmal oben dann immer alt gegen neu Verbesserung zusätzliches speichern von IP-Adessen Verhältnis Anzahl der Klick s zur Dauer im Datenbestand Cookies auf User Rechnern

52 Cluster-Verfahren Klassifizierung von Massendaten Gruppen von ähnlichen Seiten Verbesserung der Precision bei Google Objekt bezogene Cluster-Verfahren Nachteil reine Verweisbezogene Gruppenbildung durch Hyperlinks dadurch keine Verbesserung möglich

54 Suchprozess Query Processor Suchoperatoren Expertensuche

55 Query Processor (1) eigentliches Suchtool der Suchmaschine liefert aus Datenbestand sortierte Ergebnisliste (Ranking) Sortiert nach Ähnlichkeitsgrad zur Suchanfrage Wertberechnung aus verschiedenen Gewichten der IR-System mittels Retrievalfunktion logisch u. funktionaler Zusammenhang Gewichtungsmodelle des IR-System bestimmt Gewichte der einzelnen Schlüsselwörter Suchalgorithmus des Query Processors kalkuliert daraus den Relevanzwert des Dokuments Relevanz abhängig von Suchworten

56 Query Processor (2) Beispielanfrage Ferienwohnungen und Italien 1. Übersetzung in für IR-System lesbares Format durch Query Processor 2. falls Word Stemming, Umwandlung in Wortstamm 3. Verknüpfung durch Suchoperator AND Vergleich der beiden Wortlisten durch DocID Query Processor berechnet Relevanzwert beider 4. Ausgabe der Ergebnisliste

57 Suchoperatoren Zwei Beobachtungsmethoden Live Suche (Fireball) Log Protokolle der Webserver Ziel ist die Verfeinerung der Suchanfrage Kombination von Suchworten Operatoren AND(+) OR NOT(-) sind klar ADJ = direkt nebeneinander stehende Wörter NEAR = max Worte auseinander FAR = min. einmal im Abstand von > 25 Wörtern ( ) = Operatoren zusammenfassen * = Platzhalter = Phrasensuche (exakte Reihenfolge)

58 Expertensuche Alternative zu Suchoperatoren Eingabeformular mit vordefinierten Systematiken Möglichkeiten am Bsp. von Boolesche Operatoren Sprachfilter Zeichensatzsystem Wortfilter Domainfilter IP-Filter Dateiformat Erstellungs- und Änderungsdatum Dokumentengröße /-tiefe

60 Benutzerschnittstelle typisch Browser zusätzlich z.b. Google Toolbar: Web-Suche = Toolbar direkt auf Internetexplorer, Zugriff auf die Suchmaschine Google Site-Suche = ausgewählten Website suchen PageRank = Anzeige des PageRank mittels grünem Statusbalken, numerischer Wert des PageRank Seiten-Info = weitere Infos zu Seite + Version die im Google-Cache abgespeichert ist, Verlinkung der Seite Hervorheben = farbige Markierung des Suchbegriffs auf Webseite Worte Finden = ein Sprungbutton pro Suchwort, Lupen-Symbol geht zur nächsten Stelle

61 Google Toolbar (1) Aufwärts = Verzeichnisebene höher springen Google-Suchbuttons = Zugriff auf Open Directory, eine Bildersuche, Newsgroups, sowie Google-News Bewertungs-Schaltflächen = Votum, jedoch keine Relevanz auf Ranking

62 Google Toolbar (2) Pop-Up Blocker = verhindert Reklamefenster Autofill = automatisches ausfüllen der Formulare, Angaben zu Name, Adresse, Kreditkarte, Daten bleiben beim Nutzer, kein Übertragung zu Google Next-Previous = navigieren innerhalb von Google- Ergebnislisten Blog this = Nutzer hat Weblogs auf Blogger.com.,kann Notizen zur Seite an Weblog schreiben. Options = Konfigurationseinstellungen

63 Visualisierung (1) Grafische Auswertung der Daten Filterstufe Glättung, Normierung oder Vervollständigung der Daten Reduktion der Datenmenge Namen des Dokumentautors eingetragenen Datum Größe des Dokumentes der Erscheinungsart einer Relevanz-Schwelle Redundanzen Mapping der gefilterten Daten

64 Visualisierung (2) Problem sinnvollen Graphen aus der Strukturbeschreibung herauszufiltern Informationsräume sind multidimensional Suchmaschine Visualisierungspipeline Filter Mapping Rendering Abbildung 1: Der Zyklus der Informationssuche

65 Fragen?