Internet-Suchmaschinen. Web-Suche. Internet-Suche. Norbert Fuhr. 2. April Einführung

Transkript

1 Einführung nternet-suchmaschinen 1. Einführung Norbert Fuhr 2. April / 1 Web-Suche nternet-suche 4 / 1

2 Produktsuche in nternet-shops ntranet-suche 5 / 1 6 / 1 Suche in Online-Publikationen Suche in Digitale Bibliotheken 7 / 1 8 / 1

3 Multimedia -Suche Facetten der Suche Sprache Beispiel: cross-linguale Suche in Google 9/1 10 / 1 Facetten der Suche Facetten der Suche Struktur Medien Beispiel: XML-Retrieval Beispiel:A hnlichkeitssuche auf Bildern 11 / 1 12 / 1

4 Facetten der Suche Objekte Beispiel: Personensuche mit 123people Facetten der Suche statische/dynamische nhalte Beispiel: Twitter-Suche 13 / 1 14 / 1 Facetten der Suche Suchqualität Sprache: monolingual, cross-lingual, multilingual Struktur: atomar, Felder, baumartig (z.b. XML), Graph (z.b. Web) Medien: Text, Fakten, Bilder, Audio (Sprache/Musik), Video, 3D,... Objekte: Produkte, Personen, Firmen statische/dynamische nhalte relevant (REL) gefunden (GEF) Kollektion (ALL) 15 / 1 16 / 1

5 Retrievalmaße Precision p: GEF: Menge der gefundenen Antwortdokumente REL: Menge der relevanten Dokumente in der Datenbank Anteil der relevanten an den gefundenen Recall r: Anteil der gefundenen an den relevanten p = REL GEF GEF r = REL GEF REL nformationskompetenz Beispiel: 20 relevante Dokumente zur aktuellen Anfrage. System liefert 10 Dokumente, von denen 8 relevant sind. Precision: p = 8/10 = 0.8 Recall: r = 8/20 = / 1 nformation/wissen als Entscheidungsgrundlage People s actions are based more on what they believe than on what is objectively true [Bandura, 1997; Pajares, 2002]. What you see is all there is (WYSAT) (Entscheidung allein aufgrund der vorhandenen, unzureichenden nformation) (Kahneman, 2011: Thinking fast and slow) nformationskompetenz als notwendige Fähigkeit, um sich ausreichende Entscheidungsgrundlage zu verschaffen nformationskompetenz - 6 Schritte 1. Aufgabendefinition Definiere das nformationsproblem dentifiziere das nformationsbedürfnis 2. nformations-beschaffungs-strategien Bestimme alle möglichen Quellen Wähle die besten Quellen aus 3. Lokalisierung und Zugriff Lokalisiere die Quellen (intellektuell und physisch) Finde die nformation innerhalb der Quelle 4. Benutze die nformation Anschauen (z.b. lesen, hören, betrachten, anfassen) Extrahiere die relevante nformation 5. Synthese Organisiere die nformation aus verschiedenen Quellen Prozessiere/Präsentiere die nformation 6. Bewertung Ergebnisse bewerten Rechercheweg bewerten 20 / 1 19 / 1

6 nformationskompetenz - Beispiel 1. Aufgabendefinition Definiere das nformationsproblem ch will das neue Handy Galaxy Xperia Lumia dentifiziere das nformationsbedürfnis Wo kriege ich es am günstigsten? 2. nformations-beschaffungs-strategien Bestimme alle möglichen Quellen Freunde, Handy-Shop, Google, Preisvergleichs-Seiten, Amazon,... Wähle die besten Quellen aus 3. Lokalisierung und Zugriff Lokalisiere die Quellen (intellektuell und physisch) Freunde/Shops aufsuchen, Web-Seiten aufrufen Finde die nformation innerhalb der Quelle Fragen / Suchen / Browsen nformationskompetenz - Beispiel (2) 4. Benutze die nformation Anschauen (z.b. lesen, hören, betrachten, anfassen) Extrahiere die relevante nformation Mit/ohne Vertrag, Lieferzeit, Gesamtpreis inkl. Versand 5. Synthese Organisiere die nformation aus verschiedenen Quellen Vergleichbare Zusammenstellung Prozessiere/Präsentiere die nformation Übersichtstabelle, Bewertung Ergebnisse bewerten Habe ich das günstigste Angebot gefunden? Rechercheweg bewerten Hätte ich schneller zum Ziel kommen können? Was war überflüssig? 21 / 1 22 / 1 mplizierte Fähigkeiten 1. Aufgabendefinition nformationsbedarf erkennen 2. nformations-beschaffungs-strategien Kenntnis von Strategien Kenntnis von Quellen 3. Lokalisierung und Zugriff Lokalisierung von nformationsquellen Suchen nach nformation 4. Benutze die nformation verschiedene Medien anschauen und nhalt erfassen Extraktion der relevanten nformation 5. Synthese Organisation von nformation zweckoptimierte Gestaltung und Präsentation 6. Bewertung kritische Beurteilung von nformation Benachbarte Kompetenzen Bibliothekskompetenz Computerkompetenz Digitalkompetenz (Fähigkeit,über Computer dargestellte nformationen unterschiedlicher Formate verstehen und anwenden zu können) nternet-kompetenz Suchkompetenz Kommunikationskompetenz Lesekompetenz Medienkompetenz Schreibkompetenz Selbstreflektion bzgl. Vorgehensweise 23 / 1 24 / 1

7 Suchkompetenz Suchkompetenz Aufbau einer Web-Suchmaschine Suchbarkeit Linguistische Funktionen Anfragesprache Ranking Suchtaktiken und Strategeme 26 / 1 Aufbau einer Web-Suchmaschine Basiskomponenten einer Web-Suchmaschine Crawler Sammelt Webseiten, interagiert mit Webservern beim Dokumentzugriff, folgt Links zu neuen Quellen Parser/ndexer Extrahiert Schlüsselwörter aus Texten und indexiert die Dokumente Datenbank Effiziente Speicherung der extrahierten und aufbereiteten Daten (z.b. in einer Datenbank mit invertierten Listen) Searcher Entgegenname von Anfragen, sucht in der Datenbank nach den passenden Antworten 27 / 1 28 / 1

8 Suchbarkeit Welche Dokumente ko nnen u berhaupt gefunden werden? Zugriff: Aktualita t Dokumentformat o ffentlich zuga nglich verlinkt durch robots.txt erlaubt keine Datenbankinhalte (außer wenn verlinkt) nur Texte (kein Faksimile, andere Medien nur u ber Text) keine exotischen Dokumentformate keine Sprachu bersetzung 30 / 1 Suchkompetenz - linguistische Funktionen Suchkompetenz - linguistische Funktionen Wortnormalisierung Patent US normalizing query words in web search Wortnormalisierung Fuhr fuhr, Schuss Schuß, colour color, meta tag meta-tag metatag meta tag s Grundformreduktion Ha user Hauses Hause Haus, Duisburg Duisburgs, Duisburger Nominalphrasen information retrieval, retrieval * information Komposita Einfamilienhaus, Reihenendhaus, Doppelhausha lfte Synonyme Handy Mobiltelefon Smartphone / handy 31 / 1 32 / 1

9 Anfragesprache UND, ODER, Negation handy -vertrag Zahlenbereiche: EURO Facetten: Objekttyp (Bilder/Maps/Videos/News/Shopping/..), Standort, Sprache, Zeitraum site:, link:, filetype:, related: link:uni-due.de -site:uni-due.de inurl:, intitle:, intext:, inanchor: duisburg -intext:duisburg Ranking Faktoren, die eine Seite nach oben bringen Suchbegriffe kommen häufig in der Seite vor Suchbegriffe kommen in Ankertexten vor Page rank Nutzer-Klicks: fremde, eigene, Freunde (Google+) Diversität (Faktoren werden als Merkmale in einem learning to rank-ansatz verwendet, auf Klick-Daten trainiert) Search engine optimization: Maßnahmen, eine Seite nach oben zu bringen aber: Web spam 33 / 1 34 / 1 Suchtaktiken und Strategien Taktiken: Term-Taktiken Auswahl/Variation der Suchterme Suchformulierung verbreitern/einengen, viele/wenige Terme Strukturelle Taktiken auf der Menge der potenziellen Antworten deen-taktiken offene Suchmöglichkeiten/Variation Monitoring Tactics to keep the search on track and efficient nformation Retrieval Strategie: Plan zu Durchführung einer komplexen Suche 35 / 1

10 nternetsuche vs. klassischen Datenbanksuche nformation Retrieval Schwierigkeit, passende Anfrage zu formulieren iterative Anfrageformulierung (abhängig von Antworten) viele Antworten, aber wenige davon relevant Rangordnung der Antworten (statt Antwortmenge) Repräsentation des nhalts von Dokumenten inadäquat / unsicher nformation Retrieval (R) beschäftigt sich mit Vagheit und Unsicherheit in nformationssystemen Grundlage der nternetsuche 1950er frühe Arbeiten ab 1960 Gerard Salton (Harvard, Cornell) als populärer Pionier 1962 Online-nformationssysteme 1991 WAS (Wide area nformation System): verteilte Suche im nternet 1993 WWW 1994 Webcrawler als erste nternet-suchmaschine 37 / 1 38 / 1 Vagheit und Unsicherheit R = inhaltsorientierte Suche Vagheit: Benutzer kann seinen nformationswunsch nicht präzise spezifizieren vage Anfragebedingungen iterative Frageformulierung Unsicherheit System besitzt unsicheres (unzureichendes) Wissen über den nhalt der verwalteten Objekte unsichere Repräsentation ( fehlerhafte Antworten) unvollständige Repräsentation ( fehlende Antworten) (engere Definition) Suche auf verschiedenen Abstraktionsstufen: Syntax Semantik Pragmatik 39 / 1 40 / 1

11 Syntax, Semantik und Pragmatik bei Texten Bildersuche auf der Syntaktischen Ebene Bild als Pixelmatrix mit Farbwerten Willkommen beim Fachgebiet nformationssysteme. Schwerpunkte unserer Arbeit sind nformation Retrieval, Digitale Bibliotheken und Web-basierte nformationssysteme, wobei wir insbesondere Nutzer-orientierte Forschungsansätze verfolgen. 1. Konturen Syntax: Forschungsansatz no match Semantik Forschungsschwerpunkt match Pragmatik potenzielle Kooperationspartner für Entwicklung multimedialer nformationssysteme? 41 / 1 42 / 1 Syntaktische Ebene: 2. Texturen Syntaktische Ebene: 3. Farbe Häufigkeit/räumliche Verteilung von Pixelfarben d001 d056 d095 d020 Textures: Muster im Grauwert-Bild strukturelle und/oder statistische Muster d014 d006 d003 d004 d087 d005 d111 d066 d011 d103 d049 d / 1 44 / 1

12 Bildersuche: Semantische Ebene Bildersuche: Pragmatische Ebene Bedeutung eines Bildes / durch das Bild illustriertes Thema Objekte im Bild(+ ra umliche Anordnung) Beispiel: Google Bildersuche nach kangaroo A40-Ausbaupla ne liegen weiter auf Eis (basiert auf Textsuche im Dateinamen und der Bildunterschrift) Themen sind sehr subjektiv Aber die pragmatische Ebene ist wichtig fu r viele Anwendungen 45 / 1 Syntax, Semantik und Pragmatik 46 / 1 Daten nformation Wissen Suche auf verschiedenen Abstraktionsstufen: Syntax Dokument als Folge von Symbolen (z.b. Zeichenkettensuche in Texten, Farbe/Textur/Kontur in Bildern) Semantik Bedeutung eines Dokumentes (z.b. Textsemantik, in einem Bild vorkommende Objekte) Pragmatik Nutzung eines Dokumentes (Zweck) (z.b.: Lo st das Dokument mein Problem? Was ist die Aussage des Textes / Bildes?) R bescha ftigt sich mit der Semantik und Pragmatik von Dokumenten 47 / 1 48 / 1

13 nformation vs. Wissen Wissen zur Entscheidungsunterstützung Wissen ist die Teilmenge von nformation, die von jemandem in einer konkreten Situation zur Lösung von Problemen benötigt wird (und häufig nicht vorhanden ist) Nach Wissen wird in externen Quellen gesucht. Daten nformation Wissen Entscheidung Nützlichkeit Die Transformation von nformation in Wissen ist ein Mehrwert erzeugender Prozess 49 / 1 50 / 1 Rahmenarchitektur für R-Systeme Beispiel für ein Textdokument nformations bedürfnis fiktives/ reales Objekt Frage Repräsentation Objekt Repräsentation Frage Beschreibung Objekt Beschreibung Vergleich Ergebnisse Objekt: Experiments with ndexing Methods. The analysis of 25 indexing algorithms has not produced consistent retrieval performance. The best indexing technique for retrieving documents is not known. Repräsentation: (experiment, index, method, analys, index, algorithm, produc, consistent, retriev, perform, best, index, techni, retriev, document, know) Beschreibung: {(experiment,1), (index,3), (method, 1), (analys,1), (algorithm,1), (produc,1), (consistent,1), (retriev,1), (perform,1), (best,1), (techni,1), (retriev,1), (document,1), (know,1)} fiktives/ reales Objekt Objekt Repräsentation Objekt Beschreibung 51 / 1 52 / 1

14 Beispiel für Textsuche Bezug zu den Vorlesungskapiteln Evaluierung Frage: What is the best indexing algorithm? Repräsentation: (best index algorithm) Beschreibung: best index algorithm nformations bedürfnis Frage Repräsentation Frage Beschreibung nformations bedürfnis Frage Repräsentation Frage Beschreibung Wissensrepräsentation Vergleich Ergebnisse fiktives/ reales Objekt Objekt Repräsentation Objekt Beschreibung Retrievalmodelle 53 / 1 54 / 1