Deep Web. Timo Mika Gläßer

Transkript

1 Deep Web Timo Mika Gläßer Inhaltsverzeichnis Deep Web Was ist das? Beispiele aus dem Deep Web PubMed AllMusic Statistiken zu Surface/Shallow und Deep Web Auffinden von potentiellen Quellen ([BC04], [WM04], [RG04]) Anfragesprache der Quelle lernen ([BC04], [BC03b]

2 Surface, Shallow und Deep/Hidden Web Surface Web Files durch Hyperlinks verbunden können von Suchmaschinen gecrawled und indiziert werden hochgradig parallelisierbar (Anfragen gegen viele Websites gleichzeitig) Shallow Web geskriptete (Datenbank gestützte) Seiten, die über Links verbunden sind Deep Web = Hidden Web Inhalt hinter Formularen verborgen (fast) keine Links Dokumente werden generiert (z.b. aus Datenbanken) herkömmliche Suchmaschinen finden diese Dokumente nicht Anfrage auf jeden Sammlung einzeln Websites/Datenbanken sind oft thematisch spezialisiert oft sehr relevanter Inhalt und wenig Spam Ist irgendwie auch klar, wenn die Seiten im Index handverlesen sind, oder? AllMusic hand-gepflegte Musikdatenbank ausführliche taxonomische Beschreibungen viele Beziehung der Einträge untereinander (fast) nicht von Suchmaschinen erfaßt ~ Tupel

3 Statistiken Google / AllTheWeb Indices enthalten je circa Dokumente Größe der Schnittmenge? Yahoo! Index enthält etwa Webseiten hand-kuriert Größe ~ ein 4000stel der Indices von Google/AllTheWeb Gesamtzahl der Surface/Shallow Dokumente ~ Studie von BrightPlanet [BM01] Hidden Web etwa 400 bis 550 größer als das Surface/Shallow Web besteht aus Webseiten Studie von He, Patel et al. [HP04] schätzt den Faktor auf etwa 500 mit einem Wachstumsfaktor von 3-7 über die Jahre besteht aus circa Seiten, Datenbanken und Suchmasken ABER etwas ein drittel der Dokumente tauchen bereits in herkömmlichen Suchmaschinen auf (Accessability?) Lernen der Anfragesprache einer Hidden Web Quelle I Gegeben: Operatoren = {Stem, Case, Phrase,Literal, Ignored,Unknown,,, } Syntax = {'UND', 'AND', 'ET', 'ODER', 'OR', 'OU', 'NOT','""', ' ', '+','-',TERMS ONLY} Gesucht: Interpretation Syntax Operatoren

4 Lernen der Anfragesprache einer Hidden Web Quelle II Templates mit Anfragen zusammenstellen Ein/Zwei/Drei-Wort-Templates z.b. "A AND", "A OR B" Templates mit Suchbegriffen aus drei Klassen füllen (fast) kein Zusammenhang: "China" "Käse" Tauchen zusammen auf: "Nirvana" "Kobain" Phrasen: "Informations" "Integration" Anfrage an Suchmaschine schicken Ergebnisgröße speichern und für je zwei Anfragen <, =, > speichern Rest ist Machine-Learning-Problem Beispiel AllMusic - Anfrage A B UpperCase(A) A* Stem(A) A B 60 B A A B B A +A +B +B +A A -B A AND A OR A NOT A AND B B AND A A OR B B OR A A NOT B B NOT A

5 Beispiel AllMusic - Sprache Interpretationen Wort Case * Ignored Space Phrase "" Phrase AND Literal OR Literal NOT Literal + Ignored - Ignored,,, Unknown Beispiel Google - Sprache Interpretationen Wort Case, Stem '*' ignored ' ' '""' Phrase 'AND' 'OR' 'NOT' ignored '+' '-' 'ODER', 'UND', 'ET', 'OU' ignored literal, unknown

6 Literaturliste I [CH05] K. C.-C. Chang, B. He, et al. (2005). Toward Large Scale Integration: Building a MetaQuerier over Databases on the Web. Conference on Innovative Data Systems Research (CIDR 2005), Asilomar, California. [ZH04] Z. Zhang, B. He, et al. (2004). Understanding Web query interfaces: best-effort parsing with hidden syntax. SIGMOD '04: Proceedings of the 2004 ACM SIGMOD international conference on Management of data, ACM Press: [RG04] D. C. Reis, P. B. Golgher, et al. (2004). Automatic web news extraction using tree edit distance. WWW '04: Proceedings of the 13th international conference on World Wide Web, ACM Press: [BC04] A. Bergholz, B. Chidlovskii (2004). Learning Query Languages of Web Interfaces. SAC2004: Proceedings of the 2004 ACM symposium on Applied computing, ACM Press: [HP04] B. He, M. Patel, et al. (2004). Accessing the Deep Web: A Survey, Department of Computer Science, UIUC. [IG04] P. G. Ipeirotis, L. Gravano (2004). When one Sample is not Enough: Improving Text Database Selection Using Shrinkage. SIGMOD Conference Proceedings: [WM04]Z. Wu, D. Mundluru, et al. (2004). Automatically Detecting Boolean Operations Supported by Search Engines, Towards Search Engine Query Language Discovery. Proceedings of the 2nd International Workshop on Web-based Support Systems: Literaturliste II [BC03b] A. Bergholz, B. Chidlovskii (2003). Using Query Probing to Identify Query Language Features on the Web. Distributed Multimedia Information Retrieval, SIGIR 2003, Workshop on Distributed Information Retrieval. Springer. 2924: [BC03a] A. Bergholz, B. Chidlovskii (2003). Crawling for Domain-Specific Hidden Web Resources. 4th International Conference on Web Information Systems Engineering (WISE 2003), Rome, Italy, IEEE Computer Society. [BM03] M. K. Bergman (2003). Guid to Effective Searching of the Internet, BrightPlanet. [GIS03] L. Gravano, P. G. Ipeirotis, M. Sahami. (2003). QProber: A system for automatic classification of hidden-web databases. ACM Trans. Inf. Syst. 21(1): [IG02] P. Ipeirotis, L. Gravano (2002). Distributed search over the hidden web: Hierarchical database sampling and selection. [RGM01] S. Raghavan, H. Garcia-Molina (2001). Crawling the Hidden Web. Proceedings of the 27th International Conference on Very Large Data Bases, Morgan Kaufmann Publishers Inc.: [IGS01] P. G. Ipeirotis, L. Gravano, M. Sahami (2001). Probe, count, and classify: categorizing hidden web databases. SIGMOD '01: Proceedings of the 2001 ACM SIGMOD international conference on Management of data, ACM Press: [BM01] M. K. Bergman (2001). The Deep Web: Surfacing Hidden Value, BrightPlanet.

7 Literaturliste III [MQ] The MetaQuerier Project. [QP] The QProber Project. [CP] CompletePlanet. [BP] BrightPlanet. [PM] PubMed [AM] AllMusic. [AZ] Amazon.