Informationsintegration Das Verborgene Web (Hidden Web)

Transkript

1 Informationsintegration Das Verborgene Web (Hidden Web) Felix Naumann 2 Workshop "Datenreinigung" für Studenten und Doktoranden Prof. Felix Naumann FUZZY! Informatik AG 8. Oktober Oktober 2007 Neu: Mo - Mi (Mo. Mi. direkt vor dem Wintersemester) Innerhalb eines Unternehmens werden Kundendaten häufig in unterschiedlichen Systemen gehalten. Die Gründe dafür können in der Struktur des Unternehmens (getrennte Sparten), in unterschiedlichen Vertriebskanälen oder in einer Unternehmensfusion liegen. Um eine einheitliche Sicht auf den Kunden zu bekommen, müssen die Daten aus diesen Systemen zusammengeführt werden. Ein wichtiges Ziel ist dabei die automatische Erkennung von Dubletten, d.h. die Tatsache, dass ein Kunde in mehreren Systemen vorkommt, also in mehreren Beziehungen zum Unternehmen steht. Sie sollen erkennen, welche Arten von Problemen beim Zusammenführen von Datenbeständen auftreten, welche Probleme sich mit einfachen Mitteln (SQL, Skripte, Text-Editor, etc.) lösen lassen und welche nicht. In praktischer Teamarbeit implementieren Sie Algorithmen zur Dublettenerkennung für große Datenmengen (1 Mio. Kundendatensätze). d Das Team mit den meisten richtig gefundenen Dubletten gewinnt! Die in den beiden ersten Tagen gewonnenen Erkenntnisse und Lösungen sollen am Abschlusstag präsentiert werden. Weitere Informationen und Programm: Anmeldung Formlose Anmeldung per bis zum 25. September an office-naumann@hpi.uni-potsdam.de. Es können maximal 20 Teilnehmer (Bachelor- und Master-Studenten und Doktoranden) mitmachen. Felix Naumann VL Datenbanksysteme II SS 07 1

2 Masterveranstaltungen 3 VL Data Warehouses Architektur zur Integration von Unternehmensdatenbeständen Mehrdimensionale Modellierung Star Schema OLAP Anfragen Optimierung SE Schema Matching Korrespondenzen zwischen Schemata und Ontologien finden Automatisiert Label-basiert: Analyse der Schemata Instanz-basiert: Analyse der zugehörigen Daten Felix Naumann VL Datenbanksysteme II SS 07 Überblick 4 Motivation [Be01,To01] Suche über das Web Begriffe und Definitionen Auffinden von Hidden Web Informationsquellen Potenzielle Hidden Web Quellen Finden [BC04] Themen extrahieren [IGS01] Klassifikation nach Themen [IGS01] Anfragen an relevante Quellen des Hidden Web Anfragen geeignet verteilen [IGS01] Anfragesprache lernen [BC04] (Ergebnisse integrieren) 2

3 Das Web 5 Inv visible Web (unsic chtbares Netz z) Shallow web Surface web Deep web (tiefes Netz) Quelle: [To01] Surface Web vs. Hidden Web 6 Keywords SUBMIT CLEAR Surface Web Link-Struktur Kann gecrawled werden Dokumente durch Suchmaschinen indiziert Anfragen auf viele Websites gleichzeitig Hidden Web Keine Link-Struktur Dokumente verborgen in DBMS Dokumente nicht durch Internet- Suchmaschinen indiziert Dokumente eventl. durch Intranet-Suchmaschinen indiziert Anfragen auf jede Sammlung einzeln 3

4 Hidden Web: Beispiel 7 Suche in PubMed nach diabetes 178,975 Treffer Google Suche: diabetes site: nur 119 matches Weitere Beispiele: Database Query Matches Google PubMed diabetes 178, U.S. Patents wireless network 16,741 0 Library of Congress visa regulations >10,000 0 Gegenbeispiel Amazon: Hilft explizit bei Verlinkung Suche über das Web 8 Kataloge Suchmaschinen Metacrawler Antwort Services Unsichtbares/Tiefes/Verborgenes Web 4

5 Kataloge 9 Indizes speichern URL, Titel, Kategorien, und Zusammenfassung Wartung durch Experten freiwillig, bezahlt, Selbst-Registrierung Das Web (Stand 2001): >5,000,000,000 Dateien Yahoo: ~2,000,000 Sites 1/2500 des bekannten Webs Quelle: [To01] Suchmaschinen 10 Indizes speichern URL, Titel, Meta-Tags, Links, und vollständigen Inhalt Wartung durch Agenten (Crawler) Das Web (Stand 2001): >5,000,000,000 Dateien Google: 2,469,940, Seiten FAST: 2,112,188,990 Seiten HotBot (Inktomi): 500,000,000 Seiten Diplomarbeit Quelle: [To01] 5

6 Methoden zur Analyse und Visualisierung der Überdeckunsgrade von Suchmaschinen Deumlich 11 Methoden zur Analyse und Visualisierung der Überdeckunsgrade von Suchmaschinen Deumlich 12 6

7 Meta-Suchmaschinen 13 Haben keinen eigenen Katalog oder Index Nutzer geben Suchbegriff ein, der simultan an andere Suchmaschinen weitergeleitet wird. Ergebnisse werden integriert und als eine Liste zurückgegeben. Vorteile: Eine einzige Anfrage Geschwindigkeit (parallel statt sequentiell) Nachteile: Time-outs und unvollständige Suche Anfragesyntax oft reduziert auf kleinsten gemeinsamen Nenner Quelle: [To01] Antwort Services 14 Datenbank mit gespeicherten häufigen Fragen Katalog von Ask Jeeves enthält 7,000,000 Fragen Natürlich-sprachliche Suche Suche in eigener DB und in fremden Katalogen/Indices Kennt Spezial-Datenquellen des Hidden Web Gewichtung anerkannter Quellen (z.b. Almanache) Quelle: [To01] 7

8 Invisible/Hidden/Deep Web 15 Quelle: [To01] Surface vs. Hidden Web [Be01] 16 Der Inhalt des Surface Web ist persistent auf statischen Seiten, die mittels crawling von Suchmaschinen entdeckt werden kann. Inhalt des Hidden Web wird dynamisch präsentiert in Antwort auf eine konkrete Anfrage. der größte Anteil Inhalts des Hidden Web wird unterhalb der Oberfläche bleiben und kann nur im Kontext einer bestimmten Anfrage entdeckt werden. trawling crawling Quelle: [To01] 8

9 Das Verborgene Web 17 Der Teil des Webs, der nicht durch Suchmaschinen indiziert wird Oft gespeichert in Datenbanken Dynamisch generierte Web Seiten durch Anwendungen im Server jsp, cgi, Sites und Seiten mit Passwort-geschütztem Inhalt Inhalt von Dateien, die nicht in Standard-Formaten gespeichert werden *.pdf, *.ppt, *.doc Grafikformate Quelle: [To01] Begriffe / Synonyme 18 Surface Web (Oberflächen-Web) Inhalt für normale Suchmaschinen sichtbar Shallow Web (Flaches Web) Normale Web-Seiten, die dynamisch generiert werden Anfragen durch Klicken auf Links Hidden Web (verborgenes Web) Inhalt für normale Suchmaschinen unsichtbar Invisible Web (unsichtbares Web) Synonym y mit Hidden web Deep Web (tiefes Web) nach BrightPlanet, Synonym mit Hidden Web Quelle: [To01] 9

10 Statistiken [Be01] bis 550 fach größer als Surface Web 7,500 Terabytes Informationen im Hidden Web 19 Terabytes Information im Surface Web 550 Milliarden Dokumente im Hidden Web 1 Milliarde Dokumente im Surface Web je nach dem, was man zählt Dynamische Seiten ,000 Hidden Websites ca. 84% sind auf Text-Dokumente spezialisiert ca. 95% des Hidden Web ist öffentlich verfügbar. Eigenschaften [Be01] 20 Hidden Websites haben thematisch oft schmaleren, aber tieferen Inhalt. Oft qualitativ bessere Informationen Meist relevanter Inhalt Kein Spam Über die Hälfte aller Hidden Websites sind thematisch spezialisiert. Am schnellsten wachsende Kategorie neuer Informationen im Internet 10

11 Beispiel: CompletePlanet.com 21 Überblick 22 Motivation [Be01,To01] Suche über das Web Begriffe und Definitionen Auffinden von Hidden Web Informationsquellen Potenzielle Hidden Web Quellen Finden [BC04] Themen extrahieren [IGS01] Klassifikation nach Themen [IGS01] Anfragen an relevante Quellen des Hidden Web Anfragen geeignet verteilen [IGS01] Anfragesprache lernen [BC04] (Ergebnisse integrieren) 11

12 Auffinden von Hidden Web Quellen [BC04] 23 Ziel: Finde Webseiten, die als Einstiegspunkt ins Hidden Web dienen. Seiten mit HTML Formular Einschränkungen Textuelle Formulare mindestens ein Textinput Gegenbeispiele?» Nur radio buttons, menus, checkboxen... Anfrageformulare Formulare, die Anfragen entgegennehmen und Informationen liefern Gegenbeispiele?» Login Seiten Hidden Web Formulare Keine Seiten mit komplexen Formularen (mehr als ein Inputfeld) Aufgabe: Automatisches Finden und Erkennen von Hidden Web Formularen Auffinden von Hidden Web Quellen 24 Manuell Automatisches Auffinden von Formularen 1. Google-Suche (nach Themen) 2. Lokales breadth-first Crawling bis Formular gefunden Innerhalb einer Site Bis zu einer festen Tiefe Automatisches Erkennen von Hidden Web Formularen (Heuristiken) Testanfragen mit positiven und negativen Suchwörtern Positiv: passende Worte Negativ: Fantasieworte Ergebnisse negativer Suchwörter immer gleich groß (Byte) Ergebnisse positiver Suchworte immer größer als negative Berechnung der Größe durch Subtraktion von Webseiten (als Baum) 12

13 Überblick 25 Motivation [Be01,To01] Suche über das Web Begriffe und Definitionen Auffinden von Hidden Web Informationsquellen Potenzielle Hidden Web Quellen Finden [BC04] Themen extrahieren [IGS01] Klassifikation nach Themen [IGS01] Anfragen an relevante Quellen des Hidden Web Anfragen geeignet verteilen [IGS01] Anfragesprache lernen [BC04] (Ergebnisse integrieren) Panagiotis G. Ipeirotis, NYU Suche im Hidden Web Probleme 26 Auswahl relevanter Quellen für Anfrage Themen extrahieren Content summary Nach Themen klassifizieren Hidden Web Metasearcher Hidden Web PubMed Nieren 220,000 Steine 40, Library of Congress Nieren 20 Steine ESPN Nieren 5 Steine

14 Klassifikation von Hidden Web Quellen 27 Klassifikation hier: Hierarchie über Kategorien und Subkategorien Zuordnung von Quellen ist nicht immer eindeutig. Manuell Yahoo, dmoz InvisibleWeb ( SearchEngineGuide ( Hierarchien sind einsehbar. Automatisch Basierend auf Kategorie der Dokumente in der Quelle 28 14

15 29 Content Summaries 30 Statistiken, die den Inhalt einer Hidden Web Quelle beschreiben Document-cardinality dc Anzahl der Dokumente insgesamt Document-frequency df(w) Pro Wort: Anzahl der Dokumente, die dieses Wort enthalten KrebsDB Document cardinality: Wort Document frequency Darm Krebs Vorschau zur Verwendung von content summaries Anfrage Darm-Krebs Anzahl Treffer = dc * df(darm)/dc * df(krebs)/dc =

16 Suche im Hidden Web Probleme Wie extrahiert man content summaries? Basketball 4 Krebs 4,532 CPU 23 Web Database 2. Wie verwendet man content summaries? Basketball 4 Krebs 4,532 CPU 23 Web Database 1 Krebs Metasearcher Basketball 4 Krebs 60,298 CPU 0 Web Database 2 Basketball 6,340 Krebs 2 CPU 0 Web Database 3 Extraktion von Content Summaries Probleme 32 Kein direkter Zugang zu den Dokumenten ohne konkrete Anfrage Gebundene Variablen Deswegen: Anfrage-basiertes Dokument-Sampling: 1. Sinnvolle Anfragen an Datenbank schicken (focussed probing) Ergebnisliste mit Links 2. Ergebnisdokumente aus Liste einholen (das Sample ) 3. Sample verwenden um content summary zu erstellen 16

17 Zufälliges Anfrage-basiertes Sampling Start mit leerem content summary Jedes Wort hat df(w) = Wähle ein Wort und schicke es als Anfrage an Hidden Web Quelle. 3. Wähle top-k Dokumente der Antwort (z.b. k=4). 4. Zähle df(w) für alle w in Sample um content summary zu füllen. 5. Wiederhole bis genug (z.b. 300) Dokumente empfangen wurden Wort Häufigkeit in Sample Krebs 150 (out of 300) aids 114 (out of 300) Herz 98 (out of 300) Basketball 2 (out of 300) Zufälliges Sampling Probleme 34 df(w) zwischen 1 und Anzahl der Dokumente # documents Es wird nicht Document-frequency ermittelt, sondern Samplefrequency. Absolute Zahlen sind nicht aussagekräftig. Große Quellen haben ähnliche content summary wie kleine Quellen. word rank Zahlen sind nur relativ zu interpretieren (als ranking). Zipf s law Viele Anfragen ohne oder nur mit kleinem Ergebnis (Zipf s law) Viele, seltene Worte fehlen in der Deshalb jetzt verbesserte Lösung content summary. 17

18 Zufälliges Sampling Verbesserung 35 Algorithmus: Überblick 1. Trainiere Dokument-Klassifikatoren Finde repräsentative Wörter für jede Kategorie. 2. Verwende Klassifikationsregeln um ein themenspezifisches Sample aus Quelle zu erhalten. 3. Schätze df(w) aller entdeckten Wörter. Fokussiertes Sampling: Trainingsphase 36 Start mit vordefinierter Themen- Hierarchie und bereits klassifizierten Dokumenten Bsp: Yahoo, dmoz Open Directory, Google... Trainiere Dokument-Klassifikatoren für jeden Knoten der Hierarchie. Mittels der bekannten Dokumente Extrahiere automatisch Regeln aus den Klassifikatoren: ibm AND computers Computers lung AND cancer Health angina Heart hepatitis AND liver Hepatitis } Root } Health 18

19 37 Fokussiertes Sampling Transformiere jede Regel in eine Boolesche Anfrage. Für jede Anfrage: Schicke Anfrage an Quelle Merke Anzahl der Ergebnisse Parsing Hole top-k Dokumente ein. Am Ende einer Runde: Analysiere Ergebnisse für jede Kategorie (zählen). Wähle Kategorie zum fokussieren in nächster Runde. Fokussiertes Sampling 38 Fokus nun auf Subkategorie Neue Regelmenge, deshalb neue Anfragemenge Vorteile Weniger Anfragen Fokussierte Anfragen 19

20 Aufruf für jede Kategorie und Subkategorie Anfragen entsprechend der Regeln des Klassifikators 39 Sammle Dokumente ein Bei Ein-Wort Anfragen erlernen wir die tatsächliche df(w) Zähle sample-frequency für jedes Wort Maße zur Berechnung des Grades der Zugehörigkeit zu einer Kategorie Falls hinreichend zu einer Subkategorie zugehörig Wiederhole für Subkategorie Vereinige gesammelte Metadaten Quelle: [IG02] Sample-frequency vs. Documentfrequency 41 Motivation: Sample-frequencies sind nur relativ. Quelle mit ähnlichem Inhalt aber unterschiedlicher Größe haben gleiche content summary. Sample Frequencies Leber erscheint in 200 von 300 Dokumenten im Sample. Niere erscheint in 100 von 300 Dokumenten im Sample. Hepatitis erscheint in 30 von 300 Dokumenten im Sample. Document-frequencies Anfrage Leber ergibt 140,000 Matches. Anfrage Hepatitis ergibt 20, Matches. Niere war kein Trainingswort Darm und Krebs waren zwar Trainingsworte, aber nur gemeinsam. Zur Abschätzung der (besseren) Document-frequencies werden Infos der Ein-Wort Anfragen verwendet. 20

21 Abschätzen der Document-frequencies 42 Bekannt aus Algorithmus Ranking r der Worte f nach Sample- frequencies Document-frequency f der Worte aus Ein- Wort Anfragen Mandelbrot s Formel verfeinert Zipfs Formel: f = P (r+p) -B P, p und B sind Parameter der Quelle Niedriger rank ergibt hohe frequency Dann: Kurvenanpassung z.b.: P = 8*10 5, p =.25, B = r Abschätzen der Document-frequencies 43 Algorithmus Sortiere Wörter absteigend nach Sample-frequency Ermittle P, p und B durch Fokus auf Wörter mit bekannter Document-frequency. (Kurvenanpassung) Berechne df(w i ) = P (r i +p) -B für alle anderen Wörter. 21

22 Vorteile des Fokussierten Sampling 44 Wenige Anfragen (Fokus auf Thema) Vielversprechende Anfragen Klassifikation along the way Nützlich für Auswahl relevanter Quellen Schätzung Document-frequency statt nur Sample-frequency. Überblick 45 Motivation [Be01,To01] Suche über das Web Begriffe und Definitionen Auffinden von Hidden Web Informationsquellen Potenzielle Hidden Web Quellen Finden [BC04] Themen extrahieren [IGS01] Klassifikation nach Themen [IGS01] Anfragen an relevante Quellen des Hidden Web Anfragen geeignet verteilen [IGS01] Anfragesprache lernen [BC04] (Ergebnisse integrieren) 22

23 Suche im Hidden Web Probleme Wie extrahiert man content summaries? Basketball 4 Krebs 4,532 CPU 23 Web Database 2. Wie verwendet man content summaries? Basketball 4 Krebs ,532 CPU 23 Web Database 1 Krebs Metasearcher Basketball 4 Krebs 60,298 CPU 0 Web Database 2 Basketball 6,340 Krebs 2 CPU 0 Web Database 3 Quellenauswahl und Content Summaries 47 Quellenauswahl nimmt vollständige content summaries an. Falls unvollständig (das Suchwort fehlt), kann nicht entschieden werden, ob die Quelle relevant ist. Content summaries aus Sampling sind immer unvollständig. Idee: Klassifikation verwenden Quellen gleicher Kategorie sollten auch ähnliche content summary haben. Content summaries verschiedener Quellen gleicher Kategorie können sich komplementieren. 23

24 Content Summaries für Kategorien (statt für Quellen) 48 Anzahl der Quellen Category: Cancer NumDBs: 2 Anzahl der Dokumente (Summe) Document-frequencies (Summe) Number of Documents: 166, breast 133, cancer 101, diabetes 11,344 metastasis 3,569 Somit kann jede Kategorie als Hidden Web Quelle angesehen werden. CANCERLIT CancerBACUP Number of Documents: 148,944 Number of Documents: 17, breast 121, cancer 91, diabetes 11,344 metastasis <not found>... breast 12, cancer 9, diabetes <not found> metastasis 3,569 Überblick 49 Motivation [Be01,To01] Suche über das Web Begriffe und Definitionen Auffinden von Hidden Web Informationsquellen Potenzielle Hidden Web Quellen Finden [BC04] Themen extrahieren [IGS01] Klassifikation nach Themen [IGS01] Anfragen an relevante Quellen des Hidden Web Anfragen geeignet verteilen [IGS01] Anfragesprache lernen [BC04] (Ergebnisse integrieren) 24

25 Anfragen an Quellen des Hidden Web 50 Hidden Web Quellen verwenden unterschiedliche Anfragesprachen (Schnittstellen-Heterogenität) t t ität) Suchwörter Phrasen Boolesche Kombinationen Es gilt, solche Anomalien Anomalien automatisch zu entdecken. Quelle [BC04] Anfragesprache an Quellen des Hidden Web 51 Mögliche Operatoren O = {CASE, STEM, PHRASE, AND, OR, NOT} Mögliche Syntax S = {wort, `*, `_, `, `AND, `OR, `NOT, `+, `- } Ziel Automatische Erkennung der unterstützten Operatoren Automatische Erkennung der Interpretation der Syntax 25

26 Maschinelles Lernen für Syntax 52 Zielfunktion: T:S O Zuordnung von Ausdrücken zu Operatoren Problem: Nicht jede Syntax wird unterstützt Erweiterung von O zu O O = {CASE, STEM, PHRASE, AND, OR, NOT} O = O {ignored, literal, unknown} Beispiel: Google Wort CASE, STEM `* ignored `_ AND ` PHRASE `AND AND `OR OR `NOT ignored `+ AND `- NOT literal, unknown Maschinelles Lernen für Syntax 53 Idee Testanfragen verschicken und Ergebnisgrößen untersuchen. Machine Learning Methoden verwenden. Wichtige Annahme: Man kann Ergebnisgröße herausparsen. Training Hidden Web Quellen mit bekannter Syntax und bekannten Operatoren Testanfrage verschicken und Eigenschaften der Ergebnisse (insbesondere Ergebnisgröße) beobachten. Testing Unbekannte Hidden Web Quelle Gleiche Testanfragen verschicken und Eigenschaften vergleichen. Welche Testanfragen? Welche Eigenschaften? 26

27 Testanfragen 54 Beispiele casablanca (template RandomCase(A) ) Einzelnes Wort Bogart AND (template B AND ) Nicht wohlgeformt +Casablanca +Bogart (template +A +B ) Kombination von Worten Variationen +Bogart +Casablanca (template +B +A ) In [BC04]: 22 templates Templates füllen mit drei Sorten von Wortpaaren Phrasen: A = information, B = retrieval Co-occurrence: A = information, B = knowledge Nicht verwandte Worte: A = China, B = Käse Quelle [BC04] Eigenschaften der Ergebnisse (Features) 55 Für jede Anfrage q i Extraktion der Trefferanzahl m(q i ) Für jedes Paar von Anfragen q i, q j (231 Stück) merke (zur Normalisierung) -1 falls m(q i ) < m(q j ) 0 falls m(q i ) = m(q j ) +1 falls m(q i ) > m(q j ) Dies sind dreiwertige Machine Learning Features. Nun: Beliebiger Algorithmus für Maschinelles Lernen verwenden Decision Trees, k-nearest Neighbour, Support-Vector- Machines Quelle [BC04] 27

28 Weitere Probleme 56 Stop-Wörter a, the, on, in,... Kontextsensitive Stop-Wörter Google: www vs. www database Dynamische Interpretation CiteSeer: www databases (i) entspricht www AND databases (ii) entspricht www OR databases falls (i) leer Ergebnisgröße oft nur geschätzt. Rückblick 57 Motivation [Be01,To01] Suche über das Web Begriffe und Definitionen Basketball 4 Krebs 4,532 Auffinden von Hidden Web CPU 23 Informationsquellen Potenzielle Hidden Web Web Database Quellen Finden Themen extrahieren Klassifikation nach Themen Anfragen an relevante Quellen des Hidden Web O = {CASE, STEM, PHRASE, AND, OR, NOT} Anfragen geeignet verteilen Anfragesprache lernen Klassifikation S = {wort, `*, `_, `, `AND, `OR, `NOT, `+, `- } 57 28

29 Literatur 58 Wichtigste Literatur [IGS01] Probe, Count, and Classify. P.G. Ipeirotis, L. Gravano, and M. Shami. SIGMOD 2001 [BC04] A. Bergholz and B. Chidlovskii. Learning Query Languages of Web Interfaces, SAC04 Weiteres [Be01] The Deep Web: Surfacing Hidden Value Michael K. Bergman, Whitepaper at [To01] Foliensatz von Dawne Tortorella (BellCow) nach [Be01] [IG02] Distributed Search of the Hidden Web: Hierarchical Data Sampling and Selection. P.G. Ipeirotis and L. Gravano in VLDB