Datenextraktion aus dem WWW

Transkript

1 Wie können die Daten im WWW extrahiert und anderen Programmen zugänglich gemacht werden? 349 (1) Bestmöglicher Fall: Datenquelle bietet entsprechenden Service über standardisiertes Interface direkt an Konsument (z.b. Informationsagent) nutzt Interface; Extraktion wird von Datenquelle übernommen (2) Auch nicht schlecht: Inhalt von Webseiten passend annotiert Konsument sucht relevante Seiten und extrahiert markierte Daten (3) Nicht so toll: Daten versteckt im semistrukturierten Text einer HTML Seite Konsument muß Seiteninhalt aufwendig analysieren, um (hoffentlich) relevante Daten zu entdecken Im heutigen WWW trifft man leider am häufigsten auf Fall (3) 350

2 Beispiel: Pflegen der DBLP Vorgehen: Studenten fügen Daten von Hand ein. 351 Nachteile manueller Extraktion Relativ langsam Sehr kostenaufwendig Alternativer Ansatz: Verwendung von Wrappern Wrapper := Komponente, die eine andere Komponente umhüllt, um deren Funktionalität über ein alternatives Interface anzubieten Im DBLP Beispiel: Programm, welches bibliographischen Daten aller neuen Veröffentlichungen aus der ACM DL in einem festgelegten Format extrahiert Nachteile von Wrappern Müssen von Programmierern erstellt werden Speziell im WWW: Umhüllte Komponenten (HTML Seiten) werden oft verändert ständige Pflege der Wrapper notwendig 352

3 Wie können die Kosten des Erstellens und Pflegens von Wrappern reduziert werden? Beschleunige und vereinfache die Konstruktion/Modifikation von Wrappern - Reduziert den benötigten Zeitaufwand - Systemverwalter benötigen weniger Expertise Möglicher Ansatz: Programmieren durch Vormachen (Programming by Demonstration, PbD) - PbD := Teilgebiet des end-user programming; zentrale Idee ist Programmieren mit der Benutzerschnittstelle - Motivation: Falls ein Benutzer weiß, wie eine Aufgabe mit dem Computer zu lösen ist, sollte dies ausreichen, um ein entsprechendes Programm zu erstellen. - Unterschied zu Macro-Aufzeichnern: Ziel ist die Erstellung eines allgemeineren Programms, welches auch in nicht-identischen Situationen einsetzbar ist. 353 Ausprägungen von PbD im Bereich der Wrapperkonstruktion: (1) Weitgehende Automatisierung des Konstruktionsprozesses - Wrappererstellung als induktives Lernen [Kushmerick et al.] Benutzer liefert Trainingsbeispiele, die vom System zum Lernen eines Wrappers genutzt werden - Benutzer unterstützt das System - Beispiele: WIEN, Ariadne, LExIKON (2) Benutzer zentral für den Konstruktionsprozess - Benutzer erstellt Wrapper selbst - System unterstützt den Benutzer - Beispiele: Internet Scrapbook, TrIAs, WebCES 354

4 Wrapperkonstruktion als induktives Lernen Wrapper wird betrachtet als Funktion, die ein Dokument D auf eine Menge von Tupeln {(d 1, d 2,..., d n ),...} abbildet. Beispiel Comparision Shopping: Abbildung von D nach {(Produkt, Preis),...} Hypothese des induktiven Lernens: Jede Hypothese, die die Zielfunktion über eine genügend große Menge von Trainingsbeispielen gut approximiert, wird diese Zielfunktion auch über nicht gesehene Beispiele gut approximieren. Problem: Schränke die Menge möglicher Hypothesen so weit ein, dass eine kleine Menge von Beispielen zur Identifikation einer guten Hypothese ausreicht (generalization bias). 355 Beispiel: Wrapper Induction Environment (WIEN) [Kushmerick et al.] WIEN erlaubt es dem Benutzer, Beispiele für relevante Daten in einem Webbrowser zu markieren und generiert daraus einen HLRT Wrapper. - HLRT (Head-Left-Right-Tail) Wrapper sind Instanzen folgender Schablone: ExecuteHLRT(<h, t, l 1, r 1,..., l k, r k >, page P) skip past first occurrence of h in P while next l 1 is before next t in P for each <l j, r j > in {<l 1, r 1 >,..., <l k, r k >} skip past next occurrence of l k in P extract attributes from P to next occurrence of r k return extracted tuples - Gedacht für Seiten, die Daten in tabellarischer Form präsentieren 356

5 Ein konkretes Beispiel: <HTML><HEAD><TITLE>Orbit-Velocities in km/s</title></head> <BODY><TABLE> <TR><TD>Venus</TD><TD><I>35.022</I></TD></TR> <TR><TD>Earth</TD><TD><I>29.786</I></TD></TR> </TABLE></BODY></HTML> ExtractVel(page P) skip past first occurrence of <TABLE> in P while next <TD> is before next </TABLE> in P for each <l k,r k > in {< <TD>, </TD> >, < <I>, </I> >} skip past next occurrence of l k in P extract attribute from P to next occurrence of r k return extracted tuples 357 Konstruktion eines HLRT Wrappers: Auf eine Menge von Paaren <P n, L n >, wobei P n ein HTML Dokument und L n eine Liste von K Datenobjekten ist, wird BuildHLRT angewendet: BuildHLRT({..., <P n, L n >,...}) for k := 1 to K r k := any common prefix of the strings following each (but not contained in any) data item k for k := 2 to K l k := any common suffix of the strings preceding each data item k for each common suffix l 1 of the pages' heads for each common substring h of the pages' heads for each common substring t of the pages' tails if h precedes l 1 in each of the pages' heads; and t precedes l 1 in each of the pages' tails; and t occurs between h and l 1 in no pages' head; and l 1 doesn't follow t in any inter-tuple separator then return <h, t, l 1, r 1,..., l k, r k > 358

6 Ergebnisse einer empirischen Studie über HLRT Wrapper [Kushmerick et al.]: - Anwendbar auf 48 von 100 zufällig gewählten Seiten - Wrapper für zwei spezielle Services konnten anhand von 3 bis höchsten 15 Bespielen gelernt werden Vorteil des induktiven Lernens von Wrappern: Falls die Klasse der lernbaren Wrapper für die aktuelle Aufgabe gut gewählt ist - Sehr einfache und schnelle Wrapperkonstruktion Nachteile: - Mögliche Wrapper auf eine festgelegte Klasse beschränkt - Eingeschränkte Kommunikation - Zusätzliches Wissen des Benutzers wird nicht ausgenutzt - Defizite bei Transparenz für und Kontrolle durch den Benutzer 359 Nachteile einer eingeschränkten Kommunikation 360

7 Beispiel für den benutzerzentrierten Ansatz: WebCES Entwurfsziele: - Kosten zum Erstellen und Pflegen von Wrappern sollen reduziert werden - Wrapper sollen auch von Nicht-Programmierern erstellt werden können - Erstellte Wrapper sollen möglichst robust in Bezug auf Modifikationen von Webseiten sein - Wrapper sollen document retrieval als auch data extraction unterstützen - Benutzer sollen die Möglichkeit haben, Wrapper zu kontrollieren, korrigieren und zu testen - Benutzer sollen ihr Domänenwissen während der Wrapperkonstruktion ausnutzen können Zentrales Problem: Kommunikation zwischen Benutzer und System 361 Auf welcher Ebene können Benutzer und System kommunizieren? Idee: Ermögliche Kommunikation auf der visuellen Ebene (gerenderte Webseite) 362

8 Das WebCES User Interface 363 Konstruktion eines Wrappers (1) 364

9 Konstruktion eines Wrappers (2) 365 Aufbau eines WebCES Wrappers Ein WebCES Wrapper besteht aus einer Reihe von Aktionslisten, die mit Webseiten verknüpft werden 366

10 Eine Aktion bestehen aus einem Muster, welches Objekte auf einer Seite identifiziert, und der eigentlichen Aktion Beispiel eines Musters: Mögliche Aktionen: Extrahiere Text, Klicke auf, Fülle Text ein, Selektiere Option 367 Identifikation von Objekten anhand eines Musters Muster werden in eine Constraintsprache übersetzt und auf Grundlage einer Webseite ausgewertet Image(?Image_20346), height(?image_20346, 90), width(?image_20346, 64), focus(?image_20346, 250), rightof(?price_21029,?image_20346), textblock(?price_21029), text(?price_21029,?aup_1357), stringlength(?aup_1357,?aup_1358), lessthan(?aup_1358, 80), not(same(?price_21029,?image_20346)), containstext(?price_21029, "Our Price",?TEXTSEGMENT_18490), closeness(?image_20346,?price_21029,?abp_7540), lessthan(?abp_7540, 250), greaterthanorequal(?abp_7540, 0), leftof(?image_20346,?title_18589), below(?price_21029,?title_18589), textblock(?title_18589), text(?title_18589,?aup_1354), stringlength(?aup_1354,?aup_1355), lessthan(?aup_1355, 80), fontweight(?title_18589, "BOLD"), not(same(?title_18589,?image_20346)), not(same(?title_18589,?price_21029)), closeness(?title_18589,?image_20346,?abp_7321), lessthan(?abp_7321, 25), greaterthanorequal(?abp_7321, 0), closeness(?title_18589,?price_21029,?abp_7523), lessthan(?abp_7523, 100), greaterthanorequal(?abp_7523, 0) 368

11 Auswerten räumlicher Constraints Problem: Finde möglichst effizient alle Variablenbelegungen, die Ausdrücke der Form leftof(?x,?y), above(?x,?z), topsaligned(?y,?z) erfüllen Vorgehen: Verwende window-reduction Algorithmus [Papadias et al.] - Jede Variable wird mit einem Bereichsfenster (domain window) assoziert Bereichsfenster enthalten alle potentiellen Variablenbelegungen - Wenn eine Variable instantiiert wird, werden alle Bereichsfenster noch nicht instantiierter Variablen angepaßt - Nach dieser Anpassung werden die übrigen nicht instantiierten Variablen in Kleinstes Bereichsfenster zuerst -Ordnung gebracht - Die erste Variable in dieser Liste wird als nächstes instantiiert 369 Beispiel: leftof(?x,?y), above(?x,?z), topsaligned(?y,?z) Annahmen: - Anfangsvariablenordnung ist [?X,?Y,?Z] - Objekte werden in alphabetischer Reihenfolge ausgewählt 370

12 Beispiel: leftof(?x,?y), above(?x,?z), topsaligned(?y,?z) 371 Beispiel: leftof(?x,?y), above(?x,?z), topsaligned(?y,?z) Kurzzusammenstellung der ersten Auswertungsschritte: Objekt A wird?x zugeordnet - Bereichsfenster von?z wird reduziert (s. Abb. b) - Variablen werden umgeordnet, da?z nun kleineres Fenster als?y - Objekt B wird?z zugeordnet - Fenster von?y wird reduziert (s. Abb. c) - Objekt A wird?y zugeordnet - Zuordnung ist inkonsistent ( backtracking bis vor Zuordnung an?z) - Objekt C wird?z zugeordnet - Fenster von?y wird reduziert (s. Abb. d) - Keine Belegung von?y möglich ( backtracking bis vor Zuordnung an?z) - Objekt D wird?z zugeordnet - Fenster von?y wird reduziert (s. Abb. e) - Objekt C wird?y zugeordnet ( mögliche Lösung gefunden!)

13 Anbindung an einen Webbrowser - WebCES verwendet Internet Explorer 6.0 als Browserkomponente - Über die COM-Schnittstelle des IE wird auf das DHTML Modell zugegriffen DHTML enthält Angaben über das momentane Layout der Seite - Anhand von Heuristiken wird eine Teilmenge der DHTML Objekte einer Seite ausgewählt und in WebCES verwendet - DHTML Textblöcke werden zu Paragraphen zusammengefasst Probleme, Einschränkungen und mögliche Erweiterungen HTML Frames werden nicht unterstützt String Pattern-Matching nur sehr eingeschränkt möglich Textextraktion auf Paragraphen beschränkt Einfache, lineare Wrapperstruktur - Keine bedingte Ausführung von Aktionen - Keine Verzweigungen (bedingte Auswahl von Aktionslisten) Sinnvolle Erweiterungen der Benutzerschnittstelle - Benutzer sollte Nachfragen können, warum eine bestimmte Objektkonstellation nicht zu einem Muster passt - System sollte bessere Constraintsvorschläge machen (möglicherweise anhand mehrere Musterinstanzen) Integration des induktiven Ansatzes

14 Referenzen Nickolas Kushmerick, Daniel S. Weld, and Robert B. Doorenbos. Wrapper Induction for Information Extraction. In Intl. Joint Conference on Artificial Intelligence (IJCAI), pages , 1997 Dimitris Papadias, Nikos Mamoulis, and Vasilis Delis. Algorithms for querying by spatial structure. In Proceedings of 24rd International Conference on Very Large Data Bases, pages , Morgan Kaufmann, 1998 Mehr über WebCES Eric Schwarzkopf, Mathias Bauer, Dietmar Dengler. Exploiting Visual Information in Programming by Demonstration. Proceedings of the 7th International Conference on Intelligent User Interfaces, pages , ACM Press, 2002 Eric Schwarzkopf, Mathias Bauer, Dietmar Dengler. Towards Intuitive Interaction for End-User Programming. Proceedings of the 2003 International Conference on Intelligent User Interfaces, pages , ACM Press, Mehr über Programmieren durch Vormachen Allen Cypher, editor. Watch What I Do: Programming by Demonstration. MIT Press, available at: Henry Lieberman, editor. Your Wish Is My Command: Programming by Example. Morgan Kaufmann,