XTRACT ein Überblick VL XML, XPath, XQuery: Neue Konzepte für Datenbanken

Transkript

1 Humboldt Universität zu Berlin Institut für Informatik XTRACT ein Überblick VL XML, XPath, XQuery: Neue Konzepte für Datenbanken Jörg Pohle, Daniel Apelt,

2 Überblick Überblick über unsere Motivation Motivation der Verfasser Grundsätzlicher Aufbau Vorstellung der einzelnen Module und deren Mögliche Probleme und Fehler

3 Motivation des Paper viele XML-Dokumente für die keine DTD existiert unterschiedliche Dokumente aus verschiedenen Quellen zusammenführen, deswegen gemeinsame DTD (Webservices) Einschränkungen: nur Struktur der Elemente, keine Attribute Restriktionen in Bezug auf die DTD: R1: The DTD should be concise (i.e., small in size). R2: The DTD should be precise (i.e, not cover too many sequences not contained in I).

4 Architektur

5 Generalization Ziel: vorhandene Muster in jeder Eingabesequenz mit regulären Ausdrücken ersetzen und diese hinzufügen zu S G bbbbe abab abab b*e (ab)* (a b)* Generalize(I) DiscoverSeqPattern( s, r) DiscoverOrPattern( s, d) Partition( s, d)

6 Generalization procedure Generalize(I) begin for each sequence s in I add s to S G for r := 2, 3, 4 s' := DiscoverSeqPattern(s,r) for d := 0.1 s', 0.5 s', s' s'' := DiscoverOrPattern(Partition(s',d),d) add s'' to S G end O(s²)

7 Generalization procedure Generalize(I) begin for each sequence s in I add s to S G for r := 2, 3, 4 s' := DiscoverSeqPattern(s,r) for d := 0.1 s', 0.5 s', s' s'' := DiscoverOrPattern(Partition(s',d),d) add s'' to S G end O(s² + s²)

8 Generalization procedure Generalize(I) O(3 * (2 * s²)) begin for each sequence s in I add s to S G for r := 2, 3, 4 s' := DiscoverSeqPattern(s,r) for d := 0.1 s', 0.5 s', s' s'' := DiscoverOrPattern(Partition(s',d),d) add s'' to S G end

9 Generalization procedure Generalize(I) O(s³ + (6 * s²)) begin for each sequence s in I add s to S G for r := 2, 3, 4 s' := DiscoverSeqPattern(s,r) for d := 0.1 s', 0.5 s', s' s'' := DiscoverOrPattern(Partition(s',d),d) add s'' to S G end

10 Generalization procedure Generalize(I) O(3 * (s³ + 6 * s²)) begin for each sequence s in I add s to S G for r := 2, 3, 4 s' := DiscoverSeqPattern(s,r) for d := 0.1 s', 0.5 s', s' s'' := DiscoverOrPattern(Partition(s',d),d) add s'' to S G end

11 Generalization procedure Generalize(I) O(i * (3 * s³ + 18 * s²)) begin for each sequence s in I add s to S G for r := 2, 3, 4 s' := DiscoverSeqPattern(s,r) for d := 0.1 s', 0.5 s', s' s'' := DiscoverOrPattern(Partition(s',d),d) add s'' to S G end

12 Generalization procedure Generalize(I) O(3 * i * s³ + 18 * i * s²) begin for each sequence s in I add s to S G for r := 2, 3, 4 s' := DiscoverSeqPattern(s,r) for d := 0.1 s', 0.5 s', s' s'' := DiscoverOrPattern(Partition(s',d),d) add s'' to S G end

13 Generalization S G 10 * I procedure Generalize(I) O(3 * i * s³ + 18 * i * s²) begin for each sequence s in I add s to S G for r := 2, 3, 4 s' := DiscoverSeqPattern(s,r) for d := 0.1 s', 0.5 s', s' s'' := DiscoverOrPattern(Partition(s',d),d) add s'' to S G end

14 Factoring Ziel: Ausdrücke aus S G kompakter gestalten und zu S F hinzufügen b*d, b*e b * ( d e ) ac, ad, bc, bd ( a b ) ( c d )

15 Factoring procedure FactorSubsets(S G ) begin for each DTD D in S G Compute score(d,s G ) [overlap(d,d')] for i:=1 to k for each DTD D in SeedSet while (S' is not empty) F:=Factor(S) S F :=S F U {F 1,,F m } end O( S G * s)

16 Factoring procedure FactorSubsets(S G ) begin for each DTD D in S G Compute score(d,s G ) [overlap(d,d')] for i:=1 to k for each DTD D in SeedSet while (S' is not empty) F:=Factor(S) S F :=S F U {F 1,,F m } end O( S G * s) O( S G ³)

17 Factoring procedure FactorSubsets(S G ) begin for each DTD D in S G Compute score(d,s G ) [overlap(d,d')] for i:=1 to k for each DTD D in SeedSet while (S' is not empty) F:=Factor(S) S F :=S F U {F 1,,F m } end O( S G * s) O( S G ³) O(k * S G )

18 Factoring procedure FactorSubsets(S G ) begin for each DTD D in S G Compute score(d,s G ) [overlap(d,d')] for i:=1 to k for each DTD D in SeedSet while (S' is not empty) F:=Factor(S) S F :=S F U {F 1,,F m } end O( S G * s) O( S G ³) O(k * S G ) O( S G ² * s)

19 Factoring procedure FactorSubsets(S G ) begin for each DTD D in S G Compute score(d,s G ) [overlap(d,d')] for i:=1 to k for each DTD D in SeedSet while (S' is not empty) F:=Factor(S) S F :=S F U {F 1,,F m } end O( S G * s) O( S G ³) O(k * S G ) O( S G ² * s) O( S G ²)???

20 Factoring procedure FactorSubsets(S G ) begin for each DTD D in S G Compute score(d,s G ) [overlap(d,d')] for i:=1 to k for each DTD D in SeedSet while (S' is not empty) F:=Factor(S) S F :=S F U {F 1,,F m } end O( S G * s) O( S G ³) O(k * S G ) O( S G * ( S G ² + S G ² * s))

21 Factoring O( S G * s + S G ³ + k * S G + S G ³ * (1 + s )) procedure FactorSubsets(S G ) begin for each DTD D in S G Compute score(d,s G ) [overlap(d,d')] for i:=1 to k for each DTD D in SeedSet while (S' is not empty) F:=Factor(S) S F :=S F U {F 1,,F m } end

22 Factoring O((10i)³ * (1 + s) + i * (s + k)) procedure FactorSubsets(S G ) begin for each DTD D in S G Compute score(d,s G ) [overlap(d,d')] for i:=1 to k for each DTD D in SeedSet while (S' is not empty) F:=Factor(S) S F :=S F U {F 1,,F m } end

23 Factoring O((10i)³ * (1 + s) + i * (s + k)) procedure FactorSubsets(S G ) begin for each DTD D in S G Compute score(d,s G ) [overlap(d,d')] for i:=1 to k for each DTD D in SeedSet while (S' is not empty) F:=Factor(S) S F :=S F U {F 1,,F m } end S F 2 * S G 20 * I

24 Minimum Description Length Von mehreren Theorien, die den gleichen Sachverhalt beschreiben, ist die zu bevorzugen, die die einfachste (kürzeste in der Informationstheorie) ist. Minimierung der Summe von: a) benötigter Speicher (Bit), um die DTD zu beschreiben for s S F s log M b) Länge (Bit) der Daten, wenn sie mit der DTD codiert werden for s S F Kosten für Darstellung voni I mit s

25 MDL Facility Location Problem Menge von Standorten s i mit Eröffnungskosten c i 0 Menge von Märkten m j mit einem maximalen Preis P j vollständiger, bipartiter Graph mit Kantengewichten d ij Lösung: zu eröffnende Standorte: L S:={s 1,..,s t } m H L = i=1 max x L P i d ij e L c e Klaas Joeppen, Facility Location Game

26 MDL Kodierung Part (A) O( S F * s) Kodierung Part (B) DTDs mit minimal MDL-Kosten wählen

27 MDL Kodierung Part (A) O( S F * s) Kodierung Part (B) O(s² * i * S F ) DTDs mit minimal MDL-Kosten wählen

28 MDL Kodierung Part (A) O( S F * s) Kodierung Part (B) O(s² * i * S F ) DTDs mit minimal MDL-Kosten wählen O( S F ² * log S F )

29 MDL Kodierung Part (A) O( S F * s + s² * i * S F + S F ² * log S F ) O( S F * s) Kodierung Part (B) O(s² * i * S F ) DTDs mit minimal MDL-Kosten wählen O( S F ² * log S F )

30 MDL O(20i * s + s² * 20i² + 400i² * log 20i) Kodierung Part (A) O( S F ) Kodierung Part (B) O(s² * i * S F ) DTDs mit minimal MDL-Kosten wählen O( S F ² * log S F )

31 Die Betrachtung der wurde von den Autoren in den etwas komplizierteren Abschnitten weggelassen. Gesamtbetrachtung: Generalization Subsystem: O(3 * i * s³ + 18 * i * s²) Factoring Subsystem: O(1000 * i³ * (1 + s) + i * (s + k)) MDL Subsystem: O(20i * s + 20i² * s² + 400i² * log 20i) Gesamt: O(3 * i * s³ + 10³ * i³ * s + 20i² * s²) = O(x * i * s * (i² + s² + i * s)) = O(n 4 )

32 Probleme Generalization: nur eine Auswahl von komplexen Mustern wird unterstützt (vgl. S. 15, unten) MDL: Problem der Nicht-1-Mehrdeutigkeit wurde vergessen

33 Probleme Partitionen: Zahl der Partitionen im Beispiel falsch (vgl. S. 18, mitte) Factoring: score (D,S) Mengenklammer falsch, * oder (vgl. S. 20)

34 Probleme Codierung (MDL): Kosten für Suchen des richtigen regulären Ausdrucks aus der veroderten Liste (DTD) werden nicht betrachtet, Auswahl der passenden DTD Di aus ( D1 D2 Dn ) für s : Betrachtungen unvollständig und teilweise mangelhaft, keine Gesamtbetrachtung

35 Literatur Minos Garofalakis, Aristides Gionis, Rajeev Rastogi, S. Seshadri and Kyuseok Shim: XTRACT: Learning Document Type Descriptors from XML Document Collections Christian Romberg: Untersuchung zur automatischen XML Schema- Ableitung, 2001, Diplomarbeit Matthias Brückner, Ableitung eines Schemata aus XML-Dokumenten, Hauptseminar 2002/03 Uni Rostock, Folien & Seminararbeit Klaas Joeppen, Seminar über Algorithmen, Facility Location Game Ralf Behrens, On the Complexity of Standard and Specialized DTD Parsing

36 Humboldt Universität zu Berlin Institut für Informatik Vielen Dank für Eure Aufmerksamkeit