Einleitung. Komplexe Anfragen. Suche ist teuer. VA-File Verfeinerungen. A0-Algo. GeVAS. Schluß. Folie 2. Einleitung. Suche ist teuer.

Transkript

1 Anwendung Input: Query-Bild, Ergebnis: Menge ähnlicher Bilder. Kapitel 8: Ähnlichkeitsanfragen und ihre effiziente Evaluierung Wie zu finden? Corbis, NASA: EOS Bilddatenbank Folie Folie 2 Ähnlichkeitssuche nach dem nächsten Nachbarn Bild-Ebene Feature-Ebene B R Beschränkung auf ein Anfrage-Objekt und einen Feature-Typ zu ungenau, Karikiertes Beispiel: Braunes Pferd gesucht. G Distanz im Merkmalsraum: Maß der Unähnlichkeit. Farbe & (ein bißchen) Folie 3 Folie 4

2 Struktur und Semantik der Anfrage Querytypen Multi- Feature Farbe. Drei (Einzel-)Distanzen Zwei Queryobjekte ( Multi- Object ) Farbe Single-Feature Single-Object Query ( einfache Anfrage) Farbe Multi-Feature Single-Object Query Atomare Teilquery. Mehrere Einzel-Distanzen eine Gesamtdistanz. Mögliche Berechnungen: Durchschnitt, Maximum. Single-Feature Multi-Object Query. Farbe Multi-Feature Multi-Object Query Folie 5 Folie WiesohelfenBäumenicht? Wie teuer ist also die NN-? Dimensional Curse. War Thema des letzten Kapitels. Sequential Scan. Beispiel: Objekte, 275 Dimensionen = GB Daten, Disk Zugriff: MB/s, 5ms Sequential Scan durch GB: t = GB / (MB/s) = s Folie 7 Folie 8

3 Exakte NN- mit dem (k=) Datenstruktur. Quantisierungen; Datenvolumen deutlich kleiner..phase Quantis. low Bnd up Bnd Vektoren Quantisierungen Datenstruktur up Bnd Query Distanz low Bnd Phase Vektordaten Distanz Faustregel: Beschleunigung um Faktor 4 gegenüber Scan. Verfahren linear in der Anzahl der Datenobjekte. Folie 9 Folie Approximative Queryergebnisse Szenario für A-Algorithmus Tausch: Ergebnisqualität kürzere Antwortzeit. Exaktes Ergebnis:. obj28 2. obj7 3. obj8 4. obj9 5. obj7 Approx. Ergebnis : Interaktive Antwortzeiten.. obj7 2. obj8 3. obj 4. obj28 5. obj7 2% unter optimaler Qualität Approx. Ergebnis 2:. obj7 2. obj8 3. obj 4. obj3 5. obj7 4% unter optimaler Qualität Search Engine Feature-Daten Ranking- Komponente Search Engine Feature-Daten Textur Client Search Engine Feature-Daten Farbe Komponenten liefern Stream von Objekten, geordnet nach Distanz. Folie Folie 2

4 A-Algorithmus A-Algorithmus - Beispiel Ranking-Komponente liest großen Teil des Streams. A-Algorithmus: Stattdessen Random-Zugriffe. Farbe () (a,.) (b,.3) (c,.5) (d,.) k= (2) (a,.) (d,.25) (b,.3) (z,.4) Schritt : a:,2; d: 3 Schritt 2: a:,2; b:, 3; d: 2, 3 Textur (3) (d,.2) (b,.25) (e,.8) (z,.9) Schritt 3: a:,2; b:, 2, 3; c: ; d: 2, 3; e: 3 Bestes Objekt ist in {a, b, c, d, e}. Folie 3 Folie 4 Eigenschaften des A-Algorithmus Gliederung im folgenden Random-Zugriffe: teuer. Random-Zugriffe gehen nicht immer. Client Ranking SE SE 2 SE n Client Ranking Multi-Feature Single-Object Queries, Single-Feature Multi-Object Queries, Multi-Feature Multi-Object Queries. ( Generalisierte basierte ) Q Q 2 Q n F F 2 F n F F 2 F n Q Q 2 Q n Folie 5 Folie

5 Feature Fusion, Multi-Feature Single-Object Queries Feature-Fusion-on-the-Fly, Multi-Feature Single-Object Queries Farbe Textur Kombination Inde- xierung/ für jeden Feature-Typ, gleiche Reihenfolge, Queryevaluierung wie im einfachen Fall. Farbe Textur exakt Quantis. exakt Quantis. exakt Quantis. Alle Kombinationen: Prohibitiv hoher Speicherbedarf! Kosten IO-Kosten. Folie 7 Folie 8 kdb-baum Single-Feature Multi-Object Queries y (x, y) (, --) y (x, y) (, --) 4 Anfrage x (--, 2) (--, ) (--, 4) (4, --) (3, --) kdb-baum Baum 4 Query Q2 x (--, 2) (--, ) (--, 4) (4, --) (3, --) kdb-tree. [(, --)]; 2. [(--, 4), (--, )]; 3. [,, (--, )];. [, (--, )]; 2 2. [(--, )];.5 3. Ende Algorithmus. Verfahren auf übertragbar. Optimierungen. Folie 9 Folie 2

6 Multi-Feature Multi-Object Queries Experimente, Multi-Object Queries Shared Iterators F 45, k=5, best case F 45, k=5, bad case Farbe =. Elapsed time [s].. M-Tree SR-Tree R*-Tree 4 7 Number of ref. objects (n) A Elapsed time [s].. M-Tree SR-Tree R*-Tree 4 7 Number of ref. objects (n) A Weitere Optimierungen für unterschiedliche Distance-Combining Functions. Warum hängt A-Algorithmus von Position der Anfrage-Punkte ab? Folie 2 Folie 22 Experimente, Multi-Feature Queries Improvement factor. Elapsed time, n=5, k=5, best case F 9 F 3 F 45 F 4 M-Tree R*-Tree SR-Tree A Improvement factor. Elapsed time, n=5, k=5, bad case F 9 F 3 F 45 F 4 M-Tree R*-Tree SR-Tree A Ähnlichkeitsanfragen (Multi-Feature Multi-Object Queries), Effiziente Evaluierung, Evaluierung einfacher : vs. Bäume, : Middleware-Architektur vs. integrierte Architektur. A-Algorithmus,, : Approximative Evaluierung und Parallelisierung. Folie 23 Folie 24

7 Prüfungsfragen, beispielhaft Literatur Was kann komplexe Ähnlichkeitssuche bedeuten (im Kontext der Vorlesung)? Was bedeutet 'approximatives Anfrageergebnis' im Kontext dieses Kapitels? Wie funktioniert der A-Algorithmus? Wo sehen Sie Schwächen des Algorithmus? Erklären Sie, wie die Evaluierung von Multi-Object Queries funktioniert. Klemens Böhm, Michael Mlivoncic, Hans-Jörg Schek, Roger Weber. Efficient Evaluation of Complex Similarity Queries. Proceedings of the 27 th Very Large Data Bases (VLDB) Conference, VLDB Endowment, Rom, September 2. Klemens Böhm, Michael Mlivoncic, Roger Weber. Quality-Aware and Load-Sensitive Planning of Image Similarity Queries. Proceedings of the 7 th International Conference on Data Engineering 2, Seiten 4-4, IEEE Computer Society, Heidelberg, April 2. Roger Weber, Klemens Böhm. Trading Quality for Time with Nearest-Neighbor Search. Proceedings of the 7 th Conference on Extending Database Technology (EDBT), Seiten 2-35, Konstanz, März 2. Folie 25 Folie 2