Mehr finden: Hayoo! Haskell API Search

Größe: px

Ab Seite anzeigen:

Download "Mehr finden: Hayoo! Haskell API Search"

Hertha Bach
vor 7 Jahren
Abrufe

1 Mehr finden: Hayoo! Haskell API Search Eine Einführung in das Holumbus Framework Timo B. Hübel Fachhochschule Wedel / freiheit.com technologies gmbh 12. Juni 2009 HaL4 Halle (Saale) 1 / 31

2 Motivation Architektur Datenstrukturen Einführung 1 Einführung Motivation Architektur Datenstrukturen 2 Dokumente Crawler Indexer 3 Modell Auswertung 2 / 31

3 Motivation Architektur Datenstrukturen Geschichte Idee Flexibles Framework zur Erstellung von spezialisierten n Bisherige Arbeiten S. Schlatt: Creating scalable and highly customized crawlers and indexers T. Hübel: Creating fast, flexible and highly customizable search engines with Haskell S. Schmidt: Distributed computing with MapReduce in Haskell 3 / 31

4 Motivation Architektur Datenstrukturen Hayoo! 4 / 31

5 Motivation Architektur Datenstrukturen Hayoo! Umfang Sämtliche Haskell Pakete von hackage.haskell.org Durchschnittliche Dokumentgröße: 16 Wörter Statistik Dokumente Wörter / Größe 35,1 MB Speicher 548 MB Wachstum > > > / 31

6 Motivation Architektur Datenstrukturen n Crawler-Indexer Architektur nach [BYRN99] 6 / 31

7 Motivation Architektur Datenstrukturen Komponenten Struktur des Holumbus Framework 7 / 31

8 Motivation Architektur Datenstrukturen Schnittstellen Typklassen HolIndex Zentrale Index-Schnittstelle HolDocuments Bidirektionale Abbildung zwischen URI und Id HolCache Volltext-Cache zum Speichern von Dokumenten Typparameter Beliebige Zusatzinformationen zu einem Dokument data Document a = Document { t i t l e : : T i t l e, u r i : : URI, custom : : Maybe a } 8 / 31

9 Motivation Architektur Datenstrukturen Inverted File Komponenten Vocabulary Verzeichnis aller Wörter Occurrences Positionsangaben zu den Wörtern Inverted File Datenstruktur 9 / 31

10 Motivation Architektur Datenstrukturen Index Definition newtype I n v e r t e d = I n v e r t e d { i n d e x P a r t s : : P a r t s } type P a r t s = Map Context Part type Part = StrMap O c c u r r e n c e s type O c c u r r e n c e s = IntMap I n t S e t Details Modellierung der Dokumentstruktur durch mehrere Indexe Speicherung der Wortpositionen (Fully Inverted File) 10 / 31

11 Motivation Architektur Datenstrukturen Patricia-Trie Eigenschaften Präfix-Baum mit zusammengefassten Knoten. Vorteile Suche in O(l) Präfix-Suche möglich Speichereffizienz Nachteile Teure Einfügeoperation 11 / 31

12 Motivation Architektur Datenstrukturen StrMap Definition data T r i e a = End Key a [ T r i e a ] Seq Key [ T r i e a ] type Key = [ Word8 ] Unicode? Darstellung von Unicode-Zeichen als Word8 durch UTF8-Encoding Vorteil Beliebige auf ByteString abbildbare Typen als Schlüssel 12 / 31

13 Dokumente Crawler Indexer 1 Einführung Motivation Architektur Datenstrukturen 2 Dokumente Crawler Indexer 3 Modell Auswertung 13 / 31

14 Dokumente Crawler Indexer Haddock Haskell Dokumentation generiert von Haddock 14 / 31

15 Dokumente Crawler Indexer Dokumente Hayoo! type HayooDoc = Document F u n c t i o n I n f o data Document a = Document { t i t l e : : T i t l e Funktionsname, u r i : : URI URI ( i n k l. Textmarke ), custom : : Maybe a Z u s a t z i n f o r m a t i o n } data F u n c t i o n I n f o = F u n c t i o n I n f o { modulename : : S t r i n g Modulname, s i g n a t u r e : : S t r i n g S i g n a t u r, package : : S t r i n g Cabal Paket, sourceuri : : Maybe S t r i n g Q u e l l c o d e } 15 / 31

16 Dokumente Crawler Indexer Anforderungen Grundfunktionen Verwaltung bearbeiteter und zu bearbeitender Dokumentmengen Identifikation von Referenzen Ein-/Ausschluss von Dokumenten & -bäumen Erweiterte Funktionalität Identifikation identischer Dokumente mit unterschiedlichen URIs Extraktion von Zusatzinformationen 16 / 31

17 Dokumente Crawler Indexer Funktionsweise Ablauf 1 Abrufen des Dokuments unter einer URI 2 Rekursiver Aufruf für alle im Dokument enthaltenen URIs Interner Zustand (vereinfacht) data C r a w l e r S t a t e a = C r a w l e r S t a t e { cs_tobeprocessed : : Set URI, c s _ w e r e P r o c e s s e d : : Set URI, c s _ f C r a w l F i l t e r : : ( URI > Bool ), cs_ docs : : Documents a, cs_ fgetcustom : : IOSArrow XmlTree ( Maybe a ), cs_ dochashes : : Map MD5Hash URI } 17 / 31

18 Dokumente Crawler Indexer Transformation Mögliche Transformationen Berechnung Ranking-relevanter Werte Aufteilung von Dokumenten in logische Dokumente Änderung der URIs um auf lokalen Kopien zu arbeiten Hayoo! Zerlegung der Haddock-Dokumentation in viele Einzeldokumente (eines pro Funktion) 18 / 31

19 Dokumente Crawler Indexer Anforderungen Grundfunktionen Konfiguration verschiedener Kontexte Zerlegung von Zeichenketten in Wörter Identifikation von Stop-Wörtern Erweiterte Funktionalität Vorverarbeitung des Dokuments Erstellung eines Caches 19 / 31

20 Dokumente Crawler Indexer Indexer Konfiguration (vereinfacht) data I n d e x e r C o n f i g = I n d e x e r C o n f i g { i c _ s t a r t P a g e s : : [ URI ], ic_tmppath : : Maybe S t r i n g, i c _ c o n t e x t C o n f i g s : : [ C o n t e x t C o n f i g ] } data C o n t e x t C o n f i g = C o n t e x t C o n f i g { cc_name : : S t r i n g, c c _ p r e F i l t e r : : ArrowXml a => a XmlTree XmlTree, c c _ f E x t r a c t : : ArrowXml a => a XmlTree XmlTree, c c _ f T o k e n i z e : : S t r i n g > [ S t r i n g ], cc_fisstopword : : S t r i n g > Bool, cc_addtocache : : Bool } 20 / 31

21 Dokumente Crawler Indexer Hayoo! Indexer Kontexte im Hayoo! Index description Funktionsbeschreibung (Fold the values...) hierarchy Vollqualifizierter Modulname (Data.Map) module Modulname (Map) name Funktionsname (foldwithkey) package Paketname (containers) signature Signatur der Funktion (Int -> Int -> Bool) normalized Normalisierte Signatur (a -> a -> b) 21 / 31

22 Modell Auswertung 1 Einführung Motivation Architektur Datenstrukturen 2 Dokumente Crawler Indexer 3 Modell Auswertung 22 / 31

23 Modell Auswertung Boolean Model Operatoren AND Schnitt von Dokumentmengen OR Vereinigung von Dokumentmengen NOT Komplement einer Dokumentmenge Eigenschaften Weit verbreitet und bekannt Einfacher und prägnanter Formalismus 23 / 31

24 Modell Auswertung Erweiterte Funktionalität Präfix-Suche Suche nach Test liefert z.b. auch Testbericht, Testanalyse, Testergebnisse, Testen, etc. Zusätzliche Wörter als Vorschläge (suggestions) Suchergebnisse ab dem ersten Buchstaben (find as you type) Dokumentstruktur Nutzung der Abbildung der Dokumentstruktur im Index. Standardmäßig Durchsuchen aller Indexe Konkrete Anfragen an einzelne Indexe 24 / 31

25 Modell Auswertung Erweiterte Funktionalität Präfix-Suche Suche nach Test liefert z.b. auch Testbericht, Testanalyse, Testergebnisse, Testen, etc. Zusätzliche Wörter als Vorschläge (suggestions) Suchergebnisse ab dem ersten Buchstaben (find as you type) Dokumentstruktur Nutzung der Abbildung der Dokumentstruktur im Index. Standardmäßig Durchsuchen aller Indexe Konkrete Anfragen an einzelne Indexe 24 / 31

26 Modell Auswertung Query data Query = Word String Phrase String CaseWord String CasePhrase String FuzzyWord String Negation Query S p e c i f i e r [ Context ] Query BinQuery BinOp Query Query data BinOp = And Or But Verwendung Parser - Umwandlung beliebiger Syntax in Query-Struktur Prozessor - Rekursive Auswertung der Query-Struktur 25 / 31

27 Modell Auswertung Query data Query = Word String Phrase String CaseWord String CasePhrase String FuzzyWord String Negation Query S p e c i f i e r [ Context ] Query BinQuery BinOp Query Query data BinOp = And Or But Verwendung Parser - Umwandlung beliebiger Syntax in Query-Struktur Prozessor - Rekursive Auswertung der Query-Struktur 25 / 31

28 Modell Auswertung Query Beispiel Beispiel first,second:( dogs are great AND (garden OR!House)) Resultierende Query-Strukur 26 / 31

29 Modell Auswertung Prozessor Funktionsweise 1 Rekursiver Abstieg durch den Query-Baum 2 Auswertung der Blätter durch Indexanfragen 3 Anwendung entsprechender Operatoren Operationen Einschränkung der Kontexte und Abbildung der Boolschen Operatoren auf entsprechende Mengen-Operationen. data P r o c e s s S t a t e i = P r o c e s s S t a t e { c o n t e x t s : : [ Context ], i n d e x : : i } 27 / 31

30 Modell Auswertung Ergebnis Inhalt Ergebnis enthält Dokumente und Vervollständigungen Datenstruktur data R e s u l t a = R e s u l t { d o c H i t s : : ( DocHits a ), wordhits : : WordHits } data DocInfo a = DocInfo ( Document a ) Score data WordInfo = WordInfo Terms S c o r e type DocHits a = IntMap ( DocInfo a, Map Context (Map Word P o s i t i o n s ) ) type WordHits = Map Word ( WordInfo, Map Context ( IntMap P o s i t i o n s ) ) 28 / 31

31 Modell Auswertung Ranking Konfiguration data RankConfig = RankConfig { docranking : : DocId > DocHits > Score, wordranking : : Word > WordHits > S c o r e } Hayoo! Bevorzugung von Treffern in Prelude und base Gewichtung der Kontexte (z.b. Name vor Beschreibung) Bessere Bewertung exakter Treffer 29 / 31

32 Modell Auswertung Ausblick Holumbus Alternative Implementierungen der Index-Datenstruktur Verteilung und Parallelisierung der Query-Auswertung Praktischer Einsatz des MapReduce Frameworks Hayoo! Verbessertes Ranking durch Dependency-Rank Automatisierte Aktualisierung des Index 30 / 31

33 Modell Auswertung Ausblick Holumbus Alternative Implementierungen der Index-Datenstruktur Verteilung und Parallelisierung der Query-Auswertung Praktischer Einsatz des MapReduce Frameworks Hayoo! Verbessertes Ranking durch Dependency-Rank Automatisierte Aktualisierung des Index 30 / 31

34 Modell Auswertung Fragen? Vielen Dank für die Aufmerksamkeit! Weitere Infos, Quellcode etc. unter: Hayoo! Haskell API Search unter: Fragen an: 31 / 31

Ähnliche Dokumente

Inverted Files for Text Search Engines

Inverted Files for Text Search Engines Justin Zobel, Alistair Moffat PG 520 Intelligence Service Emel Günal 1 Inhalt Einführung Index - Inverted Files - Indexkonstruktion - Indexverwaltung Optimierung