Innovative Information Retrieval Verfahren

Transkript

1 Thomas Madl Iovatve Iformato Retreval Verfahre Hauptsemar Wtersemester 004/005 Überblc Formales Vortrag Ausarbetug Scheerwerb Termplaug Kurzvorstellug Theme Themevergabe Wederholug Grudlage Gewchtug ud Vetorraum-Modell Erwerb des Sches atve Telahme Awesehet Aufgabe Vortrag Abgabe eer schrftlche Arbet (+ Vortragsuterlage.d.R. Fole als PowerPot Präsetato) Vorgehe m Semar Referate stelle egee Theme vor formatoswsseschaftlche Schtwese Qualtät aus Blcwel des Themas gesamtes Semar soll zege: Überblc über Themat Syerge Vortrag De Theme sd für ewels ee/ Studerede/. Es sprcht chts dagege, dass se doppelt vergebe werde ud da zwe Referate zu eer Themat vorgestellt werde. Da müsse sch de Vortragede abspreche, so dass ee Überscheduge etstehe I edem Fall werde zwe getrete schrftlche Ausarbetuge erstellt Vortrag Besuche Se vor dem Vortrag ubedgt mdestes emal de Sprechstude stellt egees Thema verstädlch vor Adressate: Telehmer

2 Vortrag Korrete ud lare Darstellug der Ihalte grüdlche Letüre der Lteratur be Bedarf Letüre vo Grudlagelteratur lare Kezechug vo fremde gestge Egetum! Treug der Ihalte der Lteratur ud der egee Idee! Vortrag Grudbegrffe läre z.b. alle Abürzuge auflöse, eue Fachbegrffe eführe Fehlerfree, lesbare Uterlage (Hadout, Fole) Vorscht be Farbe ud Abblduge ud Verwedug des Beamers Lteratursuche So wet we möglch selbstädg Ls auf Homepage des Kurses beutze dgtale Bblothee ACM (über UB zugäglch) CteSeer (ostefre) lasssche Mede utze! Bblothe beutze Zetschrfte Ferlehe (rechtzetg!) TIB Haover Schrftlche Ausarbetug stellt egees Thema vor berücschtgt Feedbac ach dem Referat! berücschtgt m gesamte Semar gewoee Eretsse! Eordug de größere Kotext der Themat ud damt der adere Referattheme ethält Bezüge zu adere (ählche/ uterschedlche,...) Theme hschtlch Gegestad, Methode, Ergebsse,... vor desem Htergrud egees Thema rtsch bewerte Schrftlche Ausarbetug berücschtgt m gesamte Semar gewoee Eretsse Dazu sollte de Referate für alle verstädlch se be Bedarf achfrage schrftlche Ausarbetug Für das schrftlche Referat gelte de Rchtle aus der Eführug (Aufbau, Gebrauch vo Ztate, Zterwese usw.) Überblc zu de formale Layoutvorgabe für ee Hausarbet pdf

3 schrftlche Ausarbetug formal fehlerhafte Arbete werde zurücgegebe, ohe dass der Ihalt bewertet wrd für ede Arbet st ur ee Überarbetug möglch schrftlche Ausarbetug Abgabe bs spätestes E-mal auf der Arbet agebe! Beachrchtgug ach Korretur Theme Iformato Foragg ud Scet Kulturelle Uterschede be der Iterato mt Suchsysteme (Kralsch & Behredt) Gere-Ereug (cf. SIGIR 00) Summarzato (cf. SIGIR 00) Iovatve Evaluerugsmaße (Karlgre) Idvdualserug QA System (Re) PP (Peer to Peer, Herch) Theme XML Retreval Systeme (Fuhr) BOF (CLEF Iteractve trac) Crawler (Stratege, Focused Crawlg) Sozale Netze eree ud utze (Fredster, Orut, Ledl) Collaboratve Flterg Dgtale Fotos (Orgasato, BHCI, auch Yeo 004) Multmeda Retreval Qualtätsbewertug (Ameto et al., Ivory, Melody; Hearst, Mart) Wederholug Grudlage, Gewchtug ud Vetorraum- Modell IR Bs de 60er Jahre domerte de Aahme, der Retreval Prozess öe sowohl auf Sete der Repräsetato als auch bem Retreval exat abgebldet werde. Set de 70er Jahre habe sch vage oder sogeate best-match Verfahre etablert. Parallel vollzog sch ee Etwclug, de ausgehed vo der Scht auf das System mmer stärer de Beutzer de Mttelput rücte. De Systemscht auf IR befasst sch ausschleßlch mt der Bearbetug eer formale Afrage durch e Iformatossystem ud hrer mathematsche Modellerug. 3

4 IR Ee holstsche Schtwese bezeht sowohl Frage der Repräsetato vo Doumete eem IR- System mt e ud berücschtgt de Beutzer m Kotext sees Iformatosproblems ud de Iterato zwsche Beutzer ud System. Dese Posto wrd oft als beutzeroretert oder cogtve vewpot (cf. Igwerse 99 Bel 993) bezechet. Defto IR Iformato Retreval beschäftgt sch schwerputmäßg mt ee Fragestelluge, de m Zusammehag mt vage Afrage ud uscherem Wsse etstehe. Vage Afrage sd dadurch geezechet, dass de Atwort a pror cht edeutg defert st. Herzu zähle ebe Frage mt uscharfe Krtere sbesodere auch solche, de ur m Dalog teratv durch Reformulerug ( Abhägget vo de bsherge Systematworte) beatwortet werde öe: häufg müsse zudem mehrere Datebase zur Beatwortug eer ezele Afrage durchsucht werde. Defto IR Defto IR De Darstellugsform des eem IR-System gespechertem Wsses st m Przp cht beschrät (z.b. Texte, multmedale Doumete, Fate, Regel, sematsche Netze). De Uscherhet (oder de Uvollstädget) deses Wsses resultert mest aus der begrezte Repräsetato vo desse Semat (z.b. be Texte oder multmedale Doumete); darüber haus werde auch solche Aweduge betrachtet, be dee de gespecherte Date selbst uscher oder uvollstädg sd (we z.b. be vele techsch aturwsseschaftlche Datesammluge). Aus deser Problemat ergbt sch de Notwedget zur Bewertug der Qualtät der Atworte ees Iformatossystems, wobe eem wetere Se de Effetvtät des Systems bezug auf de Uterstützug des Beutzers be der Lösug sees Awedugsproblems beurtelt werde sollte. (Fachgruppe IR 996). Autore Iformatos- Sucheder Erstellug Formulerug IR-Prozess Doumete- Bestad Text- Doumete Ergebs- Doumete Afrage Idexerug Repräsetato Doumet-Term- Matrx Idexerug Afrage- Repräsetato Ählchetsberechug Aaloge vo Tom Keller Iteret-Suchmasche Qualtät Ausgagmateral Präzso Beutzerfreudlchet Idvdualserbaret 4

5 Repräsetato: Gewchtug Zel: Term-Doumet-Matrx Adaptvtät Beutzer... Retreval modell Do 0,6 0,4 0,5 Do 0,4 0,3 0,8... Do 0, 0,6 0,7 Parameter Termfrequez eem Doumet Termfrequez der Kolleto Doumetläge Az. der Doumete mt best. Term Kolletosgröße Bespel: Iverse Documet Frequecy (IDF) Formel: IDF t = N/ wobe N Azahl der Do. der Kolleto Azahl der Do., de t ethalte We wre sch de Größe aus? Bespel: Iverse Documet Frequecy (IDF) Formel: IDF t = N/ wobe N Azahl der Do. der Kolleto Azahl der Do., de t ethalte We wre sch de Größe aus? Ist das svoll? Lösugsasatz: Logarthmus Term Frequez df = log Azahl der Doumete mt Term Frequez Fator df Azahl der Doumete der Kolleto = log Azahl der Doumete mt Term 5

6 Problem uterschedlcher Läge Lösugsasatz: Lägeormalserug Term- Frequez 0 Do 0 Gleches Term-Gewcht? Term Frequez Gewcht = log Azahl der Terme Do. Azahl der Do. Do Beste Desrptore sd de, welche de Doumete am beste vom Rest der Kolleto dsrmere Bespel Gewchtugsschema vo Croft 983 Autore IR-Prozess Doumete- Bestad Repräsetato cfreq = K + ( freq K) max freq freq Frequez ees Terms m Doumet maxfreq maxmale Frequez rgedees Terms Do. K st Kostate zur Modfzerug des Maßes Iformatos- Sucheder Erstellug Formulerug Text- Doumete Ergebs- Doumete Afrage Idexerug Doumet-Term- Matrx Idexerug Afrage- Repräsetato Ählchetsberechug Logc Structure Based Klassfato der Modelle ach Bel/Croft 987, Graph Idvdual Exact Match Formal Feature Based Retreval Techques Adhoc Partal Match Networ Cluster Browsg Spreadg Actvato Vetorraum-Modell Arbete erhalb des SMART- Kotexts (Salto 97) ab Afag der 60er Jahre Harvard ud Corell fugerte als Etwclugs- ud Testumgebug für versch. IR-Teche ud -ompoete Probablstc Vector-Space Fuzzy Set 6

7 Gewcht vo Term B Vsualserug Doumet Ieres Maß Ählchetsmaße Doumet Afrage Ä ( W, W ) = I = Term Term Gewcht vo Term A Ählchetsmaße Ählchetsmaße Kosus Ä C ( W, W ) = = Term Term = = Term Term Dce sm( Q, D ) = = q ( q + d = = d ) Jaccard sm( Q, D ) Ählchetsmaße = = ( q d q + d = = = ) q d Problem Häufgste Gewcht Term-Doumet- Matrx? 7