Information-Retrieval: Vektorraum-Modell
|
|
|
- Carin Beck
- vor 7 Jahren
- Abrufe
Transkript
1 Information-Retrieval: Vektorraum-Modell Claes Neuefeind Fabian Steeg 03. Dezember 2009
2 Themen des Seminars Boolesches Retrieval-Modell (IIR 1) Datenstrukturen (IIR 2) Tolerantes Retrieval (IIR 3) Vektorraum-Modell (IIR 6) Evaluation (IIR 8) Web-Retrieval (IIR 19-21)
3 Wiederholung: Boolesches Retrieval Suche alle Dokumente, die Term(e) der Anfrage enthalten Ganz oder gar nicht Gut für Experten und Anwendungen, weniger gut für Nutzer Erweiterungen: Positional Index (Phrasen, Nähe) Permuterm- oder k-gram-index (Unscharfes Matchen, Korrekturen) Ranking?
4 Ranking Grundgedanke: Bewertung von Term/Dokument-Paaren durch einen Score, der die Relevanz des Terms für das Dokument wiedergibt Ansätze: Parameter und Bereiche Termgewichtung
5 Parameter und Bereiche Gewichtung Vektorraum-Modell VSM vs. Boole Literatur
6 Parameter Nutzung von Metadaten: Strukturierte Informationen über das Dokument Kontrolliertes Vokabular Invertierter Index unzureichend Erweiterung: Parameter in Index aufnehmen Zuordnung Dokument - Felder
7 Dokumentbereiche Dokumentbereiche mit Freitext Abbildung: Erweiterter Index: Bereiche als Attribute von Termen
8 Dokumentbereiche Besser: Dokumentbereiche als Attribute von Dokumenten Abbildung: Dictionary bleibt (relativ) klein Vereinfacht Berechnung (vgl. Postings Intersection)
9 Weighted Zone Scoring Bewertung durch Gewichtung von Bereichen Ranked Boolean Retrieval l i=1 g is i l = Anzahl Bereiche g = Gewicht des Bereichs s = Boolescher Score (1/0) Gewichte festlegen oder berechnen Alternativ: Gewichte induktiv lernen
10 Bisher: Matrix mit Binärwerten Anthony Julius The Hamlet Othello Macbeth... and Caesar Tempest Cleopatra Anthony Brutus Caesar Calpurnia Cleopatra mercy worser Dokumente als binäre Vektoren {0, 1} V.
11 Bisher: Matrix mit Binärwerten Anthony Julius The Hamlet Othello Macbeth... and Caesar Tempest Cleopatra Anthony Brutus Caesar Calpurnia Cleopatra mercy worser Dokumente als binäre Vektoren {0, 1} V.
12 Alternative: Nutzung der Termfrequenz Anthony Julius The Hamlet Othello Macbeth... and Caesar Tempest Cleopatra Anthony Brutus Caesar Calpurnia Cleopatra mercy worser Dokumente als Vektoren mit natürlichen Zahlen N V.
13 Alternative: Nutzung der Termfrequenz Anthony Julius The Hamlet Othello Macbeth... and Caesar Tempest Cleopatra Anthony Brutus Caesar Calpurnia Cleopatra mercy worser Dokumente als Vektoren mit natürlichen Zahlen N V.
14 Termgewichtung und Ranking Ideen für Termgewichtung aus Textstatistik These von [Luhn, 1957]: Termverteilung spiegelt Inhalt von Dokumenten wider Termhäufigkeit und -dichte sind Faktoren für Signifikanz Termverteilung als Basis für Repräsentation
15 Termgewichtung: tf Termfrequenz (tf): Häufigkeit eines Terms innerhalb eines Dokuments Berechnung des Scores für ein Anfrage/Dokument-Paar: Score(q, d) = t q d tf t,d Probleme: kein direkter Zusammenhang Häufigkeit/Relevanz (lange Dokumente) Terme nicht alle gleich wichtig ( Stoppwörter )
16 Termgewichtung: tf Ausweg: Glätten mittels log { wenn tft,d > log w t,d = 10 tf t,d sonst 0 Engerer Wertebereich: 0 0, 1 1, 2 1.3, 10 2, , etc. Aber: Häufige Terme beschreiben ein Dokument nicht zwingend besser Weitere Maße nötig
17 Termgewichtung: cf, df Korpusfrequenz (cf): Häufigkeit eines Terms im Korpus Dokumentenfrequenz (df): Anzahl an Dokumenten, in denen ein Term auftritt Wort cf df try insurance
18 Termgewichtung: idf Inverse Dokumentenfrequenz (idf): Informationsgehalt eines Terms Verteilung über Korpus idf t = log N df t
19 Beispiele für idf Berechnung: idf t = log N df t = log 1,000,000 df t term df t idf t calpurnia 1 animal 100 sunday 1000 fly 10,000 under 100,000 the 1,000,000
20 Beispiele für idf Berechnung: idf t = log N df t = log 1,000,000 df t term df t idf t calpurnia 1 6 animal sunday fly 10,000 2 under 100,000 1 the 1,000,000 0
21 Termgewichtung: tf x idf w t,d = (1 + log tf t,d ) log N df t skaliert die Termfrequenz: Relation Termhäufigkeit zu Informationsgehalt steigt, wenn t in wenig Dokumenten und/oder häufig innerhalb eines Dokuments auftritt Overlap Score Measure für Anfragen: Score(q, d) = t q tf-idf t,d
22 Gewichtungs-Matrix Anthony Julius The Hamlet Othello Macbeth... and Caesar Tempest Cleopatra Anthony Brutus Caesar Calpurnia Cleopatra mercy worser Dokumente als reellwertige Vektoren mit tf-idf-werten R V.
23 Gewichtungs-Matrix Anthony Julius The Hamlet Othello Macbeth... and Caesar Tempest Cleopatra Anthony Brutus Caesar Calpurnia Cleopatra mercy worser Dokumente als reellwertige Vektoren mit tf-idf-werten R V.
24 Das Vector Space Model hochdimensionaler Vektorraum Anzahl der Dimensionen = Größe des Vokabulars Abbildung:
25 Dokumente als Vektoren Dokumente als Punkte im Vektorraum Terme definieren die Achsen des Vektorraums Merkmale = Terme Werte = Gewichte Numerische Repräsentation im Vektorraum eröffnet Zugang zu Vergleichsmetriken
26 Anfragen als Vektoren Anfragen als kleine Dokumente Verarbeitung mittels Vektorvergleich Rangliste ähnlicher Vektoren Möglichkeiten: Distanz Winkel
27 Ähnlichkeit als Distanz Euklidische Distanz: Differenz zwischen Vektoren q d = n i=1 (q i d i ) 2 Problematisch bei versch. Längen: Distanz selbst bei ähnlicher Termverteilung sehr groß Normalisieren mittels Euklidischer Länge: d n j = i=1 d i,j 2
28 Ähnlichkeit als Winkel: Die Cosinus-Ähnlichkeit cos( q, d) = sim( q, d) = q d q d = V V i=1 q2 i i=1 q id i V i=1 d i 2 q i ist der tf-idf-wert für Term i in der Anfrage d i ist der tf-idf-wert für Term i im Dokument q und d sind die Längen von q und d
29 Cosinus für normalisierte Vektoren Cosinus-Ähnlichkeit von q und d ist äquivalent zum Cosinus des Winkels zwischen q und d. Bei bereits normalisierten Vektoren entspricht der Cosinus dem Skalarprodukt der Vektoren: cos( q, d) = q d = i q i d i q und d normalisiert mit Euklidischer Länge
30 Cosinus-Ähnlichkeit Abbildung:
31 Beispielberechnung für Cosinus-Ähnlichkeit Vergleich der Romane Sense and Sensibility, Pride and Prejudice und Wuthering Heights
32 Beispielberechnung für Cosinus-Ähnlichkeit Vergleich der Romane Sense and Sensibility, Pride and Prejudice und Wuthering Heights Einfache Termfrequenz Term SaS PaP WH affection jealous gossip wuthering
33 Beispielberechnung für Cosinus Einfache Termfrequenz Term SaS PaP WH affection jealous gossip wuthering
34 Beispielberechnung für Cosinus Einfache Termfrequenz Term SaS PaP WH affection jealous gossip wuthering log-tf-gewichtung Term SaS PaP WH affection jealous gossip wuthering
35 Beispielberechnung für Cosinus log-tf-gewichtung Term SaS PaP WH affection jealous gossip wuthering
36 Beispielberechnung für Cosinus log-tf-gewichtung Term SaS PaP WH affection jealous gossip wuthering log-tf-gewichtung & Cosinus-Normalisierung Term SaS PaP WH affection jealous gossip wuthering
37 Beispielberechnung für Cosinus log-tf-gewichtung Term SaS PaP WH affection jealous gossip wuthering log-tf-gewichtung & Cosinus-Normalisierung Term SaS PaP WH affection jealous gossip wuthering cos(sas,pap) 0.789* * * *
38 Beispielberechnung für Cosinus log-tf-gewichtung Term SaS PaP WH affection jealous gossip wuthering log-tf-gewichtung & Cosinus-Normalisierung Term SaS PaP WH affection jealous gossip wuthering cos(sas,pap) 0.789* * * * cos(sas,wh) 0.79
39 Beispielberechnung für Cosinus log-tf-gewichtung Term SaS PaP WH affection jealous gossip wuthering log-tf-gewichtung & Cosinus-Normalisierung Term SaS PaP WH affection jealous gossip wuthering cos(sas,pap) 0.789* * * * cos(sas,wh) 0.79 cos(pap,wh) 0.69
40 Beispielberechnung für Cosinus log-tf-gewichtung Term SaS PaP WH affection jealous gossip wuthering log-tf-gewichtung & Cosinus-Normalisierung Term SaS PaP WH affection jealous gossip wuthering cos(sas,pap) 0.789* * * * cos(sas,wh) 0.79 cos(pap,wh) 0.69 Warum ist cos(sas,pap) > cos(sas,wh)?
41 Beispielberechnung für Cosinus log-tf-gewichtung Term SaS PaP WH affection jealous gossip wuthering log-tf-gewichtung & Cosinus-Normalisierung Term SaS PaP WH affection jealous gossip wuthering cos(sas,pap) 0.789* * * * cos(sas,wh) 0.79 cos(pap,wh) 0.69 Warum ist cos(sas,pap) > cos(sas,wh)? SaS, PaP: Jane Austen; WH: Emily Brontë
42 Komponenten der tf-idf-gewichtung Termfrequenz Dokumentfrequenz Normalisierung n (natural) tf t,d n (no) 1 n (none) 1 l (logarithm) 1 + log(tf t,d ) t (idf) log N dft c (cosine) 1 w 2 1 +w w M 2 a (augmented) b (boolean) tft,d maxt(tft,d ) { 1 if t,d > 0 0 otherwise p (prob idf) max{0, log N t t } u (pivoted unique) 1/u b (byte size) 1/CharLength α, α < 1 L (log ave) 1+log(t,d ) 1+log(t d (t,d ))
43 Komponenten der tf-idf-gewichtung Termfrequenz Dokumentfrequenz Normalisierung n (natural) tf t,d n (no) 1 n (none) 1 l (logarithm) 1 + log(tf t,d ) t (idf) log N dft c (cosine) 1 w 2 1 +w w M 2 a (augmented) b (boolean) tft,d maxt(tft,d ) { 1 if t,d > 0 0 otherwise p (prob idf) max{0, log N t t } u (pivoted unique) 1/u b (byte size) 1/CharLength α, α < 1 L (log ave) 1+log(t,d ) 1+log(t d (t,d )) Bekannteste Kombination
44 Komponenten der tf-idf-gewichtung Termfrequenz Dokumentfrequenz Normalisierung n (natural) tf t,d n (no) 1 n (none) 1 l (logarithm) 1 + log(tf t,d ) t (idf) log N dft c (cosine) 1 w 2 1 +w w M 2 a (augmented) b (boolean) tft,d maxt(tft,d ) { 1 if t,d > 0 0 otherwise p (prob idf) max{0, log N t t } u (pivoted unique) 1/u b (byte size) 1/CharLength α, α < 1 L (log ave) 1+log(t,d ) 1+log(t d (t,d )) Default: Keine Gewichtung
45 Komponenten der tf-idf-gewichtung Anfrage und Dokument oftmals unterschiedlich gewichtet SMART-Notation: qqq.ddd Beispiel: ltn.lnc Anfrage: Logarithmische tf, idf, keine Normalisierung Dokument: Logarithmische tf, keine idf, Cosinus-Normalisierung Beispiel: Anfrage: best car insurance Dokument: car insurance auto insurance
46 Beispielberechnung für tf-idf mit der Kombination ltn.lnc Anfrage: best car insurance. Dokument: car insurance auto insurance. Wort query document product tf-raw tf-wght df idf weight tf-raw tf-wght weight n lized auto best car insurance Key to columns: tf-raw: raw (unweighted) term frequency, tf-wght: logarithmically weighted term frequency, df: document frequency, idf: inverse document frequency, weight: the final weight of the term in the query or document, n lized: document weights after cosine normalization, product: the product of final query weight and final document weight
47 Beispielberechnung für tf-idf mit der Kombination ltn.lnc Anfrage: best car insurance. Dokument: car insurance auto insurance. Wort query document product tf-raw tf-wght df idf weight tf-raw tf-wght weight n lized auto 0 best 1 car 1 insurance 1 Key to columns: tf-raw: raw (unweighted) term frequency, tf-wght: logarithmically weighted term frequency, df: document frequency, idf: inverse document frequency, weight: the final weight of the term in the query or document, n lized: document weights after cosine normalization, product: the product of final query weight and final document weight
48 Beispielberechnung für tf-idf mit der Kombination ltn.lnc Anfrage: best car insurance. Dokument: car insurance auto insurance. Wort query document product tf-raw tf-wght df idf weight tf-raw tf-wght weight n lized auto 0 1 best 1 0 car 1 1 insurance 1 2 Key to columns: tf-raw: raw (unweighted) term frequency, tf-wght: logarithmically weighted term frequency, df: document frequency, idf: inverse document frequency, weight: the final weight of the term in the query or document, n lized: document weights after cosine normalization, product: the product of final query weight and final document weight
49 Beispielberechnung für tf-idf mit der Kombination ltn.lnc Anfrage: best car insurance. Dokument: car insurance auto insurance. Wort query document product tf-raw tf-wght df idf weight tf-raw tf-wght weight n lized auto best car insurance Key to columns: tf-raw: raw (unweighted) term frequency, tf-wght: logarithmically weighted term frequency, df: document frequency, idf: inverse document frequency, weight: the final weight of the term in the query or document, n lized: document weights after cosine normalization, product: the product of final query weight and final document weight
50 Beispielberechnung für tf-idf mit der Kombination ltn.lnc Anfrage: best car insurance. Dokument: car insurance auto insurance. Wort query document product tf-raw tf-wght df idf weight tf-raw tf-wght weight n lized auto best car insurance Key to columns: tf-raw: raw (unweighted) term frequency, tf-wght: logarithmically weighted term frequency, df: document frequency, idf: inverse document frequency, weight: the final weight of the term in the query or document, n lized: document weights after cosine normalization, product: the product of final query weight and final document weight
51 Beispielberechnung für tf-idf mit der Kombination ltn.lnc Anfrage: best car insurance. Dokument: car insurance auto insurance. Wort query document product tf-raw tf-wght df idf weight tf-raw tf-wght weight n lized auto best car insurance Key to columns: tf-raw: raw (unweighted) term frequency, tf-wght: logarithmically weighted term frequency, df: document frequency, idf: inverse document frequency, weight: the final weight of the term in the query or document, n lized: document weights after cosine normalization, product: the product of final query weight and final document weight
52 Beispielberechnung für tf-idf mit der Kombination ltn.lnc Anfrage: best car insurance. Dokument: car insurance auto insurance. Wort query document product tf-raw tf-wght df idf weight tf-raw tf-wght weight n lized auto best car insurance Key to columns: tf-raw: raw (unweighted) term frequency, tf-wght: logarithmically weighted term frequency, df: document frequency, idf: inverse document frequency, weight: the final weight of the term in the query or document, n lized: document weights after cosine normalization, product: the product of final query weight and final document weight
53 Beispielberechnung für tf-idf mit der Kombination ltn.lnc Anfrage: best car insurance. Dokument: car insurance auto insurance. Wort query document product tf-raw tf-wght df idf weight tf-raw tf-wght weight n lized auto best car insurance Key to columns: tf-raw: raw (unweighted) term frequency, tf-wght: logarithmically weighted term frequency, df: document frequency, idf: inverse document frequency, weight: the final weight of the term in the query or document, n lized: document weights after cosine normalization, product: the product of final query weight and final document weight
54 Beispielberechnung für tf-idf mit der Kombination ltn.lnc Anfrage: best car insurance. Dokument: car insurance auto insurance. Wort query document product tf-raw tf-wght df idf weight tf-raw tf-wght weight n lized auto best car insurance Key to columns: tf-raw: raw (unweighted) term frequency, tf-wght: logarithmically weighted term frequency, df: document frequency, idf: inverse document frequency, weight: the final weight of the term in the query or document, n lized: document weights after cosine normalization, product: the product of final query weight and final document weight
55 Beispielberechnung für tf-idf mit der Kombination ltn.lnc Anfrage: best car insurance. Dokument: car insurance auto insurance. Wort query document product tf-raw tf-wght df idf weight tf-raw tf-wght weight n lized auto best car insurance Key to columns: tf-raw: raw (unweighted) term frequency, tf-wght: logarithmically weighted term frequency, df: document frequency, idf: inverse document frequency, weight: the final weight of the term in the query or document, n lized: document weights after cosine normalization, product: the product of final query weight and final document weight
56 Beispielberechnung für tf-idf mit der Kombination ltn.lnc Anfrage: best car insurance. Dokument: car insurance auto insurance. Wort query document product tf-raw tf-wght df idf weight tf-raw tf-wght weight n lized auto best car insurance Key to columns: tf-raw: raw (unweighted) term frequency, tf-wght: logarithmically weighted term frequency, df: document frequency, idf: inverse document frequency, weight: the final weight of the term in the query or document, n lized: document weights after cosine normalization, product: the product of final query weight and final document weight / /
57 Beispielberechnung für tf-idf mit der Kombination ltn.lnc Anfrage: best car insurance. Dokument: car insurance auto insurance. Wort query document product tf-raw tf-wght df idf weight tf-raw tf-wght weight n lized auto best car insurance Key to columns: tf-raw: raw (unweighted) term frequency, tf-wght: logarithmically weighted term frequency, df: document frequency, idf: inverse document frequency, weight: the final weight of the term in the query or document, n lized: document weights after cosine normalization, product: the product of final query weight and final document weight
58 Beispielberechnung für tf-idf mit der Kombination ltn.lnc Anfrage: best car insurance. Dokument: car insurance auto insurance. Wort query document product tf-raw tf-wght df idf weight tf-raw tf-wght weight n lized auto best car insurance Key to columns: tf-raw: raw (unweighted) term frequency, tf-wght: logarithmically weighted term frequency, df: document frequency, idf: inverse document frequency, weight: the final weight of the term in the query or document, n lized: document weights after cosine normalization, product: the product of final query weight and final document weight Score für Anfrage/Dokument: i w qi w di = = 3.08
59 Zusammenfassung: Das Vector Space Model Vorteile: Kompakte Darstellung der Eigenschaften von Dokumenten Numerische Repräsentation Vergleichsmetriken liefern graduelle Ähnlichkeiten Ranking der Dokumente relativ zur Anfrage Probleme: Bag of words Wildcards / unscharfes Matchen Dimensionalität / Sparseness Polysemie / Homonymie
60 VSM vs. Boolesches Modell VSM: Akkumulierte Evidenz: Termfrequenz erhöht Bewertung Nur für Freitext-Anfragen geeignet Boolesches Modell: Selektive Evidenz Wahr, wenn Gewicht 0 Kombination: implizites UND Weitere Operatoren für verfeinerte Anfragen
61 VSM und Wildcards Keine direkte Abfrage möglich Indexstrukturen nicht kompatibel (Matrix/Baum) Kombinierbar mittels k-gram-index und Query expansion : Aus k-gram-index passende Terme holen Daraus Anfragen-Vektor konstruieren
62 VSM und Phrase Queries VSM nicht für Positionsabhängige Suche geeignet Bei Mehrwort-Anfragen werden immer auch die Achsen der einzelnen Terme aktiviert Kombinierbar mittels Query Parsing
63 Wie geht es weiter? Evaluation (IIR 8) Web-Retrieval (IIR 19-21)
64 Luhn, H. P. (1957). A statistical approach to mechanized encoding and searching of literary information. IBM Journal of Research and Development, 1(4): Manning, C. D., Raghavan, P., and Schütze, H. (2008). Introduction to Information Retrieval. Cambridge University Press. Zum Nachlesen: [Manning et al., 2008], Kapitel 6 (siehe
Text-Mining: Datenaufbereitung und -repräsentation
Text-Mining: Datenaufbereitung und -repräsentation Claes Neuefeind Fabian Steeg 20. Mai 2010 Wiederholung: Leitfragen Aufgabe: Unstrukturierte Daten aufbereiten, so dass das enthaltene Wissen extrahiert
Einführung in die Computerlinguistik Information Retrieval: tf.idf
Einführung in die Computerlinguistik Information Retrieval: tf.idf Dr. Benjamin Roth & Annemarie Friedrich Centrum für Infomations- und Sprachverarbeitung LMU München WS 2016/2017 Referenzen Dan Jurafsky
Rückblick. Aufteilung in Dokumente anwendungsabhängig. Tokenisierung und Normalisierung sprachabhängig
3. IR-Modelle Rückblick Aufteilung in Dokumente anwendungsabhängig Tokenisierung und Normalisierung sprachabhängig Gesetz von Zipf sagt aus, dass einige Wörter sehr häufig vorkommen; Stoppwörter können
Information Retrieval. Domenico Strigari Dominik Wißkirchen
Information Retrieval Domenico Strigari Dominik Wißkirchen 2009-12-22 Definition Information retrieval (IR) is finding material (usually documents) of an unstructured nature (usually text) that satisfies
Rückblick. Aufteilung in Dokumente anwendungsabhängig. Tokenisierung und Normalisierung sprachabhängig
3. IR-Modelle Rückblick Aufteilung in Dokumente anwendungsabhängig Tokenisierung und Normalisierung sprachabhängig Gesetz von Zipf sagt aus, dass einige Wörter sehr häufig vorkommen; Stoppwörter können
Information-Retrieval: Evaluation
Information-Retrieval: Evaluation Claes Neuefeind Fabian Steeg 17. Dezember 2009 Themen des Seminars Boolesches Retrieval-Modell (IIR 1) Datenstrukturen (IIR 2) Tolerantes Retrieval (IIR 3) Vektorraum-Modell
Information Retrieval, Vektorraummodell
Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Information Retrieval, Vektorraummodell Tobias Scheffer Paul Prasse Michael Großhans Uwe Dick Information Retrieval Konstruktion
Information-Retrieval: Unscharfe Suche
Information-Retrieval: Unscharfe Suche Claes Neuefeind Fabian Steeg 19. November 2009 Themen des Seminars Boolesches Retrieval-Modell (IIR 1) Datenstrukturen (IIR 2) Tolerantes Retrieval (IIR 3) Vektorraum-Modell
Information Retrieval,
Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Information Retrieval, Vektorraummodell Tobias Scheffer Uwe Dick Peter Haider Paul Prasse Information Retrieval Konstruktion von
Boole sches Retrieval als frühes, aber immer noch verbreitetes IR-Modell mit zahlreichen Erweiterungen
Rückblick Boole sches Retrieval als frühes, aber immer noch verbreitetes IR-Modell mit zahlreichen Erweiterungen Vektorraummodell stellt Anfrage und Dokumente als Vektoren in gemeinsamen Vektorraum dar
1 Boolesches Retrieval (2)
2. Übung zur Vorlesung Internet-Suchmaschinen im Sommersemester 2009 mit Lösungsvorschlägen Prof. Dr. Gerd Stumme, M.Sc. Wi-Inf. Beate Krause 06. Mai 2009 1 Boolesches Retrieval (2) Eine Erweiterung des
Retrieval Modelle. Boolesche- und Vektorraum- Modelle. Weitere Modell-Dimensionen. Klassen von Retrieval Modellen. Boolesche Modelle (Mengentheorie)
Retrieval Modelle Boolesche- und Vektorraum- Modelle Ein Retrieval-Modell spezifiziert die Details der: Repräsentation von Dokumenten Repräsentation von Anfragen Retrievalfunktion Legt die Notation des
Boolesche- und Vektorraum- Modelle
Boolesche- und Vektorraum- Modelle Viele Folien in diesem Abschnitt sind eine deutsche Übersetzung der Folien von Raymond J. Mooney (http://www.cs.utexas.edu/users/mooney/ir-course/). 1 Retrieval Modelle
Information Retrieval als Fachgebiet in der Schnittmenge zwischen Informationswissenschaft, Informatik und Computerlinguistik
Rückblick Information Retrieval als Fachgebiet in der Schnittmenge zwischen Informationswissenschaft, Informatik und Computerlinguistik Präzision und Ausbeute als elementare Gütemaße Zerlegung und Normalisierung
Klassen von Retrieval-Modellen. Boolesche und Vektorraum- Modelle. Weitere Modell-Dimensionen. Retrieval-Modelle. Boolesche Modelle (Mengen-basiert)
Klassen von Retrieval-Modellen Boolesche und Vektorraum- Modelle Boolesche Modelle (Mengen-basiert) Erweitertes Boolesches Modell Vektorraummodelle (vector space) (statistisch-algebraischer Ansatz) Latente
Kapitel 19 Textstatistik. HHU Düsseldorf, WS 2008/09 Information Retrieval 287
Kapitel 19 Textstatistik HHU Düsseldorf, WS 2008/09 Information Retrieval 287 Die These von Luhn: Termhäufigkeit als Signifikanzfaktor Luhn, H.P. (1957): A statistical approach to mechanized encoding and
Nachteile Boolesches Retrieval
Nachteile Boolesches Retrieval Komplizierte Anfragen Häufigkeit bzw. Relevanz der Terme in den Dokumenten nicht berücksichtigt 2 von 3 UND-verknüpften Termen im Dokument so schlecht wie 0 Terme Keine Rangfolge
Boolean Retrieval 1. September, Vorlage: Folien von M. Schütze zu [1] 1 von 27 Boolean Retrieval
![Boolean Retrieval 1. September, Vorlage: Folien von M. Schütze zu [1] 1 von 27 Boolean Retrieval](/thumbs/95/124607164.jpg "Boolean Retrieval 1. September, Vorlage: Folien von M. Schütze zu [1] 1 von 27 Boolean Retrieval")
Boolean Retrieval 1 September, 2009 1 Vorlage: Folien von M. Schütze zu [1] 1 von 27 Boolean Retrieval Boolean Retrieval Fragen sind Boolesche Ausdrücke, z.b.: Caesar AND Brutus Die Suchmaschine gibt alle
Federated Search: Integration von FAST DataSearch und Lucene
Federated Search: Integration von FAST DataSearch und Lucene Christian Kohlschütter L3S Research Center BSZ/KOBV-Workshop, Stuttgart 24. Januar 2006 Christian Kohlschütter, 24. Januar 2006 p 1 Motivation
HS Information Retrieval
HS Information Retrieval Vergleichende Implementierung der grundlegenden IR-Modelle für eine Desktop-Suche Inhalt 1. Überblick 2. Recap: Modelle 3. Implementierung 4. Demo 5. Evaluation Überblick Ziele:
Klassisches Information Retrieval Jan Schrader
Klassisches Information Retrieval 27.10.2011 Jan Schrader Information Retrieval (IR) Information retrieval (IR) is finding material (usually documents) of an unstructured nature (usually text) that satisfies
Datenbank-Recherche. SS Veranstaltung 10. April Philipp Mayr - Philipp Schaer -
Datenbank-Recherche SS 2014 2. Veranstaltung 10. April 2014 Philipp Mayr - philipp.mayr@gesis.org Philipp Schaer - philipp.schaer@gesis.org GESIS Leibniz-Institut für Sozialwissenschaften 2 Vorstellung
Kapitel IR:III (Fortsetzung)
Kapitel IR:III (Fortsetzung) III. Retrieval-Modelle Modelle und Prozesse im IR Klassische Retrieval-Modelle Bool sches Modell Vektorraummodell Retrieval-Modelle mit verborgenen Variablen Algebraisches
Implementierung eines Vektormodells
Implementierung eines Vektormodells Hauptseminar Information Retrieval WS 2013/14 Dr. Karin Haenelt Amol Phadke, Mirjam Eppinger Institut für Computerlinguistik Ruprecht-Karls-Universität Heidelberg 03.02.2014
Datenbank-Recherche. SS Veranstaltung 16. April Philipp Mayr - Philipp Schaer -
Datenbank-Recherche SS 2015 2. Veranstaltung 16. April 2015 Philipp Mayr - philipp.mayr@gesis.org Philipp Schaer - philipp.schaer@gesis.org GESIS Leibniz-Institut für Sozialwissenschaften 2 Vorstellung
Algorithmische Anwendungen WS 05/06 Document Ranking
Algorithmische Anwendungen WS 05/06 Document Ranking Ulrich Schulte (ai641@gm.fh-koeln.de) Harald Wendel (ai647@gm.fh-koeln.de) Seite 1/17 Inhaltsverzeichnis Algorithmische Anwendungen WS 05/06 1. Document
SEMINAR KLASSIFIKATION & CLUSTERING STATISTISCHE GRUNDLAGEN. Stefan Langer WINTERSEMESTER 2014/15.
SEMINAR KLASSIFIKATION & CLUSTERING WINTERSEMESTER 2014/15 STATISTISCHE GRUNDLAGEN Stefan Langer stefan.langer@cis.uni-muenchen.de Frequenz & Häufigkeit: Übersicht Absolute Häufigkeit Relative Häufigkeit
3. Retrievalmodelle Grundkonzept des Vektorraummodells. Vektorraummodell. Dokumente und Anfragen werden als Vektoren in einem Vektorraum aufgefaßt.
3. Retrievalmodelle Grundkonzept des Vektorraummodells Vektorraummodell Dokumente und Anfragen werden als Vektoren in einem Vektorraum aufgefaßt. Der Vektorraum wird durch die in der Datenbank enthaltenen
Verteiltes Information Retrieval
Seminar Experimentielle Evaluierung im IR Verteiltes Information Retrieval Sascha Brink Sebastian Ruiling 20.12.2005 Universität Duisburg-Essen Agenda Motivation / Grundlagen CORI DTF Diskussion der Verfahren
Information Retrieval und Question Answering
und Question Answering Kai Kugler 19. November 2009 Auffinden von relevantem Wissen Die Relevanz der aufzufindenden Information ist abhängig vom... aktuellen Wissen des Benutzers dem aktuellen Problem
T = {t 1,..., t n } sei die Menge der Terme. D = {d 1,..., d m } sei die Menge der Dokumente.
Vektorraummodell T = {t 1,..., t n } sei die Menge der Terme. D = {d 1,..., d m } sei die Menge der Dokumente. Dokumente und Anfragen werden als Vektoren in einem Vektorraum aufgefaßt. Der Vektorraum wird
Praxisteil. Seminar experimentelle Evaluierung in IR WS05/06 Gruppe A
Praxisteil Seminar experimentelle Evaluierung in IR WS05/06 Gruppe A Experimental setup Collections: TREC-123, wt10g Index: BM25 und TFIDF Queries: - Topics 51-100 aus trec123.topics (für den ersten Teil)
Anwendung von Vektormodell und boolschem Modell in Kombination
Anwendung von Vektormodell und boolschem Modell in Kombination Julia Kreutzer Seminar Information Retrieval Institut für Computerlinguistik Universität Heidelberg 12.01.2015 Motivation Welche Filme sind
Datenbanken und Informationssysteme
Datenbanken und Informationssysteme Information Retrieval: Konzepte und Beispiele Burkhardt Renz Fachbereich MNI TH Mittelhessen Wintersemester 2015/16 Übersicht Konzepte des Information Retrieval Architektur
Vektormodelle. Universität zu Köln HS: Systeme der maschinellen Sprachverarbeitung Prof. Dr. J. Rolshoven Referentin: Alena Geduldig
Vektormodelle Universität zu Köln HS: Systeme der maschinellen Sprachverarbeitung Prof. Dr. J. Rolshoven Referentin: Alena Geduldig Gliederung Vektormodelle Vector-Space-Model Suffix Tree Document Model
Boole'sches Modell <is web>
Boole'sches Modell basiert auf Mengentheorie und Boole'scher Algebra sehr einfaches Modell mit klarer Semantik Dokumente als Mengen von Indextermen Termgewichte sind binär: im Dokument enthalten oder nicht
Möglichkeiten der automatischen Sprachverarbeitung mit Django
Möglichkeiten der automatischen Sprachverarbeitung mit März 2009 / Leipzig / Python Stammtisch Möglichkeiten der automatischen Sprachverarbeitung mit Inhalt 1 2 3 4 Möglichkeiten der automatischen Sprachverarbeitung
1 Information Retrieval Grundlagen
1. Übung zur Vorlesung Internet-Suchmaschinen im Wintersemester 2007/2008 mit Lösungsvorschlägen Dr. Andreas Hotho, Prof. Dr. Gerd Stumme, M.Sc. Wi-Inf. Beate Krause 01. November 2007 1 Information Retrieval
Probabilistic Ranking Principle besagt, dass Rangfolge gemäß dieser Wahrscheinlichkeiten optimal ist
Rückblick Probabilistisches IR bestimmt die Wahrscheinlichkeit, dass ein Dokument d zur Anfrage q relevant ist Probabilistic Ranking Principle besagt, dass Rangfolge gemäß dieser Wahrscheinlichkeiten optimal
Projektgruppe. Clustering und Fingerprinting zur Erkennung von Ähnlichkeiten
Projektgruppe Jennifer Post Clustering und Fingerprinting zur Erkennung von Ähnlichkeiten 2. Juni 2010 Motivation Immer mehr Internet-Seiten Immer mehr digitale Texte Viele Inhalte ähnlich oder gleich
Text-Mining: Klassifikation I - Naive Bayes vs. Rocchio
Text-Mining: Klassifikation I - Naive Bayes vs. Rocchio Claes Neuefeind Fabian Steeg 17. Juni 2010 Klassifikation im Text-Mining Klassifikation Textkategorisierung Naive Bayes Beispielrechnung Rocchio
Indexvokabular {Korsika, Sardinien, Strand, Ferienwohnung, Gebirge} Verknüpfung von Enthaltenseinsbedingungen mittels Boole'scher Junktoren.
Boole'sches Modell Boole'sches Modell: Beispiel basiert auf Mengentheorie und Boole'scher Algebra sehr einfaches Modell mit klarer Semantik Dokumente als Mengen von Indextermen Termgewichte sind binär:
Vektorraum-Modell bildet Dokumente und Anfrage in gemeinsamen hochdimensionalen Vektorraum ab
Rückblick Vektorraum-Modell bildet Dokumente und Anfrage in gemeinsamen hochdimensionalen Vektorraum ab Vektorkomponenten werden mittels tf.idf-gewichtung unter Berücksichtigung von Häufigkeiten bestimmt
Seminar Text- und Datamining Textmining-Grundlagen Erste Schritte mit NLTK
Seminar Text- und Datamining Textmining-Grundlagen Erste Schritte mit NLTK Martin Hacker Richard Schaller Künstliche Intelligenz Department Informatik FAU Erlangen-Nürnberg 08.05.2014 Gliederung 1 Vorverarbeitung
Suchmaschinentechnologie
Modul: Studiengang: Bibliotheksinformatik Abschluss: Master of Science Modulverantwortliche/r: Sascha Szott & Frank Seeliger Semester: 2 Präsenzstunden: 50.0 Art der Lehrveranstaltung: Pflicht Dauer: 2
Internet-Suchmaschinen Probabilistische Retrievalmodelle
Internet-Suchmaschinen Probabilistische Retrievalmodelle Norbert Fuhr 1 / 41 Notationen Notationen Notationen Q α Q Q β Q Q D R rel. judg. D α D D β D D D ρ IR q Q Anfrage/Info-bed. q Q Anfragerepräs.
Scoring und Zusammenbau der Resultate. Folien übersetzt nach Originalfolien Pandu Nayak und Prabhakar Raghavan
Sitzung 6 Scoring und Zusammenbau der Resultate Folien übersetzt nach Originalfolien Pandu Nayak und Prabhakar Raghavan h@p://nlp.stanford.edu/ir- book/newslides.html RekapitulaHon: I- idf Gewicht Ch.
Thema: Prototypische Implementierung des Vektormodells
Ruprecht-Karls-Universität Heidelberg Seminar für Computerlinguistik Hauptseminar: Information Retrieval WS 06/07 Thema: Prototypische Implementierung des Vektormodells Sascha Orf Carina Silberer Cäcilia
Inhaltsverzeichnis. Geleitwort. Abbildungsverzeichnis. Tabellenverzeichnis. Abkürzungsverzeichnis. Symbolverzeichnis
Inhaltsverzeichnis Geleitwort Vorwort Abbildungsverzeichnis Tabellenverzeichnis Abkürzungsverzeichnis Symbolverzeichnis i iü xi xiii xv xvii 1 Einleitung 1 1.1 Problemstellung 1 1.2 Zielsetzung der Arbeit
Verschlagwortung digitaler Texte
Verschlagwortung digitaler Texte Verschlagwortung Zuordnung von Schlagwörtern zu einem Dokument (Text) zur Erschließung der darin enthaltenen Sachverhalte Manuelle Verschlagwortung Schlagwörter meist aus
9. Vorlesung Lineare Algebra, SVD und LSI
9. Vorlesung Lineare Algebra, SVD und LSI Grundlagen lineare Algebra Vektornorm, Matrixnorm Eigenvektoren und Werte Lineare Unabhängigkeit, Orthogonale Matrizen SVD, Singulärwerte und Matrixzerlegung LSI:Latent
Suchmaschinenalgorithmen. Vortrag von: Thomas Müller
Suchmaschinenalgorithmen Vortrag von: Thomas Müller Kurze Geschichte Erste Suchmaschine für Hypertexte am CERN Erste www-suchmaschine World Wide Web Wanderer 1993 Bis 1996: 2 mal jährlich Durchlauf 1994:
Information Retrieval Modelle: Boolesches Modell. Karin Haenelt
Information Retrieval Modelle: Boolesches Modell Karin Haenelt 19.10.2009 1 Inhalt Information Retrieval-Modelle: Systemarchitektur und Definition Boolesches Modell Darstellung der Systemkomponenten am
SPRACHTECHNOLOGIE IN SUCHMASCHINEN IR-GRUNDLAGEN
SPRACHTECHNOLOGIE IN SUCHMASCHINEN IR-GRUNDLAGEN HAUPTSEMINAR SUCHMASCHINEN COMPUTERLINGUISTIK SOMMERSEMESTER 2016 STEFAN LANGER STEFAN.LANGER@CIS.UNI -MUENCHEN.DE Übung (Gruppenarbeit, 10-15 min.) Sie
Machine Learning and Data Mining Summer 2015 Exercise Sheet 11
Ludwig-Maximilians-Universitaet Muenchen 0.06.205 Institute for Informatics Prof. Dr. Volker Tresp Gregor Jossé Johannes Niedermayer Machine Learning and Data Mining Summer 205 Exercise Sheet Presentation
4. Implementierung von IR-Systemen
4. Implementierung von IR-Systemen Motivation Wie implementiert man ein IR-System, welches die gemäß eines IR-Modells (z.b. Vektorraummodell oder Okapi BM25) zu einer Anfrage passenden Dokumente möglichst
Textsuche mit Indexstrukturen. Anfragen. Inzidenz Vektoren. Term-Dokument Inzidenz Matrix
Textsuche mit Indexstrukturen Zu einer Anfrage alle Dokumente sequentiell durchsuchen? Kleine Textsammlungen (ein paar MB) Sehr viele Änderungen Indexstrukturen Mehraufwand lohnt sich erst für große Texte
Exposé zur Studienarbeit. 04. August 2010
Exposé zur Studienarbeit Relevanzranking in Lucene im biomedizinischen Kontext Christoph Jacob Betreuer: Phillipe Thomas, Prof. Dr. Ulf Leser 04. August 2010 1. Motivation Sucht und ihr werdet finden dieses
Duplikatanalyse. Ein Vortrag von. Susanne O'Shaughnessy und Michaela Geierhos
Duplikatanalyse Ein Vortrag von Susanne O'Shaughnessy und Michaela Geierhos 13.07.2005 Duplikaten Elimination Problem: Mit dem explosionsartigen Anwachsen des WWW ist eine riesige Dokumentenmenge zugänglich.
WMS Block: Management von Wissen in Dokumentenform PART: Text Mining. Myra Spiliopoulou
WMS Block: Management von Wissen in nform PART: Text Mining Myra Spiliopoulou WIE ERFASSEN UND VERWALTEN WIR EXPLIZITES WISSEN? 1. Wie strukturieren wir Wissen in nform? 2. Wie verwalten wir nsammlungen?
Übersicht. Volltextindex Boolesches Retrieval Termoperationen Indexieren mit Apache Lucene
Übersicht Volltextindex Boolesches Retrieval Termoperationen Indexieren mit Apache Lucene 5.0.07 1 IR-System Peter Kolb 5.0.07 Volltextindex Dokumentenmenge durchsuchbar machen Suche nach Wörtern Volltextindex:
Übungen zu Multimedia-Datenbanken Aufgabenblatt 2 - Musterlösungen
Übungen zu Multimedia-Datenbanken Aufgabenblatt 2 - Musterlösungen Übung: Dipl.-Inform. Tina Walber Vorlesung: Dr.-Ing. Marcin Grzegorzek Fachbereich Informatik, Universität Koblenz Landau Ausgabe: 03.05.200
2.4 Effiziente Datenstrukturen
2.4 Effiziente Datenstrukturen Effizienz des Systems bezeichnet den sparsamer Umgang mit Systemressourcen und die Skalierbarkeit auch über große Kollektionen. Charakteristische Werte für Effizienz sind
Übungsaufgaben. Aufgabe 1 Internetsuchmaschinen. Einführung in das Information Retrieval, 8. Mai 2008 Veranstaltung für die Berufsakademie Karlsruhe
Otto-Friedrich-Universität Bamberg Lehrstuhl für Medieninformatik Prof. Dr. Andreas Henrich Dipl. Wirtsch.Inf. Daniel Blank Einführung in das Information Retrieval, 8. Mai 2008 Veranstaltung für die Berufsakademie
Erweitertes boolsches Retrieval
Erweitertes boolsches Retrieval In diesem Unterabschnitt werden andere Ansätze zur Verbesserung des boolschen Retrievals vorgestellt. Im Gegensatz zum Vektorraummodell wird bei diesen Ansätzen versucht,
Modell und Implementierung einer temporalen Anfragesprache
Modell und Implementierung einer temporalen Anfragesprache Seminar Information Retrieval WS 2010/11 Agenda Motivation Hintergrund Modell der temporalen Anfragesprache Implementierung der temporalen Anfragesprache
4. Nicht-Probabilistische Retrievalmodelle
4. Nicht-Probabilistische Retrievalmodelle 1 4. Nicht-Probabilistische Retrievalmodelle Norbert Fuhr 4. Nicht-Probabilistische Retrievalmodelle 2 Rahmenarchitektur für IR-Systeme Evaluierung Informations
Technische Universität München TOPSIS. Technique for Order Preference by Similarity to Ideal Solution. - Eine Technik der Effizienzanalyse -
TOPSIS Technique for Order Preference by Similarity to Ideal Solution - Eine Technik der Effizienzanalyse - 1 Gliederung 1. Wiederholung Normalisierung (AHP) 2. Definition Effizienz 3. Ablauf von TOPSIS
6. Probabilistische Retrievalmodelle. Norbert Fuhr
6. Probabilistische Retrievalmodelle Norbert Fuhr Notationen Q α Q Q β Q Q D R rel. judg. D α D D β D D D ρ IR q Q Anfrage d D Dokument q k Q: d m D: Anfragerepräsentation Dokumentrepräsentation qk D QD
Texttechnologien: Latent Semantic Indexing
Texttechnologien: Latent Semantic Indexing Inhaltsbasierte Suche in P2P-Netzen Texttechnologien 1 Inhaltsbasierte Suche in P2P-Netzen 1 Überblick Motivation Verfahren Eigenwertzerlegungen Singulärwertzerlegungen
Text-Mining: Clustering
Text-Mining: Clustering Claes Neuefeind Fabian Steeg 15. Juli 2010 Themen heute Clustering im TM Flaches Clustering Hierarchisches Clustering Erweiterungen, Labeling Literatur Cluster-Hypothese Documents
(Bamberg)
Konzeption eines Frameworks für die Evaluation von Tag-Suggestion-Algorithmen Martin Garbe Steffen Oldenburg Lukas Zielinski Prof. Dr. Clemens Cap (Universität Rostock) 08.05.2008 (Bamberg) Übersicht Tags
Inhalt. 6.1 Motivation. 6.2 Klassifikation. 6.3 Clusteranalyse. 6.4 Asszoziationsanalyse. Datenbanken & Informationssysteme / Kapitel 6: Data Mining
6. Data Mining Inhalt 6.1 Motivation 6.2 Klassifikation 6.3 Clusteranalyse 6.4 Asszoziationsanalyse 2 6.1 Motivation Data Mining and Knowledge Discovery zielt darauf ab, verwertbare Erkenntnisse (actionable
Klassifikation von Textabschnitten
Klassifikation von Textabschnitten Am Beispiel von Stellenanzeigen (JASC - Job Ads Section Classifier) Gliederung 1. Einführung: Zu welchem Zweck machen wir das? 2. Klassifikation ein kurzer Überblick
Latent Semantic Analysis. Christian Ebert & Fritz Hamm. Lineare Algebra IV: Diagonalisierungen. Latent Semantic. Analysis/Indexing. 12.
12. Januar 2012 Eigenwerte & Diagonalisierungen I Sei V ein K-Vektorraum und A ein Endomorphismus/eine n n Matrix über K {R, C} Erinnerung 1 Gilt A x = λ x, x 0 V, λ K, heißt λ Eigenwert und x Eigenvektor
Text-Mining: Einführung
Text-Mining: Einführung Claes Neuefeind Fabian Steeg 22. April 2010 Organisatorisches Was ist Text-Mining? Definitionen Anwendungsbeispiele Textuelle Daten Aufgaben u. Teilbereiche Literatur Kontakt Sprechstunde:
Klassische Information Retrieval Modelle Einführung
Klassische Information Retrieval Modelle Einführung Kursfolien Karin Haenelt 21.10.2012 Themen Information Retrieval Konzepte Grundkomponenten Information Retrieval Modell Definition Die klassischen Modelle
Inhalt. Mathematik für Chemiker II Lineare Algebra. Vorlesung im Sommersemester Kurt Frischmuth. Rostock, April Juli 2015
Inhalt Mathematik für Chemiker II Lineare Algebra Vorlesung im Sommersemester 5 Rostock, April Juli 5 Vektoren und Matrizen Abbildungen 3 Gleichungssysteme 4 Eigenwerte 5 Funktionen mehrerer Variabler
Learning to Rank Sven Münnich
Learning to Rank Sven Münnich 06.12.12 Fachbereich 20 Seminar Recommendersysteme Sven Münnich 1 Übersicht 1. Einführung 2. Methoden 3. Anwendungen 4. Zusammenfassung & Fazit 06.12.12 Fachbereich 20 Seminar
3. Vorlesung. Skip-Pointer Komprimierung der Postings Speicherung des Dictionarys Kontext-Anfragen. Seite 55
3. Vorlesung Skip-Pointer Komprimierung der Postings Speicherung des Dictionarys Kontext-Anfragen Seite 55 Wiederholung, Invertierte Liste Anfrage mit zwei Termen (logisches UND) Merge-Operation durchläuft
Suche mit Lucene. Dr. Christian Herta. Mai, 2009
Mai, 2009 Lernziele - Inhalt Prozess der Suche Klassen der Suche Query-Objekte und Query-Syntax Scoring mit Lucene Outline Übersicht: Wichtige Klassen für die Suche IndexSearcher: Zentrale Klasse für den
SemGen: Methoden zur Erstellung von eindeutigen Wortvektoren
SemGen: Methoden zur Erstellung von eindeutigen Wortvektoren Spinfo-internes Paper Claes Neuefeind Mai 2003 Im Rahmen des SemGen Projektes sollen sprachliche Daten in verschiedenen Verarbeitungsstufen
Automatische Textzusammenfassung
Ruprecht Karls Universität Heidelberg Lehrstuhl für Computerlinguistik HS Information Retrieval Automatische Textzusammenfassung Referat von Elena Loupanova 23.01.2006 Definition Textzusammenfassung The
Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen. Sprachtechnologie. Tobias Scheffer Paul Prasse Michael Großhans
Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Sprachtechnologie Tobias Scheffer Paul Prasse Michael Großhans Organisation Vorlesung/Übung, praktische Informatik. 4 SWS. 6 Leistungspunkte
Volltextsuche und Text Mining
Volltextsuche und Text Mining Seminar: Einfuehrung in die Computerlinguistik Dozentin: Wiebke Petersen by Rafael Cieslik 2oo5-Jan-2o 1 Gliederung 1. Volltextsuche 1. Zweck 2. Prinzip 1. Index 2. Retrieval
Textmining Klassifikation von Texten Teil 2: Im Vektorraummodell
Textmining Klassifikation von Texten Teil 2: Im Vektorraummodell Dept. Informatik 8 (Künstliche Intelligenz) Friedrich-Alexander-Universität Erlangen-Nürnberg (Informatik 8) Klassifikation von Texten Teil
Implementation und Evaluation des Vektormodells anhand von TREC-Daten
Implementation und Evaluation des Vektormodells anhand von TREC-Daten Seminarprojekt Information Retrieval WS 2015/2016 Bastian Beyer, Alexander Birkenkamp Institut für Computerlinguistik Universität Heidelberg
Eigenschaften von Texten
Eigenschaften von Texten 1 Statistische Eigenschaften von Text Wie ist die Häufigkeit verschiedener Wörter verteilt? Wie schnell wächst die Größe des Vokabulars mit der Größe eines Korpus? Solche Faktoren
Ranking Functions im Web: PageRank & HITS
im Web: PageRank & HITS 28. Januar 2013 Universität Heidelberg Institut für Computerlinguistik Information Retrieval 4 / 30 Idee PageRank Entstehung: Larry Page & Sergey Brin, 1998, genutzt von Google
Kapitel IR:II. II. Grundlagen des Information Retrieval. Retrieval-Evaluierung Indexterme
Kapitel IR:II II. Grundlagen des Information Retrieval Retrieval-Evaluierung Indexterme IR:II-1 Basics STEIN 2005-2010 Batch-Mode-Retrieval einmaliges Absetzen einer Anfrage; nur eine Antwort wird geliefert
Welche Textklassifikationen gibt es und was sind ihre spezifischen Merkmale?
Text Welche Textklassifikationen gibt es und was sind ihre spezifischen Merkmale? Textklassifikationen Natürliche bzw. unstrukturierte Texte Normale Texte ohne besondere Merkmale und Struktur Semistrukturierte
Neuere Ansätze zur Auswahl von Prädiktionsmodellen. Von Veronika Huber
Neuere Ansätze zur Auswahl von Prädiktionsmodellen Von Veronika Huber Gliederung Anwendungsbereiche von Prädiktionsmodellen Traditionelle Methoden zur Prüfung der Wirksamkeit Neuere Ansätze zur Prüfung
Multimedia Retrieval im WS 2011/2012
Multimedia Retrieval im WS 2011/2012 2. Prinzipien des Information Retrieval Prof. Dr.-Ing. Marcin Grzegorzek Juniorprofessur für Mustererkennung Institut für Bildinformatik im Department ETI Fakultät
Prototypische Komponenten eines Information Retrieval Systems: Vektormodell
Prototypische Komponenten eines Information Retrieval Systems: Vektormodell Implementierung & Präsentation: Stefan Schmidt (Uni Mannheim) Kontakt: powder@gmx.de Seminar: Information Retrieval WS2002/2003
Informationssysteme für Ingenieure
Informationssysteme für Ingenieure Vorlesung Herbstsemester 2016 Überblick und Organisation R. Marti Organisation Web Site: http://isi.inf.ethz.ch Dozent: Robert Marti, martir ethz.ch Assistenz:??