Empirische Informationswissenschaft. HHU Düsseldorf, SS 2003 Empirische Informationswissenschaft 1

Transkript

1 Empirische Informationswissenschaft HHU Düsseldorf, SS 2003 Empirische Informationswissenschaft 1

2 Empirische Informationswissenschaft Informetrie: nomothetische Informetrie (informetrische Gesetzmäßigkeiten) - deskriptive Informetrie Online-Informetrie Web-Informetrie Analyse von Informationssystemen: Retrievalsysteme (Relevanz, Recall, Precision) Datenbasen (Availability) empirische Studien Usability von Websites Wissenschaftliche Kommunikation: Der Ethos der Wissenschaft Zitationen und Referenzen Zitatenanalyse Impact Factor akademischer Zeitschriften - Themenanalyse Wissenschaft und Öffentlichkeit Thematisierungen HHU Düsseldorf, SS 2003 Empirische Informationswissenschaft 2

3 Empirische Informationswissenschaft Empirische Wissenschaftsforschung / Wissenschaftsgeschichte: Szientometrie - Wissenschaftsevaluation Wissenschaftsgeschichtsschreibung mittels Datenbanken Knowledge Mining: Data Mining (Informetrie strukturierter Daten) Text Mining (Informetrie unstrukturierter Daten) Nutzeranalyse: Informationsbedarf und bedürfnis, Nutzung von Informationssystemen und diensten Empirie der Informationstätigkeiten: Bibliotheksforschung - Informationswirtschaft HHU Düsseldorf, SS 2003 Empirische Informationswissenschaft 3

4 Informetrie HHU Düsseldorf, SS 2003 Empirische Informationswissenschaft 4

5 Informetrie Zeitschriften: Scientometrics - Cybermetrics Journal of the American Society for Information Science and Technology Kongress: International Conference on Scientometrics and Informetrics (seit 1987; alle 2 Jahre) Basisliteratur: Leo Egghe; Ronald Rousseau: Introduction to Informetrics. Amsterdam [u.a.]: Elsevier Science, Wolfgang G. Stock: Informationswirtschaft. München; Wien: Oldenbourg, Kap. 5 (Data Mining bei externen Informationen) HHU Düsseldorf, SS 2003 Empirische Informationswissenschaft 5

6 Informetrie Nomothetische Informetrie Konzentrationsgesetze Zipfsches Gesetz: Verteilung von Worthäufigkeiten in Texten Lotkas Gesetz: Verteilung von Publikationen eines Fachgebiets auf Autoren Bradfordsches Gesetz: Verteilung von Artikeln eines Fachgebiets auf Zeitschriften Garfieldsches Gesetz: Verteilung von Zitationen auf wissenschaftliche Zeitschriften Gesetz der zeitlichen Verteilung Halbwertzeit: Zeit, nach der die Hälfte einer Literaturmenge nicht mehr benutzt wird Virgil P. Diodato: Dictionary of Bibliometrics. New York [u.a.]: Haworth, HHU Düsseldorf, SS 2003 Empirische Informationswissenschaft 6

7 Informetrie Zipfsches Gesetz George Kingsley Zipf ( ) gegeben: Text (Artikel, Buch,...) Auszählen der Häufigkeiten jedes Wortes Ordnung der Wörter nach Häufigkeit (absteigend) r * f = C r =: Rangplatz des Wortes f =: Häufigkeit des Wortes C =: Konstante (abhängig vom Text) HHU Düsseldorf, SS 2003 Empirische Informationswissenschaft 7

8 Informetrie Zipfsches Gesetz Beispiel: Ulysses (James Joyce) Wort auf Rang 10 kommt 2.653mal vor: C = Wort auf Rang 20 kommt 1.311mal vor: C = Wort auf Rang kommt 26mal vor: C = C (Ulysses) ~ Das Gesetz gilt für Hochfrequenzworte, z.t. auch - je nach Text - für alle Worte eines Textes. Für Niedrigfrequenzworte hat Zipf ein weiteres Gesetz entwickelt (Zweites Zipfsches Gesetz). George K. Zipf: Human Behavior and the Principle of Least Effort. Cambridge, MA: Addison-Wesley, HHU Düsseldorf, SS 2003 Empirische Informationswissenschaft 8

9 Lotkas Gesetz Alfred J. Lotka ( ) Informetrie gegeben: Fachgebiet mit umfassender Liste der Publikationen zum Fachgebiet (Bibliographie, Spezialdatenbank) Auszählen der Publikationsraten für alle Autoren Sortieren der Autoren nach der Anzahl der Publikationen Zählen der Autoren mit gleichviel Publikationen n n x * y = c oder y = c / x x =: Anzahl der Publikationen y =: relative Häufigkeit der Autoren mit x Publikationen n, c =: Konstanten (je nach Fachgebiet) [n ~ 2] Alfred J. Lotka: The frequency distribution of scientific productivity. In: Journal of the Washington Academy of Sciences 16 (1926), HHU Düsseldorf, SS 2003 Empirische Informationswissenschaft 9

10 Informetrie Lotkas Gesetz Beispiel: Journal of Finance, ; insgesamt Artikel) Autoren (67,1%) produzierten je 1 Artikel 295 Autoren (16,0%) produzierten je 2 Artikel 140 Autoren (7,6%) produzierten je 3 Artikel 63 Autoren (3,4%) produzierten je 4 Artikel 41 Autoren (2,2%) produzierten je 5 Artikel angenommen: n = 2 (1 * 1) * 0,671 = 0,671 (2 * 2) * 0,160 = 0,640 (3 * 3) * 0,076 = 0,684 c ~ 0,6 (4 * 4) * 0,034 = 0,544 (5 * 5) * 0,022 = 0,550 M. Keenan: Report on the 1987 membership survey. In: Journal of Finance 43 (1988), HHU Düsseldorf, SS 2003 Empirische Informationswissenschaft 10

11 Informetrie Lotkas Gesetz Kreise: empirische Daten Linie: nach Theorie erwartet Reduktion der Daten auf genau 100 Autoren, die 1 Aufsatz publiziert haben (C = 1, n = 2) Derek J. de Solla Price: Litte Science, Big Science. Frankfurt: Suhrkamp, HHU Düsseldorf, SS 2003 Empirische Informationswissenschaft 11

12 Informetrie Bradfordsches Gesetz Samuel Clement Bradford ( ) gegeben: Artikel eines Fachgebiets Zählen der Anzahl der Artikel pro Zeitschrift Sortieren der Zeitschriften nach der Anzahl der Artikel Bildung von drei Mengen, die jeweils die gleiche Anzahl der Artikel enthalten die Anzahl der Zeitschriften in den drei Zonen folgt der Formel 1 : n : n2 n =: Konstante ( Bradford Multiplikator ) HHU Düsseldorf, SS 2003 Empirische Informationswissenschaft 12

13 Informetrie Bradfordsches Gesetz drei Zonen: Kern - Mitte - Rand empirisches Beispiel: Bradford (1934): Schmiermittel (395 Artikel in 164 Zeitschriften) Kern: 8 Zeitschriften produzieren 110 Artikel Mitte: die nächsten 29 Zs. produzieren 133 Artikel Rand: die nächsten 127 Zs. produzieren 152 Artikel 8 : 29 : 127 = 1 : 3,625 : 15,875 ~ 1 : 4 : 16 Samuel C. Bradford: Sources of information on specific subjects. In: Engineering 137 (1934), HHU Düsseldorf, SS 2003 Empirische Informationswissenschaft 13

14 Informetrie Bradford-Zipf-Bibliograph Verallgemeinerung des Bradfordschen Gesetzes im Sinne des Zipfschen Gesetzes Zuordnung der kumulierten Anzahl der Artikel zur kumulierten Anzahl der Zeitschriften Berechnung der Logarithmen (Basis 10) der beiden Zahlenreihen Darstellung als Graph der absoluten Häufigkeiten Darstellung als Graph der Logarithmen Darstellung als Graph in halblogarithmischer Darstellung (nur eine Achse logarithmisch; in der Regel die Anzahl der Zeitschriften); typische Formen J-Kurve S-Kurve Kurve mit umgekehrtem J HHU Düsseldorf, SS 2003 Empirische Informationswissenschaft 14

15 Informetrie Bradford-Zipf-Bibliograph Ausgangsdaten (Quelle: Bradford 1934: Angewandte Geophysik Jg ) HHU Düsseldorf, SS 2003 Empirische Informationswissenschaft 15

16 Informetrie Bradford-Zipf-Bibliograph Absolute Häufigkeiten HHU Düsseldorf, SS 2003 Empirische Informationswissenschaft 16

17 Informetrie Bradford-Zipf-Bibliograph Log-Log-Graph HHU Düsseldorf, SS 2003 Empirische Informationswissenschaft 17

18 Informetrie Bradford-Zipf-Bibliograph Halb-Log-Graph J-Kurve: Disziplin mit ergiebigen Zeitschriften ohne großen Rand S-Kurve: Disziplin mit ergiebigen, aber auch mit vielen Zeitschriften im Rand Kurve wie umgekehrtes J: Disziplin konzentriert auf eigene Zeitschriften, aber mit Rand HHU Düsseldorf, SS 2003 Empirische Informationswissenschaft 18

19 Garfieldsches Gesetz Eugene Garfield (geb. 1925) Informetrie gegeben: Referenzen aus Quellenzeitschriften Reihen des ISI (multidisziplinär) Zuordnung von Zitationsraten zu Zeitschriften Sortierung der Zeitschriften nach Zitationsraten Konzentration wie bei Bradford-Zipf: 75% aller Zitationen entfallen auf knapp Zeitschriften; 84% auf ca Zeitschriften Praktische Konsequenz: eine Datenbank, die einige Tausend Zeitschriften (nämlich die jeweils meistzitierten) auswertet, ergibt ein repräsentatives Abbild der Wissenschaft; hieran orientiert sich die Quellenauswahl bei SCI, SSCI, A&HCI Eugene Garfield: The mystery of the transposed journal list wherein Bradford s law of scattering is generalized according to Garfield s law of concentration. In: E.Garfield: Essays of an Information Scientist, Vol 1. Philadelphia: ISI Press, 1977, HHU Düsseldorf, SS 2003 Empirische Informationswissenschaft 19 der

20 Informetrie Garfieldsches Gesetz Beispiel: Philosophie (Drei-Zonen-Einteilung wie Bradford) gegeben: 735 Referenzen (Jg. 1975); darin zitierte Zeitschriften: 223 Kern: 6 Zeitschriften (genannt in 245 Zitationen) Mitte: 23 Zeitschriften (genannt in 245 Zitationen) Rand: 194 Zeitschriften (genannt in 245 Zitationen) also: 6 : 23 : 194 = 1 : 3,8 : 32,3 ~ 1 : 4 : 32 (erwartet: 1 : 4 : 16), demnach: sehr große Randzone Kernzeitschriften: Journal of Philosophy Philosophical Review Analysis Mind Philosophy of Sciences American Philosophical Quarterly HHU Düsseldorf, SS 2003 Empirische Informationswissenschaft 20

21 Informetrie Das informetrische Verteilungsgesetz f (x) ca. 80 % ca. 20% f (x) = C HHU Düsseldorf, SS 2003 Empirische Informationswissenschaft 21 x a x

22 Informetrie Gesetz der zeitlichen Verteilung: Halbwertszeit Analogie zum radioaktiven Zerfall Die Halbwertszeit ist die Zeit, in der die Hälfte eines radioaktiven Stoffes in einen anderen Stoff zerfallen ist. Dieser Prozess ist zufallsabhängig; d.h. man weiß nicht, welches Atom zu welcher Zeit zerfällt. Beispiele für Halbwertszeiten: Uran-238: 4,5 Mrd. Jahre Jod-131: 8 Tage C-14: Jahre HHU Düsseldorf, SS 2003 Empirische Informationswissenschaft 22

23 Informetrie Gesetz der zeitlichen Verteilung: Halbwertszeit gegeben: Zitationen / Referenzen Sortierung der Zitationen nach der Zeit Zählen der Anzahl der Zitationen pro Jahr; Zählen der Gesamtanzahl der Zitationen Markierung des Jahres, an dem die Hälfte (ein Viertel, ein Achtel usw.) der Zitationen erreicht wird Gesetz: Die Halbwertzeiten sind (bei großen Zahlen) jeweils gleich. HHU Düsseldorf, SS 2003 Empirische Informationswissenschaft 23

24 Informetrie Deskriptive Informetrie Beschreibung von Dokumentmengen. Beispiele: Werke eines Wissenschaftlers (Wieviel geschrieben? In welcher Zeit? Worüber? Welche Wirkung?) Artikel und Bücher von Angehörigen eines Instituts Patente und Artikel eines Wirtschaftsunternehmens Wissenschaftliche Zeitschriften (Wieviele Publikationen? Wieviele unterschiedliche Autoren? Welche Wirkung?) Wissenschaftliche und technische Themen (Wann zuerst aufgekommen? Wie verbreiteten sie sich? Wie lange diskutiert? Welche Autoren?) Länder / Weltregionen (Nationaler Output? Internationale Wirkung?) Websites / Domains (Einfluss? Verlinkung?) HHU Düsseldorf, SS 2003 Empirische Informationswissenschaft 24

25 Informetrie deskriptive Informetrie: Aufspüren von neuen Informationen in Datenbanken ( Knowledge Mining ) Rangordnungen Zeitreihen Semantische Netze Informationsfluß- und Linkanalysen dabei soweit möglich: Vergleich der beschriebenen Verteilungen mit den (nach den informetrischen Gesetzen) erwarteten HHU Düsseldorf, SS 2003 Empirische Informationswissenschaft 25

26 Informetrie Rangordnungen Fragestellung: Welches sind die Top-X-Items in einer Dokumentenmenge? Theoretische Basis: Konzentrationsgesetze Ziel: 1. Retrievalverbesserung; 2. Neue Informationen Vorgehen: Suche nach allen Datensätzen zum Thema Rangordnung zur gewünschten Ausprägung (in den meisten Systemen der Befehl: RANK) Ausgabe der Hitparade bis Platz X Beispiel: Welche Unternehmen sind in der FuE bei Verpackungsmaschinen führend? Wolfgang G. Stock: Wirtschaftsinformationen aus informetrischen Online-Recherchen. In: Nachrichten für Dokumentation 43 (1992), Wolfgang G. Stock: Das Online-Unternehmensbild anhand von Wirtschaftsdaten und informetrischen F&E-Indikatoren. In: Harald Killenberg et al. (Hrsg.): Wissensbasierte Informationssysteme und Informationsmanagement. Konstanz: Univ.-Verl., 1991, HHU Düsseldorf, SS 2003 Empirische Informationswissenschaft 26

27 Informetrie Rangordnung der Unternehmen nach Patenten bei Verpackungsmaschinen Rang absolute H. relative H. Unternehmen ,74 % Focke & Co GmbH & Co ,66 % Grace & Co ,55 % Robert Bosch GmbH ,45 % Packaging Filling Equip. N = Patentfamilien in der IPC-Unterklasse B65B (nebst aller Unterbegriffe) N = (unterschiedliche) Unternehmen mit mindestens einem Patent in B65B HHU Düsseldorf, SS 2003 Empirische Informationswissenschaft 27

28 Informetrie Informetrische Zeitreihen Fragestellung: Wie entwickelt sich ein Aspekt einer Dokumentmenge im Laufe der Zeit? Ziel: Neue Informationen Vorgehen: Suche nach allen Datensätzen zum Thema Ausgabe der Inhalte des Feldes Jahrgang (mit Angabe der Anzahl der DE) graphische Aufbereitung als Zeitreihe (Tabellenkalkulationsprogramm) Beispiel: Wieviele Patente für Verpackungsmaschinen haben die führenden Unternehmen pro Jahr zwischen 1981 und 1993 angemeldet? HHU Düsseldorf, SS 2003 Empirische Informationswissenschaft 28

29 Informetrie Patentaktivitäten der führenden Unternehmen bei Verpackungsmaschinen 80 Patentanmeldungen pro Jahr Bosch Focke Grace HHU Düsseldorf, SS 2003 Empirische Informationswissenschaft 29

30 Informetrie Semantische Netze Fragestellung: Gibt es in einer Dokumentenmenge zusammengehörige Komplexe? Bsp.: kooperierende Autoren oder Institute; gemeinsam auftretenden Themen; gemeinsame Referenzen oder Zitationen Ziel: 1. Retrievalverbesserung; 2. Neue Informationen Vorgehen: Suche nach allen Datensätzen zum Thema clusteranalytische Aufbereitung der DE (Spezialsoftware) graphische Aufbereitung Beispiel: Wie hängen die Forschungsthemen der Krones AG im Bereich der Etikettiermaschinen zusammen? HHU Düsseldorf, SS 2003 Empirische Informationswissenschaft 30

31 Informetrie Thematisches Cluster der Artikel von Krones- Mitarbeitern im Bereich der Etikettiermaschinen (im Bild der Deskriptoren der FIZ Technik- Datenbank DOMA) HHU Düsseldorf, SS 2003 Empirische Informationswissenschaft 31

32 Informetrie Informationsflussgraphen / Linkanalysen (1) Fragestellung: Fließen innerhalb einer Dokumentenmenge Informationen (welche?, wieviele?) von A nach B? Sofern Hypertextdokumente vorliegen: Sind A und B verlinkt? Ziel: 1. Retrievalstrategie; 2. Neue Informationen Vorgehen bei Zitationen: Aufruf einer Datenbank, die Zitationen speichert (wiss. Artikel; Patente; Grundsatzurteile) Suche nach zitierenden Dokumenten (nach vorne) und nach zitierten Dokumenten (nach hinten) Hostsoftware graphische Aufbereitung als Informationsflussgraph Beispiel: Woher stammen die Technologieinformationen der Krones AG? Wohin fließen die Technologieinformationen von Krones? HHU Düsseldorf, SS 2003 Empirische Informationswissenschaft 32

33 Informetrie Wissensimport und export bei der Krones AG (im Bild von Derwent World Patents Index bei Questel-Orbit) HHU Düsseldorf, SS 2003 Empirische Informationswissenschaft 33

34 Informetrie Informationsflussgraphen / Linkanalysen (2) Fragestellung: Fließen innerhalb einer Dokumentenmenge Informationen (welche?, wieviele?) von A nach B? Sofern Hypertextdokumente vorliegen: Sind A und B verlinkt? Ziel: 1. Retrievalstrategie; 2. Neue Informationen Vorgehen bei Hypertextdokumenten: Aufruf einer Suchmaschine, die eine Feldsuche zu Links, Ankertexten, Hosts und Domains anbietet entweder direkte Ausgabe der Landkarte oder graphische Aufbereitung als Linkgraph Beispiel 2: Wie sind deutsche Webseiten zu Miranda Otto verlinkt? HHU Düsseldorf, SS 2003 Empirische Informationswissenschaft 34

35 Informetrie Link-Topologie deutscher Webseiten zu Miranda Otto (im Bild von Kartoo.com) HHU Düsseldorf, SS 2003 Empirische Informationswissenschaft 35

36 Informetrie Datengewinnung der Informetrie Online-Informetrie bei Content-Aggregatoren Voraussetzungen: (1) spezifische informetrische Befehle (2) adäquates Feldschema (3) adäquate Datenbasis Web-Informetrie bei Suchmaschinen Voraussetzungen: (1) Abfrage der HTML-Tags (2) adäquate Datenbasis Offline-Informetrie mittels spezifischer Analysesoftware Download von Datensätzen Weiterverarbeitung offline HHU Düsseldorf, SS 2003 Empirische Informationswissenschaft 36

37 Informetrie Online-Informetrie bei Content-Aggregatoren HHU Düsseldorf, SS 2003 Empirische Informationswissenschaft 37

38 Informetrie Informetrische Befehle bei STN Rangordnungen mit ANALYZE ANALYZE and TABULATE Commands. In: STNotes No. 17 (1998), 1-5. HHU Düsseldorf, SS 2003 Empirische Informationswissenschaft 38

39 Informetrie Informetrische Befehle bei STN Zusammenhänge zweier Variablen mit TABULATE (wenn eine Variable PY ist: Zeitreihe) ANALYZE and TABULATE Commands. In: STNotes No. 17 (1998), 6-8. HHU Düsseldorf, SS 2003 Empirische Informationswissenschaft 39

40 Informetrie Informetrische Befehle bei DIALOG: Zusammenspiel von MAP und RANK In welche Technikgebiete hinein haben Düsseldorfer Unternehmen die größte Wirkung? Welches ist das meistzitierte Patent des Jahres 1995? MAP PN/CT= Mechtild Stock; Wolfgang G. Stock: Dialog/DataStar. One-Stop-Shops internationaler Fachinformationen. In: Password Nr. 4 (2003), HHU Düsseldorf, SS 2003 Empirische Informationswissenschaft 40

41 Informetrie Zusammenspiel von MAP und RANK Zwischenergebnis; unter SC004 gespeichert Datenbankwechsel: b 342 Ausführen der gespeicherten Suche: EXS SC004 HHU Düsseldorf, SS 2003 Empirische Informationswissenschaft 41

42 Informetrie RANK IC(1-4) RANK CT C11D : Reinigungsmittel G08G : Verkehrsregelungsund -überwachungssysteme HHU Düsseldorf, SS 2003 Empirische Informationswissenschaft 42

43 Informetrie Web-Informetrie bei Suchmaschinen Web Impact Factor (WIF) WIF(C) = (# Links auf Seiten von C) / (# Seiten innerhalb C) bei AltaVista: Zähler: link:.xx/ Nenner: domain:xx oder host: Self-Link WIF (C) = (# Links aus C auf C) / (# Seiten innerhalb C) bei AltaVista: Zähler: domain/host:xx/ AND link:.xx/ Ext-Link WIF (C) = (# Links außerhalb C auf C) / (# Seiten innerhalb C) bei AltaVista: Zähler: link:.xx/ AND NOT (domain/host:xx AND link:.xx/) Es gilt: WIF(C) = Self-Link (C) + Ext-Link (C) Peter Ingwersen: The calculation of Web Impact Factors. In: Journal of Documentation 54 (1998), HHU Düsseldorf, SS 2003 Empirische Informationswissenschaft 43

44 Informetrie Web Impact Factor (WIF): Die klassischen Ergebnisse von Ingwersen (AltaVista; Mitte 1997) HHU Düsseldorf, SS 2003 Empirische Informationswissenschaft 44

45 Informetrie Web Impact Factor (WIF) für Norwegen (.no) und Deutschland (.de) April 2003 WIF (NO) = 2,97 WIF (DE) = 0,65 Self-Link WIF (NO) = 0,46 Self-Link WIF (DE) = 0,38 Ext-Link WIF (NO) = 2,51 Ext-Link WIF (DE) = 0,25 N (Seiten NO) = 4,77 Mio. N (Seiten DE) = 86,61 Mio. HHU Düsseldorf, SS 2003 Empirische Informationswissenschaft 45

46 Informetrie Web Impact Factor (WIF) für Uni Düsseldorf und Uni Köln April 2003 WIF (DDF) = 0,44 WIF (KÖLN) = 0,49 Self-Link WIF (DDF) = 0,03 Self-Link WIF (KÖLN) = 0,14 Ext-Link WIF (DDF) = 0,41 Ext-Link WIF (KÖLN) = 0,35 N (Seiten DDF) = N (Seiten KÖLN) = HHU Düsseldorf, SS 2003 Empirische Informationswissenschaft 46

47 Informetrie Variante des Web Impact Factor von Thelwall Kritik am Verfahren von Ingwersen: Die Zahl der Webseiten eines Hosts sagt nichts über die dahinterstehende Organisation aus. Vorschlag: (a) Beschränkung auf externe Links (b) Relativierung auf die Anzahl der Vollzeitäquivalente akademischer Mitarbeiter einer Institution (was heißt, dass diese Variante ausschließlich auf Universitäten und andere Forschungseinrichtungen anwendbar ist) Academic-WIF (C) = (# Links außerhalb C auf C) / (# Wissenschaftler- Vollzeitäquivalente in C) Mike Thelwall: A comparison of sources of links for academic Web impact factor calculation. In: Journal of Documentation 58 (2002), HHU Düsseldorf, SS 2003 Empirische Informationswissenschaft 47

48 Informetrie Academic Web Impact Factor (Acad. WIF) und Wissenschaftsevaluation Gibt es Korrelationen (Pearson) zwischen Acad. WIF und Official Government Research Assessment Exercise (RAE) für britische Universitäten? Domain der externen Links HHU Düsseldorf, SS 2003 Empirische Informationswissenschaft 48

49 Analyse von Informationssystemen HHU Düsseldorf, SS 2003 Empirische Informationswissenschaft 49

50 Analyse von Informationssystemen Die klassischen Kennwerte zur Bewertung von Retrievalsystemen Haben wir alle Datensätze gefunden, die handlungsrelevantes Wissen beinhalten? (Vollständigkeit; Recall) Recall R = a / (a + c) Haben wir nur solche Datensätze gefunden? (Genauigkeit, Precision) Precision P = a / (a + b) a =: gefundene relevante Treffer b =: nichtrelevante Datensätze, die in der Treffermenge enthalten sind (Ballast) c =: relevante Datensätze in der Datenbank, die nicht gefunden wurden Salton Gerard Salton; Michael J. McGill: Information Retrieval Grundlegendes für Informationswissenschaftler. Hamburg [u.a.]: McGraw-Hill, Kap. 5: Die Bewertung von Retrievalsystemen, HHU Düsseldorf, SS 2003 Empirische Informationswissenschaft 50

51 Analyse von Informationssystemen Recall / Precision Relevanz: kontextuelle Übereinstimmung zwischen einem Suchargument und einem Dokument - unabhängig von konkreten subjektiven Informationsbedürfnissen (Salton/McGill) Pertinenz: Übereinstimmung zwischen einem subjektivem Informationsbedürfnis und einem Dokument Ein Relevanzurteil nimmt in der klassischen Variante genau einen von zwei Werten an: relevant nicht relevant. Relevanzurteile sind mitunter unscharf, insofern unterschiedliche Beurteiler zu abweichenden Urteilen kommen können. HHU Düsseldorf, SS 2003 Empirische Informationswissenschaft 51

52 Analyse von Informationssystemen Recall / Precision Mengentheoretische Betrachtung (A: relevante Dokumente; B: Dokumente in Treffermenge) C.J. van Rijsbergen: Information Retrieval. 2nd. Ed. London; Boston: Butterworth, HHU Düsseldorf, SS 2003 Empirische Informationswissenschaft 52

53 Analyse von Informationssystemen Recall / Precision Quelle: Salton; McGill, 180 HHU Düsseldorf, SS 2003 Empirische Informationswissenschaft 53

54 Analyse von Informationssystemen Die klassischen Kennwerte zur Bewertung von Retrievalsystemen: Das Effektivitätsmaß von v.rijsbergen E: Effektivität; R: Recall; P: Precision : Wert zwischen 0 und 1 = 0 : Effektivität wird auf Recall (1-R) reduziert = 1 : Effektivität wird auf Precision (1-P) reduziert = ½ : Effektivität beruht ausgewogen auf R und P van Rijsbergen Quelle: v.rijsbergen, 174 E ist zwischen 0 (beste Effektivität) und 1 (unendlich schlechte Effektivität) definiert. HHU Düsseldorf, SS 2003 Empirische Informationswissenschaft 54

55 Analyse von Informationssystemen Serendipity Kennwert zur Erfassung der Fähigkeit eines Informationssystems, im Ballast nützliche Informationen zu finden b: Anzahl der Dokumente, die nicht relevant zum Suchargument sind (wie bei Precision) b(u): Anzahl der Dokumente im Ballast, die völlig unbrauchbar sind b(s): Anzahl der Dokumente im Ballast, die durchaus auch für ein völlig anderes Suchargument brauchbar sind Serendipity S = b(s) / b Jutta H.T. Klawitter-Pommer; Wolf D. Hoffmann: Übersicht über die für den Leistungsvergleich mehrerer Literatur-Datenbasen wichtigsten Parameter. In: Nachrichten für Dokumentation 27 (1976), HHU Düsseldorf, SS 2003 Empirische Informationswissenschaft 55

56 Analyse von Informationssystemen Serendipity Term eingeführt von Horace Walpole ( ) in einem Brief aus dem Jahre 1754 Basis: Märchen The Three Princes of Serendip diese finden unerwartet Sachen heraus, die kein anderer weiß seitdem: Bezeichnung für etwas, was gefunden, aber nicht gesucht worden ist einer der Prinzen Serendip: Ceylon Richard Boyle: The Three Princes of Serendip URL: HHU Düsseldorf, SS 2003 Empirische Informationswissenschaft 56

57 Analyse von Informationssystemen Recall/Precision bei Systemen mit Relevance Ranking Definition eines Cut-off-Wertes X (etwa: X=25, d.h. die Top 25 Treffer) Precision rangspezifische Precision (Wie groß ist die Precision auf Rang 1, Rang 2 usw.?) rangunabhängige Precision (Wie groß ist die durchschnittliche Precision bis zum Cut-off-Wert X?) Problemfall: a = 0. Wie groß ist die Precision? wenn a=0 und c=0, dann gilt P = 1 wenn a=0 und c>0, dann gilt P = 0 Recall hier stets: Wie groß ist der durchschnittliche Recall bei einem Cut-off-Wert X? HHU Düsseldorf, SS 2003 Empirische Informationswissenschaft 57

58 Analyse von Informationssystemen Relevanzbestimmung bei Systemen mit verlinkten Dokumenten Variante 1: es werden ausschließlich diejenigen Dokumente beurteilt, die vom Retrievalsystem angezeigt werden dann aber Problem: einige Suchmaschinen übergehen im Relevance Ranking Seiten derselben Domain (Variante 1 würde diese methodisch benachteiligen); Webkataloge verweisen i.d.r. auf Websites, nicht auf einzelne Seiten Beispiel: WiseNut Variante 2: ein weiterer Klick (oder sogar mehrere Klicks) wird (werden) gestattet; falls die verlinkte Seite relevant, gilt dies als Treffer für das Retrievalsystem HHU Düsseldorf, SS 2003 Empirische Informationswissenschaft 58

59 Analyse von Informationssystemen Absoluter und relativer Recall absoluter Recall: Problemfall der Formel ist c. Woher weiß ich, was ich NICHT gefunden habe, was aber relevant wäre? Der absolute Recall kann nur bei kleinen überschaubaren Datenbasen berechnet werden. relativer Recall: nicht ein System wird isoliert betrachtet, sondern mehrere Systeme gleichzeitig ( Pooling- Methode ). c ist die Anzahl der Dokumente in der Vereinigungsmenge der relevanten Treffer c(1), c(2) usw. aller betrachteter Systeme relativer Recall R = a / (a + c ), wobei c = c(1) c(2)... c(n) bei n Systemen HHU Düsseldorf, SS 2003 Empirische Informationswissenschaft 59

60 Analyse von Informationssystemen Availability (Verfügbarkeit) Term eingeführt in der empirischen Bibliothekswissenschaft Paul B. Kantor: Availability analysis. In: Journal of the American Society for Information Science 27 (1976), bei Retrievaltests: Wie hoch ist die relative Häufigkeit, dass ein Retrievalsystem ein bekanntes Dokument ( Known Item ) findet? A: Availability; D gef : # der gefundenen Known Items (bei Relevance Ranking: bis Cut-off-Wert); D: # aller gesuchten Known Items A = D gef / D Mechtild Stock; Wolfgang G. Stock: Internet-Suchwerkzeuge im Vergleich. Teil 1: Retrievaltest mit Known Item Searches. In: Password Nr. 11 (2000), HHU Düsseldorf, SS 2003 Empirische Informationswissenschaft 60

61 Analyse von Informationssystemen Weitere Indikatoren zur Qualität von Datenbanken Datenbasis Anzahl der Datensätze / Abdeckungsgrad Dateitypen Aktualität Richtigkeit Auswertungstiefe (Feldschema / Anteil mit Inhalt gefüllter Felder) inhaltliche Erschließung eingesetzte Methoden Indexierungstiefe (Indexierungsspezifität, Indexierungsbreite) Indexierungskonsistenz: # der Deskriptoren, die beide Indexer A und B dem Dokument zugeordnet haben / # der Deskriptoren, die A bzw. B insgesamt dem Dokument zugeordnet haben Dagobert Soergel: Indexing and retrieval performance: The logical evidence. In: Journal of the American Society for Information Science 45 (1994), HHU Düsseldorf, SS 2003 Empirische Informationswissenschaft 61

62 Analyse von Informationssystemen Weitere Indikatoren zur Qualität von Datenbanken Retrievalsystem Suchfunktionalität (Befehlsumfang) Markieren und Sortieren von Treffern (Befehlsumfang) Pull- und Push-Service Ausgabeschnittstellen Website Usability (s.u.!) heuristische Evaluation Nutzertests Logfile-Analysen HHU Düsseldorf, SS 2003 Empirische Informationswissenschaft 62

63 Analyse von Informationssystemen Empirische Analysen von Informationssystemen: Cranfield Testkollektion: Dokumente zur Aerodynamik Testfragen: 221 Suchargumente, zu denen die relevanten Dokumente bekannt sind Indexierung I: single terms : einzelne Terme der Dokumente (in natürlicher Sprache); Varianten: Grundformen, Synonyme,... Indexierung II: simple concepts : Mehrwortausdrücke der Dokumente (in natürlicher Sprache); mit Varianten Indexierung III: controlled terms : kontrollierte Schlagworte; Varianten: mit/ohne Relationen Indexierung IV: Titelterme, Terme aus Abstract Forschungsfrage: Welche Indexierungsmethode bringt den besten Recall? Cyril Cleverdon: The Cranfield tests on index languages devices. In: Aslib Proceedings 19 (1967), HHU Düsseldorf, SS 2003 Empirische Informationswissenschaft 63

64 Analyse von Informationssystemen Cranfield: Ergebnisse HHU Düsseldorf, SS 2003 Empirische Informationswissenschaft 64

65 Analyse von Informationssystemen Cranfield: Ergebnisse Sieger : natürlichsprachige Terme verbessert wird die Retrievalleistung nur durch Grundformbildung Synonyme alle anderen Varianten und Indexierungsformen bringen schlechtere Ergebnisse als die Suche nach natürlichsprachigen Termen (in der Wortform des Textes) Brauchen wir demnach überhaupt keine Dokumentationssprachen? Kritik an Cranfield: als Labortest kaum auf die Praxis (auch sehr großer) Datenbanken übertragbar Relevanzbeurteilung hier sehr problematisch HHU Düsseldorf, SS 2003 Empirische Informationswissenschaft 65

66 Analyse von Informationssystemen Empirische Analysen von Informationssystemen: MEDLARS MEDLARS (Medical Literature Analysis and Retrieval System) der National Library of Medicine (USA) heute: Medline Online-Datenbank zur Medizin (derzeit [1966] Datensätze); erschlossen durch Thesaurus (MeSH) Fragen: 299 ( echte Suchargumente) Recall: direkte Messung unmöglich; Befragung von Experten nach einschlägigen Dokumenten; damit Schätzung auf c Precision: problemlos gemessen F.W.Lancaster: MEDLARS: Report on the evaluation of ist operating efficiency. In: American Documentation 20 (1969), HHU Düsseldorf, SS 2003 Empirische Informationswissenschaft 66

67 Analyse von Informationssystemen MEDLARS Forschungsfrage 1: Wie groß sind Recall und Precision von MEDLARS? HHU Düsseldorf, SS 2003 Empirische Informationswissenschaft 67

68 Analyse von Informationssystemen MEDLARS Forschungsfrage 2: Wie hängen Recall / Precision und Indexierungsbreite zusammen? je breiter indexiert, desto höher der Recall HHU Düsseldorf, SS 2003 Empirische Informationswissenschaft 68