DAFFODIL: Übersicht und Entwicklung von möglichen Algorithmen für Recommendation

Transkript

1 Diplomarbeit DAFFODIL: Übersicht und Entwicklung von möglichen Algorithmen für Recommendation Phillip Look Diplomarbeit am Fachbereich Informatik der Universität Dortmund 17. September 2003 Betreuer: Prof. Dr. Norbert Fuhr Prof. Dr. Thomas Herrmann

2

3 Inhaltsverzeichnis 1 Einleitung Motivation Das DAFFODIL-Projekt Ziel der Diplomarbeit Aufbau der Diplomarbeit Algorithmen und Verfahren Inhaltsbasierte Verfahren Vektorraummodell Beziehungsnetzwerke Back Link Count PageRanks Authorities und Hubs Cocitation Kollaboratives Filtern Memory-Based Verfahren Model-Based Verfahren Modifiziertes kollaboratives Filtern Item-Based kollaboratives Filtern Singular Value Decomposition Hybride Verfahren Parallele Ausführung Kombinierte Ausführung Agentenbasiert Entwurf DAFFODIL Objekttypen Benutzerprofile Ansatz der Projektgruppe Ablauf des Verfahrens Nachteile des Verfahrens Erweiterter Ansatz Benutzer- / Gruppen-Ähnlichkeit Ordner-Ähnlichkeit I

4 3.3.3 Berechnung der Objekt-Ähnlichkeiten Kontext-Ähnlichkeiten Alternativer Ansatz Implementierung Architektur DAFFODIL Recommendation-Modul Stand des Prototypen Details zur Implementierung Hilfsklassen Agenten Recommendation Algorithmen Kommandos der Agenten Evaluation Aufbau Metriken Auswertungen Erwartungen Erste Ergebnisse Zustand des Systems Rückschlüsse Überprüfung der Verbesserungen Zustand des Systems Ergebnisse Zusammenfassung Zusammenfassung und Ausblick Zusammenfassung Ausblick A Programmbeschreibung 65 B Objekt-Beziehungen 69 C Trefferlisten 73 D Datenbanktabellen 77 Abbildungsverzeichnis 81 Literaturverzeichnis 83 II

5 1 Einleitung 1.1 Motivation Durch die Informationsvielfalt, die heutzutage vorherrscht, ist es nicht mehr ohne größeren Aufwand möglich, interessante Informationen von uninteressanten zu unterscheiden. Das trifft auf fast alle Bereiche des täglichen Lebens zu, auf das Fernsehprogramm, Zeitschriftenartikel, Internetseiten und auch digitale Bibliotheken, die Thema dieser Diplomarbeit sind. Das liegt auf der einen Seite an der Menge der Informationen. Die Zahl der Internetseiten steigt rapide an, monatlich, wöchentlich, täglich erscheinen neue Ausgaben von Zeitungen und Zeitschriften. Allein die Flut an neuen Informationen ist nicht mehr zu bewältigen. Die Aufarbeitung der vorhandenen Masse schier unmöglich. Andererseits kommt noch erschwerend hinzu, dass jede Person andere Interessen und Vorlieben hat, so dass es nicht möglich ist, eine generelle Vorauswahl der vorliegenden Informationen zu treffen. Erst eine personenbezogene Auswertung, bei der auch die subjektiven Einflüsse zu tragen kommen, kann hier Abhilfe schaffen. Um bei der Auswahl interessanter Information zu helfen, dienen die Recommendation-Verfahren (Recommendation, engl. Vorschlag). Sie werten das Profil eines Benutzers aus, um daraus Vorhersagen abzuleiten, welche weiteren Information für diesen Benutzer relevant sind. 1.2 Das DAFFODIL-Projekt DAFFODIL 1 ist ein Forschungsprojekt der Deutschen Forschungsgemeinschaft (DFG), am Lehrstuhl für Informationssysteme 2 der Universität Duisburg 3, das die Aufgabe hat die Benutzung der digitalen Bibliotheken zu vereinfachen, und den Anwender so gut wie möglich bei seiner Suche zu unterstützen. Nachteile digitaler Bibliotheken Bei der Textrecherche in digitalen Bibliotheken gibt es für den Benutzer zahlreiche Hindernisse und Probleme. Da die Datenbestände der einzelnen Bibliotheken stark variieren, kann es sein, das in der einen Bibliothek Artikel gespeichert sind, die in den anderen nicht enthalten sind. Der Anwender muss sich entscheiden, ob er sich bei seiner Suche auf eine Bibliothek beschränkt und damit nur mit einem Ausschnitt

6 1 Einleitung der vorhandenen Artikel vorlieb nimmt, oder ob er sich die Mühe macht bei seiner Recherche mehrere Bibliotheken zu durchsuchen. Ein weiterer Unterschied liegt in den Funktionen, die die Bibliotheken den Anwendern zur Verfügung stellen, um sie bei ihrer Recherche zu unterstützen. Einige Bibliotheken beschränken sich auf die Suche nach Stichwörtern, andere Bibliotheken ermöglichen es dem Benutzer zitierte Dokumente zu öffnen. Die Vielfalt der Informationen über die Artikel reicht vom Titel bis zur kompletten Übersicht über Titel, Autor und eine kleine Zusammenfassung. Bei einigen Bibliotheken ist auch der Volltext des Dokuments als PostScript- oder PDF-Datei hinterlegt. Wenn sich der Benutzer dazu entscheidet mehrere Bibliotheken zu durchsuchen, steht er bei jeder vor einer neuen Benutzeroberfläche und muss sich an eine neue Benutzerführung gewöhnen. Des weiteren unterscheiden sich die angebotenen Anfragesprachen meist in Syntax und Umfang voneinander. Verbesserungen durch DAFFODIL Das DAFFODIL-Projekt schafft in den angesprochenen Punkten Abhilfe. Der Benutzer ist nicht mehr darauf angewiesen mehrere Bibliotheken zu durchsuchen, sondern kann sich auf DAFFODIL beschränken. Das ist möglich, weil DAFFODIL keine digitale Bibliothek im herkömmlichen Sinne ist, die einen eigenen Datenbestand verwaltet, sondern auf die Daten der populären Bibliotheksdienste aus dem Internet zugreift. DAFFODIL vereinigt dadurch nicht nur die Inhalte der verschiedenen Bibliotheken, sondern fungiert auch als einheitliche Oberfläche bei der Literaturrecherche. Darüber hinaus bietet DAFFODIL seinen Benutzer auch weitere Hilfen an, die über die Möglichkeiten der einzelnen Bibliotheken hinausgehen. Die überwiegende Anzahl der Suchdienste bietet nur einfache Suchfunktionen (Taktiken) nach Stichwörtern und Namen von Autoren an. DAFFODIL bietet auch komplexere Methoden (Strategien und Stratageme, vgl. [4]) an, die sich durch Zusammenfassen einzelner einfacher Taktiken ergeben. Die Suche nach Zitaten und Referenzen einzelner Texte, oder die Auswertung von Autorennetzwerken gehören ebenso dazu, wie das hier vorgestellte Recommendation-Verfahren. DAFFODIL verwaltet nicht nur Autoren und Artikel, sondern verarbeitet auch Journale, Konferenzen und Webseiten. Jeder Benutzer kann sich als weitere Hilfestellung eine eigene Handbibliothek anlegen, in die er für ihn interessante Objekte und Suchanfragen ablegen und in einer Verzeichnishierarchie strukturieren kann. So ist es für den Benutzer möglich eine Textrecherche an einem Punkt abzubrechen und zu einem späteren Zeitpunkt wieder aufzunehmen, ohne wieder von vorne beginnen zu müssen. Eine detaillierte Beschreibung der Architektur und der Ideen zu DAFFODIL finden sich in den Artikeln [19] und [20]. 2

7 1.3 Ziel der Diplomarbeit 1.3 Ziel der Diplomarbeit Ziel der Diplomarbeit ist es, die unterschiedlichen Ansätze aus dem Bereich Recommendation vorzustellen und ihre speziellen Vor- und Nachteile zu diskutieren. Anschließend sollen aus den vorgestellten Algorithmen diejenigen ausgesucht werden, die sich am Besten für die Integration eines Recommendation-Verfahrens in DAF- FODIL eignen. Aufbauend auf diesen Verfahren wird ein konkreter Implementationsentwurf entwickelt. Dieser Entwurf soll prototypisch in das DAFFODIL-System integriert werden, um es anschließend hinsichtlich seiner Qualität zu untersuchen. 1.4 Aufbau der Diplomarbeit In diesem Kapitel ging es darum, die Arbeit an einem Recommendation-Verfahren zu motivieren und die groben Ziele der Diplomarbeit zu erklären. Des weiteren wurde ein kurzer Überblick über das DAFFODIL-Projekt gegeben, in das das Recommendation-Verfahren integriert werden soll. Im zweiten Kapitel werden die verschiedenen Verfahren und Algorithmen vorgestellt, die in der aktuellen Forschung auf dem Gebiet Recommendation zum Einsatz kommen. Die Vor- und Nachteile, sowie die Haupteinsatzgebiete der Verfahren werden detailliert besprochen. Anschließend wird ein Verfahren für die mögliche Integration in das DAFFODIL-Projekt entworfen, wobei vorallem die Besonderheiten einer digitalen Bibliothek und den Datenstrukturen des DAFFODIL-Projektes berücksichtigt werden. Im nächsten Kapitel wird die konkrete Umsetzung des Verfahrens beschrieben, dabei wird besonders auf die Architektur von DAFFODIL und des entwickelten Recommendation-Moduls eingegangen. Des weiteren werden Details zu den einzelnen Komponenten und ihrem Verhalten erläutert. Im fünften Kapitel wird das entworfene Verfahren getestet und mit den Ergebnissen anderer Recommendation-Systeme verglichen. Aus den Ergebnissen werden Möglichkeiten abgeleitet, die eventuell zu Verbesserungen führen können. Abschließend wird ein Überblick gegeben, was in dieser Diplomarbeit erreicht wurde und was zukünftig noch umgesetzt werden kann. 3

8 1 Einleitung 4

9 2 Algorithmen und Verfahren Im Bereich Recommendation kommen verschiedene Verfahren aus den Gebieten Information Retrieval und Information Filtering zur Anwendung. Je nach Art der Objekte, die vorgeschlagen werden können, haben diese Verfahren ihre speziellen Vor- und Nachteile, die beachtet werden müssen. Textdokumente bieten gegenüber binären Objekten den Vorteil, dass ihr Inhalt sehr einfach miteinander verglichen werden kann. Bei binären Objekten z.b. Filmen oder Musikstücken ist man für einen inhaltlichen Vergleich auf eine Beschreibung angewiesen, oder man weicht auf Verfahren aus, die keine inhaltliche Beschreibung voraussetzten. In diesem Abschnitt werden die aktuellen Verfahren vorgestellt und deren möglichen Einsatzgebiete und Vorgehensweisen erläutert. Des weiteren wird angesprochen, wie die Algorithmen in Recommendation-Verfahren verwendet werden können. Im Allgemeinen dienen die hier vorgestellten Verfahren dazu Objekte zu bewerten und vorzuschlagen. Allerdings können sie auch dazu benutzt werden, um Benutzer mit ähnlichen Interessen zu finden. Diese spezielle Art des Recommendation nennt sich Matchmaking. Texte, die sich speziell mit dem Thema Matchmaking beschäftigen, sind [29] und [30]. 2.1 Inhaltsbasierte Verfahren Inhaltsbasierte Verfahren werten allein die Aspekte aus, die sich auf den Inhalt der Objekte bezieht. Das sind zum Einen reiner Text, zum Beispiel von Internetseiten oder aus wissenschaftlichen Arbeiten, aber auch zusätzliche Information (Metadaten) über die Objekte gehören dazu. So können Eigenschaften der Objekte wie Kurzbeschreibung oder Schlagwörter gezielt ausgewertet werden, und es ist möglich Informationen von nicht textuellen Objekten mit in die Berechnung mit einzubeziehen. Zu Filmen und Musikstücken können Eigenschaften wie Drehbuchautor, Titel, Interpreten oder Genre ausgewertet werden, das setzt allerdings voraus, dass die Meta-Informationen zuvor gezielt aufbereitet wurden. Die Verfahren stammen aus dem Bereich des Textretrievals und werden dort dazu verwendet Texte zu finden, die bestimmte Suchwörter enthalten, oder sie werden dazu benutzt die Ähnlichkeit zweier Texte zu bestimmen. Im Bereich Recommendation werden sie in ihrer reinen Form nur sehr selten eingesetzt [3], da dort kollaborative Techniken überlegen sind. In aktuellen Projekten werden inhaltsbasierte Verfahren nur noch als in Kombination mit anderen Verfahren eingesetzt oder, wenn auf die Beurteilungen anderer Benutzer verzichtet werden kann [1]. Aus diesen Gründen, wird hier nur auf die Grundlagen eingegangen, die für den Einsatz in Recommendation-Verfahren benötigt werden. 5

10 2 Algorithmen und Verfahren Vektorraummodell Verfahren aus den Bereichen des booleschen und des Fuzzy Retrievals kommen im Bereich Recommendation nicht zum Einsatz. Hier wird hauptsächlich das Vektorraummodell angewandt, das mathematisch nicht viel komplexer ist, aber weitaus bessere Ergebnisse liefert. Das Vektorraummodell ist schon relativ alt und wurde 1971 im Rahmen des SMART-Projektes von Salton eingeführt [33]. Beim Vektorraummodell werden Anfragen und Dokumente als Vektoren im Raum der Wörter dargestellt. Zu jedem Wort w i, das in der Dokumentenmenge vorhanden ist, existiert eine Dimension i. Wenn ein Wort w i nicht im Dokument d j vorkommt, dann steht an der i-ten Position des Vektors des Dokuments eine 0. Wenn das Wort w i jedoch im Dokument vorkommt, steht an der Stelle i je nach Verfahren ein Wert ungleich 0, bei einfachen Verfahren eine 1 oder eine Zahl, die von der Vorkommenshäufigkeit des Wortes abhängt. Bessere Verfahren setzen das tf idf-maß ein, das auch die Aussagekraft 1 der Worte berücksichtigt. Das tfidf-maß Das tf idf-maß setzt sich aus zwei Faktoren zusammen, der inversen Dokumentenhäufigkeit (idf) und der normalisierten Vorkommenshäufigkeit (ntf) des Wortes. Inverse Dokumentenhäufigkeit Die inversen Dokumentenhäufigkeit idf i eines Wortes w i ist um so größer, je seltener das Wort in der Dokumentenkollektion D auftritt. Die Vorkommenshäufigkeit sei n i. idf i = log D n i D + 1 Normalisierte Vorkommenshäufigkeit Die normalisierte Vorkommenshäufigkeit ntf i berücksichtigt zum Einen die Vorkommenshäufigkeit tf ij eines Wortes w i in einem Dokument d j. und auf der anderen Seite berücksichtigt sie auch die Länge l j des Dokuments, indem sie sie zur durchschnittlichen Länge al aller Dokumente der Kollektion in Relation setzt (Normalisierung). ntf i = tf ij tf ij l j al tfidf Das endgültige Gewicht tfidf ij ist das Produkt der beiden Häufigkeitsbewertungen. tfidf ij = ntf i idf i 1 Wörter, die häufig in Texten auftreten, wie z.b. bestimmte Artikel (der, die, das) haben weniger Aussagekraft, als Fachbegriffe, die nur in sehr wenigen Texten auftreten (Recommendation, Korrelation). 6

11 2.1 Inhaltsbasierte Verfahren Einsatz in Recommendation Projekten Wie schon zu Beginn des Kapitels angesprochen, werden rein inhaltsbasierte Verfahren nur sehr selten eingesetzt, da sie nur eine objektive Beurteilung der Dokumente aus Sicht des Systems zulassen. Das Vektorraummodell wurde in der Arbeit [3] von Basu, Hirsh, Cohen und Nevill-Manning verwendet, deren Ziel es war den Besuchern der Konferenz AAAI 98 die Beiträge vorzuschlagen, die laut ihrem Profil 2 am Besten zu ihnen passen. Der Vergleich der Dokumente geschieht innerhalb des verwendeten Database Management Systems WHIRL ([10], [11]). Es besitzt ein SQL ähnliche Anfragesprache, die den Operator SIM enthält, um mit Hilfe des Vektorraummodells die Ähnlichkeit zweier Texte zu berechnen. Balabanovic setzt in [1] auch ein rein inhaltsbasiertes Verfahren ein, allerdings benutzt er nicht das Vektorraummodell, sondern setzt Verfahren des maschinellen Lernens ein. In seinem Projekt geht es darum, dem Benutzer Zeitungsartikel zu empfehlen. Der Benutzer kann sich in einem persönlichen Bereich Ordner anlegen, in die er die für ihn interessanten Artikel ablegen kann. Artikel, die das Recommendation- System vorschlägt, landen sofort in dem Ordner, dessen Inhalt thematisch am Besten passt. Durch Benutzeraktionen, wie das Löschen oder Verschieben von Artikeln zwischen den Ordnern, kann das System für jeden Anwender ein Profil erstellen. Die Profile werden dazu verwendet, interessante Artikel zu finden und in die entsprechenden Ordner einzusortieren. Artikel, die sich in einem Ordner befinden, dienen dabei als gute Beispiele. Als schlechte Beispiele dienen Artikel, die aus einem Ordner gelöscht oder verschoben wurden. Vor- und Nachteile für Recommendation Vorteile Inhaltsbasierte Verfahren bieten den großen Vorteil, dass die Benutzer des Systems kaum Daten eingeben müssen. Ein als interessant bewertetes Dokument reicht aus, um neue Dokumente zu finden und vorzuschlagen. So ist es für den Benutzer ohne größeren Aufwand möglich das Recommendation-Verfahren zu nutzen. Nachteile Rein inhaltsbasierte Verfahren haben allerdings den Nachteil, dass sie keine subjektive Bewertung der Objekte zulassen. Für eine gute Bewertung ist allein das Vorhandensein von Wörtern ausschlaggebend. Falls der Text allerdings schwerverständlich oder sachlich falsch ist und deswegen nicht zu empfehlen ist, führt dies nicht zu einer Abwertung. Hier sind Verfahren gefragt, die die Bewertungen anderer Anwender ausnutzen, um die Relevanz der Dokumente auf- bzw. abzuwerten. 2 Ein Profil setzt sich aus den Forschungsarbeiten der Person und den Dokumenten zusammen, die auf ihrer Homepage anbietet. 7

12 2 Algorithmen und Verfahren 2.2 Beziehungsnetzwerke Bei den Verfahren der Beziehungsnetzwerke stehen nicht die inhaltlichen Aspekte der zu Grunde liegenden Objekte im Mittelpunkt, sondern die Beziehungen zwischen den Objekten. Beziehungen können direkt sein (Textdokument Autor) oder aber über Zwischenstationen laufen (Textdokument Autor anderer Text des Autors). Die Verfahren stammen zwar zum Teil aus dem Bereich Internetsuchmaschinen, decken aber dennoch ein weiteres Spektrum ab. Man kann zwei unterschiedliche Richtungen unterscheiden. Bei der Einen geht es darum, die Objekte anhand der Anzahl ihrer Verbindungen zu bewerten, dazu gehören die hier vorgestellten Verfahren Back Link Count, PageRanks und Authorities und Hubs. Auf der anderen Seite stehen die Verfahren, bei denen es darum geht nach logischen Gesichtspunkten verwandte Objekte zu finden. Aus diesem Bereich wird hier das Verfahren Cocitation näher erläutert Back Link Count Ein sehr einfacher Ansatz, um die Link-Popularität zu bewerten, ist die eingehenden bzw. ausgehenden Verbindungen zu zählen ([40]). Im Fall einer digitalen Bibliothek könnte man die Qualität eines Textes anhand der Anzahl der Dokumente messen, die auf diesen Text verweisen. Die einfachen Verfahren haben den Nachteil, dass jeder Verweis auf ein Dokument, das gleiche Gewicht hat. In der Realität ist es allerdings oft so, dass qualitativ minderwertige Dokumente existieren, deren Verweise keine oder nur sehr wenig Aussagekraft besitzen. Die Verfahren der bewerteten Linkverfolgung, versuchen dieses Defizit auszugleichen PageRanks Das PageRanks-Verfahren [6] wird teilweise auch Back Link Count genannt, es geht jedoch über den im letzten Abschnitt vorgestellten Ansatz hinaus. PageRanks wurde von Larry Page und Sergey Brin, den Mitbegründern der Internet-Suchmaschine Google 3, in der es auch eingesetzt wird, beschrieben. Das PageRanks-Verfahren benutzt die Verweise anderer Dokumente auf das Zieldokument, um dessen Relevanz zu ermitteln. Das PageRanks-Gewicht P R(o) eines Dokumentes o hängt von zwei Faktoren ab, dem PageRanks-Gewicht der Dokumente o i, die auf o verweisen, sowie der Anzahl der Verweise innerhalb dieses Dokumentes C(o i ). P R(o) = (1 f) + i P R(o i ) C(o i ) Diese Formel stellt ein Gleichungssystem auf, das als Lösung die Gewichte liefert. Da die Anzahl der Dokumente sehr groß ist, werden in der Praxis iterative Ansätze gewählt, um das Gleichungssystem zu lösen

13 2.2 Beziehungsnetzwerke Authorities und Hubs Das Verfahren der Authorities und Hubs von Kleinberg [26] geht auch noch über das PageRanks-Verfahren hinaus. Hier werdem jedem Objekt zwei Bewertungen zugeordnet, einen Authority-Wert und einen Hub-Wert. Der Authority-Wert spiegelt die inhaltliche Qualität des Objektes wieder, und der Hub-Wert steht für die Qualität seiner Verweise. Nach diesen beiden Regeln wird nun das Gleichungssystems aufgebaut: 1. Gute Hubs verweisen auf gute Authorities. 2. Gute Authorities verweisen auf gute Hubs. Für ein Dokument o berechnet sich der Authority-Wert A(o) aus den Hub-Werten, der auf sie verweisenden Dokumente o i, wobei C(o i ) für die Anzahl der ausgehenden Verweise von o i steht. A(o) = i H(o i ) C(o i ) Der Hub-Wert eines Dokumentes A(o) berechnet sich wiederum aus den Authority-Werten der Dokumente o j, auf das es verweist. C(o) ist hier die Anzahl der ausgehenden Verweise des Objektes o. H(o) = j A(o j ) C(o) Die Berechnung des Gleichungssystems erfolgt analog zu dem des PageRanks- Verfahren. Die besten Treffer sind die Objekte mit den höchsten Authority-Werten Cocitation Bei dem Cocitation-Verfahren geht es darum, verwandte Objekte zu identifizieren und gleichzeitig deren Relevanz zu bewerten. Dazu geht es von der Annahme aus, dass Objekte hauptsächlich auf ähnliche bzw. verwandte Objekte verweisen. Es verfolgt die Verweise, sammelt die gefundenen Objekte und bewertet sie nach der Häufigkeit ihres Auftretens in der Treffermenge. Als Eingabe wird ein Objekt o gewählt. Das Objekt hat einen Menge von Nachfahren N(o), Vorfahren V (o) und Geschwister G(o). Die Geschwister berechnen sich wie folgt: G(o) = N(V (o)) V (N(o)) Die relevanten Dokumente sind die, die am Häufigsten auftreten. Ein Vergleich der Verfahren Cocitation und Authorities und Hubs findet sich in [12]. 9

14 2 Algorithmen und Verfahren Einsatz in Recommendation Projekten Beziehungsnetzwerke kommen im Bereich Recommendation nur selten zum Einsatz. Demiriz [13] ersetzt Bayesian-Netzwerke durch Beziehungsnetzwerke, da sie sich leichter aufbauen lassen, und füllt es mit Wahrscheinlichkeiten, um sie auszuwerten. Schein et al. [38], [39] benutzen die Abhängigkeiten von Drehbuchautor, Regisseur, Film, um die Wahrscheinlichkeitsbelegungen in einem Bayesian-Netzwerk festzulegen. Vor- und Nachteile für Recommendation Vorteile Im Gegensatz zu den inhaltsbasierten Verfahren können mit Hilfe von Graphenstrukturen Popularitätswerte ermittelt werden, auch wenn die Benutzer diese nicht explizit eingeben. So kann man aus den Verweisen zwischen den Objekten Aussagen zu deren Relevanz treffen. Bei Webseiten oder wissenschaftlichen Arbeiten lassen sich so recht gute Popularitätswerte ermitteln. Auch der Einsatz von Netzwerken, um verwandte Objekte zu finden, bringt Vorteile, da die Verweise zwischen den Objekten meistens im selben Sachgebietbleiben. In wissenschaftlichen Arbeiten beziehen sich die Verweise häufig auf Vorarbeiten oder thematische Grundlagen, die für diesen Text relevant sind. Nachteile In Bereichen in denen die Verbindungen keine bewertende Funktion haben, z.b. bei Filmen (Schauspieler Film die Anzahl der Schauspieler ist kein Qualitätsmerkmal), können die Verfahren nicht angewandt werden. Ein anderes Problem sind Objekte, bei denen Vorschläge nicht auf deren Ähnlichkeitsgrad zurückzuführen sind, sondern zwischen denen auf den ersten Blick keinerlei Zusammenhang besteht. Eine der ersten Vorschläge des Recommendation-Systems der Firma SkyMall war ein luxuriöser Zigarren-Humidor, nachdem der Benutzer zuvor ein blaues Wollhemd bestellt hatte [17]. Diese Verbindung kann man nicht von den Produkten direkt ableiten, in diesem Fall müsste man das Kaufverhalten der Benutzer beobachten, was aber dem Gedanken der Beziehungsnetzwerke wiederspricht. 2.3 Kollaboratives Filtern Im Gegensatz zu den Verfahren, die in den letzten beiden Abschnitten vorgestellt wurden, werden beim kollaborativen Filtern nicht die inhaltlichen Eigenschaften der zu bewertenden Objekte oder die Beziehungen der Objekte untereinander ausgewertet. Die Algorithmen benötigen die Interessen des Benutzers, um Vorhersagen zu treffen. Die Bewertungen der Benutzer liegen in einer Dokument-Benutzer Matrix, diese Matrix ist naturgemäß sehr spärlich besetzt, was auch das Hauptproblem des kollaborativen Filterns darstellt. Die Aufgabe der Verfahren besteht nun darin, die fehlenden Werte der Matrix so gut wie möglich zu schätzen. Kollaboratives Filtern hat sich als Standardverfahren im Bereich Recommendation etabliert. Die aktuelle Forschung konzentriert sich zur Zeit darauf, die kleineren 10

15 2.3 Kollaboratives Filtern Probleme der Algorithmen zu lösen, diese Ansätze werden in den Abschnitten 2.4 und 2.5 besprochen. Kollaboratives Filtern wird häufig mit inhaltsbasierten oder Netzwerk-Techniken kombiniert, um die Defizite der Verfahren auszugleichen. In der Literatur (siehe dazu [5]), werden zwei Arten des kollaborativen Filterns unterschieden. Zum Einen die Memory-Based-Verfahren und zum Anderen die Model- Based-Verfahren Memory-Based Verfahren Die Memory-Based Verfahren operieren auf dem kompletten Datenbestand, um fehlende Bewertungen des aktuellen Benutzers zu schätzen. Sie berechnen die fehlenden Einträge der Dokument-Benutzer Matrix, indem sie die Bewertungen der Benutzer zusammenrechnen, die die Objekte schon beurteilt haben. Die Bewertungen der Benutzer, bei dem die Ähnlichkeiten zum aktuellen Benutzer maximal ist, werden dabei stärker gewichtet, als die der Benutzer, die ein völlig anderes Bewertungsverhalten aufweisen. Oft werden auch nur die Bewertungen der ähnlichsten Benutzer (nächsten Nachbarn) in die Berechnung aufgenommen, da dies die Rechenzeit reduziert und die Ergebnisse verbessert. Die Verfahren lassen sich in zwei unabhängige Schritte unterteilen: 1. Berechnung der ähnlich Ähnlichkeitswerte (Benutzer Benutzer) 2. Berechnung der fehlenden Einträge der Dokument-Benutzer Matrix Vorarbeit Als Vergleichsgrundlage werden nicht die absoluten Bewertungen v u,o des Benutzers u für das Objekt o herangezogen, sondern immer nur die Abweichung zur Durchschnittsbewertung v u des jeweiligen Benutzers. Dies geschieht, um den unterschiedlichen Abstimmungsverhalten Rechnung zu tragen. Einige Benutzer neigen dazu positive Beurteilungen abzugeben, andere geben eher negative Beurteilungen ab. v u = 1 I u u j I u v u,oj Berechnung der Ähnlichkeiten Die Ähnlichkeit der Benutzerprofile kann auf verschiedene Arten berechnet werden. Am Verbreitetsten sind Pearson Correlation [23] und die Vektorähnlichkeit nach Salton [32], die auch schon bei den inhaltsbasierten Verfahren auf Seite 6 besprochen wurde. o Pearson Correlation w(u 1, u 2 ) = (v u 1,o v u1 )(v u2,o v u2 ) o (v u 1,o v u1 ) 2 o (v u 2,o v u2 ) 2 11

16 2 Algorithmen und Verfahren Vektorähnlichkeit w(u 1, u 2 ) = v u1,o i v u2,o i o i o j I v2 u1 u 1,o j o j I v2 u2 u 2,o j Berechnung der Bewertungen Aus den Bewertungen aller Benutzer oder den nächsten Nachbarn kann nun die erwartete Bewertung p u,o des Benutzers u für das Objekt o berechnet werden. ni=1 w(u, u i )(v ui,o v ui ) p u,o = v u + ni=1 w(u, u i ) Model-Based Verfahren Im Gegensatz zu den Memory-Based Verfahren, benutzen die Model-Based- Verfahren die vorhandenen Bewertungen nicht unmittelbar für die Berechnung fehlender Einträge der Dokument-Benutzer Matrix. Sie lernen oder schätzen aus dem vorhandenen Datenbestand in einem Zwischenschritt ein Modell, mit dessen Hilfe sie die fehlenden Einträge der Dokument-Benutzer Matrix berechnen. Prinzipiell kann hier so gut wie jedes Lernverfahren angewendet werden, doch werden einige Verfahren häufiger verwendet als andere Bayesian-Netzwerke Das Verfahren, das am Häufigsten zur Anwendung kommt, ist das der Bayesian- Netzwerke. Ein solches Netzwerk besteht aus Knoten und gerichteten Kanten. Eine Kante symbolisiert eine direkte Abhängigkeit zwischen den Knoten. Zu jedem Knoten gibt es eine Tabelle, in der festgehalten wird, mit welcher Wahrscheinlichkeit, abhängig von seinen Elternknoten, welcher Zustand eintrifft. Das Netzwerk wird mit Hilfe der vorhandenen Benutzerbewertungen aufgebaut. Was dabei von den Knoten repräsentiert wird, hängt jeweils vom Typ des Verfahrens ab. Im einfachsten Fall symbolisiert ein Knoten die Relevanz eines Objektes aus der Datenbank. Knoten können allerdings auch für Objekte angelegt werden, zu denen nur Meta- Informationen vorhanden sind [38], bei einer Filmdatenbank, wären das z.b. Drehbuchautor oder Schauspieler, die als Knoten repräsentiert werden, um weitere Abhängigkeiten zu erzeugen. Hofmann [24] hat noch eine latente Variable eingefügt, die den Geschmack des Benutzers repräsentiert. So werden auch Verbindungen zwischen Objekten hergestellt, die sich nur aus dem Benutzerverhalten herleiten lassen Lernverfahren Es kommen aber auch andere Lernverfahren zum Einsatz. Cohen hat ein auf Mengen basiertes Lernverfahren entwickelt ([8]), das er erfolgreich in einem Recommendation System für Filme eingesetzt hat [9]. Das Verfahren besteht aus vier Schritten: 12

17 2.3 Kollaboratives Filtern 1. Einteilen von Benutzergruppen für die Filme 2. Einteilen von Filmgruppen für die Benutzer 3. Benutzer- und Filmgruppen miteinander assoziieren 4. Lernverfahren starten Zuerst teilt er die Benutzer für jeden Film anhand ihrer Bewertungen in zwei Gruppen ein, die Eine bewertet den Film positiv, die Andere negativ. Entsprechend geht er auch bei den Filmen vor. Für jeden der Benutzer unterscheidet er zwei Gruppen, in die erste Gruppe werden die positiv bewerteten Filme einsortiert, in die Zweite die Negativen. Aus den Bewertungen lassen sich Zweier-Tupel bilden, die entweder aussagen, dass der Benutzer den Film positiv bewertet hat +(Benutzer,Film), bzw. dass der Benutzer den Film negativ bewertet hat (Benutzer,Film). Nun werden die Gruppen aus vorhergehenden Schritten folgendermaßen assoziiert: +(Benutzer,Film) ({Filme, die der Benutzer positiv bewertet hat}, {Benutzer, die den Film positiv bewertet haben}) (Benutzer,Film) ({Filme, die der Benutzer negativ bewertet hat}, {Benutzer, die den Film negativ bewertet haben}) Auf den Mengen, die im dritten Schritt gegenüber gestellt wurden, lernt nun sein Verfahren und klassifiziert die Benutzer. Einsatz in Recommendation Projekten Wie zu Beginn schon angesprochen, wird kollaboratives Filtern in der Praxis meistens mit anderen Verfahren kombiniert, mit diesen Ansätzen beschäftigt sich der Abschnitt Hybride Verfahren. Zwei Forschungsprojekte an der Universität Minnesota, GroupLens 4 und MovieLens 5, setzten jedoch im Kern auf Algorithmen des kollaborativen Filterns, ohne auf Erweiterungen um inhaltsbasierte oder Netzwerk- Techniken zurückzugreifen. Beim GroupLens-Projekt geht es darum, dem Benutzer Newsgroup-Artikel zu empfehlen [27]. Dies macht vor allem bei Newsgroups wie alt.rec.humor Sinn, bei denen der Inhalt der Postings nicht zu schnell veraltet. Da es einige Zeit dauert, bis neue Artikel von genügend Benutzern bewertet wurden, können sie in dieser Zeit nicht vorgeschlagen werden. Filme vorzuschlagen ist die Aufgabe des MovieLens-Projektes [23]. Das System ist nach 15 bis 20 Bewerteten eines Benutzer dazu in der Lage gute Vorschläge

18 2 Algorithmen und Verfahren zu berechnen. vorzuschlagen. MovieLens greift auf die Inhalte der Filmdatenbank IMDB 6 zu, die auch von anderen Recommendation-Projekten genutzt werden. Vor- und Nachteile für Recommendation Vorteile Der große Vorteil des kollaborativen Filterns gegenüber den Verfahren, die nur den Inhalt der Objekte bzw. die Beziehungen zwischen den Objekten auswerten, um Bewertungen vorauszusagen, liegt in der Verwendung der subjektiven Qualität. Das heißt die Beurteilung, ob ein Objekt für einen Benutzer interessant ist, basiert auf den Bewertungen von anderen Benutzern und nicht auf einem Systemmaß wie der Textähnlichkeit. Nur so ist es möglich den Benutzern ein individuelles Ergebnis zu präsentieren. Nachteile Das Problem, dem alle Systeme zu Beginn gegenüberstehen, sind spärlich besetzte Dokument-Benutzer Matrizen. Da am Anfang noch keine oder nur sehr wenig Benutzer existieren, gibt es auch kaum auswertbare Bewertungen. In dieser Phase sind die Ergebnisse erwartungsgemäß schlecht. Ein anderes Problem sind die schwarzen Schafe, das sind Benutzer, deren Vorlieben stark von den Vorlieben der anderen Benutzer abweichen, deshalb ist es nicht möglich für sie eine Nachbarschaft zu ermitteln, die groß genug ist, um gute Vorhersagen zu berechnen. Bei größeren Datenmengen wird auch die Skalierbarkeit ([26], [34]) der Berechnung zu einem Problem. Die kollaborativen Verfahren haben zwar keine exponentielle oder quadratische Laufzeit, jedoch wächst ihre Komplexität mit der Anzahl der Benutzer und der Anzahl der Datenobjekte. Bei einem Internet-Shop mit Tausenden von Kunden und Millionen von Artikeln, kann die Rechenzeit schon vom Benutzer als zu lang empfunden werden. 2.4 Modifiziertes kollaboratives Filtern Um die Probleme, die das kollaborative Filtern mit sich bringt zu umgehen, existieren zwei unterschiedliche Ansätze. Der erste Ansatz ist, die Berechnung des Verfahrens so anzupassen, dass es einige der Probleme umgeht, diese Richtung wird in diesem Abschnitt erläutert. Der andere Ansatz ist, einen kollaborativen Algorithmus mit anderen Verfahren zu kombinieren, um einen hybriden Ansatz zu erstellen. Dieser Ansatz wird im nächsten Abschnitt besprochen Item-Based kollaboratives Filtern Ein Problem des kollaborativen Filterns ist die Skalierbarkeit. Bei großen Datenmengen kann es dazu kommen, dass die Berechnung der Antwort on-demand zu lange dauert. Es bietet sich also an, so viele Berechnungen wie möglich schon vor

19 2.4 Modifiziertes kollaboratives Filtern einer Anfrage in einem Offline-Schritt durchzuführen. Das ist die Idee, die hinter dem Item basierten Verfahren steht ([34], [25]). Des weiteren wird auch die Qualität der Ergebnisse für Benutzer mit wenigen Bewertungen verbessert, da nicht mehr die Ähnlichkeit der Benutzer berechnet wird, sondern die der Objekte (Items). Ähnlichkeitsberechnung Der erste Schritt des Algorithmus ist wie bei den Standardverfahren auch die Ähnlichkeitsberechnung. Als Eingabe dient auch hier die Dokument-Benutzer Matrix. Allerdings werden hier nicht die Ähnlichkeit der Benutzer, sondern der Objekte berechnet, es werden also die Spaltenvektoren und nicht die Zeilenvektoren verglichen. Als Ähnlichkeitsbewertungen werden auch das Kosinusmaß und die Pearson Korrelation benutzt. Da die Änderungen eines Benutzers i nur einen sehr geringen Einfluss auf die Dokumenten-Ähnlichkeiten haben, reicht es, diesen Schritt offline einmal täglich zu erledigen. Den Objekten o j werden nun jeweils die n ähnlichsten Objekte {s j1,..., s jn } zugeordnet. Bewertungen berechnen Im zweiten Schritt werden die Vorhersagen für die Bewertung der interessanten, aber von den Benutzern noch nicht bewerteten Objekte berechnet. Interessant bedeutet, dass das Objekt zu einem bewerteten Objekt als ähnlich eingestuft wurde. U sei die Menge der Objekte, die der Benutzer bewertet hat, dann ist C die Menge der Kandidaten, in der sich alle ähnlichen Objekte zu den bewerteten Objekten befinden. C = {c c / U c {s j1,..., s jn }} Nun werden die Ähnlichkeiten der Objekte c C zur Menge U berechnet. Die Ähnlichkeit sim(c, U) ist die gewichtete Summe der Ähnlichkeiten zwischen allen u U und c. Hier werden allerdings nur die ersten n Ähnlichkeiten berücksichtigt, die zuvor im Offline-Schritt berechnet wurden, alle anderen Ähnlichkeiten sind gleich 0. Als Gewicht wird jeweils die Bewertung des Benutzers für u gewählt. u U P i,c = (sim(u, c) R i,u) ( sim(u, c) ) u U Singular Value Decomposition Singular Value Decomposition (SVD) ist ein mathematisches Verfahren zur Reduktion der Dimensionen einer Matrix. Dabei wird eine (n m)-matrix so zu einer (k k)- Matrix transformiert, dass sich die beste k dimensionale Approximation ergibt. Die Dimensionen entsprechen nach der Transformation nicht mehr den Objekten, sondern stehen für Themen. Die SVD wird auch beim Textretrieval in Verfahren des Latent Semantic Indexing (LSI) eingesetzt. 15

20 2 Algorithmen und Verfahren Hinter dem Verfahren steht die Idee, dass verborgene (latente) Informationen in der Dokument-Benutzer Matrix vorhanden sind, die mit den normalen Algorithmen nicht genutzt werden. Das können z.b. Objekte sein, die nicht zusammen in einem Profil vorkommen, sondern nur in ähnlichen Profilen bewertet werden. Durch die Reduktion der Dimension werden die nachfolgenden Ergebnisse verändert, durch die Berücksichtigung der latenten Informationen, werden die Ergebnisse allerdings in die richtige Richtung verändert. Ablauf des Verfahrens Die modifizierten kollaborativen Filter-Algorithmen laufen im Prinzip genauso ab, wie die normalen kollaborativen Verfahren auch, allerdings wird hier ein zusätzlicher Vor- und Nachverarbeitungsschritt einfügt. Im Vorverarbeitungsschritt wird die Dokument-Benutzer Matrix mit Hilfe der SVD transformiert. Nun wird auf die reduzierte Matrix das kollaborative Filtern angewendet. Der Ergebnisvektor wird im Nachverarbeitungsschritt wieder in den ursprünglichen Raum transformiert und kann nun normal weiterverarbeitet werden. Einsatz in Recommendation Projekten Beide Verfahren wurden von Mitgliedern des MovieLens-Projekts entwickelt und evaluiert. Als Eingabedaten konnten sie auf die umfangreiche MovieLens Datenbank zurückgreifen. Das Item basierte Verfahren wird in [34], [25] besprochen. Der Einsatz der SVD wird in [35] behandelt. Vor- und Nachteile für Recommendation Vorteile Die modifizierten Verfahren wurden speziell dazu entwickelt die Probleme der kollaborativen Algorithmen zu lösen. Das Item basierte Verfahren erreicht durch die Trennung in eine Offline- und eine Online-Komponente eine verbesserte Skalierbarkeit, als die traditionellen Verfahren. Außerdem liefert es auch für Benutzer, die wenige Bewertungen abgegeben haben, schon gute Ergebnisse, da das Verfahren nicht mehr auf eine genaue Bestimmung der Nachbarschaft angewiesen ist. Die Verfahren die Singular Value Decomposition einsetzten, erzielen schon alleine durch das Ausnutzen der latenten Informationen etwas bessere Ergebnisse. Durch die zusätzlichen Informationen werden auch die Probleme der schwarzen Schafe und der spärlich besetzten Matrizen gemildert. Das Auslagern des Vorverarbeitungsschritts, verbessert außerdem die Skalierbarkeit, da das kollaborative Verfahren nur noch eine wesentlich kleinere Matrix bearbeiten muss. Nachteile Das Item basierte Verfahren liefert unter Umständen etwas schlechtere Ergebnisse, da es nicht mehr alle vorhandenen Daten in seine Berechnung aufnimmt. Da es aber nur die wenig relevanten Daten unbeachtet lässt, werden die Ergebnisse nicht wesentlich verfälscht. 16

21 2.5 Hybride Verfahren Den Nachteil, den die SVD hat, ist der benötigte Rechenaufwand. Um die SVD einsetzen zu können, muss der Vorverarbeitungsschritt offline ausgeführt werden. 2.5 Hybride Verfahren Im Gegensatz zu den modifizierten Ansätzen werden bei den hybriden Ansätzen nicht die Verfahren verändert, sondern mit einander kombiniert. Am Häufigsten wird das kollaborative Filtern als Ausgangsbasis gewählt und um inhaltsbasierte Techniken ergänzt. Dabei spielt es keine Rolle, ob es sich um Modell oder Memory basiertes kollaboratives Filtern handelt. Bei den reinen Verfahren wurden schon kurz Kombinationsmöglichkeiten erwähnt, ohne sie jedoch im Detail zu besprechen. Das wird nun in diesem Abschnitt nachgeholt. Zunächst werden die verschiedenen Möglichkeiten besprochen, mit denen die unterschiedlichen Verfahren kombiniert werden können. Anschließend wird ein Überblick über die Ergebnisse gegeben, die wissenschaftliche Projekte gesammelt haben Parallele Ausführung Die einfachste Variante zwei Recommendation Verfahren zu kombinieren ist, sie parallel und völlig unabhängig voneinander auszuführen, um anschließend ihre Ergebnisse zu kombinieren. Die Kombination kann dabei unter unterschiedlichen Gesichtspunkten erfolgen. Die Verfahren können als gleichwertig betrachtet werden, so dass ihre Ergebnisse P 1 und P 2 einfach addiert werden können. Andererseits können die Verfahren je nach Qualität ihrer Ergebnisse gewichtet (w 1, w 2 ) werden. P = P 1 + P 2 2 bzw. P = w 1 P 1 + w 2 P 2 w 1 + w 2 Anstelle einer festen Gewichtung, können die Gewichte je nach Qualität der Antwort auf eine Anfrage individuell angepasst werden. Bei schwarzen Schafen, denen beim kollaborativen Filtern keine eindeutige Nachbarschaft zugeordnet werden kann, ist es so möglich ein starkes Gewicht auf inhaltsbasierte Verfahren zu legen, um so trotzdem möglichst gute Ergebnisse zu erzielen Kombinierte Ausführung Die Verfahren können sich aber auch direkt beeinflussen, indem das Ergebnis des einen Verfahrens die Eingabedaten des Anderen liefert. Das Problem bei einer spärlich besetzten Dokument-Benutzer-Matrix liegt darin, genügend Nachbarn zu finden, da es kaum Übereinstimmungen zwischen den Benutzern gibt. Die fehlenden Einträge können jedoch durch ein inhaltsbasiertes Verfahren geschätzt werden, so dass das kollaborative Filtern die Nachbarschaftssuche auf einer vollbesetzten Matrix durchführen kann. 17

22 2 Algorithmen und Verfahren Agentenbasiert Prinzipiell dienen auch bei den agentenbasierten Verfahren die Ergebnisse eines Verfahrens als Eingabe für ein anderes Verfahren, jedoch ist die Idee eine etwas andere. Ein Agent gibt Bewertungen ab, wie ein normaler Benutzer, die auch in die Dokument-Benutzer-Matrix aufgenommen werden. Die Agenten verfolgen dabei eine Strategie, die beliebig komplex sein kann. Es gibt einfache Agenten, die nur die Textlänge [36] bewerten, über klassifizierende Agenten [18], die jeweils die Objekte aus ihrem Gebiet / Genre als gut bewerten. Bis hin zu Doppelgänger-Agenten, die als Ausgangsbasis einen Benutzerdatensatz erhalten, und für den sie mit Hilfe einfacher oder komplexer Verfahren Bewertungen ableiten [18]. Da die Agenten zu jedem Objekt eine Bewertung abgeben können, können Brücken von einem Benutzer zu einem Anderen geschlagen werden. Des weiteren können so einfache Zusammenhänge Benutzer u mag Komödien besser ausgewertet werden. Einsatz in Recommendation Projekten Die parallele Ausführung von Recommendation Verfahren wird von der P-Tango Online-Zeitung eingesetzt, um den Benutzern die Artikel anzuzeigen, die sie interessieren [7]. Dazu gibt der Benutzer als Eingabedaten für das kollaborative Filtern Bewertungen zu den Artikeln ab, die ihm präsentiert werden. Zum Anderen, kann er für die inhaltsbasierte Suche die Bereiche Sport, Wirtschaft der Zeitung auswählen, die ihn besonders interessieren. Und dazu kann er noch eine Liste von Schlagwörtern angeben, die zu besseren Bewertungen führen sollen. Die kombinierte Ausführung wird von Melville [28] eingesetzt, um den Benutzern Filme vorzuschlagen. Dabei stammen die Benutzerbewertungen von EachMovie 7 und die Informationen über den Inhalt des Films von imdb.com 8. Diese Daten bilden auch in anderen Projekten die Grundlage. Agenten, die Benutzerbewertungen abgeben, wurden vom GroupLense-Projekt und vom MovieLense-Projekt eingesetzt. Im GroupLense-Projekt, das Newsgroup- Artikel vorschlägt, kamen nur Agenten mit sehr einfachen Strategien zum Einsatz [36]. Sie setzten einen Agent ein, der die Bewertung hinsichtlich der Länge berechnet und einen Agent, der Bewertungen anhand der Anzahl der Rechtschreibefehler in den Artikeln trifft. Allerdings erzielten sie damit nur in bestimmten Fällen Erfolge, so dass sich keine allgemeingültigen Regeln ableiten lassen, sondern immer speziell auf den Aufgabenbereich zugeschnittene Verfahren benutzt werden müssen. Das MovieLense-Projekt setzte vor allem komplexe Bewertungsstrategien ein und hatte damit größeren Erfolg [18]. Sie setzten die oben beschriebenen Genre- und Doppelgänger-Agenten ein und kamen zu den folgenden Ergebnissen:

23 2.5 Hybride Verfahren die Kombination von verschiedenen Agenten liefert bessere Ergebnisse als einzelne Agenten kollaboratives Filtern auf den Agentendatensätzen liefert bessere Ergebnisse als kollaboratives Filtern auf den Benutzerdatensätzen die besten Ergebnisse werden erzielt, wenn alle Benutzer- und Agenten Datensätze gemeinsam betrachtet werden Vor- und Nachteile für Recommendation Vorteile Hybride Verfahren bieten den Vorteil, dass sie unterschiedliche Datenquellen Bewertungen der Benutzer, Informationen über die Objekte, Beziehungen zwischen den Objekten verbinden können, und so wesentlich mehr Informationen zur Verfügung haben. Dadurch ist es möglich Wissenslücken einzelner Datenquellen zu schließen und neue Beziehungen zu entdecken. Die Ergebnisse der vorhandenen Projekte haben gezeigt, dass sich schon durch die Kombination einfacher Algorithmen gute Ergebnisse erzielen lassen. Nachteile Es besteht die Gefahr, ein gutes Ergebnis durch die Kombination mit schlechten Ergebnissen zu verfälschen, deshalb muss für jeden Anwendungsfall die Qualität der Ergebnisse der zur Verfügung stehenden Verfahren und deren Kombinationen betrachtet und jeweils eine passende Auswahl getroffen werden. 19

24 2 Algorithmen und Verfahren 20

25 3 Entwurf Dieses Kapitel beschäftigt sich mit den Frage, welche der oben vorgestellten Verfahren sich am Besten für den Einsatz in der verteilten digitalen Bibliothek DAFFODIL eignen, und wie man gegebenenfalls verschiedene Algorithmen miteinander verbinden kann, um die Ergebnisse zu verbessern. Zu Beginn werden die Besonderheiten von DAFFODIL erläutert, die bei dem Entwurf eines Recommendation-Verfahrens von Bedeutung sind. Dabei werden die vorkommenden Datentypen besprochen und die Benutzerprofile erklärt. Danach geht es um das vorhandene Recommendation-Modul, das von der Projektgruppe 381 entwickelt wurde, dabei wird besonders auf dessen Vor- und Nachteile eingegangen. Anschließend wird auf der Grundlage eines vorhandenen ersten Entwurfs [16] und den Algorithmen aus Kapitel 2 ein neues Verfahren skizziert, das die von DAFFODIL bereitgestellten Daten besser ausnutzt. 3.1 DAFFODIL Objekttypen DAFFODIL kennt die folgenden Objekttypen: Metadaten In den Metadaten werden die grundlegenden Eigenschaften wie Titel und Autor abgelegt. Wenn die angesprochenen Dienste auch weitergehende Daten zur Verfügung stellen, wie eine kurze Zusammenfassung des Inhalts, das Erscheinungsjahr oder das Journal bzw. die Konferenz in dem der Artikel erschienen ist, so werden sie auch in die Metadaten aufgenommen. Volltexte Volltexte werden im Allgemeinen als Verweis auf PostScript- bzw. PDF- Dateien gespeichert. Wenn ein angesprochener Suchdienst ein Volltext-Dokument beinhaltet, wird die URL der Datei in dem zugehörigen Metadaten-Objekt gespeichert. Allerdings können die Benutzer auch gezielt Volltext-Dokumente in DAFFO- DIL ablegen, die sie lokal gespeichert haben. Autor Zu einem Autor-Objekt werden nur die nötigsten Informationen wie Vorund Nachname gespeichert. Eventuell liegt dem Objekt auch noch die URL der Homepage bei. Journal Mit einem Journal ist in DAFFODIL nicht eine spezielle Ausgabe mit seinen Artikeln gemeint, sondern die Gesamtheit aller Jahrgänge und Ausgaben einer 21

26 3 Entwurf Journalreihe. Die einzelnen Jahrgänge (Volume) und Ausgaben (Number) werden separat betrachtet. Konferenz Für die Konferenzen gilt das Gleiche wie für die Journale, auch hier ist bei jährlichen Veranstaltungen die komplette Konferenzserie gemeint. Die einzelne Veranstaltung heißt in DAFFODIL Proceeding. Anfragen Die Anwender können ihre Suchanfragen (Query) speichern, die sie über DAFFODILs Suchfunktion gestellt haben. So ist es möglich die Ergebnisse einer erfolgreichen Suche zu sichern, ohne alle Objekte der Trefferliste einzeln abzuspeichern. Webseite Zu einer Webseite wird nicht der Inhalt abgelegt, sondern nur ihre URL. Verweise Um überflüssige Redundanzen, in den im nächsten Abschnitt vorgestellten persönlichen Handbibliotheken zu vermeiden, kann der Benutzer auch anstelle von den richtigen Objekten Verweise einfügen, die auf die konkreten Objekte in den anderen Ordnern verweisen. Die Verweise werden vom Datentyp Link abgedeckt Benutzerprofile DAFFODIL bietet im Gegensatz zu anderen digitalen Bibliotheken einen personenbezogenen Zugang an, so dass es dem Benutzer möglich ist, seine Arbeit an der Position fortzuführen, an der er sie zuvor beendet hat. Das wird dadurch erreicht, dass sich jedem Benutzer eine persönliche Handbibliothek zur Verfügung steht. Dort kann er die Objekte Autoren, Artikel, Anfragen, Webseiten, etc. ablegen, die für ihn von Interesse sind. In der Handbibliothek hat er die Möglichkeit die abgelegten Objekte in einer beliebigen Ordnerhierarchie zu strukturieren. Die Objekte kann der Benutzer aus Trefferlisten oder auch aus öffentlich zugänglichen Ordnern anderer Benutzer oder Gruppen kopieren. Die Benutzer können in DAFFODIL nicht explizit einzelne Objekte bewerten, dies geschieht implizit über den Inhalt ihrer Handbibliotheken. So können z.b. die gespeicherten Objekte als gut und alle anderen als nicht bewertet betrachtet werden. Die Möglichkeit den Handapparat nach persönlichen Gesichtspunkten zu gliedern, bietet auch den Vorteil, dass die Objekte in einen thematischen Kontext gesetzt werden können. Das kann ein Recommendation-Verfahren nutzen, um die Objektvergleiche zu verbessern. Analog zu den Benutzerprofilen existieren auch Gruppenprofile. Benutzer können beliebig vielen Gruppen zugeordnet werden, auf deren Handbibliotheken sie dann vollen Zugriff besitzen. 3.2 Ansatz der Projektgruppe Die Projektgruppe 381 hat schon einen einfachen Recommendation-Ansatz [2] entworfen, den hier kurz erläutert wird. Die Projektgruppe hat ein hybrides Verfahren 22