Recommender Systems. Stefan Beckers Praxisprojekt ASDL SS 2006 Universität Duisburg-Essen April 2006

Transkript

1 Recommender Systems Stefan Beckers Praxisprojekt ASDL SS 2006 Universität Duisburg-Essen April 2006

2 Inhalt 1 - Einführung 2 Arten von Recommender-Systemen 3 Beispiele für RCs 4 - Recommender-Systeme und Daffodil 5 Schwächen von Recommender-Systemen 6 - Fazit

3 1. - Einführung Aufgaben von Recommender-Systemen Empfehlungssysteme, die den Nutzer bei der Entscheidungsfindung unterstützen Automatisch generierte Empfehlungen Schlußfolgerung auf Basis von vorhandenen Daten

4 1. - Einführung Motivation Bessere und effizientere Nutzung der Informationsmenge des WWW Eigene Recherche ohne fremde Hilfe immer schwieriger Suchmaschinen nicht personalisiert genug bei Darstellung und Suche

5 1. - Einführung Aufbau eines Recommender-Systems

6 1. - Einführung Einsatzgebiete E-Commerce E-Learning Informations- und Nachrichtenportale...

7 2. - Arten von Recommender-Systemen Arten von Recommender-Systemen Regelbasiert Wissensbasiert Inhaltsbasiert (content-based filtering) Empfehlungsbasiert (collaborative filtering)

8 2. - Arten von Recommender-Systemen Regelbasierte Recommender-Systeme Empfehlungen basieren auf Regeln der Form Wenn A, dann B Wissensbasierte Recommender-Systeme Funktionales Wissen, wie Objekte mit den Bedürfnissen des Benutzers übereinstimmen Nachteil: Knowledge Engineering

9 2. - Arten von Recommender-Systemen Content-based filtering Ähnlichkeit von Objekten wird über deren Eigenschaften bestimmt Das System sucht Objekte heraus, deren Attribute identisch oder ähnlich zu den bisher positiv bewerteten sind

10 2. - Arten von Recommender-Systemen Content-based filtering Ursprung aus dem Information Retrieval Wird meistens für Textdokumente angewendet Objekte sind nun Dokumente mit Textinhalten Findet in der Praxis Anwendung bei Bibliotheken, Webseiten, Informationsportalen oder Newsgroups

11 2. - Arten von Recommender-Systemen Algorithmen Boolean Matching - Relevanz ist abhängig von der Existenz bestimmter Eigenschaften des Objekts. - Binäre Bewertung des Dokumentes - Schlüsselwörter können mit AND, OR, NOT verknüpft werden - Rangfolge bezüglich der Relevanz nicht ohne weiteres möglich

12 2. - Arten von Recommender-Systemen Algorithmen Vektorraummodell

13 2. - Arten von Recommender-Systemen Collaborative filtering Grundlage ist die Beziehung zwischen Objekten und Benutzern Objekte sind ähnlich, wenn sie ähnlich bewertet wurden

14 2. - Arten von Recommender-Systemen Collaborative filtering Zwei Arten von Algorithmen - Speicherbasiert - Modellbasiert

15 2. - Arten von Recommender-Systemen Speicherbasiert Proximitätsberechnung Berechnung der Ähnlichkeit zwischem dem aktiven Benutzer und den in der Datenmatrix gespeicherten mittels kosinusbasiertem oder korrelationsbasiertem Ähnlichkeitsmaß Liefert Werte [0;1] Liefert Werte [-1;1]

16 2. - Arten von Recommender-Systemen Speicherbasiert Ermittlung der ähnlichen Benutzer (Mentoren) - Ähnlickeitsmaß muß berechenbar sein - Benutzer b muß mindestens ein noch nicht von a bewertetes Objekt bewertet haben - Mindestähnlichkeit möglich

17 2. - Arten von Recommender-Systemen Speicherbasiert Ähnlichkeit zwischen Nutzer 1 und allen anderen Nutzern Beispiel für Rambo :

18 2. - Arten von Recommender-Systemen Modellbasiert Verfahren basiert auf einem Modell, das auf Basis der Bewertungen der Datenmatrix erlernt wurde Modell wird in der Offline-Phase erstellt Prognose kann somit schnell erstellt werden Clustermodelle, Bayessche Netze

19 - Benutzer mit ähnlichen Präferenzen werden in Clustern zusammengefaßt - In der Phase der Clusteranalyse werden die Nutzer eingeteilt - Ziel: Nutzer eines Clusters möglichst ähnlich, Nutzer verschiedener Cluster möglichst unähnlich - Während der Laufzeitphase wird der aktive Benutzer probabilistisch den Clustern zugeordnet - Die Objekte, die empfohlen werden, sind diejenigen, die von den anderen Nutzern des Clusters positiv bewertet wurden 2. - Arten von Recommender-Systemen Modellbasiert Clustermodell

20 2. - Arten von Recommender-Systemen Modellbasiert

21 2. - Arten von Recommender-Systemen Modellbasiert Filme Personen Wahrscheinlichkeiten für jede Person/Film-Cluster - Kombination

22 2. - Arten von Recommender-Systemen Modellbasiert Bayessche Netze

23 2. - Arten von Recommender-Systemen Hybride Systeme Kombination aus zwei oder mehr Verfahren Meistens Collaborative filtering kombiniert mit einem anderen Verfahren Beispiel: Item-based Collaborative filtering von Amazon:

24 2. - Arten von Recommender-Systemen Hybride Systeme Vorgehensweise: - Offline: Ähnlichkeiten zwischen Items werden mithilfe der User/Item-Matrix berechnet - Ähnlichkeitstabelle für alle bewerteten Items - Online: Suche nach ähnlichen Items Offline-Berechnung zeitaufwendig, Online-Berechnung schnell Offline-Berechnung möglich, weil Beziehungen zwischen Produkten statisch Liefert Empfehlungen in Echtzeit

25 2. - Arten von Recommender-Systemen Hybride Systeme Kombinationsmöglichkeiten

26 3. - Beispiele für Recommender-Systeme Movielens (

27 3. - Beispiele für Recommender-Systeme Movielens

28 3. - Beispiele für Recommender-Systeme Rating Zone (

29 3. - Beispiele für Recommender-Systeme Rating Zone

30 3. - Beispiele für Recommender-Systeme Jester (

31 3. - Beispiele für Recommender-Systeme

32 4. - Recommender-Systeme und Daffodil Recommender-Systeme und Daffodil Empfehlungen von DLOs (Digital Library Objects) an User oder Gruppen Empfehlungen basieren nicht auf Bewertungen der User, sondern auf der Organisation der DLOs in Ordnern Vergleich zwischen User/Gruppen und ihren gespeicherten DLOs Bei ausreichender Überlappung, können Obkekte empfohlen werden

33 4. - Recommender-Systeme und Daffodil Recommender-Systeme und Daffodil Unterschiede - Normalerweise geht ein Recommender-Sytem nur von einem Objekttyp aus. Die Datenmenge, auf der die Empfehlungen basieren, besteht aus verschiedenen Objekttypen (-> Gewichtungsfaktoren für DLOs) - Verschiedene Arten von Beziehungen zwischen DLOs (-> Ähnlichkeit des Inhaltes, Strukturelle Beziehungen zwischen verschiedenen Objekttypen, Beziehungen zwischen Objekten desselben Typs)

34 4. - Recommender-Systeme und Daffodil Recommender-Systeme und Daffodil - Normalerweise formen die Daten eines Users eine einzige Menge. In Daffodil organisieren die User ihre Daten in verschieden Ordnern, die verschiedene Kontexte beschreiben (-> nur Objekte im selben Ordner wird bei der Empfehlung berücksichtigt) Übertragbarkeit auf das Praxisprojekt?

35 5. - Schwächen von Recommender-Systemen Schwächen Collaborative filtering - Sparsity-Problem - Coldstart-Problem - New-Item-Problem - New-User-Problem - Blackbox-Problem - Datenschutz Content-based filtering - Pflegen des Datenbestandes - Überspezialisierung

36 6. Fazit Fazit Recommender-Systeme haben sich z. B. im E- Commerce durchgesetzt Zukunft: Hybride Systeme Probleme, die noch zu lösen sind: Datenschutz, Vertrauen der User

37 X. Quellen Anja Lehmann: Recommender Systems, TU Dresden, Hauptseminar Multimediatechnik, 2004 Matthias Funk: Recommender Systems in Theorie und Praxis, Seminararbeit, JWvG-Universität Frankfurt am Main Norbert Fuhr et al: Recommendation in a Collaborative Digital Library Enviroment, Universität Dortmund, 2001 Adam Glogowski: Recommender Systems, Seminararbeit, Universität Duisburg-Essen, 2006 Robin Burke: Integrating Knowledge-based and Collaborative-filtering Recommender Systems, University of California, 1999 Wikipedia: Artikel Collaborative filtering, Stand Lars Diestelhorst: Recommendation Engines, TU Hamburg-Harburg, 2001 Robin Burke: Hybrid Recommender Systems: Survey and Experiments, California State University, 2002 Feilong Xu: Einführung in Recommender-Systeme, Universität des Saarlandes Badrul M. Sawar et al: Recommender Systems for Large-scale E-Commerce: Scalable Neighborhood Formation Using Clustering, University of Minnesota, 2003