Ein meta-hybrides recommendation system für die webbasierte Filmplattform critic.de

Transkript

1 Dr. Krasen Max Dimitrov Mustermann Christian Wolff Lehrstuhl für Referat Medieninformatik Kommunikation Institut & Marketing für Information und Sprache und Kultur Fakultät für Sprach-, Literatur- Medien, Verwaltung und Ein meta-hybrides recommendation system für die webbasierte Filmplattform critic.de WAM 2010 Media Recommendation Krasen Dimitrov und Christian Wolff Institut für Information und Medien, Sprache und Kultur Lehrstuhl für Medieninformatik

2 Übersicht - Einführung: Entwicklung eines Empfehlungssystems für Critic.de - Übersicht zu Techniken der Empfehlungsgenerierung - collaboratiove filtering - content-based filtering - Modell für ein meta-hybrides Empfehlungssystem - Fazit / Ausblick

3 Die Filmplattform Critic.de - Die Seite befindet sich seit 1. September 2004 in Betrieb - aktuell ca Besucher pro Monat bei Seitenaufrufen - ca komplette Filmeinträge (Kritik, Bildergallerie etc.) - CMS ist TYPO3 mit Datenverwaltung über MySQL - Die Seite wurde am Anfang des Jahres überbearbeitet. Die neue Seite steht seit Mitte Mai zur Verfügung. Z Z it k i B t d E f hl t - Zur Zeit keine Bewertungs- oder Empfehlungssysteme Empfehlungen sind nur als redaktionelle Beiträge möglich.

4

5 Verfahren der Empfehlungsgenerierung Collaborative Empfehlungssysteme (Collaborative Filtering) - Basis sind Benutzerbewertungen von verschiedenen Gegenständen (z.b. Bücher, Filme etc.). - Bewertungen Ermittlung von Ähnlichkeiten hk it bei den Vorlieben und Nachbarschaften von Nutzern. - Anhand einer Ähnlichkeit bei den Bewertungen der Gegenständen Nachbarschaften davon bilden. - Die Übereinstimmungen lassen sich auf zusätzliche Items Übertragen ( Kunden, die diesen Artikel erworben haben, haben auch jenen Artikel erworben ).

6 Methoden von Collaborative Filtering User based - Um ein Gegenstand zu empfehlen, werden die Bewertungen der Benutzer, aus welcher Nachbarschaft sich der aktuelle Nutzer befindet, berücksichtigt. Item based - Erstens werden Nachbarschaften von allen Gegenständen anhand von gewissen Ähnlichkeiten ermittelt. Danach wird eine Empfehlung anhand den Bewertungen des aktuellen Nutzers auf die Gegenstände aus der Nachbarschaft h gemacht.

7 Methoden von Collaborative Filtering Model based - User based und Item based CF haben als Nachteil den sehr großen Rechenaufwand, der zu Zeitverzögerungen führen kann, wenn man es nicht offline macht. - Daher versucht man, diese Berechnungen anhand von verschiedenen Modellen zu machen, um Cluster zu bilden. - Jeder Cluster ist durch sein Zentrum gekennzeichnet. Zur Bestimmung der Cluster stehen verschiedene Verfahren (Wahrscheinlichkeitsalgorithmen, h hk it l ith Ontologien (Super Clusters), Bayes-Modelle und andere) zur Verfügung.

8 Vorteile und Nachteile von Collaborative Filtering Vorteile von Collaborative Filtering : - kein Bezug zum Inhalt der Gegenstände, daher vielseitig einsetzbar Nachteile von Collaborative Filtering : - cold start-problem bei neuen Benutzern oder Gegenständen. - Notwendig sind sehr viele Bewertungen, um akkurate Empfehlungen zu machen (IMDB braucht 10 Item- Bewertungen um eine Bewertung überhaupt anzuzeigen; Movielens braucht 15 Bewertungen von dem Nutzer um eine Empfehlung zu machen). - Lösungen sind Verfahren wie demographic filtering oder hybride Systeme.

9 content based-empfehlungssysteme - Beim inhaltsbasierten Filtern handelt es sich um eine Objektzu-Objekt-Korrelation. - Dem Nutzer werden Objekte angeboten, die seinem Nutzerprofil zufolge passend wären. - Dieses Wissen wird von den Profilen des einzelnen Nutzers und Objektbeschreibungen abgeleitet und benutzt nicht wie beim kooperativen Filtern die Profile und Bewertungen anderer Nutzer.

10 content based-empfehlungssysteme - Empfehlungen werden auf der Basis von Objekten, die durch Merkmale als Vektoren oder durch die gewichtete Indexierung von Beschreibungstexten nach dem TFxIDF-Verfahren repräsentiert werden, generiert. - Benutzerprofile können implizit aufgebaut werden indem man - Benutzerprofile können implizit aufgebaut werden, indem man Daten über Aktionen und Bewertungen oder explizit durch gezielte Fragen (sog. Questionnaires) sammelt.

11 Vorteile und Nachteile von content based- Empfehlungssystemen Vorteile - Minimierung der cold start-problematik, da es keine new item- Probleme gibt. - Keine privacy-probleme, eigene Bewertungen und Vorlieben sind nicht sichtbar für andere Nutzer. - Detaillierte Präferenzen von Nutzern können berücksichtigt i werden, anstatt von Metabewertungen. Nachteile - Können nur dann funktionieren, i wenn die Profile von Benutzern und Gegenständen vollständig aufgebaut sind. - Man braucht genügend Deskriptoren, um Metabewertungen wie bei Collaborative Filtering zu vermeiden.

12 Inhärente Probleme - Bewertungen sind zu allgemein (s.g. Metabewertungen, z.b. von sehr schlecht bis sehr gut, von 0 bis 10 etc.). - Dies führt zu Fehlinterpretationen, z. B. bewerten zwei Personen den Film Titanic mit 9, der eine hat 9 gegeben, weil er auf romantische Filme steht, der andere ist ein Fan von James Cameron und tollen Effekten. D h d b id i d l i h N hb h ft - Dennoch werden beide in der gleichen Nachbarschaft verortet, obwohl sie verschiedene Interessen haben.

13 Inhärente Probleme - Dieses Problem kann durch Einführen von multiplen Kriterien behoben werden (z. B. Bewertungen und Ähnlichkeitsanalyse erfolgen über mehrere Kriterien wie Filmgenre, Regie, Oscarnominierungen, Hauptdarsteller etc.). - Daraus können weitere Probleme entstehen: ungewichtete Kriterien (alle Kriterien sind gleichbedeutend, was offensichtlich nicht korrekt ist). - Wenn man diese gewichtet, bleibt das nächste Problem: ist die Gewichtung richtig? (z. B. subjektive Gewichtung)

14 Ein Empfehlungssystem für critic.de - Um diese Problematik zu lösen, schlagen wir ein hybrides System vor, das inhaltsbasierte Bewertungen mit Benutzerprofilen koppelt und um CF-Elemente erweitert werden kann. - Wir gehen von einem einfachen Datenmodell für die Repräsentation wesentlicher Filmmerkmale als Vektoren(Genre, Regisseur, Schauspieler und Land) aus. - Vektoren lassen sich aufgrund ihrer einfachen Struktur leichter als strukturiertere Datenmodelle in gängigen mathematischen Modellen nutzen. - Vektoren sind zur Darstellung von Genres und vergleichbarer Merkmale sehr gut geeignet, da diese i. d. R. eine überschaubare Anzahl an Wertausprägungen haben.

15 Das Datenmodell Die nachfolgende Tabelle illustriert Merkmale und ihre Die nachfolgende Tabelle illustriert Merkmale und ihre Ausprägungen.

16 Das Datenmodell Wir definieren: - Einen movie feature vector (MFV), der die obengenannten Merkmale umfasst, - einen user preference vector (UPV), der das Interessenprofil des Nutzers reflektiert und - einen feature dependency vector (FDV), der das tatsächliche Surfverhalten des Nutzers abbildet. Al Äh li hk it ß k t di klidi h Di t - Als Ähnlichkeitsmaß kommt die euklidische Distanz zum Einsatz.

17 Ein Anwendungsbeispiel: The Matrix Es gelten folgende Beschreibungsmerkmale: Genre: Action, Adventure, Sci-Fi, Thriller; Land: USA; Regisseur: Andy und Lana Wachowski; Schauspieler: Keanu Reeves, Laurence Fishburne, Carrie-Anne Moss u.v.a. Dies wird wie folgt als movie feature vector (MFV) repräsentiert:

18 Aufbau des Modells

19 Berechnung des Berechnung des Beispiels

20 Das meta-level hydridization-modell Ein Empfehlungssystem, das die Ausgabe von dem Content Based Filtering als Eingabe für das CF benutzt, wird von Burke als Meta Level Hybridization Method bezeichnet mit folgenden Vorteilen: The benefit of the meta-level method, especially for the content/collaborative hybrid is that the learned model is a compressed representation of a user s interest, and a collaborative mechanism that t follows can operate on this information-dense representation more easily than on raw rating data. (Burke, 2002)

21 Implementierung - Für die Programmierung wurde PHP ausgewählt: leichte Koppelung an MySQL und Ausführung auf dem Linuxserver als Cronjob. - Nachteil: sehr speicherintensive Repräsentation von strukturierten Daten (z.b. Arrays). Maximum von 256 MB Arbeitsspeicher bi ih per Skript. ki - Folgen: Verzicht auf die Speichrung von dem gesamten Relationsmatrix. t i Jeweils nur die besten 25 Treffer werden gespeichert. Befürchtungen dass die euklidische Distanz zu - Befürchtungen, dass die euklidische Distanz zu rechenaufwändig sein wird, haben sich nicht bestätigt.

22 Ausblick: Zeitbezogene Phänomene in CF - Im April 2010 wurde in CACM ein Beitrag mit dem Titel Collaborative Filtering with Temporal Dynamics von Y. Koren publiziert. - Ziel ist ein Modell, das langfristige und kurzfristige Tendenzen bei Bewertungen erkennen kann. Dabei sollen langfristige Tendenzen aufbewahrt und in CF-Modell einbezogen werden, kurzfristige (sog. noise) dagegen isoliert. - Er macht folgende Beobachtungen bei dem Netflix Dataset: - Die Bewertungen im Durschnitt stiegen plötzlich li von 3.4 auf 3.6 in Bewertungen steigen mit dem Alter von Filmen an

23 Zeitbezogene Phänomene in CF - Solche temporäre Deviationen können sehr negative Auswirkungen haben, weil sie die langfristigen Vorhersagen (hier Empfehlungen) verfälschen können. - Was für eine Bedeutung haben diese Deviationen für unseres Modell? - Das hybride Modell wird nicht so stark davon beeinflusst, da es als Basis ein Content-based Empfehlungssystem hat. Eigentlich um 50% weniger. - Dennoch eine Aussortierung von solchen Deviationen kann nur vorteilhaft sein.

24 Vielen Dank für Ihre Aufmerksamkeit!