Uplift Modelling mitsas

Transkript

1 Praktische Anwendung des Uplift Modelling mitsas Hintergründe, Voraussetzungen, Tipps& Tricks Udo Böhm

2 Inhalt Uplift Uplift-Modelling mit SAS 1. Warum brauchen wir Uplift Modellierung im analytischen CRM? 2. Wie funktionieren Uplift-Modelle? 3. Wie finde ich geeignete Prediktorenfür ein Uplift-Modell? 4. Wie erstelle ich ein Uplift-Modell mit SAS? 5. Wo setzt man Uplift-Modelle ein? Lösung des Problems: Welche Kunden benötigen welche Maßnahme? Kontrollierte Tests Uplift-Modelle sind Interaktionsmodelle Trick: Variablen-Auswahl durch umcodieren Zielgröße SAS-STAT: Interaktion SAS-EM: Knoten IncrementalResponse z.b. SAS-MO (Marketing Optimizer) z.b. A/B Testing 6. Appendix: FAQ, Links und Quellen

3 Uplift-Modellierung : Ein weiterer Schritt in der Evolution des Analytischen CRM SAS SAS SAS SAS SAS EM, STAT, OR? MO, OR PASSIV Gesamtheitliche Kontakt Optimierung Analytischer Mehrwert KPIs Statische Reports BEOBACHTEN OLAP Adhoc Abfragen Drill downs Data Mining Prognose Modellierung Uplift Modellierung PROGNOSTIZEREN AKTIV Was ist passiert? Quelle: Business Insight 2/2012 Pitney Bowes Software Warum ist es passiert? Analytischer Reifegrad Was wird passieren? 2 Wie können wir beeinflussen, was passiert? Wie setzen wir unsere Ressourcen optimal ein?

4 Was ist das Problem? Eine wahre Geschichte, so geschehen in 2004: CRM-Analystin freut sich: Sie hat gerade ein Super-Modell zur Vorhersage von Kündigern von Mobilfunkverträgen erstellt. Marketeerfreut sich: er kann mit dem Modell endlich das Zielsegment der High-Risk-Kunden erkennen. Marketeerüberlegt sich Goodie zum Halten der High_Risk-Kunden CRM-Analystin selektiert die High-Risk-Kunden, die daraufhin das Mailing bekommen. Nach drei Monaten sind alle konfus und enttäuscht: Die Kündigungsquote ist gestiegen! Was ist passiert? 3

5 Prognose Modellierung : Regeln ableiten aus Beobachtung der Vergangenheit Kunden-Basis Beobachten Kundenverhalten Prognose-Modelle für zukünftiges Verhalten 1 Kauf Kündigung + Kunden-Daten Anwendung der Modelle auf ANDERE Kunden, für die wir Verhalten prognostizieren wollen? 4

6 Folie 5 1 Udo Boehm;

7 Beispiel für Prognose-Regel und deren Anwendung Beobachtet: >> Geschäftskunden kündigen eher als Privat-Kunden << Prognose: >>Geschäftskunden werden auch in der Zukunft eher kündigen <<? 40% 30% Kündigungswahrsscheinlichkeit Anwendung der Regel Geschäftskunden Privatkunden 5

8 Hilft Prognose Modell für Kündigung bei Entscheidung, wo Gegenmaßnahme anzuwenden ist? Gegenmaßnahme gegen Kündigung: Wo einsetzen? 40% 30% Kündigungswahrsscheinlichkeit Normaler Marketing-Ansatz: Gegenmaßnahmen zur Kündigung bei hoher Kündigungswahrscheinlichkeit optimal? Geschäftskunden Privatkunden 6

9 Nur Uplift-Regel hilft Maßnahme optimal einzusetzen A ) Prognose-Regel: >> Geschäftskunden kündigen eher als Privat-Kunden << B) Uplift-Regel >> hat Kündigungssenkenden Einfluss auf Privatkunden<< 40% 41% 30% 27% Kündigungswahrsscheinlichkeit Anwendung Geschäftskunden Privatkunden Optimaler-Ansatz: Gegenmaßnahmen zur Kündigung bei Kunden mit positiver Beeinflussung NICHT mit höchster Kündigungswahrscheinlichkeit 7

10 Auch bei komplexeren Prognose-Modellen: Wer soll Maßnahme bekommen? P( )? Kündigungswahrsscheinlichkeit optimal? Jede Zuordnung Maßnahme zu Kunden basiert auf Hypothesen und Wunschdenken Kündigungs Prognose -Score Normaler Marketing-Ansatz: Gegenmaßnahmen zur Kündigung bei hoher Kündigungswahrscheinlichkeit 8

11 Effekt der Maßnahme muss vorhergesagt werden, um Entscheidung zu treffen Kündigungswahrsscheinlichkeit Wenn der Effekt vorhergesagt werden kann, kann auch eine Entscheidung optimiert werden Uplift-Modellierung = Modelle zur Prognose des Effekts einer Maßnahme Kündigungs Prognose -Score 9

12 . Uplift Modelling notwendig für Entscheidung Prognostizierter Effekt auf Kündigungswahrscheinlichkeit erhöhend neutral Uplift-Score senkend Kündigungs-Prognose-Score Geschätzte Kündigungswahrscheinlichkeit 10

13 Inhalt Uplift Uplift-Modelling mit SAS 1. Warum brauchen wir Uplift Modellierung? Lösung des Problems: Welche Kunden benötigen welche Maßnahme? 2. Wie funktionieren Uplift-Modelle? 3. Wie finde ich geeignete Prediktorenfür ein Uplift-Modell? 4. Wie erstelle ich ein Uplift-Modell mit SAS? 5. Wo benötigt man sonst noch Uplift- Modelle? 6. Appendix: FAQ, Links und Quellen Kontrollierte Tests Uplift-Modelle sind Interaktionsmodelle Trick: Variablen-Auswahl durch umcodieren Zielgröße SAS-STAT: Interaktion SAS-EM: Knoten IncrementalResponse z.b. SAS-MO (Marketing Optimizer) z.b. A/B Testing

14 Das Prinzip Uplift Modellierung Modellierung Wir haben gelernt: Verfahren zur Prognose des Effekts einer Maßnahme Begriff seit 1999 (Artikel von Redcliffeund Surry) Viele alternative Begriffe im Einsatz im analytical CRM und in der Medizin seit 2005 im Einsatz bei O 2 /Telefónica slide 12

15 Schritt 1 zur Erstellung: das kontrollierte Experiment Kunden-Basis Zufalls- Stichprobe Testgruppe: Welt mit Beobachten Kundenverhalten Theoretische* Segmente Einfluss Sleeping Dogs Lost Causes Sure Things Persuadables Kontrollgruppe: Welt ohne *nicht beobachtbar! 13

16 Schritt 2: Vergleich der Kunden mit dem selben Verhalten aber verschiedenen Behandlungen Testgruppe: Welt mit Uplift-Modellierung: Prognose-Modellierung: Kontrollgruppe: Welt ohne 14

17 Heuristische Herleitungeines eines Uplift-Modells mit Hilfe unseres Beispiels Wahrscheinlichkeit (Kündigung) = 40% 41% 30% 27% 30% +10% (falls Kunde Geschäftskunde) Kündigungswahrsscheinlichkeit -3% (falls Maßnahme ) +4% (falls Kunde Geschäftskunde und Maßnahme ) Prognose-Modell Uplift-Modell= Interaktions-Teil Geschäftskunden Privatkunden 15

18 Uplift-Modelle sind Modelle mit Interaktion... Beispiel: Lineares Logit-Modell Y: binäre Response(0/1), P(Y=1): Wahrscheinlichkeit, dass Kündigung X 1..X n :UnabhängigeVariablen, X=(X 1..X n ) M: Indikator ob Maßnahme (1=Maßnahme, 0=keine Maßnahme) Y=1 Y=0 M=1 M=0 Logit( P(Y=1)) = a 0 + a 1 X a n X n + b 0 M + b 1 X 1 M+.. + b n X n M + ε Konstante Haupt - Effekte X Haupt- Effekt M Interaktions- Effekte X M Prognose-Modell Uplift-Modell= Interaktionsteil des Modells... alsonichts Neues für Analysten, die mitsas arbeiten! slide 16

19 Inhalt Uplift Uplift-Modelling mit SAS 1. Warum brauchen wir Uplift Modellierung? 2. Wie funktionieren Uplift-Modelle? 3. Wie finde ich geeignete Prediktorenfür ein Uplift-Modell? 4. Wie erstelle ich ein Uplift-Modell mit SAS? 5. Wo benötigt man sonst noch Uplift- Modelle? Lösung des Problems: Welche Kunden benötigen welche Maßnahme? Kontrollierte Tests Uplift-Modelle sind Interaktionsmodelle Trick: Variablen-Auswahl durch umcodieren Zielgröße SAS-STAT: Interaktion SAS-EM: Knoten IncrementalResponse z.b. SAS-MO (Marketing Optimizer) z.b. A/B Testing 6. Appendix: FAQ, Links und Quellen

20 Gute Prediktorenfür Prognose sind nicht unbedingt gute Prediktorenfür Uplift Guter Prediktor für Prognose und guter Prediktor für Uplift Guter Prediktor für Prognose schlechter Prediktor für Uplift 45% 44% =-1% 40% 41% 30% 27% Kündigungswahrsscheinlichkeit Kündigungswahrsscheinlichkeit 25% 24% =-1% Geschäftskunden Privatkunden Frau Herr PROBLEM: normale Variablen-Selektion bevorzugt Haupteffekte 18

21 Trick für Variablen-Auswahl für Uplift-Modellierung Testgruppe: Welt mit Uplift-Modellierung: Prognose-Modellierung: Y=1 0 Y=1 Y=0 1 Y=0 Y=0 Y=1 TRICK: Umcodieren der Zielgröße mod(y+m,2) Kontrollgruppe: Welt ohne 19

22 Anwendungdes des Tricks: Umcodierenund Variablen- Auswahl in SAS Data Step Umcodierung Proc Logistic zur Variablen-Auswahl mit umcodierter Zielgröße Output: Beste Prediktoren für Uplift 20

23 Ergebnis der Vorselektion Guter Prediktor für Prognose und guter Prediktor für Uplift Guter Prediktor für Prognose schlechter Prediktor für Uplift 45% 44% =-1% 40% 41% 30% 27% Kündigungswahrsscheinlichkeit Kündigungswahrsscheinlichkeit 25% 24% =-1% Geschäftskunden Privatkunden Frau Mann 21

24 Verwendung Vorselektion in SAS EM Vorschlag: Extension-Node für Vorselektion der Prediktoren Neben Vorselektion: Insight, Profilierung Testdatensatz: SAMPSIO.DMRETAIL 22

25 Inhalt Uplift Uplift-Modelling mit SAS 1. Warum brauchen wir Uplift Modellierung? 2. Wie funktionieren Uplift-Modelle? 3. Wie finde ich geeignete Prediktorenfür ein Uplift-Modell? 4. Wie erstelle ich ein Uplift-Modell mit SAS? 5. Wo benötigt man sonst noch Uplift- Modelle? Lösung des Problems: Welche Kunden benötigen welche Maßnahme? Kontrollierte Tests Uplift-Modelle sind Interaktionsmodelle Trick: Variablen-Auswahl durch umcodieren Zielgröße SAS-STAT: Interaktion SAS-EM: Knoten IncrementalResponse z.b. SAS-MO (Marketing Optimizer) z.b. A/B Testing 6. Appendix: FAQ, Links und Quellen

26 Erstellung eines Uplift-Modells mit SAS 1. Erstellung mit SAS-STAT / SAS-BASE 2. ErstellungmitSAS-EM a.... mit Hilfe traditionellen Knoten b.... mit Hilfe Incremental Response Knoten 24

27 1. Erstellung mit SAS-STAT STAT / SAS-BASE BASE (z.b z.b. Proc Logistic) Proc Logistic mit ursprünglicher Zielgröße Interaktionsterme X-Merkmale aus vorangegangenen Variablen-Auswahl Output: Prognose-Modell Uplift-Modell= Interaktionsteil 25

28 2. Erstellung mit SAS-EM a.... mit traditionellen Knoten Preselection: Notwendig Uplift-Modell = Interaktionsteil b...mit Knoten Incremental Response Preselection: Optional Uplift-Modell 26

29 SAS-EM: Wichtige Einstellungsoptionen für Incremental Response Knoten Combined-Model= Yes Modell mit Interaktion Combined-Model=No Zwei Modelle (M=0/1) und Differenz der Modelle Implizite Interaktion Selection: Net Information Value (im Prinzip ähnlich zur Vorselektion oben) 27

30 Beispiel für Ergebnis einer Uplift-Analyse mit SAS 32% 28% 24% Kündigungswahrsscheinlichkeit P ( Kündigung, Score) 20% P ( Kündigung Score) 16% Uplift-Modell / Score slide 28

31 FAZIT: Uplift-Modellierung wird durch SAS auch abgedeckt! SAS SAS SAS SAS EM, STAT, OR EM, STAT, OR SAS MO, OR PASSIV Gesamtheitliche Kontakt Optimierung Analytischer Mehrwert KPIs Statische Reports BEOBACHTEN OLAP Adhoc Abfragen Drill downs Data Mining Prognose Modellierung Uplift Modellierung AKTIV PROGNOSTIZIEREN Was ist passiert? Quelle: Business Insight 2/2012 Pitney Bowes Software Warum ist es passiert? Analytischer Reifegrad Was wird passieren? 29 Wie können wir beeinflussen, was passiert? Wie setzen wir unsere Ressourcen optimal ein?

32 Inhalt Uplift Uplift-Modelling mit SAS 1. Warum brauchen wir Uplift Modellierung? 2. Wie funktionieren Uplift-Modelle? 3. Wie finde ich geeignete Prediktorenfür ein Uplift-Modell?? 4. Wie erstelle ich ein Uplift-Modell mit SAS? 5. Wo setzt man Uplift-Modelle ein? 6. Appendix: FAQ, Links und Quellen Lösung des Problems: Welche Kunden benötigen welche Maßnahme? Kontrollierte Tests Uplift-Modelle sind Interaktionsmodelle Trick: Variablen-Auswahl durch umcodieren Zielgröße SAS-STAT: Interaktion SAS-EM: Knoten IncrementalResponse z.b. SAS-MO (Marketing Optimizer) z.b. A/B Testing

33 AnwendungUplift 1: Optimale Kontaktoptimierung mit SAS-MO m mögliche Kontakte nkunden Client Camp A Camp B Camp C Lineare Nebenbedingungen für Kontakte/ Kunden maximal ein Kontakt pro Kunde mindestens drei Kunden pro Kampagne Ziel Ziel: Maximierungdes Gesamt-Ergebnis NOTWENDIG: Matrix enthält montäre Bewertungder Prognose-Werte des Uplifts: z.b. Angenommen, ich kontaktiere Kunde 4 mit AngebotB: Der wahrscheinliche Mehrwert ist

34 Anwendung Uplift 2: A/B- Testing Beispiel: Obama/Biden-Campaign 2008 Standard zur Optimierung von Klick-Raten A/B Testing ist Upft-Modelling mit normalerweise mehr als zwei Ausgängen 32

35 Inhalt Uplift Uplift-Modelling mit SAS 1. Warum brauchen wir Uplift Modellierung? 2. Wie funktionieren Uplift-Modelle? 3. Wie finde ich geeignete Prediktorenfür ein Uplift-Modell? 4. Wie erstelle ich ein Uplift-Modell mit SAS? 5. Wo setzt man Uplift-Modelle ein? Lösung des Problems: Welche Kunden benötigen welche Maßnahme? Kontrollierte Tests Uplift-Modelle sind Interaktionsmodelle Trick: Variablen-Auswahl durch umcodieren Zielgröße SAS-STAT: Interaktion SAS-EM: Knoten IncrementalResponse z.b. SAS-MO (Marketing Optimizer) z.b. A/B Testing 6. Appendix: FAQ Fragen?, Links und Quellen

36 Danke! 34 Telefónica Servicios Audiovisuales S.A. / Telefónica España S.A. Título de la ponencia / Otros datos de interés /

37 APPENDIX 1. FAQs 2. Quellverzeichnis und Links 35

38 FAQ 1: Warum brauche ich eine Kontrollgruppe? Analog: Warum brauchen wir Kontrollgruppen in klinischen Tests? Wenn es einfache Alternativen zu klinischen Tests gäbe, wäre da nicht schon jemand draufgekommen? Beispiel: Zusammenhang Rauchen und Lungenkrebs Jahrzehnte bis Nachweis erbracht und von allen akzeptiert Exakte Größe des Einflusses bis heute nicht ausgewiesen Keine klinischen Studien bei Menschen aus ethischen Gründen Haupteffekte (Alter, sozioökonomischer Status...) stärker als Interaktions-Effekt Rauchen 36

39 FAQ 2: Was mache ich bei stetiger Zielgröße? z.b. Umcodieren und Arbeiten mit Gewicht Beispiel: Skala Zufriedenheit U.U. Umformulierung der Zielgröße Brauche ich wirklich eine komplexe? Beispiel: Uplift auf Umsatz Umsatz hat höhere Variabilität Umsatz = Durchschnittl.. Umsatz x Wahrscheinlichkeit Kauf BEACHTE: Interaktionsmodelle funktionieren mit jeder Art von General Linear Modell! z.b. ProcDMREG / Proc GLM 37

40 FAQ 4: Ich habe keine Zeit/Ressourcen für ein zusätzlichesmodell. Was tun? Motto des pragmatischen Analysten: Hauptsache es trennt Erfahrung: Mehr Glück bei cross/up up-selling sellingals bei retention-uplift Response-Rate Kündigungs -Rate Response-Rate mit Maßnahme Response-Rate ohne Maßnahme Kündigungsrate ohne Maßnahme Kündigungs-Rate mit Maßnahme niedrig Prognose-Score hoch low Churn-Predictive-Score ( Churn-Uplift-Score) high 38

41 FAQ 4: Ich bekomme aus meinen Daten kein Uplift- Modell. Was läuft schief? Mögliche Gründe: Kontrollgruppe zu klein (Ideal-Fall: Splitt 50:50) MERKE: Kontrollgruppe ist Investition zur Wissensgenerierung Keine Prediktorenfür Uplift TIP: Gespräch mit dem Experten aus Marketing Bei welchen Kunden denkst Du werden wir den besten Effekt haben? Ableitung von Prediktoren Konfrontation mit der Wahrheit: Die Maßnahme wirkt wahrscheinlich gar nicht oder hat nur negativen Effekt. 39

42 Links und Quellen Allgemein: Incremental Response Analysis in SAS with the EM: : Incremental Response Modeling Using SAS Enterprise

43