The New Way to do Analytics with SAS

Transkript

1 make connections share ideas be inspired The New Way to do Analytics with SAS Carmelo Iantosca, Senior Solution Specialist Analytics, SAS Institute AG

2 make connections share ideas be inspired Agenda Kurze Intro Live-Demo SAS Add-In for Microsoft Office SAS Visual Analytics SAS Enterprise Miner SAS Enterprise Guide Summary

3 Woran scheitert Analytics oftmals Aufgabenstellung und Zielsetzung ungenügend gut definiert/formuliert Obwohl i.d.r. schon sehr ausführliche analytische Datamarts bestehen, kostet die Target-spezifische Datenaufbereitung noch immer sehr viel Zeit Analytiker-Abteilung und andere Fachabteilungen sprechen nicht die selbe Sprache Mangel an Automatismen, die einem den Alltag erleichtern und somit Freiraum für analytische Kreativität geben...

4 Erleben Sie MEHR In den Pausen am Demostand im Eingangsbereich Visual Analytics Enterprise Miner Text Miner Social Media Analytics Um 14:35 Uhr an der SAS World Plenum Visual Analytics Datenverarbeitung und Exploration Reporting und Mobile BI Zögern Sie nicht, mich/uns zu kontaktieren, falls sie best practice Ratschläge brauchen uvm.

5 ... und nun etwas zum ANFASSEN Copyright 2011, SAS Institute Inc. All rights reserved. 5

6 Ausgangslage der Demo Marketingfachfrau kommt mit dringender Bitte auf einen Analytiker zu. Ein von einer Generalagentur erhaltenes Kampagnenfile soll schnellstmöglich untersucht werden: Es handelt sich um ein Upselling-Angebot für Kunden im Motorfahrzeug-Bereich Von Interesse sind für das Marketing: Wer hat auf die Kampagne reagiert? Wie sehen die soziodemographischen Unterschiede zwischen den Reagierenden und nicht-reagierenden aus? Wie sind die Reagierende geografisch verteilt, bzw. gibt es Regionen, welche besser reagieren? Welche Potenziale an noch nicht kontaktierten Kunden bestehen?

7 SAS Add-In for Microsoft Office

8 Erste Sichtung der Exceldatei von der Generalagentur Eine perfekte Symbiose: Das SAS Add-In für Microsoft Office erweitert beispielsweise das Excel um die komplette Funktionalität und Rechenpower von SAS.

9 Anreicherung des Kampagnenfiles mit den Merkmalen aus der Kunden- Datenbank Zugriff auf Stored Processes. Hier im Beispiel für die Datenanreicherung Zugriff auf sämtliche Datenquellen und Datenbanken, welche im Metadaten Server (SAS Management Console) eingerichtet sind.

10 Anreicherung des Kampagnenfiles mit den Merkmalen aus der Kunden- Datenbank Mit ein paar wenigen Klicks in der Eingabemaske des Stored Process wird der Datensatz angereichert.

11 Direktes Hochladen der Exceldatei in den LASR-Server (für Visual Analytics) Auch der LASR-Server ist einfach mittels einer Library zugreifbar Dank vollständiger Vernetzung aller SAS Tools, verschwendet man keine Zeit mit dem hin und her laden von Daten.

12 SAS Visual Analytics

13 Visual Analytics als erste Anlaufstelle für die Datenexploration Exploration der in der Upselling-Kampagne angeschriebenen Kunden Daten können Dank in vollständiger Visual Analytics Vernetzung einfach per Drag&drop Drag&Drop exploriert werden. Visual aller Analytics Visual Analytics SAS erstellt Tools, erstellt dabei verschwendet in dabei über in 90% über der 90% man keine Fälle der Fälle Zeit vollautomatisch mit dem die hin die und sinnvollste her Art laden der Art von der Darstellung. Diese Diese kann kann aber aber jeweils jeweils manuell übersteuert Daten. bzw. vorgegeben werden.

14 Visual Analytics als erste Anlaufstelle für die Datenexploration Exploration der in der Upselling-Kampagne angeschriebenen Kunden Wenn man nun auch noch das Geschlecht auf die Grafik zieht, unterteilt VA die Grafik automatisch danach.

15 Visual Analytics als erste Anlaufstelle für die Datenexploration Exploration der in der Upselling-Kampagne angeschriebenen Kunden Eine andere Art der Darstellung ist, wenn man sich den durchschnittliche Anteil Reagierer nach einer Klassenvariable darstellen lässt. Hier im Beispiel nach dem Beruf (Balken absteigend sortiert). Bei allen Grafiken kann man sich zudem im unteren Bereich Tabellen mit Werten darstellen lassen. Hier im Beispiel erkennt man, dass Ärzte, Führungskräfte, Anwälte und qualifizierte Fachpersonen extrem gut reagiert haben.

16 Visual Analytics als erste Anlaufstelle für die Datenexploration Exploration der in der Upselling-Kampagne angeschriebenen Kunden Zieht man mehrere Intervallmerkmale zusammen mit dem Reagierer-Klassenmerkmal in den Grafikbereich, so werden Balkendiagramme mit Durchschnitten erstellt. Hier erkennt man beispielsweise sehr schön, dass die Reagierenden im Durchschnitt älter (50 vs. 42J) sind, mehr Einkommen aufweisen (170k vs. 105k) und mehr Prämien zahlen.

17 Visual Analytics als erste Anlaufstelle für die Datenexploration Exploration der in der Upselling-Kampagne angeschriebenen Kunden Falls man nur Intervallgrössen hinein zieht, stellt VA die Beziehungen mittels einer Scatterplotmatrix oder (ab einer gewissen Anzahl) mittels einer Korrelationsmatrix dar. (dies kann man jederzeit umschalten) Hier erkennt man, dass zwischen dem (numerischen) Reagierenden-Flag und dem Alter, Einkommen und Wohneigentumswert ein Zusammenhang besteht. (Flagvariablen mit Intervallgrössen zu korrelieren ist natürlich nicht allzu sinnvoll, trotzdem erhält man sehr schnell einen Eindruck, welche Merkmale einen Einfluss auf das Reaktionsverhalten haben könnten.

18 Visual Analytics als erste Anlaufstelle für die Datenexploration Exploration der in der Upselling-Kampagne angeschriebenen Kunden In Visual Analytics können sehr einfach räumliche Explorationen durchgeführt werden. Hier zum Beispiel die Darstellung der Anzahl kontaktierter Kunden in der MF-Upselling-Kampagne (Kreisfläche entspricht der absoluten Anzahl).

19 Visual Analytics als erste Anlaufstelle für die Datenexploration Exploration der in der Upselling-Kampagne angeschriebenen Kunden Hierarchien können in VA ad-hoc und mit wenigen Klicks angelegt werden. Hier eine Hierarchie zwischen Land à Kanton à Gemeinde. Somit reicht ein einfacher Doppelklick auf den Bubble und schon drillt man in den entsprechenden Kanton hinein.

20 Visual Analytics als erste Anlaufstelle für die Datenexploration Exploration der in der Upselling-Kampagne angeschriebenen Kunden Die Maps können noch sehr viel mehr. In dieser Karte entspricht die Kreisfläche dem Anteil Reagierer (im Gebiet) und die Einfärbung dem durchschnittlichen Alter der kontaktierten Kunden (im Gebiet).

21 SAS Enterprise Miner

22 Modellierung der Reagierenden mit SAS Enterprise Miner Projektbaum Unterteilung aller Funktionsknoten nach dem SEMMA Prinzip: Sample, Explore, Modify, Model, Assess Direkter Zugriff auf die Daten im LASR-Server Sämtliche Analysen und Modellierungen werden als analytischer Prozessfluss zusammen geklickt. Optionen zum Prozessfluss und individuelle Optionen für jeden einzelnen Knoten (sobald man einen Knoten anwählt).

23 Modellierung der Reagierenden mit SAS Enterprise Miner Filterknoten für das manuelle Filtern, z.b. alle Kunden im Alter zwischen 25 und 55 (Intervallskala) oder nur noch Männer (Klassenvariable) usw. Sehr viel nützlicher sind jedoch die automatischen Verfahren, beispielsweise um pro Merkmal Ausreisser zu eliminieren. Nach Lagemassen, wie Mittelwert +/- 2 x Streuung oder Median und MAD oder mittels low und top Perzentilen uvm.

24 Modellierung der Reagierenden mit SAS Enterprise Miner Partitionierungs-Knoten, um die Daten zufällig in Trainings-, Validierungs- und Testdatensatz einzuteilen.

25 Modellierung der Reagierenden mit SAS Enterprise Miner Mit dem Impute-Knoten können Missings vollautomatisch für alle Variablen abgehandelt bzw. sinnvoll ersetzt werden. Dies mittels gängigen Verfahren wie dem Einsetzen des Modus (für Klassenvariablen) oder Mittelwert und Median für Intervallgrössen. Partitionierungs-Knoten um die Daten zufällig in Trainings-, Validierungs- und Testdatensatz einzuteilen. Der Miner bietet aber etwas viel besseres, nämlich eine regelrechte Prognose des wahrscheinlichsten Wertes. Indem er jede Variable, welche Missings beinhaltet, jeweils als Zielvariable und alle anderen Input-Variablen als erklärende Variablen setzt, erstellt er mittels Entscheidungsbäumen eine Prognose.

26 Modellierung der Reagierenden mit SAS Enterprise Miner Mit dem Transformations-Knoten können Variablen manuell (Klassen zusammen fassen oder mathematische Transformationen mittels Formeleditor uvm.) oder vollautomatisch transformiert werden. Gängig sind beispielsweise Log- und Wurzeltransformationen für Intervallgrössen bzw. seltene Klassen mit anderen zusammen zu fassen oder Dummyvariablen bei Klassenvariablen zu erstellen. Auch hier bietet der Miner einen immensen Mehrwert. So kann man es ihm überlassen, die beste Transformation zu ermitteln. Er testet dabei (für jede Variable einzeln) alle Transformationen durch und entscheidet sich final jeweils für diejenige, mit welcher er den besten R-quadrat Wert für die Erklärung/ Prognose der Zielvariable erhält. à Siehe nächste Folie für die Darstellung der Ergebnisse.

27 Modellierung der Reagierenden mit SAS Enterprise Miner Jeder Knoten im Miner ist alles andere als eine Black-Box. Transparent und mit State-of-the- Art Darstellungen und Kennzahlen zeigt er jeweils die Ergebnisse an. Zudem sind die Knoten standardmässig mit den üblichsten Parameter-Defaultwerten voreingestellt, erlauben es aber jeder Zeit, sehr tiefgreifende Anpassungen vorzunehmen.

28 Modellierung der Reagierenden mit SAS Enterprise Miner Nachdem nun die die Daten bestmöglich aufbereitet sind, sind, folgt folgt die die Modellierung. Hier können Hier können beliebig beliebig viele Modellverfahren viele sowie Modellverfahren varianten gleichzeitig sowie ausgeführt varianten und gleichzeitig mittels Modellvergleichs- ausgeführt Knoten verglichen werden. und mittels Modellvergleichs-Knoten verglichen werden. Jeder Modellknoten kann sehr detailliert eingestellt werden, Jeder wenn man Modellknoten dies möchte. kann Hier sehr im konkreten detailliert Beispiel eingestellt wurde bei werden, der logistischen wenn man Regression dies möchte. noch angegeben, Hier im konkreten dass ein Beispiel Stepwise-Verfahren wurde bei für der die logistischen automatische Regression Variablenselektion noch verwendet werden soll. angegeben, dass ein Stepwise-Verfahren verwendet werden à Siehe soll nächste für die Folie automatische für die Darstellung Variablenselektion. der Ergebnisse

29 Modellierung der Reagierenden mit SAS Enterprise Miner Ergebnisse aus der logistischen Regression: Automatischer Vergleich zwischen Trainings- und Validierungsdatensatz (zur Prüfung der Modellstabilität). Auch sehr nützlich ist die Darstellung Darstellung der der einzelnen einzelnen geschätzten Effekte, sortiert nach absolutem Wert. Der Miner stellt auch jeweils alle interessierenden Kennzahlen dar, hier z.b. der Ausschnitt mit der Type 3 Analyse.

30 Modellierung der Reagierenden mit SAS Enterprise Miner Auch bei Entscheidungsbäumen stellt der Miner die Ergebnisse sehr illustrativ, detailliert und trotzdem leicht verständlich dar. Jeweils mit unmittelbarem Vergleich zwischen Trainings- und Validierungsdaten.

31 Modellierung der Reagierenden mit SAS Enterprise Miner Der Modellvergleichsknoten zeigt übersichtlich, wie gut die einzelnen Modelle in der Lage sind, die Zielvariable (Reagierer) zu modellieren. Zeitgleich wählt es, welches Modell als Sieger hervorgeht. Als Vergleichsmass können alle State-of-the-Art Statistiken verwendet werden (über 15 verschiedene, wie Klassifikationsrate, Profit/Loss, Gini, Captured Response, Gain, Lift, uvm.).

32 Modellierung der Reagierenden mit SAS Enterprise Miner Mit dem Scoring Knoten kann nun die gesamte Kunden- Datenbank für Motorfahrzeug-Versicherungsnehmer gescort werden. Dabei wird wie gesagt aus dem Modellvergleichsknoten jeweils das beste Modell verwendet (das beste bezüglich dem gewünschten Vergleichsmass). Das Scoring erfolgt direkt auf der Tabelle Kunden_DB_MF in der LASR-Library von SAS Visual-Analytics. Auch hier brauchen wir also keine Daten hin und her zu schieben.

33 Bereitstellung von Modellen für Scorings ausserhalb des Enterprise Miners So ein Modell kann nun sehr leicht publiziert werden, so, dass es in anderen SAS Tools direkt verwendet werden kann. Die Marketing-Abteilung hat gewünscht, dass sie jeweils ad-hoc Exceldateien, welche sie regelmässig von den einzelnen Generalagenturen erhalten, eigenständig scoren können.

34 SAS Visual Analytics

35 Nun gehen wir wieder in den Data Explorer von SAS Visual Analytics, um die Kundenpotenziale zu explorieren Zum Beispiel erneut mittels räumlicher Exploration der Potenziale nach Land à Kanton à Gemeinde

36 Nun gehen wir wieder in den Data Explorer von SAS Visual Analytics um die Kundenpotenziale zu explorieren Oder Darstellung der Potenziale mittels beliebig erstellbarer Pivottabellen inkl. Hierarchien, automatischen Summen, Zeilen und Spaltenprozenten, Filtern uvm. Selbstverständlich kann man auch alle anderen Darstellungsvarianten verwenden (wie bei der einleitenden deskriptiven Exploration der Reagierer).

37 SAS Add-In for Microsoft Office

38 Zugriff auf bereitgestellte Modelle Zugriff auf das Modell über den SAS Metadaten Server. Ordnerstrukturen, Benutzerrechte und vieles mehr können über die Management Console gesteuert werden. Da wir ja jetzt direkt auf Daten im Excelfile (die Kunden-DB MF angereichert mit den Kampagneninfos) ein Scoring anwenden möchten, verlangt SAS ein Mapping der Excelspalten mit den für das Scoring nötigen Variablen. SAS hat aber ein automatisches Mapping gemacht, da die Spaltenbezeichnungen übereinstimmen. Auswahl der Spalten (Score), welche man in der resultierenden Tabelle haben möchte.

39 Zugriff auf bereitgestellte Modelle Die Marketing-Abteilung könnte nun beispielsweise den Datensatz absteigend nach dem Score sortieren, bereits kontaktierte Kunden ausschliessen und somit Top-Down die Kunden mit der höchsten Reaktionswahrscheinlichkeit selektieren. Das heisst, dass auch diese Arbeit von der analytischen Fachabteilung abgegeben werden kann.

40 Summary Nutzen Sie die Power der Vernetzung Enterprise Guide für die Datenaufbereitung Microsoft Excel für direkte Dateneingabe und Modifikation Visual Analytics als erste Anlaufstelle für die Datenexploration Enterprise Miner als effizientes und effektives Analyse- und Modellierungs-Tool Enterprise Guide und Stored Processes als Meister der Automation (inkl. Scheduling) Visual Analytics als finales Dokumentations- und Reporting-Tool Visual Analytics für die automatische Verbreitung der Resultate (inkl. Mobile BI)

41 Summary Self-Service! Dank einfach zu bedienenden Tools wie SAS Visual Analytics können deskriptive Auswertungen nicht nur von analytischen Fachabteilungen, sondern direkt von Abteilungen wie Marketing, Finanzen, Planung, Produktion uvm. selber angewandt werden Hier im Beispiel war es die Marketing-Abteilung, welche einfache Response- Auswertungen selbständig realisieren konnte Auslagerung von wiederkehrenden Arbeiten wie das Scoring von Kundendaten Beispielsweise direkt im Excel mit dem SAS Add-In Einmalige Erstellung von Reports, welche dann einfach per Webbrowser-Zugriff oder per Mobile-BI verteilt werden können sobald wiederkehrende Analysen aktualisiert werden, sind die Reports ebenfalls aktuell und berechtige Personen erhalten eine Push-Nachricht

42 Summary An der Demo wurden: nur ca. 40% der Möglichkeiten im SAS Add-In for Microsoft Office, nur ca. 30% der Möglichkeiten in SAS Visual Analytics, und lediglich ca. 10% der Möglichkeiten in SAS Enterprise Miner gezeigt. è Kontaktieren Sie uns für weitere Information oder verlangen Sie gleich eine Testlizenz, um die restlichen Prozente der Möglichkeiten zu entdecken.

43 make connections share ideas be inspired Fragen? Carmelo Iantosca, Senior Solution Specialist Analytics, SAS Institute AG Kontaktieren Sie uns via: