Metriken für ein ROI-basiertes Datenqualitätsmanagement

Transkript

1 Dr. Max Mustermann Referat Kommunikation & Marketing Verwaltung Metriken für ein ROI-basiertes Datenqualitätsmanagement Prof. Dr. Bernd Heinrich, Prof. Dr. Mathias Klier Institut für Wirtschaftsinformatik Fakultät für Wirtschaftswissenschaften

2 Agenda Motivation und praktische Problemstellung Entwicklung einer Metrik zur Messung der Aktualität von Daten Zwei Projekte zur Anwendung der entwickelten Metrik Zusammenfassung und Diskussion 1.2 Metriken für ein ROI-basiertes Datenqualitätsmanagement Prof. Dr. Bernd Heinrich, Prof. Dr. Mathias Klier

3 Projekt bei einem Mobilfunkanbieter Projektfokus Untersuchung der Kosten-Nutzen-Wirkung von Datenqualitätsmaßnahmen Ausgangspunkt: Kampagnenmanagementprozess Relevante Fragestellungen Wie kann man Datenqualität mittels Metriken messen? Wie verbessert sich das Datenqualitätsniveau durch die Anwendung von Datenqualitätsmaßnahmen? Welche Datenqualitätsmaßnahmen sollen unter Kosten-Nutzen-Aspekten durchgeführt werden? Wie kann man durch ein effizientes Datenqualitätsmanagement den Nutzen für das Unternehmen verbessern? 1.3 Metriken für ein ROI-basiertes Datenqualitätsmanagement Prof. Dr. Bernd Heinrich, Prof. Dr. Mathias Klier

4 Motivation: Datenqualitätsmessung Um Datenqualitätsmaßnahmen hinsichtlich Kosten-Nutzen-Aspekten bewerten zu können, ist ein Regelkreis mit integriertem Messverfahren für die Datenqualität notwendig, denn What doesn't get measured doesn't get managed. Datenqualitätsregelkreis 1.4 Metriken für ein ROI-basiertes Datenqualitätsmanagement Prof. Dr. Bernd Heinrich, Prof. Dr. Mathias Klier

5 Fokus: Datenqualitätsdimension Aktualität Definition/Verständnis von Aktualität Unter Aktualität ist die Eigenschaft der Gegenwartsbezogenheit des Datenbestandes zu verstehen, d.h. inwiefern die im Informationssystem erfassten Werte den aktuellen Gegebenheiten in der Realwelt entsprechen und nicht veraltet sind. Beispielhafte praktische Fragestellungen Inwiefern sind die im Informationssystem vorgehaltenen Kundenkontaktdaten (z.b. Adresse) überhaupt noch aktuell? Inwiefern stimmt der erfasste Berufsstatus eines Kunden (z.b. Student ) noch mit den realen Gegebenheiten überein? 1.5 Metriken für ein ROI-basiertes Datenqualitätsmanagement Prof. Dr. Bernd Heinrich, Prof. Dr. Mathias Klier

6 Entwicklung der Metrik für Aktualität (I) Grundlegende Idee Entwicklung einer Metrik auf Basis von wahrscheinlichkeitstheoretischen Überlegungen, um einen automatisierten Ablauf der Messung zu ermöglichen. Aktualität wird interpretiert als Wahrscheinlichkeit dafür, dass ein Attributwert immer noch den aktuellen, realen Gegebenheiten entspricht. Betrachtete Attributwerte werden älter und besitzen eine unbekannte Gültigkeitsdauer. Die Wahrscheinlichkeit, mit welcher der Wert im Datenbestand zum Analysezeitpunkt noch aktuell ist, nimmt (für die meisten Attribute) mit zunehmendem Alter des Attributwerts ab. 1.6 Metriken für ein ROI-basiertes Datenqualitätsmanagement Prof. Dr. Bernd Heinrich, Prof. Dr. Mathias Klier

7 Entwicklung der Metrik für Aktualität (II) Formalisierung (Attributwertebene) Sei A ein Attribut, w ein Attributwert und Alter(w, A) das Alter des Attributwertes. Sei zudem Verfall(A) die Verfallsrate von Werten des Attributes A. Dann ergibt sich die Metrik bspw. bei einer Exponentialverteilung zu Q Akt. ( w, A) : = e Verfall( A) Alter( w, A) 1.7 Metriken für ein ROI-basiertes Datenqualitätsmanagement Prof. Dr. Bernd Heinrich, Prof. Dr. Mathias Klier

8 Entwicklung der Metrik für Aktualität (III) Beispiel (Tupelebene/Vermarktung einer Tarifoption) 1. Bestimmung der relevanten Attribute und deren relativer Wichtigkeit hinsichtlich Aktualität 2. Berechnung von Alter(T.A i,a i ) aus dem gegenwärtigen Zeitpunkt und dem Zeitpunkt der Datenerfassung für die betrachteten Attributwerte 3. Bestimmung von Verfall(A i ) mit Hilfe von empirischen Daten oder Stichprobentests 4. Berechnung der Aktualitätsbewertungen auf Attributwertebene (BEISPIEL): 5. Bewertung der Aktualität des Tupels (BEISPIEL): ( T, A1,..., A4 ) 0,99 0,9 + 1,00 0,2 + 0,82 0,9 + 0,82 1 0,9 + 0,2 + 0,9 + 1,0 Q Akt. = 0, Metriken für ein ROI-basiertes Datenqualitätsmanagement Prof. Dr. Bernd Heinrich, Prof. Dr. Mathias Klier

9 Anwendung der Metrik für Aktualität (I.I) Projekt bei einem Mobilfunkanbieter Angebot einer Tarifoption für PrePaid-Kunden *) 1. Analyse einer früheren, vergleichbaren Kampagne Erfolgsquote der früheren Kampagne in Abhängigkeit von den Metrikergebnissen (=Wahrscheinlichkeit) für Aktualität *) Das folgende Beispiel wurde anonymisiert und vereinfacht 1.9 Metriken für ein ROI-basiertes Datenqualitätsmanagement Prof. Dr. Bernd Heinrich, Prof. Dr. Mathias Klier

10 Anwendung der Metrik für Aktualität (I.II) 2. Prognose der Profitabilität der neuen, aktuellen Kampagne Erwarteter Erlös abzüglich Kosten bei: 1,25 Euro Kosten/Mailing; 20 Euro Durchschnittserlös/Neuvertrag Intervall [0; 0,4]: Mailingkosten > erwartete Erlöse abzüglich Kosten Intervall ]0,4; 1]: Mailingkosten < erwartete Erlöse abzüglich Kosten 1.10 Metriken für ein ROI-basiertes Datenqualitätsmanagement Prof. Dr. Bernd Heinrich, Prof. Dr. Mathias Klier

11 Anwendung der Metrik für Aktualität (I.III) 3. Analyse einer potenziellen Datenqualitätsmaßnahme Adresskauf zu 0,40 Euro/Adresse (z.b. Post Direkt GmbH) Im Intervall ]0,4; 1,0]: Adresskauf nicht rentabel Im Intervall ]0,0; 0,4]: Adresskauf rentabel Nur im Intervall ]0,2; 0,4] gilt: Gesamterlöse > (Mailingkosten + Kosten Adresskauf) 1.11 Metriken für ein ROI-basiertes Datenqualitätsmanagement Prof. Dr. Bernd Heinrich, Prof. Dr. Mathias Klier

12 4. Ex post Analyse der Kampagne Anwendung der Metrik für Aktualität (I.IV) Für ca Kunden des Intervalls ]0,2; 0,4] wurden die Adressen bei einem externen Provider erworben und mit den gespeicherten Adressen verglichen. Auszug: ex ante und ex post Aktualität der Adressdaten Intervall ]0,2; 0,3] Intervall ]0,3; 0,4] Anzahl ca ca ex post- Aktualität ca Adressen aktuell (~0,28) ca Adressen aktuell (~0,32) Die ex ante prognostizierten Erfolgsquoten stellten sich mit Abweichungen von ca. ± 0,6% ein. Datenqualitätsmaßnahmen konnten mit Hilfe der Metrik besser dosiert und zielgerichteter eingesetzt werden. Die Profitabilität der Kampagnen konnte durch Berücksichtigung der Datenqualität deutlich verbessert werden Metriken für ein ROI-basiertes Datenqualitätsmanagement Prof. Dr. Bernd Heinrich, Prof. Dr. Mathias Klier

13 Anwendung der Metrik für Aktualität (II.I) Zweites Projekt Grundproblematik Oftmals keine qualitätsgesicherten Daten über den Kunden, dessen Transaktionen, Produkte etc. Eine adäquate Ansprache des Kunden ist schwierig (bspw. Fehler bei den Kundenstamm- und Vertragsdaten). Eine Unterbreitung individueller, integrierter Kundenangebote ist nur bedingt möglich. Die Erfolgsquoten bei (ausgewählten) Kundenkampagnen sind zum Teil mäßig. Fokussierte Problemstellung Durchführung einer Studentenkampagne in der ein neues, spezielles Produktangebot für Studenten (postalisch) unterbreitet werden soll Metriken für ein ROI-basiertes Datenqualitätsmanagement Prof. Dr. Bernd Heinrich, Prof. Dr. Mathias Klier

14 Anwendung der Metrik für Aktualität (II.II) 1. Bisheriges Vorgehen bei solchen Produktkampagnen *) Schreibe die Top-30%-Kunden nach Umsatz an, bei denen der Berufsstatus Student in der Datenbank hinterlegt ist. Bisherige Erfolgsquote: ca. 9% 2. Kalkulation bei Anwendung dieses Vorgehens a. Wenn die Top-30%-Kunden der im System gespeicherten Studenten angeschrieben werden, liegt der bisherige -Umsatz dieser Kunden bei b. Bei einer Erfolgsquote von 9% würden ca Kunden das Angebot annehmen. Bei diesen Kunden würde sich der bisherige Ertrag um 5% erhöhen. c. Geschätzter Mehrertrag: * * 0,05 = *) Das folgende Beispiel wurde anonymisiert und vereinfacht 1.14 Metriken für ein ROI-basiertes Datenqualitätsmanagement Prof. Dr. Bernd Heinrich, Prof. Dr. Mathias Klier

15 Anwendung der Metrik für Aktualität (II.III) 3. Neues Vorgehen auf Basis der Metrik für Aktualität a. Für alle Kunden mit dem Status Student werden die Metrikergebnisse für Aktualität berechnet. Anzahl der Kunden Metrikergebnisse (Wahrscheinlichkeiten) b. Danach wird für jeden Kunden auf Basis des Metrikergebnisses der erwartete Ertrag ermittelt (z.b. hier: Metrikergebnis*Umsatz). c. Diese Kennzahl wird nunmehr als Selektionskriterium für die TOP-30%-Kunden verwendet. Von den selektierten Kunden wurden ca Kunden beim bisherigen Vorgehen nicht berücksichtigt Metriken für ein ROI-basiertes Datenqualitätsmanagement Prof. Dr. Bernd Heinrich, Prof. Dr. Mathias Klier

16 Anwendung der Metrik für Aktualität (II.IV) 4. Ergebnisse der durchgeführten Kampagne Der Mobilfunkanbieter entschied sich allen Kunden (d.h. nach beiden Selektionskriterien) ein Angebot zu unterbreiten. K DQ K DQ,U K U # Kunden = Erfolgsquote = 12,2% Umsatz = EUR # Kunden = Erfolgsquote = 10,4% Umsatz = EUR # Kunden = Erfolgsquote = 2,7% Umsatz = EUR Bei bisherigem Vorgehen: Erfolgsquote: 5,7% -Umsatz: Zus. Ertrag: Bei Einsatz der Metrik: Erfolgsquote: 11,5% - Umsatz: Zus. Ertrag: Metriken für ein ROI-basiertes Datenqualitätsmanagement Prof. Dr. Bernd Heinrich, Prof. Dr. Mathias Klier

17 Die Anwendungsmöglichkeiten von Datenqualitätsmetriken sind vielfältig Im Vortrag wurden exemplarisch eine Datenqualitätsdimension (Aktualität) sowie ein Anwendungskontext (Kampagnenmanagement) fokussiert. Für andere Datenqualitätsdimensionen (z.b. Korrektheit, Vollständigkeit und Konsistenz) wurden ebenfalls Metriken entwickelt und erfolgreich eingesetzt. Die Metriken sind nicht auf einen speziellen Anwendungskontext beschränkt, sondern vielseitig einsetzbar. Dies belegen Projekte in unterschiedlichen Branchen und Bereichen: Kundenbeziehungsmanagement (z.b. Mobilfunkanbieter, Bank) Enterprise Ressource Planning (Automobilhersteller) Projektmanagement (z.b. Metallverarbeiter, Beratung) Vielen Dank für Ihre Aufmerksamkeit! 1.17 Metriken für ein ROI-basiertes Datenqualitätsmanagement Prof. Dr. Bernd Heinrich, Prof. Dr. Mathias Klier