Der Chi Quadrat Test nicht nur für die digitalen Ziffernanalyse geeignet

Transkript

1 Der Chi Quadrat Test nicht nur für die digitalen Ziffernanalyse geeignet 1. Einleitung Seit Anfang 2002 finden elektronische Betriebsprüfungen auf der Grundlage der Grundsätze zum Datenzugriff und zur Prüfbarkeit digitaler Unterlagen" (GDPdU) statt. Die Betriebsprüfer wurden hierfür mit Laptops ausgestattet, auf denen u.a. auch die Prüfsoftware IDEA installiert ist. In dieser Prüfsoftware, aber auch in CheckAud for Data Analysis, sind umfangreiche Auswertungsund Prüfmöglichkeiten integriert, die auf mathematisch statistischen Verfahren beruhen und die auch die Durchführung der Benford Analyse und des Chi Quadrat Tests gestatten. Spätestens seit diesem Zeitpunkt haben diese beiden Verfahren eine hohe Popularität unter Prüfern aber auch in der Allgemeinheit erreicht, wie zahlreiche Artikel und Fernsehbeiträge belegen. Selbst Gerichte haben sich damit schon intensiv beschäftigt. Die Benford Analyse und der Chi Quadrat Test sind Verfahren der digitalen Ziffernanalyse, einem relativ neuen Zweig der mathematisch statistischen Analyseverfahren. Das Ziel der Ziffernanalyse ist es, ungewöhnlich häufiges Auftreten von einzelnen Ziffern oder Zifferkombinationen aufzudecken. Um ungewöhnlich häufiges Auftreten zu entdecken, muss ein Maßstab definiert werden, der die normale Häufigkeitsverteilung der Ziffern vorgibt. Während die Benford Verteilung von einer natürlichen Verteilung der Ziffern ausgeht, wird bei der Durchführung des Chi Quadrat Test eine Gleichverteilung der Ziffern unterstellt. Der Öffentlichkeit bekannt wurde dieser Test durch ein Urteil des Finanzgerichts Münster (Az 6V 4562/03 E, U) vom , welches der Finanzverwaltung eine Zuschätzung der Steuerschuld eines Kleinunternehmers auf Grund des Ergebnisses eines Chi Quadrat Tests erlaubte. Die Posten des Kassenbuches wiesen bei einer musterbasierten Analyse der Dezimalstellen signifikante Abweichungen von der unterstellten Gleichverteilung aller Ziffern auf. In diesem Beitrag werden die Funktionsweise des Chi Quadrat Tests, seine Anwendungsmöglichkeiten und seine Grenzen dargestellt. 2. Chi Quadrat Test als Werkzeug der digitalen Ziffernanalyse 2.1 Testidee Karl Pearson entwickelte im Jahr 1900 den Chi Quadrat Anpassungstest. In seiner Arbeit und häufig in wissenschaftlichen Publikationen wird er mit Darstellung des griechischen Buchstabens als 2 Anpassungstest bezeichnet. In diesem Beitrag wird aber die vereinfachte Darstellung des Namens gewählt. Er gehört zu den bekanntesten und ältesten Testverfahren in der Statistik. Mit ihm lässt sich prüfen, ob eine beobachtete Verteilung einer vorgegebenen (theoretischen) Verteilung entspricht.

2 Sie eignet sich als Werkzeug für Prüfer, um Datenmanipulationen auf die Spur zu kommen. Im Gegensatz zur Benford Verteilung wird beim Chi Quadrat Test nicht die Erstziffernverteilung untersucht, sondern die Verteilung der letzten Ziffer vor dem Komma die Verteilung der ersten oder ersten zwei Nachkommaziffer Abb. 1: Unterschiedliche Prüfansätze bei Benford und Chi Quadrat 2.2 Beispiel Der schon aus früheren Newslettern bekannte Datensatz umfasst Buchungssätze von Kreditoren Rechnungen. Hierfür wurden in einem ersten Analyseschritt für die Rechnungsbeträge deskriptive Daten berechnet, klassifiziert und ein Histogramm auf der Basis der Klassifikation erstellt. Kenngröße Wert N (= Gesamtzahl) Arithmetischer Mittelwert 1.173,88 Median 273,03 Modus 1.695,00 Summe ,00 Minimum 0,86 Maximum % Perzentil 68,92 75% Perzentil 828,00 Standardabweichung 2.922,78 Schiefe 4,9596 Kurtosis 30,9527 Tab. 1: Berechnung einiger deskriptiver Kenngrößen Für einen ersten Überblick über die Verteilung der Daten wurden folgende Klassen gebildet und die prozentualen Anteile der Klassenhäufigkeiten als Grafik dargestellt:

3 Tab. 2: Darstellung der Häufigkeiten der klassifizierten Rechnungsbeträge Abb. 2: Klassierte Darstellung der Rechnungsbeträge

4 Im Rahmen der digitalen Ziffernanalyse soll der Datensatz daraufhin untersucht werden, ob die Ziffern der ersten Nachkommastelle gleichverteilt oder ob Anomalien im Datensatz vorhanden sind. Um die Funktionsweise anschaulich darzustellen, wurde der Chi Quadrat Test in Excel nachgebildet. Diese Datei kann gerne per E Mail (datenanalyse@ibs schreiber.de) angefordert werden. Im ersten Schritt wird aus den Rechnungsbeträgen die erste Nachkommastelle extrahiert: Abb. 3: Extraktion der ersten Nachkommastelle Im nächsten Schritt werden die Häufigkeiten der einzelnen Ziffern ausgezählt(spalte H) und deren relativen Häufigkeiten (Spalte I) berechnet. Abb. 4: Extraktion der ersten Nachkommastelle

5 Es liegt nun die Verteilung (beobachte Verteilung / Ist Verteilung) der 1. Nachkommastelle der Rechnungsbeträge vor. Diese muss nun mit unserer Annahme der Gleichverteilung der Ziffern geprüft werden. Dazu werden die erwarteten Häufigkeiten (Spalte J) bzw. relativen Häufigkeiten (Spalte K) berechnet. Der Datensatz besteht aus Datensätzen. Wenn die Ziffern 0 9 gleichverteilt sind, ist die erwartete Häufigkeit 2.786/10 = 278,6. Abb. 5: Beobachtete und erwartete Häufigkeiten Zwischen den beobachteten und der durch die Gleichverteilung vorgegebenen Häufigkeiten sind Differenzen zu erkennen. Die Verteilung der Ziffern eines untersuchten Datensatzes wird nie exakt einer Gleichverteilung folgen, sondern durch Zufallsschwankungen von dieser abweichen. Wie kann man diese beiden Verteilungen miteinander vergleichen? Dazu wird folgendes intuitiv einleuchtendes Verfahren angewendet (siehe Abb. 6): 1. Man ermittelt für jede Zahl die Differenz zwischen der tatsächlichen Häufigkeit und der theoretisch erwarteten Häufigkeit der Ziehungen (Spalte L). Diese Differenz wird quadriert, damit sich negative und positive Differenzen nicht gegeneinander aufheben (Spalte M). 2. Nun wird diese quadrierte Differenz normiert, indem man sie durch die erwartete Häufigkeit dividiert (Spalte N). 3. Dieses Verfahren führt man für jede Ziffer durch und addiert alle Einzelwerte zu einem Gesamtergebnis (Spalte N; letzte Zeile). 4. Der Unterschied zwischen beiden Verteilungen kann nun durch eine Zahl dem Chi Quadrat Wert ausgedrückt werden: 1.465, (beobachtete Häufigkeit - erwartete Häufigkeit) Chi Quadrat 1.465,816 erwartete Häufigkeit für alle Ziffern (1)

6 Abb. 6: Berechnung der Prüfgröße Chi Quadrat Als Chi Quadrat Wert berechnet sich nach Formel (1) ein Wert von 1.465,816. Dieser Wert muss nun mit einem kritischen Wert verglichen werden, der eine zufällige Abweichung von einer systematischen unterscheidet. Hierfür muss vom Prüfer ein maximales Irrtumsrisiko bzw. ein Konfidenzniveau vorgegeben werden. Im Prüfungsgeschäft ist ein von 5% üblich, dies entspricht einem von 95%. Darüber hinaus muss zur Bestimmung des kritischen Wertes, die Anzahl der Freiheitsgrade ermittelt werden. Da es zehn mögliche Ziffern gibt, ist die Anzahl der Freiheitsgrade der Chi Quadrat Verteilung gleich neun. Mit diesen Parametern kann man in der Tab. 2 einen kritischen Wert von 16,919 ablesen. Zuverlässigkeit 0,9999 0,999 0,99 0,95 0,9 Fehler 0,0001 0,001 0,01 0,05 0,1 Chi 2 -kritisch 2 33,720 27,877 21,666 16,919 14,684 Tab. 3: Kritische Grenzen für den Chi Quadrat Test Da der berechnete Wert von 1.465,816 sehr viel höher ist als 16,919, kann mit einem maximalen Irrtumsrisiko von 5% statistisch bewiesen werden, dass die erste Ziffer nach dem Komma der untersuchten Rechnungsbeträge nicht gleichverteilt ist, es also Auffälligkeiten im Datensatz gibt, die durch tiefer gehende Prüfungshandlungen geklärt werden müssen. Neben der Berechnung des Chi Quadrat Wertes sollte vom Prüfer auch eine Graphik (siehe Abb. 7) über die Ziffernverteilung angefertigt werden. Anhand dieser visuellen Darstellung können sehr leicht Auffälligkeiten bzw. Muster im Datenmaterial entdeckt werden. Im Beispiel kommt die Ziffer 0 in 31,2% der Fälle vor. Eine nähere Betrachtung ergab einen hohen Anteil von Rechnungsbeträgen mit glatten Centbeträgen. Es wurde festgestellt, dass es sich hierbei um abgerechnete Dienstleistungen handelte. Bei Dienstleistungen wird häufig mit einem glatten Tagessatz gearbeitet. Es ist bei der Durchführung solcher Tests vom Prüfer immer zu beachten, dass eine signifikante Abweichung von der Gleichverteilung der Ziffern ein Hinweis aber kein Beweis einer mutwilligen Datenmanipulation ist.

7 Abb. 7: Graphische Darstellung der Häufigkeiten der ersten Ziffer nach dem Komma der Rechnungsbeträge 2.3 Anwendungsvoraussetzungen Folgende Voraussetzungen (siehe Odenthal 2006), die denen der Benford Verteilung sehr ähnlich sind, sollte ein Datensatz besitzen, damit der Chi Quadrat Test durchgeführt werden kann: Ausreichender Datenumfang, da bei einer großen Anzahl von Datensätzen typische Regelmäßigkeiten erkennbar sind, die an einer kleinen Zahl von Datensätzen noch nicht erkannt werden können (in der Statistik nennt man diesen Sachverhalt Das Gesetz der großen Zahlen ). Es dürfen keine definierten Unter und Obergrenzen oder Sockelbeträge innerhalb des Wertebereichs existieren. Daten dürfen keine psychologisch gewählte Werte haben (z.b. Supermarktpreise die auf 49 oder 99 enden). Die Daten dürfen keine sprechenden Schlüssel (z.b. Versicherungsnummer), nicht zu Identifikationszwecken zugeordnet (z. B. Konto, Telefonnummer) und müssen untereinander unabhängig sein. Es dürfen keine festgelegten Grenzwerte (Minimum, Maximum) oder Sockelbeträge innerhalb des Wertebereichs existieren. Andernfalls ist mit einer Häufung der Werte um diese definierten Grenzwerte zu rechnen. Im Datensatz dürfen keine periodisch wiederkehrende Daten (z.b. Mieten, Lohnzahlungen) vorkommen. Die Daten sollten nicht aus anderen Daten abgeleitet bzw. aggregiert (z.b. Mittelwert) sein.

8 Innerhalb des Datensatzes dürfen nicht verschiedene Einheiten (z.b. Kontobewegungen in EUR und in Dollar) Durch entsprechende Selektion oder Transformation können Datensätze, die die oben aufgeführten Kriterien nicht erfüllen, so angepasst werden, so dass der Chi Quadrat Test durchgeführt werden kann. 3. Chi Quadrat Test als Werkzeug zum Vergleich von Verteilungen Den Test auf Gleichverteilung von Ziffern als Chi Quadrat Test zu bezeichnen ist irreführend. Er müsste Gleichverteilungstest heißen. Der Chi Quadrat Test ist ein statistisches Standardverfahren, mit dem zwei Verteilungen miteinander verglichen werden können. Im Folgenden wird kurz ein anderer möglicher Einsatz des Testverfahrens dargestellt. Man kann z.b. eine historische Verteilung von Daten mit der Verteilung des aktuellen Jahres vergleichen und prüfen, ob die Verteilungen übereinstimmen oder ob es signifikante Abweichungen gibt. In Tab. 2 wurden die Rechnungsbeträge des Jahres 2011 in 18 Klassen geschichtet und die absoluten und relativen Häufigkeiten je Klasse dargestellt. Diese Verteilung kann nun als Vergleichsverteilung für das Jahr 2012 herangezogen werden. Die Daten des Jahres 2012 wurden nach dem gleichen Klassenmodell geschichtet und die Häufigkeiten ermittelt. Man erkennt deutliche Unterschiede in den Verteilungen. Es muss nun geprüft werden, ob die Verteilungen sich signifikant unterscheiden. Hierzu wird der Chi Quadrat Test eingesetzt. Abb. 8: Berechnung der Prüfgröße Chi Quadrat für den Vergleich zweier Jahresverteilungen Der Chi Quadrat Wert wurde wie in Formel (1) beschrieben berechnet. Vergleicht man die Verteilung der Rechnungsbeträge des Jahres 2012 mit denen des Jahres 2011, so berechnet sich ein Chi Quadrat Wert von 82,422. Es stellt sich nun die Frage, ob der Wert hoch genug ist, um einen Unterschied der beiden Verteilungen anzuzeigen. Zur Berechnung des kritischen Wertes wird ein maximales Irrtumsrisiko von 5% (entspricht einem Konfidenzniveau von 95%) festgelegt. Neben der Festlegung des maximalen Irrtumsrisikos muss noch

9 die Anzahl der Freiheitsgrade festgelegt werden. Diese ist einfach zu bestimmen. Sie ist die Anzahl der Klassen minus 1 in unserem Beispiel also 18 1 = 17. Zur Berechnung der kritischen Grenzen kann mit Excel und der Funktion CHIINV() eine entsprechende Tabelle erstellt werden. Tab. 4: Kritische Grenzen für den Chi Quadrat Test Der kritische Wert liegt bei 27,587, der berechnete Wert liegt bei 82,422. Da der berechnete Wert höher ist als der kritische Wert kann mit einem maximalen Irrtumsrisiko von 5% davon ausgegangen werden, dass die Verteilung der Rechnungsbeträge des Jahres 2012 sich deutlich vom Vorjahr unterscheidet. Besonders deutlich unterscheidet sich die Klasse mit Beträgen zwischen 500 und EUR. 4. Fazit In diesem Beitrag wurde der Einsatz des Chi Quadrat Tests in der digitalen Ziffernanalyse beschrieben. Bei der Verwendung dieses Analyse Werkzeuges ist es sehr wichtig, dass die Ergebnisse der Analyse vom Prüfer mit größter Sorgfalt interpretiert werden. Auffälligkeiten in der Ziffernanalyse sind ein möglicher Hinweis, aber kein Beweis für Manipulationen oder wirtschaftskriminelle Handlungen. Nur zusätzliche und ergänzende Prüfungshandlungen können diesen Verdacht erhärten oder ausschließen.

10 In einem weiteren Beispiel wurde die Anwendung des Chi Quadrat Tests zum Vergleich von Jahresverteilungen gezeigt. Für den Prüfer ist der Chi Quadrat Test ein sehr effektives und effizientes Werkzeug, um zwei Verteilungen miteinander zu vergleichen. 5. Literatur Klindtworth, Holger (2006): Handbuch der Datenprüfung. Richard Boorberg Verlag, Stuttgart. Odenthal, Roger (2006): Prüfsoftware im Einsatz, Datev-Verlag, Nürnberg. Dipl. Inform. Marcus Herold IBS Schreiber GmbH Bereichsleiter Datenanalyse Seminarmanagement