Data Mining: Einige Grundlagen aus der Stochastik

Größe: px

Ab Seite anzeigen:

Download "Data Mining: Einige Grundlagen aus der Stochastik"

Gerrit Salzmann
vor 8 Jahren
Abrufe

1 Data Mining: Einige Grundlagen aus der Stochastik Hagen Knaf Studiengang Angewandte Mathematik Hochschule RheinMain 21. Oktober 2015 Vorwort Das vorliegende Skript enthält eine Zusammenfassung verschiedener für das Data Mining relevanter Begriffe aus der Stochastik, sowie als zentrales theoretisches Resultat den Satz von Glivenko-Cantelli über die Konvergenz der aus einer Stichprobe vom Umfang n N gewonnenen empirischen Verteilung einer Zufallsvariablen gegen die Verteilungsfunktion dieser Zufallsvariablen, wenn n gegen unendlich strebt. Es ist empfehlenswert sich die relevanten Teile der Aufzeichnungen zur Vorlesung Wahrscheinlichkeitstheorie und mathematische Statistik I noch einmal anzusehen. Einleitung Vielen aber nicht allen Data Mining Verfahren liegt ein wahrscheinlichkeitstheoretischer oder gleichbedeutend probabilistischer Ansatz zugrunde: Man nimmt an, die zu analysierenden Daten enthalten eine Zufallskomponente. Diese kann im Wesentlichen zwei Ursachen haben: 1. Der datenerzeugende Prozess selbst ist nicht deterministisch. 2. Die Datenerfassung bringt Zufallseffekte in die Daten. 1

von Glivenko-Cantelli über die Konvergenz der aus einer Stichprobe vom Umfang n N gewonnenen empirischen Verteilung einer Zufallsvariablen gegen die Verteilungsfunktion dieser Zufallsvariablen, wenn

2 In beiden Fällen betrachtet man beim probabilistischen Ansatz die vorliegende Datenmenge X als Stichprobe, die zufällig aus einer gemäß einer unbekannten Wahrscheinlichkeitsdichte verteilten Grundgesamtheit gezogen wurde. Dies bringt die Stochastik ins Spiel. 1 Ereignisse Es sei X 1... X m der Merkmalsraum einer Datenmenge X mit den regulären Merkmalen M 1,..., M m. Wie das Beispiel des Frequent Itemset Mining zeigt, interessiert man sich im Data Mining für Bedingungen der Form M 1 = x 1 M 2 = x 2... M m = x m, (1) wobei (x 1,..., x m ) X 1... X m, oder allgemeiner (M 1,..., M m ) E (2) für ein bestimmtes E X 1... X m. Im Rahmen des probabilistischen Ansatzes nennt man das Eintreten der Bedingung (??) oder (??) ein Ereignis; es wird gegebenenfalls durch die zufällige Stichprobenerhebung realisiert. Aus gegebenen Ereignissen können durch Anwendung logischer Operationen wie Negation, Und-Verknüpfung und Oder-Verknüpfung neue Ereignisse gebildet werden. Dies führt zu einer Mengenalgebra für Ereignisse, die im Folgenden mathematisch präzise gefasst wird. Definition 1.1: Es sei Ω eine nicht leere Menge. Eine Teilmenge E P (Ω) der Potenzmenge von Ω heißt σ-algebra, falls sie die folgenden Eigenschaften besitzt: 1. A E Ω \ A =: A c E, 2. (A k ) k N, A k E A k E, k N 3. (A k ) k N, A k E k N A k E. Im Rahmen der Wahrscheinlichkeitstheorie bezeichnet man die Elemente E E als Ereignisse. Eine σ-algebra E kann also benutzt werden um die theoretisch möglichen Ereignisse eines Zufallsexperiments zusammenzufassen. Sie ist in diesem Sinn Teil die Ereigniswahrscheinlichkeiten fehlen noch eines mathematisches Modells dieses Zufallsexperiments. 2

Wie das Beispiel des Frequent Itemset Mining zeigt, interessiert man sich im Data Mining für Bedingungen der Form M 1 = x 1 M 2 = x 2... M m = x m, (1) wobei (x 1,..., x m ) X 1.

3 Die Eigenschaft 1 einer σ-algebra drückt aus, dass mit jedem Ereignis E auch das Nichteintreten von E ein Ereignis ist. Die Eigenschaften 2 und 3 entsprechen den logischen Verknüpfungen oder und und von Ereignissen. Im Fall endlich vieler Ereignisse entspricht es der Intuition, dass diese logischen Verknüpfungen wieder zu Ereignissen führen. Die Forderungen 2 und 3 im abzählbar unendlichen Fall ermöglichen es zum Beispiel auch zufällige zeitliche Entwicklungen einer Größe zu beschreiben. Die Elemente ω Ω werden oft als Elementarereignisse oder auch als Samples bezeichnet. Die erste Bezeichnung kann zu Missverständnissen führen, da die Mengen {ω} nicht notwendigerweise Ereignisse sind. Aus axiomatischer Sicht kann entweder die Eigenschaft 2 oder die Eigenschaft 3 in der Definition weggelassen werden, da sie aus der jeweils anderen und Eigenschaft 1 folgt. Beispiel 1.2: Im Fall des Würfelns mit zwei Würfeln, wobei nicht unterschieden wird welcher Würfel jeweils eine bestimmte Augenzahl zeigt, ist Ω = {(a 1, a 2 ) : a 1, a 2 {1,..., 6}, a 1 a 2 }. Als Menge möglicher Ereignisse kann man zum Beispiel die gesamte Potenzmenge P (Ω) benutzen. Das Ereignis Mindestens ein Würfel zeigt eine 6 wird dann durch die Teilmenge dargestellt. {(a, 6) : a {1,..., 6}} Beispiel 1.3: Bestimmt man mit einem Messgerät wie etwa einem Thermometer eine reelle Größe t, die Werte im Intervall (a, b) annehmen kann, und besitzt das Messgerät die Genauigkeit ɛ > 0, so bedeutet das Ablesen des Messwerts t 0 am Gerät, dass das Ereignis t (t 0 ɛ, t 0 + ɛ) eingetreten ist. Zur mathematischen Modellierung wird man in diesem Fall eine σ-algebra E P ((a, b)) verwenden, für die folgende Bedingung gilt: t 0 (a, b) (max(t 0 ɛ, a), min(t 0 + ɛ, b)) E. Das Beispiel?? zeigt, dass es in der mathematischen Modellierung eines Zufallsexperiments vorkommen kann, dass man sich nur für bestimmte Ereignisse interessiert, die selbst aber keine σ-algebra bilden. In dieser Situation ist das folgende Ergebnis konzeptionell nützlich und beruhigend: 3

Im Fall endlich vieler Ereignisse entspricht es der Intuition, dass diese logischen Verknüpfungen wieder zu Ereignissen führen.

4 Satz 1.4: Es sei Ω eine nicht leere Menge. 1. Es sei (E i ) i I eine Familie von σ-algebren auf Ω. Dann ist E := i I E i eine σ-algebra auf Ω. 2. Zu jeder Teilmenge E 0 P (Ω) gibt es eine bezüglich Inklusion minimale σ-algebra E mit der Eigenschaft E 0 E. Sie ist durch E 0 eindeutig bestimmt und wird als die von E 0 erzeugte σ-algebra bezeichnet. Beweis: Zu 1.: Nach Definition bedeutet A E, dass A E i für alle i I gilt. Folglich ist A c E i füir alle i I, und damit A c E. Die beiden anderen Eigenschaften ergeben sich analog. Zu 2.: Die Gesamtheit E aller σ-algebren F mit der Eigenschaft E 0 F ist eine Menge, nämlich eine Teilmenge von P (P (Ω)), und nicht leer: P (Ω) E. Nach Punkt 1 ist folglich E := F E F eine σ-algebra, und offensichtlich gilt E 0 E. Nach Konstruktion ist E minimal bezüglich Inklusion. Im Folgenden wird eine spezielle σ-algebra auf dem euklidischen Raum R n benötigt: Definition 1.5: Es sei O die Menge aller in der Standardtopologie offener Mengen des R n. Dann nennt man die von O erzeugte σ-algebra den euklidischen Borelkörper und bezeichnet ihn mit B n. Für das Weitere wesentliche Eigenschaften von B n sind: Feststellung 1.6: Der euklidischen Borelkörper B n enthält alle offenen, alle abgeschlossenen und alle kompakten Teilmengen A R n, sowie alle Mengen der Form I 1 I 2... I n, wobei I i ein Intervall der Form (a, b), (a, b], [a, b) oder [a, b] ist. 4

Sie ist durch E 0 eindeutig bestimmt und wird als die von E 0 erzeugte σ-algebra bezeichnet. Beweis: Zu 1.: Nach Definition bedeutet A E, dass A E i für alle i I gilt.

5 Beweis: Nach Definition umfasst B n alle offenen Mengen, also auch deren Komplemente, das heißt alle abgeschlossenen Mengen. Jede kompakte Teilmenge ist abgeschlossen. Die angegebenen Intervalle sind Schnitte von offenen mit abgeschlossenen Intervallen. Folglich sind die Mengen der angegebenen Form ebenfalls Schnitte von offenen mit abgeschlossenen Mengen und damit Elemente von B n. 5

Die angegebenen Intervalle sind Schnitte von offenen mit abgeschlossenen Intervallen.

Ähnliche Dokumente

1 Mathematische Grundlagen

Mathematische Grundlagen - 1-1 Mathematische Grundlagen Der Begriff der Menge ist einer der grundlegenden Begriffe in der Mathematik. Mengen dienen dazu, Dinge oder Objekte zu einer Einheit zusammenzufassen.