Was sind»daten«? Prof. Dr. Hagen Knaf Studiengang Angewandte Mathematik WS 2015/16

Transkript

1 Was sind»daten«? Studiengang Angewandte Mathematik WS 2015/16

2 Daten: Überblick Im Data Mining werden Daten analysiert um allgemein über Data Mining Verfahren sprechen zu können, benötigt man also eine präzise und allgemeine Vorstellung davon, was Daten sind. Leider wird der Begriff»Daten«in der Umgangssprache vieldeutig benutzt; man kann darauf also nur begrenzt Bezug nehmen. Grob gesagt gilt Folgendes: Ein (einzelner) Datensatz (englisch: sample) ist eine Zusammenfassung von Eigenschaften eines konkreten Objekts. Eine Datenmenge (englisch: dataset) besteht aus einer endlichen Zahl von Datensätzen, wobei jeder Datensatz mit einem eindeutigen Bezeichner (englisch: identifier) versehen ist

3 Objekte, Merkmale und Ausprägungen Datensätze werden benutzt um etwas zu beschreiben oder gewisse Eigenschaften von etwas zu erfassen. Anstelle von»etwas«verwendet man in der Fachsprache das Wort Objekt. Ein Objekt kann ein Berg, eine Maschine, eine Pflanze, ein Mensch, ein bestimmter Tag, der Aktienkurs eines Unternehmens etc. sein. Ein Objekt besitzt Eigenschaften; in der Fachsprache nennt man sie auch Merkmale oder Attribute. Der Berg Matterhorn besitzt die Merkmale Höhe und Name des Erstbesteigers. Ein Merkmal eines Objekts besitzt einen bestimmten»wert«; in der Fachsprache nennt man diesen die Ausprägung des Merkmals. Die Ausprägung von Höhe für das Matterhorn ist»4478 Meter«, die Ausprägung von Name des Erstbesteigers ist»edward Whymper«. Die Ausprägung eines Merkmals kann eine Zahl, eine Liste von Zahlen, ein Text, ein Bild und anderes sein

4 Datensätze Ein Datensatz ist eine Zusammenfassung der Ausprägungen endlich vieler Merkmale eines Objekts. Das Paar (4478 Meter, Edward Whymper) ist ein Datensatz zu dem Objekt Matterhorn. Im Data Mining ist es üblich sprachlich nicht immer scharf zwischen einem Objekt und einem Datensatz zu diesem Objekt zu unterscheiden: Man spricht daher auch von den Merkmalen und Ausprägungen eines Datensatzes, wenn man eigentlich Merkmale und Ausprägungen des zugehörigen Objekts meint

5 Beispiele für Datensätze Ein Datensatz zu einem Menschen: Geschlecht: weiblich, Alter: 44 Jahre, Gewicht: 56 kg, Augenfarbe: grün, verheiratet: ja. Ein Datensatz zu einem Tag: Durchschnittstemperatur: 31 Grad, durchschnittliche Luftfeuchte: 81 %, Nebel: nein, Regen: nein, Schnee: nein, Bedeckung: heiter bis wolkig. Ein Datensatz zu einem Unternehmen: Name: Getriebe-Müller, Anzahl Mitarbeiter 2012: 487, Umsatz 2013: 14,7 Millionen, Unternehmenstyp: GmbH

6 Datenmengen Eine Datenmenge ist eine endliche Menge X von Elementen der Form (i,d), wobei: 1. d ein Datensatz ist, 2. i ein eindeutiger Bezeichner für den Datensatz d ist, 3. alle vorkommenden Datensätze d die selben Merkmale besitzen. Der Bezeichner i ist häufig eine fortlaufende Nummer, oder eine Bezeichnung für das Objekt zu dem der Datensatz d gehört. Zu jedem Bezeichner i gibt es höchstens ein Element von X, das diesen Bezeichner besitzt. Dieser dient zur eindeutigen Identifikation eines Elements von X. Der Bezeichner wird ansonsten in der Analyse der Daten X nicht benutzt

7 Datenmengen Jedes Element (i,d) einer Datenmenge X kann als Datensatz betrachtet werden: Seine Merkmale sind die Merkmale von d, sowie das besondere Merkmal Id, dessen Ausprägungen die Bezeichner der Datensätze sind. Die Merkmale von d nennt man auch die regulären Merkmale von (i,d). Da alle Datensätze in einer Datenmenge X die selben Merkmale besitzen, spricht man auch von den (regulären) Merkmalen von X

8 Mathematische Beschreibung von Datenmengen Im Folgenden sei X eine Datenmenge. In der Praxis bringt man die Merkmale von X meistens in eine bestimmte Reihenfolge; dies wird in der mathematischen Beschreibung benutzt. Es seien,, die regulären Merkmale von X und Id sei das Bezeichnermerkmal der Datensätze. Der Wertebereich des Merkmals, also die Menge der möglichen Ausprägungen, sei die Menge. Die Produktmenge = {(,, ) : } bezeichnet man als Merkmalsraum der Datenmenge X

9 Mathematische Beschreibung von Datenmengen Im Allgemeinen gibt es nicht zu jedem Element (,, ) des Merkmalsraums der Datenmenge X einen Datensatz (i,d) in X mit der Eigenschaft d = (,, ). Es kann mehrere Datensätze in X geben, für die d = (,, ) gleich ist. Dies ist einer der Gründe für die Einführung des Bezeichnermerkmals. Ist I die Menge der Ausprägungen des Merkmals Id, so gilt: X ist Teilmenge der Produktmenge

10 Beispiel einer Datenmenge X = { (Matterhorn, 4478 Meter, Edward Whymper), (Nanga Parbat, 8126 Meter, Hermann Buhl), (Chimborazo, 6268 Meter, Edward Whymper), (Mount Robson, 3954 Meter, Conrad Kain) } Bezeichnermerkmal: I = { Matterhorn, Nanga Parbat, Chimborazo, Mount Robson } Merkmalsraum: = {4478, 8126, 6268, 3954} {Edward Whymper, Hermann Buhl, Conrad Kain}

11 Merkmalstypen Für das praktische Arbeiten ist es nützlich Merkmale in drei Kategorien zu unterteilen. Numerische Merkmale: Ein Merkmal heißt numerisch, falls alle seine Ausprägungen Zahlen sind. Beispiel: Das Alter von Menschen. Ordinale Merkmale: Ein Merkmal heißt ordinal, falls seine Ausprägungen total geordnet sind. Beispiel: Die Auszeichnungen Bronze, Silber, Gold bei Sportwettkämpfen. Jedes numerische Merkmal ist auch ordinal. Nominale Merkmale: Ein Merkmal heißt nominal oder kategoriell, falls es nicht ordinal ist. Beispiel: Die Farbe ist ein nominales Merkmal von Edelsteinen

12 Merkmalstypen Binäre Merkmale: Ein Merkmal heißt binär, falls es nur zwei verschiedene Ausprägungen besitzt. Beispiel: Das Geschlecht von Menschen. Binäre Merkmale sind stets nominal, aber im Allgemeinen nicht ordinal

13 Datenmengentypen Die Datenmenge X heißt numerisch, falls alle vorkommenden regulären Merkmale numerisch sind, ordinal, falls alle vorkommenden regulären Merkmale ordinal sind, nominal, falls alle vorkommenden regulären Merkmale nominal sind, binär, falls alle vorkommenden regulären Merkmale binär sind, von gemischtem Typ, falls es reguläre Merkmale von verschiedenem Typ in einem Datensatz gibt. Daten von gemischtem Typ sind in der Regel am schwierigsten zu analysieren, da viele Data Mining Verfahren auf homogene Datentypen spezialisiert sind

14 Datenmengentypen Es ist nicht immer praktisch das gerade eingeführte mathematische Modell für Datenmengen zu benutzen. Beispiel 1: Warenkorbanalyse Als Daten werden hier die pro Einkauf in einem Supermarkt erworbenen Waren erfasst (z.b. für den Zeitraum einer Woche). Objekte sind Einkäufe (= Bezahlvorgang an der Kasse). Merkmale sind alle im betrachteten Supermarkt käuflichen Artikel. Ausprägungen sind Stückzahlen pro Artikel. Ein Durchschnittskunde erwirbt pro Einkauf nur einen kleinen Bruchteil der käuflichen Artikel weshalb in einem Datensatz (,, ) gemäß dem eingeführten mathematischen Modell die meisten Komponenten gleich 0 sind. Aus Speicherplatzsicht ist dies ineffizient

15 Datentypen Beispiel 2: Logisch abhängige Merkmale In der so genannten»volkszählung«wird unter anderem erfasst, ob und in welchem Umfang eine Person Immobilien besitzt. Objekte sind Personen. Ein binäres Merkmal ist»immobilienbesitz«mit den Ausprägungen»Ja«und»Nein«. Im Fall der Ausprägung»Ja«werden die weiteren Merkmale»Art des Immobilienbesitzes«und»Wert des Immobilienbesitzes«erhoben. Auch hier führt die Verwendung des oben eingeführten mathematischen Modells zu vielen überflüssigen 0-Ausprägungen in einem Datensatz

16 Datenmengentypen Man bezeichnet Datenmengen, deren Elemente als m-tupel (,, ) vorliegen als tabellarische Daten, da man sich die Menge X aller Datensätze als Tabelle mit m Spalten und so vielen Zeilen, wie es Datensätze gibt, vorstellen kann. Daten, die sich nicht effizient als m-tupel schreiben lassen, werden als komplexe Daten bezeichnet. Data Mining in komplexen Daten ist ein aktuelles Forschungsgebiet, da die meisten Data Mining Verfahren nur tabellarische Daten analysieren können. Auch die verfügbare Data Mining Software benötigt in der Regel einen tabellarischen Input

17 Datentabelle tabellarische Daten Merkmale Ausprägungen Datensätze

18 Fragen?