Datenhandling und Einstieg in die Analyse mit R

Transkript

1 Datenhandling und Einstieg in die Analyse mit R ifes Institut für Empirie & Statistik FOM Hochschule für Oekonomie & Management Prof. Dr. Oliver Gansser Unterlagen zum Selbststudium

2 Was ist R? R ist eine freie Programmiersprache für statistisches Rechnen und statistische Grafiken. Der Funktionsumfang von R kann durch eine Vielzahl von Paketen erweitert und an spezifische statistische Problemstellungen angepasst werden. Als grafische Benutzeroberfläche wird in R das Paket R-Commander (Paketname: Rcmdr) bereitgestellt. Der R-Commander erleichtert das Datenmanagement und hilft beim Schreiben von Auswertskripten. 2

3 Download & Entpacken Download der FOMPortable-Version unter fom.de/meine Hochschule/Tools & Services/Software 3

4 Download & Entpacken Download der FOMPortable-Version für Windows User in einen Ordner mit Schreibrechten. Linux User können die Software Rcmdr direkt aus den Paketen des Distributors installieren (total simpel, ein Klick) Windows user Mac User beachten bitte die genaue Anleitung, da hier einige Schritte mehr notwendig sind, als auf den anderen Systemen 4

5 Download & Entpacken für die FOMPortable-Version Nachdem Sie die FOMPortable-Version von R aus dem Online- Campus heruntergeladen haben, entpacken Sie die.zip-datei. Im Ordner user wurden Datensätze, Skripte und der Fragebogen für Modul Wissenschaftliche Methodik hinterlegt (Master of Science). Im Hauptverzeichnis befindet sich die Datei R- Start.bat mit der Sie die R-Umgebung öffnen. Idealerweise verknüpfen Sie diese Datei mit Ihrem Desktop. 5

6 Benutzeroberflächen Es öffnen sich die R-Console und der R-Commander Beide Fenster müssen immer geöffnet bleiben. Alle Befehle die in der R Console eingegeben werden können, funktionieren auch im Rcmdr. Im Rcmdr: Befehl mit Cursor markieren oder hinter den Befehl setzten und auf Befehl ausführen klicken. 6

7 R Commander (Rcmdr) zeigt die hinter den jeweiligen Menüpunkten hinterlegten Funktionen sowie die verwendeten Argumente und Parameter an. werden die Skriptbefehle und die Ergebnisse von z.b. Berechnungen ausgegeben. gibt Statusnachrichten und Fehlermeldungen aus. 7

8 R-Konventionen R kann zwischen Groß- und Kleinschreibung unterscheiden. Ein Kommentar in Skripten wird mit # eingeleitet. Fehlende Werte sind mit NA gekennzeichnet. Das Dezimaltrennzeichen,( Komma ) ist. ( Punkt ) Das ist wichtig, wenn Sie aus anderen Formaten Daten importieren. Sie müssen in diesem Fall folgendes wissen (s. Folie 19): Wie sind die Felder der zu importierenden Datei getrennt. Welches Format haben die Daten beim Dezimaltrennzeichen. Eine Zuweisung erfolgt über <- Die Daten (und alle Eingaben) werden mit dem Beenden von R (einem der beiden Fenster) gelöscht. 8

9 Funktionen R ist eine objektorientierte Sprache, d. h. eine Funktion kann je nach Typ des Funktionsarguments unterschiedliche Ergebnisse liefern. Für viele Argumente und Parameter existieren Voreinstellungen die nicht explizit angegeben werden müssen. Funktionen werden direkt angewendet. Häufig werden die Ergebnisse von Funktionen Objekten zugewiesen, so dass mit den Ergebnissen weitergearbeitet werden kann. Die Ergebnisse werden im Workspace gespeichert. Der Inhalt kann mittels ls() angezeigt werden. Mit rm()werden Objekte aus dem Workspace entfernt. 9

10 R-Modellspezifikation Vielen Verfahren in R muss das Datenmodell über eine formula übergeben werden. Zum Verständnis hier die wichtigsten formula Zeichen (z. B. für die Regressionanalyse): ~ trennt abhängig von unabhängig: y~x + fügt erklärende Variablen hinzu: y~u+v * fügt erklärende Variablen und Interaktion hinzu: y~u*v : fügt Interaktion direkt hinzu y~u+v+u:v. fügt alle Variablen hinzu y~. 10

11 R-Literatur Unzählige Bücher und Internetquellen, auch auf Deutsch, eine Auswahl: Hatzinger, Hornig & Nagel (2011). R: Einführung durch angewandte Statistik, Wien: Pearson Studium Statistik Einführung, sehr gutes Buch, an allen FOM Standorten in der Bibliothek vorhanden. Ligges, U. (2008). Programmieren mit R. Springer. eher technisch Luhmann, M. (2010): R für Einsteiger, Weiheim. gutes Einstiegsbuch Springer Reihe user! für Spezialgebiete Im Internet (Auswahl):

12 R-Hilfe Es gibt viele Hilfsquellen (Befehle über R Console oder Rcmdr): R Hilfe Startseite: help.start() Direkte Hilfe zu einer Funktion:?lm Suchfunktion: help.search("lm") FAQ: Mailinglisten, z.b. Häufig hilft schon eine Internetsuche R lm Oder Sie klicken den Hilfebutton im Rcmdr Menü: 12

13 Installieren von Paketen Viele (spezielle) Methoden sind in Paketen enthalten, die teilweise zunächst installiert (über R Console) und dann geladen werden müssen: per Menüführung per Direkteingabe > Install.packages( Hier der Paketname ) 13

14 Laden von Paketen Installierte Pakete müssen zur Nutzung geladen werden. Auch hier gibt es verschiedene Möglichkeiten: Per Menüführung im Rcmdr: Extras/Lade Pakete Vor dem Laden muss das Pakt ein mal installiert werden. per Menüführung per Direkteingabe > Library(Hier der Paketname) 14

15 Ausgewählte Pakete Folgende Zusatzpakete (contributed) gehören zur (portablen) FOM R- Standard Installation: Rcmdr (GUI) conjoint (Conjointanalyse) CTT (Testtheorie) linprog (lineare Programmierung) rela (Relabiliäten, Cronbach s alpha etc.) Matching (Propensity Score Matching) mvpart (Entscheidungsbäume) nortest (Normalverteilungstests) plm (Panelregression) psych (Psychometrische Methoden, Hauptkomponentenrotation etc.) pwr (Powerberechnungen) randomforest (Random Forests) sampleselection (Tobit/Heckit Verfahren) sem (Strukturgleichungen) => wird evtl. durch lavaan ersetzt tseries (Zeitreihenmethoden, (G)Arch etc.) Ab SoSe 14 arules und arulesviz (Assoziationsanalyse (Modul (E)CRM)) 15

16 Daten einlesen und praktische Tipps Grafische Möglichkeit über den R-Commander (nächste Folien). Textdateien (ASCII) über read.table(). Diverse Binärformate (z.b. SPSS über read.spss() im Paket foreign). Wenn Daten in Excel vorliegen sollte folgendes beachtet werden: In der ersten Zeile befinden sich normalerweise die Variablennamen. Darunter die Daten. Diese Daten sollten möglichst ohne Formatierungen vorliegen. Die Datentabelle muss nicht hübsch sein, sondern zweckmäßig. Pro Zeile liegen Daten je Auskunftsperson vor (Merkmalsträger, Beobachtung). Legen Sie, wenn noch nicht geschehen, eine erste Spalte an, die Sie als Variable Apn.Nr. o. ä. bezeichnen. Diese Nummer sollte auch auf dem Fragebogen stehen. Alle Spalten die für die Auswertung nicht benötigt werden, können gelöscht werden. 16

17 Daten einlesen aus Excel Daten in Excel: Spalten = Variablen Zeilen = Auskunftspersonen Sie können jetzt entscheiden, ob Sie die Variablennamen nun umbenennen (Var1=>Geschlecht, Var2=>Alter) oder in einem fortlaufenden Format behalten. Wenn Sie eine Datei ohne Variablennamen importieren, vergibt R beim importieren fortlaufende Variablennamen. Z. B. V1, V2, V3, usw. 17

18 Daten einlesen aus Excel Sollte die Exceldatei im Ordner nicht angezeigt werden klicken Sie auf All Files(*.*). Hier kann ein Matrixname eingegeben werden, auf den sich die Skriptbefehle beziehen. Dies ist wichtig bei zu öffnenden Skriptdateien. Da in Excel meist mehrere Tabellen gespeichert sind, ist die Tabelle mit den Rohdaten einzulesen. 18

19 Daten einlesen aus anderen Formaten Aus SPSS (Wenn Daten im SPSS Format vorliegen): Wertelabels können als Werteetiketten übernommen werden. Variablenlabels werden nicht übernommen. Aus Textdateien (Wenn Daten im MAC Format oder Linux Format vorliegen): Datenfeldtrennzeichen und Dezimaltrennzeichen beachten. Wertelabels werden nicht übernommen. Fehlende Werte werden von R durch NA (not available) ersetzt. Wie müssen die Daten vorher gespeichert werden? Mac: Speichern unter Windowskommagetrennt (.csv) Linux: Speichern unter CSV (Trennzeichengetrennt) Achtung: Das Trennzeichen beim Import (Mac und Linux) ist ; 19

20 Datenhandling Datenmatrix auswählen, falls mehrere geladen sind. Achtung, dies ist beim Speichern zu berücksichtigen! (Folie 22 und 25) Datenmatrix bearbeiten (Wie Excel) Daten nur betrachten 20

21 Datenmatrix bearbeiten Variablen oder Matrixinhalte können geändert/ergänzt werden R erkennt mit dem Einlesen, um was für einen Datentyp es sich handelt: Felder mit Buchstaben werden als Charakter- Variablen eingelesen. Felder mit Zahlen werden als Numerische Variablen eingelesen. 21

22 Menüführung im Rcmdr Ergebnisse im Ausgabefenster können gespeichert werden. Skripte aus dem Skriptfenster, die später noch benötigt werden, können gespeichert werden. Gespeicherte Skripte können geöffnet werden. Bsp: Skript zur PCS im Ordner user. Daten können im R-Format gespeichert werden (*.Rdata). Eine Datendatei kann mehrere Datenmatrizen enthalten. Eine einzelne Datenmatrix wird besser unter Datenmanagement gespeichert (s. Folie 25). 22

23 Menüführung im Rcmdr Grundsätzlich können alle drei Fenster des Rcmdr wie mit jedem Editor bearbeitet werden. Alle üblichen Strg-Funktionen sind möglich. 23

24 Menüführung im Rcmdr Eine Datenmatrix im *RData Format kann neu erstellt oder eine bereits gespeicherte Datei (mit mehreren Matrizen) oder Matrix kann geladen werden. Merge data sets aggregiert mehrere Matrizen zu einer Matrix. Dieses Feld ist nur aktiv, wenn auch mehrere Matrizen geladen sind. Hier befinden sich alle Operationen, die mit der gesamten Datenmatrix durchgeführt werden können. Hier befinden sich alle Operationen, die mit einzelnen Variablen durchgeführt werden können. 24

25 Menüführung im Rcmdr Für bestimmte Verfahren (z. B. die PCA) ist es notwendig, Teilmengen zu bilden. Speichern oder exportieren einer einzelnen Matrix (vgl. Folie 22) Teilmengen können mit oder ohne Anweisung erfolgen. Nützliche Operatoren sind: >, <, ==, etc, (siehe nächste Folie!) 25

26 Operatoren in R Quelle: Quelle: 26

27 Aktive Datenmatrix/Teilmenge der aktiven Datenmatrix 27

28 Merge data set Zwei oder mehrere Matrizen zu einer Matrix zusammenführen Über das Skript können so sehr viele Datenmatrizen sehr schnell aggregiert werden, Bspw:. MergedDataset <- mergerows(datenmatrix1, Datenmatrix2, common.only=false) MergedDataset <- mergerows(mergeddataset, Datenmatrix3, common.only=false) MergedDataset <- mergerows(mergeddataset, Datenmatrix4, common.only=false) usw. 28

29 Aktive Datenmatrix/Aggregate variables in aktive data set Die Aggregationsregeln können mittels der Operatoren individuell festgelegt werden. 29

30 Aktive Datenmatrix/Variablen übereinander platzieren Variablen können so transponiert werden. Variablennamen werden so zu Faktoren. 30

31 Menüführung im Rcmdr Auf den nachfolgende Folien sind die wichtigsten Befehle erläutert. Auswahl des entsprechenden Menüpunktes ist im Folientitel sichtbar. 31

32 Variablen bearbeiten/rekodiere Variable Achtung, mit diesem Haken entscheiden Sie, ob die Variable metrisch bleibt, oder zum Faktor wird. Wenn Items bei einer Stapelskalierung im Fragebogen negativ und positiv formuliert sind, ist eine Recodierung erforderlich, da sonst z. B. eine Mittelwertbildung keinen Sinn macht. 32

33 Variablen bearbeiten/erzeuge neue Variable Hier wird deutlich, welche Vorteile eine fortlaufende Nummerierung der Variablen hat. Skriptbefehle können einfach kopiert und für andere Operationen abgeändert werden. 33

34 Variablen bearbeiten/konvertiere numerische Variablen in Faktoren Liegen nominale Daten in metrischer (numerischer) Form vor, dann sind diese Daten in Faktoren zu konvertieren. 34

35 Variablen bearbeiten/konvertiere numerische Variablen in Faktoren Sollten die Daten in numerischer Form nicht mehr benötigen werden, kann die Variable überschreiben werden. Alternativ wird die Variable neu benannt. Dazugehöriger Skriptbefehl im Skriptfenster. Datenmatrix$Geschlecht <- factor(datenmatrix$geschlecht, labels=c('männlich','weiblich')) 35

36 Variablen bearbeiten/gruppiere nummerische Variable 36

37 Festlegung individueller Intervallgrenzen über das Skriptfenster Skripbefehl in R: cut(x, breaks, labels = NULL, include.lowest = FALSE, right = TRUE, dig.lab = 3, ordered_results = FALSE) x - Umzuwandelnder numerischer Wert breaks - Entweder einzelner Integer mit Anzahl der gewünschten Intervalle oder ein numerischer Vektor mit den gewünschten Intervallgrenzen labels - Labels für die Ausprägungen des Ergebnisvektors include.lowest - Logischer Wert der steuert, ob ein Wert auf einer offenen Intervallgrenze mit hinzugezählt werden soll oder nicht right - Logischer Wert, der steuert, ob Intervalle rechts geschlossen und links offen sein sollen dig.lab - Anzahl Dezimalstellen für berechnete Faktorlabels (wenn labels nicht gesetzt wird) ordered_results - Logischer Wert der steuert, ob das Ergebnis ordinaler Faktor ist (Danke an Joachim Schwarz für die Recherche des Befehls) 37

38 Festlegung individueller Intervallgrenzen über das Skriptfenster Beispiel: Datenmatrix$Altergruppe2 <- cut(datenmatrix$var2, breaks=c(0,20,30,40,50,60), ordered_results = TRUE) 38

39 Variablen bearbeiten/variablen umbenennen und löschen Es können beliebig viele Variablen umbenannt werden. Alternativ kann die Variable auch über den Button Datenmatrix bearbeiten umbenannt werden (s. Folie 21). 39

40 Deskriptive Statistik Deskriptive Statistik aller Variablen der aktiven Datenmatrix. Gute Kontrollmöglichkeit, ob Daten im richtigen Typ und ohne Eingabefehler vorhanden sind. 40

41 Kontakt Stellvertretender Direktor Prof. Dr. Oliver Gansser Kontakt ifes Institut für Empirie & Statistik Standort München FOM Hochschule für Oekonomie & Management Hopfenstraße München Telefon Fax Web 41