Statistische Software

Transkript

1 Statistische Software Seminar Warum wir falsch liegen und trotzdem weitermachen - Aktuelle Themen in Banken und Versicherungen von Martin Dörr betreut durch Sebastian Kaiser 31. August 2010

2 Inhaltsverzeichnis 1 Einleitung 2 2 Vorstellen der Statistikwerkzeuge PASW (SPSS) Die Geschichte Die Struktur Vor- und Nachteile SAS Die Geschichte Die Struktur Vor- und Nachteile Matlab Die Geschichte Die Struktur Vor- und Nachteile R Die Geschichte Die Struktur Vor- und Nachteile Excel Die Geschichte Die Struktur Vor- und Nachteile weitere Software ausgewählte Funktionen für Ökonometrie 21 4 Leistungsoptimierung R und Matlab Geschwindigkeit des Codes messen synonymer Code effizienter Arbeitsspeichergebrauch SAS Excel abschließende Anmerkung Zusammenfassung 38 1

3 Kapitel 1 Einleitung Computergestützte Verfahren sind in der heutigen Statistik nicht mehr wegzudenken. So ermöglichen sie erst das schnelle Berechnen aufwendiger und meistens nur über numerische Algorithmen zu lösende Formeln z.b. bei der Parameterschätzung in (generalisierten) linearen Modellen. Des weiteren können verallgemeinerte Algorithmen ohne größere Umstände wiederkehrende Aufgaben lösen, ohne dafür stets den Lösungsweg neu zu erarbeiten, was besonders im Bereich von Simulationen, Bayes-Inferenz und Graphikerzeugung eine deutliche Arbeitserleichterung bedeutet. Auch nicht zu vernachlässigen ist die bequeme und zuverlässige Speicherung, Verwaltung und Abfrage von riesigen Datenmengen, die heutige Datenspeicher mühelos stemmen können. In dieser Arbeit sollen die bedeutensten Statistikwerkzeuge vorgestellt werden, wie optimale Lösungwege aussehen und kurz eingeführt werden, welche Funktionen sie für finanzökonometrische Fragestellungen bereit halten. 2

4 Kapitel 2 Vorstellen der Statistikwerkzeuge 2.1 PASW (SPSS) Die Geschichte Die Firma SPSS wurde 1968 an der amerikanischen Universität Stanford von Norman H. Nie, C. Hadlai (Tex) Hull und Dale Bent gegründet. Die Statistik-Software SPSS wurde im Jahr der Firmengründung in ihrer ersten Version veröffentlicht. Anfänglich wurde die Software für Lochkarten-Systeme und Großrechner konzipiert kam dann die erste PC-Version auf dem Markt. SPSS Inc. wurde 2009 von IBM übernommen. Seit 2010 wird die Statistiksoftware SPSS Statistics unter dem Namen PASW (Predictive Analysis SoftWare) vermarktet. Der Name SPSS hat im Laufe der 40-jährigen Geschichte eine große Wandlung durchgemacht. Ursprünglich stand SPSS als Abkürzung für Statistical Package for the Social Sciences, später für Superior Performing Software System und Statistical Product and Service Solutions. Heutzutage gilt SPSS als ein Markenname Die Struktur Die Software PASW ist ein modular aufgebautes Programmpaket zur statistischen Analyse von Daten. Das Basismodul ermöglicht das grundlegende Datenmanagement und umfangreiche statistische und grafische Datenanalysen mit den gängigsten statistischen Verfahren. Diese grundlegende Plattform ist in vier Einheiten unterteilt: dem Dateneditor, dem Syntaxeditor, Scripteditor und einem Ausgabenavigator. Im Dateneditor werden die für die Auswertung zugrunde liegenden Daten ähnlich einer relationalen Datenbank-Tabelle verwaltet. Die Variablenansicht dient der Definition von Variablen und deren Eigenschaften; hier wird also die Struktur der Daten festgelegt. In dieser Ansicht lassen sich auch jederzeit die Eigenschaften der vorhandenen Variablen ablesen und ändern, z.b. Typ, Label, fehlende Werte und 3

5 Meßniveau. Die Datenansicht zeigt die eingegebenen Werte der definierten Variablen. Hier besteht die Möglichkeit, nach Werten zu suchen oder sie zu verändern. Müssen die Daten für bestimmte Analysen umstrukturiert werden, so bietet PASW dafür ein leicht zu bedienendes Werkzeug an. Das Ausführen von statistischen Analysen erfolgt über eine Befehlssyntax. Diese bietet wie richtige Programmiersprachen Konstrukte wie Schleifen und Abfragen, Variablen dienen hier jedoch nur zur flexiblen Ansteuerung von Funktionen, aber nicht der Speicherung und Weiterverarbeitung von Ergebnissen. Eingegeben und ausgeführt wird er im Syntaxeditor. Da sich die Analysen auch über die Menüstruktur und benutzerfreundlichen Eingabemasken (GUI) bewerkstelligen lassen, deren Umfang an Einstellungsmöglichkeiten für die jeweiligen Befehle hier meist beschränkt sind, besteht bei diesem Auswertungsweg die Möglichkeit, die hinter der GUI verborgenen Befehlssyntaxi in den Syntaxeditor übertragen zu lassen, wo dann die fehlenden Einstellungen hinzugefügt werden können. Für Automatisierungen von Abläufen gibt es einen Scripteditor, der Visual Basic for Applications verwendet. Die meisten mit einer Prozedur erstellten Ergebnisse werden im Ausgabenavigator (Viewer) dargestellt. Die Ergebnisse können dort nicht nur betrachtet, sondern auch bearbeitet, formatiert, in ihrer Reihenfolge umstrukturiert oder auch gelöscht werden. Er besteht aus dem Inhaltfenster, wo die eigentlichen Ergebnisse der Prozeduren ausgegeben werden, und dem Gliederungsfenster, was übersichtlich alle Objekte, die durch die Auswertung entstanden sind, auflistet. Die Inhalte von Dateneditor, Syntaxeditor und Ausgabenavigator werden in getrennten Dateien abgespeichert. Zu beachten ist, daß Ausgabenavigator-Dateien, die mit der Version 16 und kleiner erstellt wurden, mit den Versionen 17 und größer nicht mehr gelesen werden können. Für spezielle Anwendungen gibt es Zusatzmodule, die auf dem Basismodul aufsetzen. So hat sich AMOS als Erweiterung zur Durchführung von Strukturgleichungsmodellen etabliert, mit Forecasting lassen sich Zeitreihenanalysen durchführen, und als Schnittstelle zu anderer Software (R, Python) dient das Modul Statistics Developer. Eine Einführung in PASW bietet unter anderem das Buch von Nagel und Hatzinger [1] Vor- und Nachteile Im folgenden sollen die wesentlichen Gründe genannt werden, warum sich viele Anwender für PASW als ihr statistisches Werkzeug entschieden haben: + Es ist weltweit das am meisten verbreitete Statistikprogramm, es wird in vielen Wissenschaftszweigen verwendet, z.b. in der Soziologie, Psychologie, Biologie, Medizin und BWL/VWL. + Da PASW ein ausführbares Programm ist, stehen die vorhandenen Analysemethoden in schnellem Maschinencode. + PASW beinhaltet eine vollständige graphische Benutzeroberfläche (Graphical User Interface, kurz GUI). Der Anwender kann jede Funktion bequem per Menünavigation erreichen. Das Einstellen von Parametern und Einbinden von Daten ist intuitiv. 4

6 Abbildung 2.1: Sitzungsbeispiel von PASW + Ein eigener und sehr guter Dateneditor gehört zur Basisausstattung dazu. + Die Ausgabe von Graphiken und Analyseergebnissen ist ohne weitere Bearbeitung publikumsreif. + Von ausgeführten Analysen kann auf Wunsch die entsprechende Befehlssyntax automatisch erstellt werden. + Schnittstellen zu R und Python sind im Modul Statistics Developer enthalten. + Umständliche Programmierung mit der Befehlssyntax wird nun durch Visual Basic for Applications vereinfacht. Automatisierungen sind damit gut gestaltbar. + Ein umfassendes Hilfesystem gehört zur Grundausstattung dazu. Den Vorteilen stehen folgende Nachteile gegenüber: - Es ist ein kommerzielles Programm, für dessen Nutzung jährliche Lizenzgebühren anfallen. - Jüngere statistische Methoden sind im Allgemeinen nicht implementiert. - Es bietet deutlich weniger (exotische) statistische Verfahren an als andere Software. 2.2 SAS Die Geschichte Der Name SAS stand ursprünglich als Abkürzung für Statistical Analysis System, ein Auswertungsprogramm zur Analyse von Daten aus der landwirtschaftlichen Forschung, das Anfang der 1970er Jahre von Jim Goodnight, John Sall und weiteren 5

7 Forschern an der NC State University entwickelt wurde. Als die Nachfrage nach dem Programm wuchs, wurde das Unternehmen SAS Institute 1976 gegründet, um die Software zu entwickeln und zu vertreiben. Heute wird der Name SAS nicht mehr als Abkürzung verwendet, sondern als Markenname Die Struktur Zu den Kerntechnologien von SAS gehören die Skriptsprache SAS-Language (einschließlich der Statistikprozeduren und -funktionen), die SAS-eigene Datenbank (SAS-Datasets), das Enginekonzept für den Zugriff auf unterschiedlichste Datenformate, die Multi Vendor Architecture, also die betriebssystemunabhängige und - übergreifende Architektur sowie verschiedene Middlewarekonzepte (SAS-Integration- Technologies). SAS ist heute sehr stark auf das Gewinnen von Informationen und Wissen aus Unternehmensdaten ausgerichtet, also auf Datenintegration, Business Intelligence und deren Anwendungen in unterschiedlichsten betriebswirtschaftlichen Bereichen. Daher wurde seit 2004 die SAS Intelligence Platform aufgebaut, die es ermöglicht, geschäftliche Daten unternehmensweit zu verarbeiten und zu verwalten. Den Kern bildet die SAS Open Metadata Architecture für die durchgängige und einheitliche Speicherung von Metadaten für verschiedenste Anwendungsbereiche. Darum gruppiert sich eine Vielzahl von Anwendungen für die Datenintegration und -auswertung für ganz unterschiedliche Benutzerrollen in den Unternehmen. Eine dritte anwendungsorientierte Schicht stellen die Lösungen für verschiedene betriebswirtschaftliche (zum Beispiel Marketing) oder branchenspezifische (zum Beispiel Entwicklung von Medikamenten) Fragestellungen dar. Diese bauen auf den Kerntechnologien und auf der Intelligence Platform auf. Die SAS-Sprache (SAS-Language) Der aktive technische Kern der SAS-Software war immer und ist auch heute noch ein Interpreter (Prozessor) für die Skriptsprache SAS-Language. Diese besteht aus einer Vielzahl von Anweisungen (Statements), die jeweils mit einem Semikolon abgeschlossen werden. SAS-Code ist eine Aneinanderreihung von Anweisungen, die nacheinander vom Interpreter ausgeführt werden. Hinter den Anweisungen verbergen sich vorgefertigte Funktionalitäten zum Teil sogar weitere Programmiersprachen aus ganz unterschiedlichen Bereichen (in den 80er-Jahren hieß so etwas 4GL). In einem sogenannten Prozedurschritt (PROC STEP) können vorgefertigte Prozeduren mit typischerweise wenigen Zeilen Programmcode aufgerufen werden, um deskriptive und schließende Statistiken zu berechnen, Berichte und Grafiken in unterschiedlichsten Formaten zu erstellten sowie Daten und Konfigurationen zu verwalten. Insgesamt sind es über 350 Prozeduren, die je nach Anwendung und Lizenzstruktur zu zirka 20 Produkten zusammengefasst sind. Folgende Bestandteile enthält die SAS-Language: Der sogenannte Datenschritt (DATA STEP), der in einer sehr mächtigen, SAS-eigenen Datendefinitions- und -manipulationssprache geschrieben wird, die bereits vor SQL existierte und wesentlich mächtiger, zum Teil aber auch umständlicher als SQL ist. Die Syntax lehnt sich ein wenig an die Programmiersprache PL/I an. Im Gegensatz zu SQL kennt der DATA STEP iterative 6

8 und bedingte Anweisungen sowie Arrays und viele weitere Konstrukte, die es erlauben Daten jedweder Art zu lesen, zu verarbeiten und zu speichern. Eine umfangreiche Makro-Sprache, die nach dem Textersetzungsprinzip funktioniert und mit der man sehr flexible, unter Umständen aber auch schwer wartbare Programme schreiben kann. Ein SAS-eigenes SQL, das einige Erweiterungen, aber auch einige Kürzungen gegenüber ANSI-SQL besitzt. Es ermöglicht den Zugriff auf das SAS-eigene relationale Datenbanksystem (s.u.) sowie, über die Datenschnittstellen von SAS/ACCESS (s.u.), auf die Datenbanksysteme verschiedenster Hersteller und auf die Standardschnittstellen OLEDB und ODBC. Der Pass-Through auf die SQL-Sprachen verschiedenster Datenbanksysteme wie Microsoft SQLServer, Oracle, DB2 und MySQL, wobei direkt der jeweilige SQL-Dialekt verwendet werden kann. Eine Matrixsprache namens IML (Interactive Matrix Language). Für die Ausführung dieser Skriptsprache steht schon immer Betriebssystemübergreifend die SAS-Fensterumgebung (SAS Windowing Environment, früher SAS Display Manager) zur Verfügung. Sie dient dazu, Programme zu schreiben und auszuführen und Daten, Ergebnisse und Protokolle anzusehen. Zusätzlich kann SAS- Code im Enterprise Guide (s.u.) entwickelt und ausgeführt werden. In einem Anwendungsentwicklungsszenario (s.u.) wird SAS-Code auf dem Server ausgeführt und die Ergebnisse in Client-Anwendungen angezeigt. Die SAS-eigene Datenbank SAS enthält mit dem SAS-Data-Set ein einfaches und effizientes internes Datenbankkonzept, das ganz auf die Erfordernisse der Informationsgewinnung ausgerichtet ist. Im Gegensatz zu transaktionsorientierten Datenbanken ist der Data Set auf hohe Geschwindigkeiten beim Lesen und Schreiben großer Datenmengen optimiert. Transaktionen finden nicht auf Satz-, sondern auf Tabellenebene statt. Man kann mit dieser Datenbank zwar arbeiten wie mit einer gewöhnlichen Datenbank, also mit den Mitteln der oben beschriebenen Skriptsprache per SQL oder DATA-Schritt Tabellen anlegen, Sätze einfügen, ändern und löschen und es gibt auch Indizierung, referentielle Integrität und Audit Trails. Häufiger werden allerdings Tabellen während der Verarbeitung einfach komplett neu geschrieben, daher gibt es auch das Konzept der Historisierung von Tabellen (Generation Data Sets). Die Ausrichtung auf die Informationsgewinnung zeigt sich auch in dem sehr sparsamen Typenkonzept, es gibt eigentlich nur zwei Datentypen: Fließkommazahlen und Zeichenketten fester Länge. Tabellen werden zu Bibliotheken (Libraries) zusammengefasst. Je nach Betriebssystem kann eine Bibliothek physisch durch ein Verzeichnis in einem hierarchischen Filesystem (unter Unix und Windows) oder durch ein anderes physisches Speicherkonzept (unter klassischem zos) repräsentiert werden. Bibliotheken werden durch logische Namen (sogenannte Librefs) referenziert. Für den optimierten Betrieb sehr großer Datenbanken auf Basis des SAS-eigenen Speicherkonzepts gibt es ein eigenes Serverprodukt namens Scalable Performance Data Server (SPDS). 7

9 Für die Speicherung von Datenwürfeln (Cubes) gibt es einen eigenen OLAP- Server von SAS. Der Zugriff auf externe Daten Der lesende und schreibende Zugriff auf und die Integration von Daten aus ganz unterschiedlichen Datenbanksystemen und Dateiformaten ist bei der Informationsgewinnung essentiell. Für den Zugriff auf relationale Daten gibt es das Konzept der SAS-Engine, das den Zugriff auf SAS-Datasets, XML-Daten und alle unterstützten fremden Datenbanksysteme über die einheitliche Schnittstelle der Library Engines bietet. Das Programmpaket SAS/ACCESS ermöglicht den Zugriff auf alle wichtigen Datenbanksysteme (nicht nur Oracle, DB2, Microsoft SQL Server, MySQL), auf Datenbanken über ODBC und OLEDB sowie auf Files in den Desktop-Formaten (Microsoft Excel und Access, dbase, CSV etc.), soweit sich diese als strikt relationale Tabellen auffassen lassen. Einen Überblick gibt die Einstiegsseite zur Dokumentation von SAS/ACCESS. Auf fremde relationale Datenbanksysteme kann, wie bereits erwähnt, auch über Pass Through zugegriffen werden, wobei die SQL-Syntax des jeweiligen RDBMS verwendet wird. Der lesende und schreibende Zugriff auf nicht-relationale Daten in den unterschiedlichsten Formaten ist äußerst flexibel über Anweisungen im DATA-Schritt möglich. Betriebssysteme Bereits in den 80er-Jahren konnte man SAS-Programme auf dem PC entwickeln und mit geringen Änderungen, die in erster Linie den unterschiedlichen Filesystemen geschuldet waren, auf dem Großrechner einsetzen (und umgekehrt). Heute kann SAS auf verschiedenen Varianten der Betriebssysteme Windows, Unix und zos betrieben werden. Betriebssystemübergreifendes Client-Server-Computing war ebenfalls bereits in den 80er-Jahren mit Hilfe von SAS/CONNECT verfügbar. Dabei dient eine SAS- Installation als Client und eine andere als Server. Dies ist auch heute noch verfügbar, tritt jedoch in den Hintergrund, da Anwendungen auf Basis von Java, Microsoft Windows sowie Webanwendungen die Rolle der Clients übernommen haben. Anwendungsentwicklung Eine eigene Entwicklungsumgebung namens SAS/AF mit der Programmiersprache SCL (SAS Component Language, früher SAS Screen Control Language) dient der Anwendungsentwicklung auf Basis von objektorientierter Software. Eine Besonderheit ist die Möglichkeit, eigene portable und betriebssystemübergreifende Anwendungen zu schreiben. Dies hat jedoch durch die weitreichenden Möglichkeiten der Java- und.net-plattformen mittlerweile stark an Bedeutung verloren. Für die Entwicklung von Webanwendungen mit SAS gab es zunächst SAS/Intrnet, das auf der Webserver-Erweiterung CGI basiert. Auch diese Technologie, bei der HTML-Seiten mit Hilfe verschiedener Programmierschnittstellen insbesondere im 8

10 DATA-Schritt erzeugt werden, gilt heute als veraltet und wird abgelöst durch die folgenden Technologien. Heute dienen Java EE und Microsoft.NET als Integrations- und Anwendungsentwicklungsplattformen. Hierzu gibt es SAS Integration Technologies mit Clientund Server-seitigen Komponenten. Client-seitig stehen Klassenbibliotheken für das Integrated Object Model (IOM) in Java und.net zur Verfügung, die den Zugriff auf die verschiedenen Funktionalitäten der SAS-Server erlauben. Für die Entwicklung von Java-basierten Desktop- und Web-Anwendungen steht mit Appdev Studio eine eigene, Eclipse-basierte Entwicklungsumgebung zur Verfügung. Server-seitig gibt es den Workspace Server für langdauernde Sitzungen (ein Serverprozess pro Clientprozess), den Stored Process Server für die sequentielle Abarbeitung von Client- Anfragen (feste Anzahl von Serverprozessen mit Lastverteilung) den OLAP-Server für die Speicherung von Cubes sowie den Metadatenserver für die Speicherung von technischen, fachlichen und anwenderbezogenen Metadaten. Ein wichtiger Teil von Integration Technologies ist die SAS Web Infrastructure Platform, die als Basis für die Web-Anwendungen der SAS Intelligence Platform (siehe unten) fungiert. Integration Technologies enthält weitere Services, unter anderem auch die Möglichkeit, BI Web Services zu entwickeln. Intelligence Plattform Die SAS-Intelligence-Platform (seit SAS Version 9) gibt Unternehmen die Möglichkeit, komplexe Informationsgewinnungsprozesse in heterogenen IT-Infrastrukturen aufzubauen und sich dabei auf eine hochspezialisierte Softwarearchitektur und auf rollenspezifisch ausgerichtete Frontends zu stützen. Die SAS-Intelligence-Platform integriert einen großen Teil der oben genannten Komponenten der SAS Software und stellt zusätzlich Frontends unter anderem für Administratoren und Datenintegrations- Entwickler (Desktop-Java-Anwendungen), Power-User (Windows-Anwendungen, auch integriert in Microsoft Office), und Informationskonsumenten (Webanwendungen) zur Verfügung. Eine zentrale Komponente der Intelligence Platform ist der Metadatenserver für die anwendungsübergreifende Verwaltung von Metadaten. Die genaue Handhabung von SAS/STAT findet sich im User s Guide von SAS [2] Vor- und Nachteile Im folgenden sollen die wesentlichen Gründe genannt werden, warum sich viele Anwender für SAS als ihr statistisches Werkzeug entschieden haben: + Es besitzt die leistungsfähigste Datenbankanbindung. Die Datenabfrage ist mächtiger als SQL, riesige Datenmengen kann es mühelos verarbeiten. + Es ist ein weit verbreitetes Statistikprogramm, vor allem in der Biologie und Medizin. + Da SAS ein ausführbares Programm ist, stehen die vorhandenen Analysemethoden in schnellem Maschinencode. bequem per Menünavigation erreichen. Das Einstellen von Parametern und Einbinden von Daten ist intuitiv. 9

11 Abbildung 2.2: Sitzungsbeispiel von SAS/STAT + Ein umfassendes Hilfesystem gehört zur Grundausstattung dazu. + Es bietet eine Schnittstelle zu R. Den Vorteilen stehen folgende Nachteile gegenüber: - Es ist ein kommerzielles Programm, für dessen Nutzung jährliche Lizenzgebühren anfallen. - Exotische statistische Methoden sind im Allgemeinen nicht implementiert. - SAS beinhaltet keine vollständige graphische Benutzeroberfläche (GUI). 2.3 Matlab Die Geschichte Matlab wurde Ende der 1970er Jahre von Cleve Moler an der Universität New Mexico entwickelt, um den Studenten die Fortran-Bibliotheken LINPACK und EISPACK für lineare Algebra von einer Kommandozeile aus ohne Programmier-Kenntnisse in Fortran zugänglich zu machen. Zusammen mit Jack Little und Steve Bangert gründete Moler 1984 The MathWorks und machte Matlab zu einem kommerziellen Produkt, das zusammen mit einer ersten Funktions-Sammlung, der Control System Toolbox, vor allem in der Regelungstechnik viele Anwender fand Die Struktur Das Programm Matlab ist ein Entwicklungssystem für die Programiersprache MAT- LAB, eine proprietäre Programmiersprache, die auf der jeweiligen Maschine (Computer) interpretiert wird. Diese ist speziell auf numerische Berechnungen und die grafische Ausgabe der Ergebnisse ausgelegt. Operationen mit (komplexwertigen) Vektoren und Matrizen stehen dabei im Mittelpunkt. 10

12 Abbildung 2.3: Sitzungsbeispiel von Matlab Die Java-Entwicklungsumgebung (Abb. 2.3) unterstützt den Programmierer durch ein Workspace-Fenster, indem alle erstellten Variablen mit ihrer Dimension aufgelistet werden, und durch eine Auflistung der letzten Befehle mit Ausführungsdatum. Da diese Java-Umgebung die reinen Matlab-Programme leicht ausbremst, sollte sie - wie ihr Name es andeutet - lediglich beim Entwickeln genutzt werden. Fertige Programme können in einer reinen Konsole ausgeführt werden. Toolboxes enthalten eine Sammlung an Funktionen für konkrete Aufgabenbereiche (entsprechend der Pakete in R), die kommerziell erhältlich sind. MATLAB bietet aus der objektorientierten Programmierung die Konzepte von Klassen, Vererbung, Pakete, Pass-by-Value Aufrufen und Pass-by-Reference Aufrufen. Den Arbeitsspeicher teilt sich Matlab, bedingt durch seine numerische Ausrichtung, in 8 Byte Blöcke ein. Das ist genau der Platzbedarf für eine Double-Variable, also einer Zahl mit 16 Stellen plus der Information über die Position des Kommas. Auf diese Weise werden die numerischen Operationen beschleunigt, allerdings auf Kosten des Arbeitsspeicherverbrauchs, da auch andere Zahlenformate (z.b. Integer) intern als Double verwaltet werden, die unter anderer Verwaltung mit deutlich weniger Speicherplatz auskämen. Eine allgemeine Einführung bietet das Buch von Schweizer [3] Vor- und Nachteile Matlab kann bei vielen Anwendern mit folgenden Eigenschaften punkten: + Bei Matlab handelt es sich um eine Programmiersprache. Dem Anwender liegt somit ein sehr flexibles Werkzeug in den Händen, mit dem leicht Automatisierungen, wiederholende Abläufe (notwendig bei Simulationen) oder gar neue Funktionen erstellt werden können. + Matlab läuft auf allen großen Betriebssystemen und Plattformen, also Windows, UNIX und Macintosh. 11

13 + Manche Nachteile von Matlab (siehe in der folgenden Auflistung) werden dadurch kompensiert, daß Matlab mannigfaltige Schnittstellen zu anderen Programmiersprachen (C, C++, FORTRAN) oder Datenbanksystemen bietet. + Eine große Zahl von höheren Funktionen und praktisch alle Standardfunktionen sind in das System integriert. + Grafische Ausgabefunktionen, bis hin zu Animationen und interaktiven Bedienelementen, sind in Matlab enthalten. + Das System läßt sich leicht erweitern. Sowohl durch Zukauf von Paketen, als auch durch eigene Programme. + Die Laufzeit von Operationen mit Matrizen oder Vektoren kann sich fast mit Compilersprachen messen. + Matlab-Programme laufen ohne Änderungen auf vielen Plattformen. + Für ein High-Level System ist die Verbreitung von Matlab sehr groß. + Um nach einer interessierenden Funktion oder Paket zu suchen, kann die sehr übersichtliche Internetseite verwendet werden. Den Vorteilen stehen folgende Nachteile gegenüber: - Bei Matlab handelt es sich um einen Laufzeitinterpreter, d.h. die Befehle werden erst bei ihrer Ausführung in Maschinencode übersetzt. Dies läuft deutlich langsamer ab, als wenn der Code in einem separaten Schritt in Maschinencode umgewandelt (kompiliert) wurde und erst dann ausgeführt wird. Für neuere Versionen ist jedoch ein Compiler zusätzlich erhältlich, der MATLAB-Code in C-Code übersetzen kann. - Die Anforderungen an den Arbeitsspeicher sind sehr groß. - Neue Methoden werden häufig von den Methodenentwicklern selbst in R programmiert und als Paket für die Allgemeinheit zur Verfügung gestellt. Damit liegt R am Puls der Forschung. Durch dieses beständige Einbringen ist mittlerweile ein großer Pool an Paketen/Methoden verfügbar (Anzahl). - Es ist Lizenzsoftware. - Bei bereitgestellten Funktionen kann der Quellcode nicht eingesehen werden, was ein Nachvollziehen verhindert, auf welche Weise die Ergebnisse zustande kommen. 2.4 R Die Geschichte Der Pate für R findet sich in S wieder, einer Programmiersprache für Statistik, stochastische Simulation und Graphik, die seit 1976 in den Bell Laboratories bei AT&T (heute bei Lucent Technologies) entwickelt wird, die in der aktuellen Version 12

14 S-PLUS 7 für Microsoft Windows und einigen UNIX-Systemen (darunter LINUX) kommerziell vertrieben wird. R selbst wurde als Projekt von Ross Ihaka und Robert Gentleman ins Leben gerufen, um für Lehrzwecke eine freie Implementation zu schaffen. Es basiert auf den Ideen von der Programmiersprache S, jedoch nicht auf dessen Code. Die zeitliche Entwicklung von R soll in der folgenden Aufzählung kurz wiedergegeben werden: 1992 Beginn des R-Projects Die erste Binärversion erscheint auf Statlib Das R Development Core Team wird von Personen aus Forschung und Wirtschaft aus aller Welt gegründet Die erste Distributed Statistical Computing Konferenz und gleichsam das Treffen aller Mitglieder des R Development Core Teams findet statt. Sie wird in einem zwei-jahres-rhythmus neu auferlegt R wird veröffentlicht, die erste vollständig kompatible Version zur Sprache S der Version Die Zeitschrift R News wird erstmalig herausgegeben Die erste R Anwenderkonferenz user! wird abgehalten ist die aktuelle Version R (Stand: Mai 2010). Die Kernfunktionen lassen sich mittlerweile durch x Pakete erweitern Die Struktur Bei R handelt es sich um eine Programiersprache, die auf der jeweiligen Maschine (Computer) zur Laufzeit interpretiert wird. Diese ist speziell auf numerische Berechnungen und die grafische Ausgabe der Ergebnisse ausgelegt und für die Lehre konzipiert. Operationen mit (komplexwertigen) Vektoren und Matrizen stehen dabei im Mittelpunkt. R bietet aus der objektorientierten Programmierung die Konzepte von Klassen, Vererbung, Pakete und Pass-by-Value Aufrufen. Des weiteren ist R eine vektorbasierte Sprache. Jedes Objekt wird intern durch einen Vektor repräsentiert. Rechenoperationen sind auf diese Datenstruktur hin optimiert worden (siehe 4.1.2, Seite 25). Funktionen mit ähnlicher Thematik werden in so genannte Pakete (Libraries) gebündelt. Anwender können sich diese Pakete zur Grundausstattung hinzuinstallieren und so ihr R-System individualisieren. Ähnlich der Datenkapselung bei einzelnen Objekten gibt es in R eine Organisation des gesamten Arbeitsspeichers - sogenannte environments (Umgebungen), in denen Objekte, nahezu ohne Interaktionen zu anderen gleichzeitig existierenden Umgebungen, gebündelt werden können. Dies sorgt auch dafür, daß gleichnamige Objekte oder Datensätze, die in unterschiedlichen Umgebungen vorkommen, gegenseitig geschützt werden. So wird für jedes geladene Paket (Library) und jeden Funktionenaufruf eine eigene Umgebung geschaffen. Zudem gibt es den Workspace 13

15 (.GlobalEnv) als besondere Umgebung, in der alle Objekte, die direkt in der Konsole erzeugt werden, abgespeichert werden. Damit R (und der Anwender) weiß, auf welches Objekt zugegriffen wird, wenn Namensgleichheit herrscht, sind folgende Scoping Rules festgelegt worden, die unter anderem festlegen, in welcher Reihenfolge verschiedene Umgebung nach Objekten durchsucht werden: Der Workspace.GlobalEnv steht im Suchpfad an Stelle 0 ( in der Mitte ). An letzter Stelle im Suchpfad (eine negative) steht das Paket base. Zwischen dem Workspace und dem Paket base werden Objekte, die mit library() oder attach() eingehängt wurden, platziert. Beim Aufruf einer Funktion wird eine Umgebung geschaffen, die dem bisherigen Suchpfad vorangestellt wird, also mit positiver Stelle. Wird im Code nun auf ein Objekt verwiesen, so läuft R den Suchpfad von oben (größte positive Stelle) nach unten (kleinste negative Stelle) soweit ab, bis es in einer Umgebung fündig wird. Auf diese Weise wird sichergestellt, daß immer das aktuellste (zuletzt definierte) Objekt unter gleichnamigen Objekten auch als Erstes gefunden wird. Der aktuelle Suchpfad kann mit der Funktion search() abgefragt werden. Beim Starten von R (Version ) sieht dieser wie folgt aus: 0.GlobalEnv -1 package:stats -2 package:graphics -3 package:grdevices -4 package:utils -5 package:datasets -6 package:methods -7 Autoloads -8 package:base Neu zu erzeugende Objekte müssen nicht zwangsläufig in der Umgebung erstellt werden, in der man sich augenblicklich befindet. Folgende drei Zuweisungsbefehle stehen dem Programmierer zur Verfügung, wobei die ersten zwei vorgestellten Befehle Sonderfälle vom dritten darstellen: <- Das neue Objekt wird lokal, also in der Umgebung erzeut, in der man sich befindet. Dieser Befehl dürfte für die alltägliche Programmierung ausreichen. <<- Das neue Objekt wird im Workspace (.GlobalEnv) erzeugt. assign() Erzeugung des neuen Objekts in der gewünschten Umgebung. Zusätzliche Regeln zu der oben beschriebenen üblichen Suchreihenfolge wurden durch die Einführung von Namespaces geschaffen. Namespaces definieren, welche Objekte für den Benutzer und andere Funktionen (im Suchpfad) sichtbar sind und welche nur innerhalb des eigenen Namespace sichtbar sind. Dies verhindert Konflikte zwischen Funktionen gleichen Namens in gleichzeitig benutzten Paketen. Den Arbeitsspeicher teilt sich R, genau wie Matlab, in 8 Byte Blöcke ein, was auch hier schnellere numerische Berechnungen und einen aufgeblähten Speicherverbrauch zur Folge hat. Weitere Informationen zu R finden sich in [4], [5] und [6]. 14

16 Abbildung 2.4: Sitzungsbeispiel von R Vor- und Nachteile Im folgenden sollen die wesentlichen Gründe genannt werden, warum sich viele Anwender für R als ihr statistisches Werkzeug entschieden haben: + Bei R handelt es sich um eine Programmiersprache. Dem Anwender liegt somit ein sehr flexibles Werkzeug in den Händen, mit dem leicht Automatisierungen, wiederholende Abläufe (notwendig bei Simulationen) oder gar neue Funktionen erstellt werden können. + Einer der herausragenden Vorteile, auch gegenüber der anderen Statistik-Software, ist, daß es sich bei R um eine Open-Source-Software handelt und unter GPL lizenziert ist. Es ist möglich, sämtlichen Quellcode einzusehen, so daß es sich bei R an keiner Stelle um eine Black Box handelt, denn es kann überall nachvollzogen werden, wie und was gerechnet wird. + Aufgrund der Open-Source-Struktur von R werden fehlerhafte Programmsequenzen von versierten Anwendern schnell aufgefunden, worauf hin ein korrigiertes Update in wenigen Tagen zur Verfügung gestellt werden kann. + Es ist kostenlos beziehbar unter + Das System läßt sich leicht auf die eigenen Bedürfnisse durch Installation bzw. Entwicklung von Paketen anpassen. + Die Laufzeit von Operationen mit Matrizen oder Vektoren kann sich fast mit Compilersprachen messen. + R läuft auf allen großen Betriebssystemen und Plattformen, also Windows, UNIX (Linux, Solaris, FreeBSD, AIX,...) und Macintosh. 15

17 + R-Programme laufen ohne Änderungen auf vielen Plattformen. + Ein weiterer Vorteil ist der Support, der für R von vielen Freiwilligen, darunter die Mitglieder des R Core Teams, geleistet wird. Dazu gehört die meist sehr schnelle und kompetente Beantwortung von Fragen auf der Mailingliste R-help sowie die Unterstützung von Entwicklern auf der Mailingliste R-devel. + Neue Methoden werden häufig von den Methodenentwicklern selbst in R programmiert und als Paket für die Allgemeinheit zur Verfügung gestellt. Damit liegt R am Puls der Forschung. Durch dieses beständige Einbringen ist mittlerweile ein großer Pool an Paketen/Methoden verfügbar (Stand : 2449). + Manche Nachteile von R (siehe in der folgenden Auflistung) werden dadurch kompensiert, daß R mannigfaltige Schnittstellen zu anderen Programmiersprachen (C, C++, FORTRAN), Datenbanksystemen (Paket RODBC) oder Graphiktools (Paket RGtk2, ggobi) bietet. + Um nach einer interessierenden Funktion oder Paket zu suchen, wurde eine Suchmaschine eingerichtet, die unter bzw. oder in R selbst mit der Funktion RSiteSearch() aufgerufen werden kann. Den Vorteilen stehen folgende Nachteile gegenüber: - Bei R handelt es sich um einen Laufzeitinterpreter, d.h. die Befehle werden erst bei ihrer Ausführung in Maschinencode übersetzt. Dies läuft deutlich langsamer ab, als wenn der Code in einem separaten Schritt in Maschinencode umgewandelt (kompiliert) wurde und erst dann ausgeführt wird. - Die Anforderungen an den Arbeitsspeicher sind sehr groß. - Ein oftmals genannter Nachteil von R ist das Fehlen einer vollständigen graphischen Benutzeroberfläche (Graphical User Interface, kurz GUI), wie sie etwa in SPSS vorhanden ist. Das Paket Rcmdr bietet sehr eingeschränkt eine solche GUI. - Ebensowenig bietet R keinen eigenen Dateneditor an. Änderungen können nur umständlich über Zuweisungen im Programmcode oder mit Hilfe der Funktion fix() erfolgen. - Bei der Graphikausgabe erzeugt R weder dynamische (bei Änderung der zugrunde liegenden Daten aktualisiert sich die Graphik mit), noch interaktive (z.b. manuelles Rotieren einer 3D-Punktewolke) oder verknüpfte (z.b. Markierung eines Objektes in der einen Graphik führt zur Markierung desselben Objektes in allen weiteren Graphiken) Graphiken. 16

18 2.5 Excel Die Geschichte 1982 Als erstes Spreadsheet-Programm aus dem Hause Microsoft wird Multiplan für das System CP/M vermarktet. Unter MS DOS kann es sich gegen das Konkurrenzprodukt Lotus nicht durchsetzen Die erste Excel-Version für das Betriebssystem MacOS wird herausgegeben Die erste MS Excel-Version wird für das Betriebssystem MS DOS und der Softwareumgebung Windows präsentiert. Um die Identität mit der Mac-Variante hervorzuheben, startet Excel unter DOS mit der Versionsnummer Aufgrund der Namensgleichheit zu einem bereits existierenden Programm eines anderen Herstellers kommt es zu einem Trademark-Gerichtsstreit, in dem festgesetzt wird, daß Microsoft bei Pressemitteilungen und juristischen Dokumenten als offiziellen Warennamen Microsoft Excel verwenden muß Die Struktur Bei MS Excel handelt es sich um ein Tabellenkalkulationsprogramm (Spreadsheet- Programm), die Eingabefelder (Zellen) sind als Tabelle angeordnet. Es steht dem Anwender völlig frei, wie er die Zellen für seine Aufgaben befüllt, formatiert oder mit Kommentaren versieht. Die Tabellenkalkulation findet hauptsächlich durch Referenzierung anderer Zellen statt, wobei dann deren Inhalt für die Berechnung von Formeln und Funktionen verwendet wird. Der Zellbezug ist dabei auf die aktuelle Tabelle nicht beschränkt; er kann auch auf andere Tabellen verweisen, die sogar in anderen Excel-Dateien stehen können. Die Ergebnisse lassen sich leicht in grundlegende Diagramme wie Zeitreihen-, Säulen- oder Kuchendiagramme graphisch aufbereiten. Die erstellten Diagramme können dabei entweder auf dem zugehörigen Tabellenblatt verankert oder als eigenständiges Objekt innerhalb der Datei abgelegt werden. Eine andere kompakte Darstellung der Daten bietet sich in der Erstellung von Pivot-Tabellen, die MS Excel ebenfalls unterstützt. Kompliziertere Berechnungen oder Interaktionen mit dem Benutzer lassen sich mit der Macro-Sprache Visual Basic for Applications bewerkstelligen Vor- und Nachteile Im folgenden sollen die wesentlichen Gründe genannt werden, warum es lohnend ist, sich in MS Excel einzuarbeiten: + Es ist weltweit das am meisten verbreitete Tabellenkalkulationsprogramm. + Die leichte und bequeme Dateneingabe macht MS Excel zu einem idealen Dateneditor für andere Programme (z.b. R). + MS Excel besitzt eine vollständige graphische Benutzeroberfläche. Sämtliche Befehle sind über das Menü zu erreichen. 17

19 Abbildung 2.5: Sitzungsbeispiel von MS Excel + Die erstellten Graphiken sind ohne größere Formatierungen publikumsreif. + Die Graphiken sind dynamisch, d.h. sie reagieren unmittelbar auf Veränderungen in ihren Datenzellen. + Reichlich Literatur ist zu dieser Software publiziert worden. Nachteile von MS Excel - MS Excel ist ein kommerzielles Programm, für das man einmalig einen (im Vergleich zu den anderen kommerziellen Statistikprogrammen) geringen Preis zahlen muß. - Bei den implementierten Funktionen handelt es sich um Black-Boxen. Der Anwender kann nicht nachvollziehen, wie die Ergebnisse zustande kommen. - Es fehlen viele grundlegende statistische Methoden. Dieser Nachteil soll in der 2010er Version reduziert werden. - Aufgrund der langsamen Rechengeschwindigkeit arbeiten die Algorithmen mit kleinen Rundungen, was die Rechengenauigkeit beeinträchtigt. - Matrizenrechnung kann, wenn überhaupt, nur sehr umständlich über Visual Basic for Applications erfolgen. - Es bietet kaum Schnittstellen zu anderer Software, die nicht zum Office-Paktet gehört. - Der zuverlässige Datumsbereich ist sehr begrenzt. So führen Daten vor 1900 häufig zu Problemen; das Jahr 1900 wird als Schaltjahr eingestuft. - Die Software-Hilfe von MS Excel behandelt nur ganz grundlegende Fragestellungen bezüglich der Bedienung. 18

20 - In MS Excel 2007 wurde ein historisierendes Menüsystem programmiert, was die Position der Befehle im Menü je nach Verwendung des einzelnen Benutzers abändert. Hilfestellungen in z.b. Online-Foren können dadurch keine konkrete Schrittabfolge (gehe in Menü..., dann...) angeben. Dies wurde in der 2010er- Version wieder abgeschafft. - Aufgrund der Tabellenkalkulationsstruktur bestehen enge Verknüpfungen von Daten, Rechenwegen und Ergebnissen, was das Anwenden der selbst erzeugten Routinen auf neue Daten verkompliziert. 2.6 weitere Software Weitere Software, deren Funktionen für Ökonomen interessant sind, sollen hier kurz vorgestellt werden. Eine Übersicht über Statistiksoftware jedweder Ausrichtung bietet die Internet-Seite EViews Die Software hat ihren Einsatzschwerpunkt in der Verarbeitung von Zeitreihen. Alle wichtigen Methoden der Zeitreihenanalyse von einfachen AR-, MA-, ARMA-, über ARIMA-, ARIMAX-, ARCH-, GARCH- hin zu State-Space- Modellen bzw. Zustandsraummodellen sind durchführbar. Sowohl Cross-Sections als auch longitudinalen Daten können deskriptiv und analytisch dargestellt werden. EViews beherrscht allgemeine ökonometrische und statistische Analysen, die Generierung von Vorhersagen und Modellsimulationen, sowie die Ausgabe von Graphen und Tabellen, z.b. für Veröffentlichungen. EViews ermöglicht Daten-Organisation inkl. Datenbankzugriffe. gretl gretl ist eine freie Statistik-Software, hauptsächlich für Ökonometrie. Der Name ist ein Akronym für Gnu Regression, Econometrics and Time-series Library. Sie kann mit anderen Statistik- und Ökonometrie-Paketen verwendet werden, z.b. X-12-ARIMA, TRAMO/SEATS oder R. Sie ist in C geschrieben und nutzt das GIMP-Toolkit für die grafische Benutzeroberfläche. Die Benutzeroberfläche ist in verschiedenen Sprachen verfügbar, auch in Deutsch. Für Ergebnisse wird Gnuplot für die Erstellung von Grafiken und unter anderem LaTeX für numerische Resultate und Modelle genutzt. Eine Kommandozeilenversion ist ebenfalls verfügbar. Limdep Limdep hat seinen Anwendungsschwerpunkt im Bereich Auswertung von Regressionsmodellen für diskret abhängige Variablen bzw. Zielgrößen (Logistische Regression). Alleinstellungsmerkmal der Software ist die verarbeitbare Modellkomplexität, die im Wesentlichen nur durch praktische Modellüberlegungen, Arbeitsspeicher und Rechenzeit begrenzt ist. Neben Logistischer Regression ist ein weiterer Anwendungsbereich der Software die Zeitreihenanalyse. Für die Software Limdep gibt es ein Erweiterungsmodul mit Namen Nlogit. Limdep findet verbreitet Anwendung in Forschung, Studium und Verwaltung. Es wird eingesetzt für die Paneldatenanalyse und in der Ökonometrie. Es sind Logit-, Probit-, Tobit-Modelle und discrete choice -Modelle rechenbar. RATS Regression Analysis of Time Series bietet, wie der Name bereits beinhaltet, schwerpunktmäßig viele Werkzeuge für das Erstellen von Regressions- 19