Gridbasierte IceCube Monte Carlo Simulation und Untersuchung eines Spurauflösungsschätzers

Transkript

1 Diplomarbeit Gridbasierte IceCube Monte Carlo Simulation und Untersuchung eines Spurauflösungsschätzers vorgelegt von Kai Schatto geboren in Bad Kreuznach Institut für Physik IceCube Kollaboration Johannes Gutenberg Universität Mainz 30. März 2009

2 1. Gutachter: Prof. Dr. Lutz Köpke 2. Gutachter: Prof. Dr. Heinz Georg Sander Kai Schatto Johannes Gutenberg Universität Mainz Institut für Physik / ETAP Staudingerweg 7 D Mainz schatto@students.uni-mainz.de 2

3 Inhaltsverzeichnis Abbildungsverzeichnis 5 Tabellenverzeichnis 7 Einleitung 9 1. IceCube und Neutrinos Neutrinos Eine Einführung IceCube Signalquellen Atmosphärische Neutrinos und Myonen Kosmische Neutrinos Das IceCube Neutrinoteleskop Detektionsprinzip Standort und Aufbau von IceCube Teilchennachweis und Reaktionen im Eis Grid Infrastruktur in Mainz Grid Computing Eine Einführung Abgrenzung von anderen Technologien Reale Grid Implementierungen Beispiel WLCG Virtuelle Organisationen Middleware Sicherheit Grid Services Weg eines Jobs durch das Grid Grid Hardware in Mainz Typische Clusterarchitektur D Grid Cluster und WLCG Cluster Netzwerkverbindungen Software Virtualisierung Betriebssystem glite IceCube Simulationssoftware in der Mainzer Grid Umgebung Monte Carlo Simulation Eine Einführung

4 Inhaltsverzeichnis 3.2. Installation Voraussetzungen, Anforderungen IceSim Probleme bei der Installation Konfiguration und Start eines Simulationsjobs Beispielskript zur Simulation des Myonneutrinonachweises Einrichten der Umgebung und das Abschicken von Jobs Ressourcenbedarf der IceCube Simulationssoftware Ressourcenverbrauch in Abhängigkeit von der Teilchenenergie Zusammenhang zwischen Granularität der Photonics Tabellen und Speicherbedarf Zusammenhang zwischen Winkelbereich der Photonics Tabellen und Speicherbedarf Untersuchung eines Spurauflösungsschätzers Daten Rekonstruktion Daten Selektion Die Cramér Rao Ungleichung Datenselektion auf Basis der Cramér Rao Ungleichung Vergleich der Selektionseffizienz verschiedener Signalquellen Vergleich der Selektionseffizienz verschiedener Rekonstruktionen MPE Rekonstruktion Ergebnisse Verhalten bei zwei Likelihood Minima Vergleich mit Schnitten auf Likelihood Basis Zusammenfassung 79 Literaturverzeichnis 81 A. Verwendete Skripte 87 A.1. Job Monitoring Skript A.2. IceSim Simulationsskript A.3. Skript für die MPE Rekonstruktion B. Verwendete Daten 97 C. Histogramme 99 C.1. Schnitteffizienz der Paraboloid Methode für verschiedene Datenquellen. 99 Danksagung 101 Selbstständigkeitserklärung 103 4

5 Abbildungsverzeichnis 1.1. Energiespektrum des Elektrons beim Tritium β Zerfall Simulation eines atmosphärischen Teilchenschauers Entwicklung eines massiven Sterns mit anschließendem Kollaps zu einem Schwarzen Loch Tscherenkow Strahlung entlang der Teilchenbahn Skizze eines DOM und Befestigung am String IceCube Detektorskizze und Ausbaustufen Zerfall eines Tau Leptons über den geladenen Strom Hierarchische Struktur des Worldwide LHC Computing Grid (WLCG) Beispiel für eine einfache virtuelle Organisation Einordnung der Middleware in das Schichtensystem moderner Rechner Konzept der Grid Monitoring Architektur des Open Grid Forums Der Weg eines Jobs durch das Grid Hardwarekomponenten der Grid Cluster in Mainz Fotos der Grid Cluster in Mainz Netzwerkverbindungen im ATLAS Tier3 Cluster in Mainz Xen Virtualisierungskonzept Konfiguration der virtuellen Maschinen auf dem ATLAS Tier3 Cluster Entwicklungshistorie von glite D Darstellung der Simulation eines GeV Myonneutrino Ereignisses Zeitlicher Verlauf des Bedarfs an physikalischem Speicher, logischem Speicher und CPU Last einer IceCube80 Myonneutrino Simulation Darstellung der Zeit pro Simulationsdurchlauf in Abhängigkeit von der Neutrinoenergie Darstellung von physikalischem und logischem Speicherbedarf in Abhängigkeit vom geladenen Winkelbereich der Photonics Tabellen Verlauf der logarithmischen Likelihood rekonstruierter Spuren in Abhängigkeit vom Zenitwinkel mit Parabelanpassung Korrelation der geometrischen Mittelwerte der Auflösung der Paraboloid und Cramér Rao Schätzer und Ereignisse als Funktion der Cramér Rao Schätzwerte

6 Abbildungsverzeichnis 4.3. Bruchteil der CORSIKA Ereignisse gegen Bruchteil der E 2 Neutrinoereignisse nach dem Schnitt auf den Cramér Rao Schätzer Vergleich verschiedener Signalquellen: Bruchteil der Untergrundereignisse gegen Bruchteil der Neutrinoereignisse nach dem Schnitt auf den Cramér Rao Schätzer Winkelauflösung der MPE Rekonstruktion für den Energiebereich unter 10 5 GeV und über 10 5 GeV für E 2 Neutrinos Vergleich verschiedener Rekonstruktionen: Bruchteil der CORSIKA Ereignisse gegen den Bruchteil der E 2 Neutrinoereignisse nach dem Cramér Rao Schnitt Differenz zwischen der logarithmischen Likelihood des Umbrellafits und Llh32 Fits aufgetragen gegen die Differenz der Cramér Rao Werte dieser Fits Projektionen des Scatterplots auf die x Achse für verschiedene Schnitte Vergleich zwischen Schnitten auf Basis von Paraboloid, Cramér Rao Methode und reduzierter logarithmischer Likelihood C.1. Vergleich verschiedener Signalquellen: Bruchteil der Untergrundereignisse gegen Bruchteil der Neutrinoereignisse nach dem Schnitt auf den Paraboloid Schätzer

7 Tabellenverzeichnis 1.1. Fundamentale Wechselwirkungen und ihre Austauschteilchen im Standardmodell Bausteine der Materie Mechanismen, Dienste und Eigenschaften einer virtuellen Organisation Parameter des Moduls I3NeutrinoGenerator Speicherbedarf und Simulationszeit abhängig von der Teilchenenergie Speicherbedarf als Funktion der Auflösung der Photonics Tabellen B.1. Überblick über die verwendeten Datensätze

8

9 Einleitung Die vorliegende Arbeit beschäftigt sich mit dem IceCube Neutrinoteleskop, welches momentan im antarktischen Eis installiert wird. Es besteht in der finalen Ausbaustufe aus mehreren tausend Lichtsensoren, die in einer Tiefe zwischen 1450m und 2450m angeordnet sind. Ziel ist der Nachweis hochenergetischer Neutrinos aus extraterrestrischen Punktquellen. Aufgrund ihrer Eigenschaften können Neutrinos nicht direkt nachgewiesen werden, stattdessen erfolgt ihr Nachweis über geladene Leptonen, die aus der Wechselwirkung der Neutrinos mit dem Eis hervorgehen. Trotz der Abschirmung durch einen Eispanzer von 1.5 km Dicke, stammt der Großteil der Myonen im Detektor aus atmosphärischen Schauern, die durch kosmische Strahlung in Form von Protonen, α Teilchen und leichten Kernen erzeugt werden. Die Unterdrückung dieser atmosphärischen Myonen ist eine wichtige Aufgabe bei der Datenanalyse. Man erwartet von IceCube Erkenntnisse über kosmische Objekte wie Supernovae, Gammastrahlenblitze und aktive galaktische Kerne sowie über die Entstehung und Propagation von Neutrinos im Universum. Große Forschungsprojekte wie IceCube können in all ihren Aspekten nur durch eine starke interdisziplinäre Zusammenarbeit realisiert werden. So benötigt IceCube neben physikalischen Kenntnissen und neuen Entwicklungen im Ingenieurwesen für die Bereiche Detektorsimulation und Datenanalyse auch große Mengen an Rechenleistung und Speicherkapazität, die dank der Fortschritte in der Hardwareentwicklung zur Verfügung stehen. Die Koordination, Verknüpfung und Organisation dieser häufig geographisch verteilten Computer Ressourcen wird durch ein relativ neues Forschungsgebiet in der Softwareentwicklung gewährleistet: das Grid Computing. Diese Arbeit erklärt Konzept, Realisierung und Anwendung dieser Technologie und beschreibt die Installation und Verwendung der IceCube Simulationssoftware auf den Mainzer Grid Rechnern. Dies ermöglicht Mitgliedern der IceCube Kollaboration die Grid Ressourcen in Mainz für individuelle Detektorsimulationen zu verwenden. Im letzten Abschnitt dieser Arbeit folgt die Synthese der bis dahin behandelten Gebiete. Im Grid prozessierte Simulationsdaten und von IceCube aufgezeichnete Experimentaldaten werden verwendet, um die sehr effektive Spurselektion auf Basis der Cramér Rao Ungleichung zu untersuchen. Es wird gezeigt, dass diese Methode eine effektivere Untergrund Unterdrückung als die Selektion durch eine Paraboloid Anpassung und ähnlich gute Ergebnisse wie die Untergrund Diskriminierung durch die reduzierte logarithmische Likelihood erreicht. 9

10 Nature, it seems is the popular name for milliards and milliards and milliards of particles playing their infinite game of billiards and billiards and billiards. Piet Hein

11 1. IceCube und Neutrinos Dieses Kapitel liefert einen Überblick über Neutrinos und ihre Eigenschaften sowie eine Beschreibung des IceCube Detektors. Zuerst erfolgt eine Einordnung von Neutrinos in das Standardmodell der Teilchenphysik und eine Erläuterung grundlegender Eigenschaften wie Neutrino Masse und Wechselwirkungen. Zusätzlich wird auf die Bedeutung dieser Teilchen in der modernen Physik, spezielle Effekte wie die Neutrinooszillation und die extraterrestrischen Quellen eingegangen. Der bisherige Erkenntnisstand in der Neutrinoforschung und die Erfahrungen aus älteren Projekten führen dann zum Konzept des IceCube Neutrinoteleskops, dessen physikalische Grundlagen und Aufbau im letzten Teil des Kapitels vorgestellt werden Neutrinos Eine Einführung Allgemeines Im Standardmodell werden die Elementarteilchen in zwei Gruppen, Fermionen und Bosonen, unterteilt. Bosonen sind die Austauschteilchen der vier fundamentalen Wechselwirkungen (elektrische, starke, schwache Kraft und Gravitation; vgl. Tabelle 1.1). Sie haben ganzzahligen Spin und werden durch die Bose Einstein Statistik beschrieben. Wechselwirkung koppelt an Austauschteilchen Masse [ GeV ] J P c 2 stark Farbe 8 Gluonen (g) 0 1 elektromagn. elektrische Ladung Photon (γ) 0 1 schwach schwache Ladung W ± Tabelle 1.1.: Fundamentale Wechselwirkungen und ihre Austauschteilchen im Standardmodell [Pov06] Fermionen besitzen einen halbzahligen Spin und folgen der Fermi Dirac Statistik. Sie werden in zwei Untergruppen aufgeteilt: Quarks und Leptonen. Aus den Quarks (up, down, charm, strange, top, bottom) sind Mesonen und Baryonen zusammengesetzt, wobei Mesonen (z.b. π, π + ) aus zwei und Baryonen (z.b. Proton, Neutron) aus drei Quarks bestehen. Bei den Leptonen wird jedem geladenen Teilchen (e, µ, τ ) ein elektrisch neutrales Neutrino (ν e, ν µ, ν τ ) zugeordnet. Laut Standardmodell besitzen 11

12 1. IceCube und Neutrinos Neutrinos keine Masse. Tabelle 1.2 zeigt die Bausteine der Materie und ihre Eigenschaften. Fermionen Familie elektr. Farbe schwacher Isospin Spin Ladung linkshdg. rechtshdg. 1 1 Leptonen ν e ν µ ν τ e µ τ -1 0 Quarks u c t r, b, g d s b Tabelle 1.2.: Bausteine der Materie [Pov06] Entdeckung und erster Nachweis von Neutrinos Erstmals postuliert wurden Neutrinos 1930 von Wolfgang Pauli, um das kontinuierliche Energiespektrum beim radioaktiven Beta Zerfall zu erklären, beziehungsweise Energie und Impulserhaltung zu sichern. Der Nachweis dieser schwer fassbaren Teilchen gelang Cowan und Reines erst 23 Jahre später durch den inversen Beta Zerfall in der Nähe eines Kernreaktors, welcher einen deutlich höheren Neutrinofluss erzeugte als klassische radioaktive Präparate [Arn01]. Die Techniken zum Nachweis der Reaktionsprodukte (e +,n) waren damals bereits erprobt: ν e + p e + + n (1.1) Neutrinooszillation Das Homestake Experiment [Cle98], Ende der sechziger Jahre von Raymond Davis, Jr. und John N. Bahcall konzipiert, sollte den Fluss solarer Neutrinos überprüfen. Die Anzahl der detektierten Neutrinos betrug allerdings nur etwa ein Drittel der Voraussagen theoretischer Modelle. Da Homestake nur auf den Nachweis von Elektronneutrinos sensitiv war, wurden zur Erklärung des gemessenen Defizits Neutrinooszillationen, also eine zeitliche Flavor Umwandlung der Neutrinos, angenommen. Im Jahr 2001 gelang es dem Sudbury Neutrino Observatory (SNO) sowohl den ν e Fluss als auch den totalen Neutrinofluss nachzuweisen, der gut mit der Erwartung des solaren Neutrinoflusses übereinstimmt [SNO09]. Aus dieser Erkenntnis folgt, dass Neutrinos eine Masse besitzen müssen, da eine beliebige Mischung von masselosen Neutrinos auch ein Eigenzustand des Masseoperators wäre, welcher als exakter Partner von Elektron, Myon und Tauon definierbar wäre, und es somit keine Neutrinooszillation gäbe. 12

13 1.1. Neutrinos Eine Einführung Neutrinomasse Da die Masse eines Neutrinos sehr klein ist, konnten bisher nur Obergrenzen angegeben werden. Eine Möglichkeit die Masse direkt und ohne weitere Annahmen zu bestimmen, ist die exakte Vermessung des Energiespektrums des emittierten Elektrons beim β Zerfall, welches in Abbildung 1.1 dargestellt wird. Aus der Differenz des theoretischen Spektrums für ein masseloses Neutrino und den experimentellen Daten lässt sich die Neutrinomasse bestimmen. Eine Schwierigkeit dabei ist, dass gerade in dem interessanten Endbereich des Spektrums die Zählrate gegen Null geht. Das Mainzer Neutrinomassen Experiment verwendet hierzu das Tritium β Spektrum 1, welches am oberen Ende bei E = 18.6 kev sensitiv auf die Neutrinomasse ist. Das Ergebnis ist eine Neutrinomasse von m ν < 2.2 ev bei einem Confidence Level von c 2 95% [Ott99]. Abbildung 1.1.: Energiespektrum des Elektrons beim Tritium β Zerfall und vergrößerte Darstellung des Endbereichs bei E = 18.6 kev [KAT04] Eine weitere Verbesserung der Energieauflösung erwartet man vom Nachfolgeexperiment KATRIN in Karlsruhe. Mit Hilfe eines größeren Spektrometers von 10 m Durchmesser, einer gasförmigen, stärkeren Tritiumquelle zur Vermeidung der systematischen Unsicherheiten von Festkörperquellen, verbesserter Abschirmung und einem Vorspektrometer zur Untergrundunterdrückung sowie verbessertem Vakuum soll eine Obergrenze für die Neutrinomasse von 0.2 ev (90% CL) erreicht werden [KAT04]. Der Beginn der Datennahme zur Neutrinomassenbestimmung ist für 2010 geplant [Leb08]. 1 Tritium eignet sich für die Neutrinomassenbestimmung besonders gut aufgrund der geringen Elektronenenergie von 18.6 kev, der Halbwertszeit (12.3 a) und der einfachen Elektronenzustände [Zen06]. 13

14 1. IceCube und Neutrinos Wechselwirkung Neutrinos wechselwirken nur schwach 2. Aufgrund der großen Masse der Austauschbosonen (m W ± = ( ± 0.25) GeV, m c 2 Z 0 = ( ± ) GeV [LEP09][Ams08b]) c 2 der schwachen Kraft hat diese Wechselwirkung eine sehr kleine Reichweite von nur ca m [Pov06]. Die Untersuchung der Neutrinos gestaltet sich deshalb generell sehr schwierig, weil sie einen sehr kleinen Wirkungsquerschnitt besitzen. Für eine Neutrino Elektron Streuung beträgt der Wirkungsquerschnitt beispielsweise σ = cm2 E ν, wobei GeV E ν die Neutrinoenergie darstellt. In Neutrinoteleskopen wie IceCube strebt man deshalb ein möglichst großes Detektorvolumen an, um die Ereignisrate zu maximieren. Neutrinos in der aktuellen Forschung Neutrinos sind in der heutigen Forschung in vielfältiger Weise von Interesse. Eine weitere Erforschung der Neutrinooszillation und der damit verbundenen von null verschiedenen Neutrinomasse, könnte bei der Erweiterung des Standardmodells helfen. Gerade die grundlegende Eigenschaft Masse ist bisher noch unzureichend genau bestimmt (siehe Kapitel 1.1). Beispielsweise ist die Neutrinomasse ein wichtiger Parameter in kosmologischen Modellen. Aufgrund der enorm großen Anzahl an Neutrinos im Universum könnte selbst eine kleine Neutrinomasse einen Einfluss auf die Entwicklung des Kosmos haben 3. Zusätzlich können Neutrinos dabei helfen kosmologische Prozesse besser zu verstehen, und einen Blick noch weiter in die Vergangenheit des Weltalls zu werfen. In der Astrophysik ist man auf Informationsträger aus den Tiefen des Alls angewiesen. Klassisch wird elektromagnetische Strahlung in verschiedenen Energiebereichen verwendet, wobei der Nachteil in der Abschirmung durch Staub und Gaswolken besteht. Hochenergetische Photonen werden vom kosmischen Mikrowellenhintergrund absorbiert [Sig95]. Kosmische Strahlung in Form von Protonen und Atomkernen hat in hohen Energiebereichen eine eingeschränkte freie Weglänge durch den GZK Cutoff 4 und verliert bei geringeren Energien durch Ablenkung in Magnetfeldern ihre Richtungsinformation. Ein Großteil dieser Strahlung aus dem Universum erreicht die Erde also gar nicht, oder lässt 2 Natürlich unterliegen Neutrinos, wenn sie eine Masse haben, auch der Gravitation. Diese ist zwar wichtig für Existenz und Entwicklung von kosmischen Objekten wie Sternen, Galaxien und Planetensystemen aber viel zu schwach um Prozesse auf Elementarteilchenskala zu beeinflussen. 3 In diesem Zusammenhang ist beispielsweise die Verklumpung von Materie zu Galaxien zu erwähnen 4 Der GZK Cutoff beschreibt eine Obergrenze für die Energie kosmischer Strahlung aus weit entfernten Quellen. Durch Reaktion mit der kosmischen Hintergrundstrahlung entsteht eine Delta Resonanz, die wiederum in Pion und Neutron oder Proton zerfallen kann und somit einen Energieverlust von ca. 20% für das Primärteilchen bedeutet. Ergebnisse des Pierre Auger Experiments stützen diese Theorie durch die Beobachtung einer starken Unterdrückung des Teilchenflusses über ev. Quellen von kosmischer Strahlung über ev liegen innerhalb 75 Mpc [Pie08]. 14

15 1.2. IceCube Signalquellen keinen Rückschluss auf den Entstehungsort zu. Neutrinos dagegen legen durch ihren geringen Wirkungsquerschnitt riesige Strecken ohne Wechselwirkung zurück und können so Informationen aus weit entfernten Teilen, bzw. aus der Frühzeit des Kosmos liefern. Außerdem lässt die detektierte Flugrichtung auch einen direkten Schluss auf den Entstehungsort zu IceCube Signalquellen Dieses Kapitel stellt mögliche Quellen von Neutrinos und Myonen vor und unterscheidet dabei nach dem Entstehungsort. Ein Ziel von IceCube ist der Nachweis von einzelnen kosmischen Punktquellen Atmosphärische Neutrinos und Myonen Auf die Erdatmosphäre treffen kontinuierlich hochenergetische kosmische Teilchen, die mit den Luftmolekülen wechselwirken und einen Schauer aus Sekundärteilchen erzeugen. Die Primärteilchen stammen teilweise von unserer Sonne, von Quellen außerhalb unseres Sonnensystems oder außerhalb unserer Galaxie (zum Beispiel aus der Umgebung von Supernovae, vgl. Kapitel 1.2.2, [Kra02]). Bei niedrigen Energien handelt es sich zu 87 % um Protonen, zu 12% um Alphateilchen und zu 1% um leichte Kerne. Durch Kollision dieser kosmischen Strahlung mit den Molekülen in der Atmosphäre entstehen hauptsächlich Pionen und Kaonen, die wiederum in geladene Leptonen und Neutrinos zerfallen können [Ams08a]. Von den Leptonen verlieren Elektronen durch Bremsstrahlung schnell ihre Energie und machen an der Erdoberfläche nur noch 20 % des Leptonflusses aus. Die restlichen 80% bestehen aus Myonen, die aufgrund ihrer größeren Masse kaum Energie durch Bremsstrahlung verlieren. Durch die relativistische Zeitdilatation reicht die Lebensdauer der Myonen aus, um bei genügender Energie einige Kilometer in die Erde einzudringen. Neutrinodetektoren werden zur Abschirmung dieser atmosphärischen Schauer möglichst tief unter der Erde errichtet. Trotzdem sind atmosphärische Myonereignisse noch um ca. 6 Größenordnungen häufiger als durch Neutrinos erzeugte Myonen. Diesen Untergrund versucht man zu vermeiden, indem man die gesamte Erde als Filter verwendet und nur Ereignisse von unten sucht. 15

16 1. IceCube und Neutrinos Abbildung 1.2.: Simulation eines Teilchenschauers, der durch ein 100 GeV Proton initiiert wurde. Der Zenitwinkel betra gt 0 und die Ho he der ersten Wechselwirkung 30 km. Gezeichnet sind hier nur e, e+ und γ mit mehr als 0.1 MeV und Myonen und Hadronen mit mehr als 0.1 GeV. Die Myonen dieser Teilchenschauer bilden den hauptsa chlichen Untergrund bei Neutrinoteleskopen wie AMANDA oder IceCube. Entnommen aus [Sch]. 16

17 1.2. IceCube Signalquellen Kosmische Neutrinos Supernovae Die Entwicklung eines Sterns hängt in großem Maße von seiner Masse ab. Nachdem ein Stern seinen Wasserstoff im Kern zu Helium fusioniert hat, nimmt der innere Druck im Kern ab und der Stern beginnt zu kollabieren. Durch den nun entstehenden größeren Druck und die höhere Temperatur kann im Zentrum die Heliumfusion starten, während das Wasserstoffbrennen jetzt in der Hülle abläuft. Bei einer Masse kleiner als 1.5 Sonnenmassen wird der Stern nach Versiegen des Kernbrennstoffs zum Weißen Zwerg 5. Bei größeren Massen können nacheinander weitere Elemente fusioniert werden. Abbildung 1.3 zeigt die Entwicklung eines massiven Sterns und die verschiedenen in Schichten ablaufenden Syntheseprozesse. Bei Massen über 8 Sonnenmassen stoppt die Fusionskette beim Element Eisen, welches die größte Bindungsenergie besitzt und durch Fusion keine Energie mehr freisetzen kann. Ist die Masse des Eisenkerns größer als die Chandrasekhar Masse, wird der Kern gravitations instabil und kollabiert zum Neutronenstern. Die Chandrasekhar Masse ist gegeben durch wobei Y 2 e M Ch = 5.72 Y 2 e M, (1.2) die Anzahl der e pro Nukleon, und M die Sonnenmasse ist. Die folgenden Prozesse im Ablauf einer Supernova sind noch nicht im Detail verstanden. Beim Kernkollaps werden die Eisenatome durch hochenergetische Photonen wieder zerstört (Photodesintegration), und neben anderen Prozessen werden besonders durch Umwandlung von Protonen in Neutronen in der Elektroneneinfang Reaktion p + e n + ν e (1.3) Neutrinos erzeugt. Ab einer Dichte von g stoppt der Kollaps aufgrund des quantenmechanischen Entartungsdrucks und die einfallende Materie wird durch Impulsum- m 3 kehr nach außen geschleudert. Dadurch entsteht eine Druckwelle, die die äußeren Gasmassen des Sterns in einer Supernovaexplosion absprengt. Ein Großteil der Energie (ca. 99%) wird dabei durch Neutrinos abgestrahlt, die den Stern aufgrund ihres geringen Wirkungsquerschnittes einige Zeit vor den Photonen verlassen können [Kow05]. Da sich die Neutrinos annähernd mit Lichtgeschwindigkeit bewegen, können sie auf der Erde, in Abhängigkeit von der Entfernung zur Supernova, einige Stunden vor der elektromagnetischen Strahlung detektiert werden. Dieser Effekt wurde bei der Supernova 1987A unter 5 Mit einer Größe von einigen tausend bis etwa zehntausend Kilometern sind Weiße Zwerge relativ kleine Objekte. Der Gravitationskollaps nach Ende der Fusion wird durch den quantenmechanischen Entartungsdruck verhindert, der eine Folge des Pauli Prinzips ist. Da der Stern ohne Energiezufuhr ist, kühlt er langsam ab und wird letztendlich zum Schwarzen Zwerg [Shi71]. 17

18 1. IceCube und Neutrinos anderem beim Kamiokande nachgewiesen, was die erste Beobachtung extraterrestrischer und extrasolarer Neutrinos darstellte [Hir87]. Aufgrund der geringen Energien solcher Neutrinos aus Supernovae ( 10 MeV), können bei IceCube keine einzelnen Neutrinos nachgewiesen werden. Der hohe Fluss führt allerdings zu einer gleichmäßigen Erleuchtung des Eises, die anhand einer kollektiven Ratenerhöhung der optischen Module (vgl. Kapitel 1.3.1) nachgewiesen werden kann. Aktive Galaxienkerne Es wird vermutet, dass aktive Galaxienkerne aus einem supermassiven schwarzen Loch mit etwa 10 6 bis Sonnenmassen bestehen, welches umliegende Materie unter Ausbildung einer Akkretionsscheibe anzieht. Dabei entstehen in vielen Fällen sogenannte Jets, das heißt Materieauswürfe senkrecht zur Akkretionsscheibe, die Längen bis zu einigen Millionen Lichtjahren erreichen. Mehreren Modellen zufolge können in der Akkretionsscheibe oder in den Jets Protonen beschleunigt werden, die in weiteren Prozessen hochenergetische Neutrinos bis ev erzeugen [Ant93]. Ist der Neutrinofluss groß genug, können diese eventuell von Neutrinoteleskopen wie IceCube detektiert werden. Gammastrahlenblitze Um geheime Nuklearwaffentests der Sowjetunion nachzuweisen installierten die USA ein System aus mehreren Überwachungssatelliten, die auf Ausbrüche von Gammastrahlung sensitiv waren. Am 2. Juli 1967 detektierten die Satelliten Vela 3 und Vela 4 jedoch ein Signal, das nicht zur Signatur einer Nuklearexplosion passte. Andere Ursachen wie Sonneneruptionen oder eine Supernova hatten nicht zeitgleich stattgefunden und konnten somit ausgeschlossen werden. Heute vermutet man als Quelle solcher Ereignisse den Kernkollaps eines supermassiven Sterns zu einem Schwarzen Loch oder die Verschmelzung zweier Neutronensterne. Die Dauer eines Gammastrahlenblitzes bewegt sich im Bereich von wenigen Sekunden bis einigen Minuten. In dieser Zeit kann mehr Energie freigesetzt werden als durch die Sonne in Milliarden Jahren, wobei der Energieausbruch gebündelt und nicht isotrop erfolgt. Aufgrund der immensen freiwerdenden Energien hält man auch hier die Entstehung hochenergetischer Neutrinos für möglich [Kat02][Ols73]. Neutrinoteleskope wie IceCube können einen Beitrag zum besseren Verständnis dieser kosmischen Ereignisse leisten. 18

19 1.3. Das IceCube Neutrinoteleskop Abbildung 1.3.: Entwicklung eines massiven Sterns mit anschließendem Kollaps zu einem schwarzen Loch. Die Fusion der verschiedenen Elemente bis hin zum Eisen erfolgt in Schichten, die nach und nach gezu ndet werden. Das Endstadium des Sterns ha ngt hauptsa chlich von der Masse ab. Im hier gezeigten Beispiel u berwindet die Gravitation den Entartungsdruck des Neutronensterns im Zentrum und es folgt der Kollaps zum Schwarzen Loch. Entlang der Rotationsachse bildet sich ein Gammastrahlenblitz [Ful07] Das IceCube Neutrinoteleskop Der folgende Abschnitt widmet sich der Beschreibung des IceCube Detektors. Dabei wird die Methode zum Nachweis von Neutrinos, welche auf dem Tscherenkow Effekt basiert, vorgestellt. Des Weiteren wird erla utert, welche Vorteile der Standort des Detektors in der Na he des geographischen Su dpols bietet Detektionsprinzip Tscherenkow Effekt Wie die meisten Neutrinodetektoren nutzt IceCube den Tscherenkow Effekt. Bewegen sich geladene Teilchen in einem dielektrischen Medium schneller als die Phasengeschwindigkeit des Lichts in diesem Medium, entsteht die sogenannte Tscherenkow Strahlung. Dabei werden die Atome des Mediums entlang der Flugbahn des geladenen Teilchens kurzzeitig polarisiert und senden beim U bergang in den Grundzustand elektromagnetische Wellen aus. Nur wenn das geladene Teilchen schneller ist als das Licht im umgebenden Medium, kommt es nicht zur destruktiven Interferenz der Wellen. 19

20 1. IceCube und Neutrinos Das durch den Effekt erzeugte Spektrum ist kontinuierlich und die Intensität der Strahlung verhält sich proportional zur Teilchengeschwindigkeit und Teilchenanzahl. Im Bereich des sichtbaren Lichts besteht näherungsweise auch eine Proportionalität zwischen relativer Intensität (für eine bestimmte Frequenz) und der Frequenz. Die Intensität ist also im kurzwelligen Bereich des sichtbaren Lichtspektrums größer, wodurch Tscherenkow Licht blau erscheint [Jel58]. Der Winkel zwischen Teilchenbahn und Abstrahlrichtung des Tscherenkow Lichts hängt vom Brechungsindex des Mediums n sowie der Geschwindigkeit des Teilchens ab: cos Θ = 1 nβ. (1.4) Für Eis (Brechungsindex n = 1.31) und β 1 erhält man einen Winkel von Die Mindestenergie eines Teilchens zur Erzeugung von Tscherenkow Licht erhält man aus der Forderung n β > 1. Sie beträgt für ein Myon E Grenz = 160 MeV. Abbildung 1.4 zeigt die Tscherenkow Strahlung entlang der Teilchenbahn. wird ke- Abbildung 1.4.: Entlang der Bahn eines geladenen Teilchens mit v > c ph n gelförmig Tscherenkow Licht abgestrahlt [Ahr01]. IceCube versucht geladene Leptonen über ihre Tscherenkow Strahlung nachzuweisen. Dabei interessiert man sich in erster Linie für Leptonen, die durch Wechselwirkung von Neutrinos an Nukleonen im Eis erzeugt wurden. Detailliertere Informationen zu Neutrinoreaktionen im Eis finden sich in Kapitel Die Winkeldifferenz zwischen der Bahn eines Myon Neutrinos und eines erzeugten Myons ergibt sich aus 20

21 1.3. Das IceCube Neutrinoteleskop Θ νµ 0.7 Eν /TeV. (1.5) Aufgrund des kleinen Streuwinkels 0.7 für ein 1 TeV Neutrino lässt sich aus der Richtung des entstehenden Myons auf die Herkunftsrichtung des Neutrinos schließen. [Ahr01]. Optische Module Um die Tscherenkow Strahlung im Eis nachzuweisen, bedient man sich des gleichen Konzepts, welches bereits bei AMANDA, dem Vorgänger Experiment von IceCube eingesetzt wird. Ein dreidimensionales Feld aus digitalen, optischen Modulen (DOMs) detektiert die zeitliche und räumliche Verteilung des Tscherenkow Lichts. Aus den verschiedenen Ankunftszeiten der Photonen, Signallänge und Signalamplitude in den optischen Modulen lässt sich die ursprüngliche Spur rekonstruieren. Ein DOM besteht hauptsächlich aus einer druckresistenten Glassphäre, einem Hochspannungsgenerator, der internen Elektronik sowie einem zehnstufigen Photomultiplier(PMT), welcher ankommende Photonen in ein Spannungssignal umsetzt. Abbildung 1.5 zeigt die Skizze eines DOMs und die Befestigung an der Haupttrosse (String). Für das Glasgehäuse ist neben guter mechanischer Haltbarkeit und hoher optischer Transparenz insbesondere ein niedriger Kaliumgehalt wichtig, da der Zerfall von 40 K die Rauschraten der DOMs verschlechtert. Um Photonen möglichst unbeeinflusst zum Photomultiplier gelangen zu lassen befindet sich zwischen ihm und der Glaskapsel ein Gel zur optischen Kopplung. Dieses System hat eine maximale Durchlässigkeit bei 420 nm. Ein DOM ist mit einem eigenem Prozessor, Speicher und Echtzeit Betriebssystem ausgestattet, speichert detektierte Signale und übernimmt die Kommunikation mit der Datenerfassung an der Oberfläche und anderen Modulen. Die Kommunikation mit benachbarten Modulen ist nötig um vor dem Datentransfer Koinzidenzbedingungen überprüfen zu können. Wenn Signale in zwei benachbarten DOMs in einem Intervall von 1 µs auftreten, ist die sogenannte Hard Local Coincidence Bedingung (HLC) erfüllt. Soft Local Coincidence (SLC) überträgt bei einem isolierten Hit nur den Zeitstempel, aber keine Signalabtastung. Self Coincidence (SC) überträgt auch ein isoliertes Signal bei zwei oder mehr Photonen im Photomultiplier. Über die Software werden außerdem die auf der Platine installierten LEDs zur Kalibration und Überprüfung von Eiseigenschaften angesteuert. Die Verbindung zwischen DOM und Oberfläche erfolgt über Twisted Pair Kabel 6, welche den gesamten Daten- 6 Kabel mit verdrillten Adern zur Reduzierung der Störung durch magnetische Wechselfelder. Eine elektrisch leitende Abschirmung schützt zusätzlich gegen äußere elektromagnetische Felder. Twisted Pair Kabel sind in der Datenübertragung weit verbreitet und werden beispielsweise im Ethernet eingesetzt. 21

22 1. IceCube und Neutrinos transfer bewerkstelligen sowie die Module mit einer Spannung von 48 V versorgen. Die in den DOMs verwendeten Photomultiplier Hamamatsu R besitzen eine geringe Dunkelrauschrate von 470 Hz bei einer Verstärkung von 10 7, einer Temperatur von -40 und einer Triggerschwelle von 0.3 PE 7. Wichtig für den Nachweis einzelner Photonen und gleichzeitig übersteuerungsfreier Abbildung hochenergetischer Spuren ist zusätzlich die gute Dynamik von 400 PE in 15ns [Miy05][Pie09]. Abbildung 1.5.: Links ist die schematische Skizze eines DOM zu sehen, rechts die Befestigung an einer Trosse (String) [Ice09l] Standort und Aufbau von IceCube Neutrinoteleskope wie IceCube benötigen aufgrund ihres Detektionsprinzips und der geringen Wechselwirkungswahrscheinlichkeit von Neutrinos ein großes Volumen eines optisch durchlässigen Mediums. In der Natur existieren mit Wasser und Eis Stoffe, die über die gewünschten Eigenschaften verfügen. Die Vorteile bei der Verwendung von Eis sind, dass die Module einmal im Eis eingefroren ortsfest sind, was die Kalibration vereinfacht und im Gegensatz zu großen Seen oder Meeren kein Rauschen durch natürliche Radioaktivität und Biolumineszenz auftritt. Die Dicke der Eisschicht am geographischen Südpol beträgt ungefähr 3 km. Ab einer Tiefe von etwa 1.5 km unterhalb der Oberfläche verfügt das Eis über eine hervorragende Transparenz und Reinheit, was sich an der relativ großen Absorptionslänge von ca. 100 m ablesen lässt. Ein Nachteil gegenüber Wasser ist allerdings die kurze effektive Streulänge. Die Wahl des Standorts von AMANDA und 7 Ein Photon im PMT wird durch den Durchlauf aller Dynoden auf eine Anodenspannung von 1 PE verstärkt. 22

23 1.3. Das IceCube Neutrinoteleskop seinem Nachfolgeexperiment IceCube wurde durch die vorhandene Infrastruktur der im Jahre 1956 gegründeten Amundsen Scott Südpol Station begünstigt. Abbildung 1.6.: a) Anordnung von Strings und optischen Modulen des kompletten IceCube Detektors b) Draufsicht auf den Detektor. Die verschiedenen Farben geben die einzelnen Ausbaustufen an [Kir08] wurde der Aufbau des IceCube Detektors begonnen. In der finalen Ausbaustufe, die 2011 erreicht werden soll, wird IceCube aus 80 Strings im Abstand von 125 m bestehen, die in einem Sechseck angeordnet im Eis installiert sind. Ein String besteht dabei aus einer Kabeltrosse, an der 60 DOMs in gleichmäßigem Abstand von 17m angebracht sind. Die Löcher werden mit einem Heißwasserbohrer ins Eis geschmolzen. Nach Einbringen des Strings und Zufrieren des Bohrlochs ist kein physikalischer Zugriff und somit auch keine Reparatur einzelner DOMs möglich. Diese befinden sich in einer Tiefe von 1450m bis 2450m. An der Oberfläche befinden sich über jedem String zwei Eistanks, die jeweils zwei optische Module enthalten. Das im Endausbau 1 km 2 große Detektorfeld bildet das IceTop Experiment, das genaue Untersuchungen zur Kosmischen Strahlung im Energiebereich zwischen ev und ev durchführen soll. Neben seiner Eigenschaft als Luftschauerdetektor dient IceTop auch dem IceCube Experiment als Veto gegen atmosphärische Myonen allerdings eingeschränkt durch den geringen Raumwinkel [Rot09][Ice01]. Abbildung 1.6 zeigt den geplanten finalen Ausbau von IceCube und den zeitlichen Fortschritt der String Installation. 23

24 1. IceCube und Neutrinos Teilchennachweis und Reaktionen im Eis Hochenergetische Neutrinos werden über die Tscherenkow Strahlung detektiert, die von Sekundärteilchen innerhalb des Detektors emittiert wird. Hier werden einige erwartete Signaturen und Reaktionen im Eis näher erläutert. Myon Neutrinos Myon Neutrinos können mit dem Quark eines Nukleons eines Wassermoleküls über den geladenen Strom wechselwirken. Durch den Austausch eines W Bosons wandelt sich das Neutrino in ein Myon um. Die Myonspur ist durch die abgestrahlte Tscherenkow Strahlung nachweisbar. Bei einer Reaktion im Detektor ist auch der hadronische Schauer des Entstehungsprozesses detektierbar. Neben diesem wichtigsten Kanal ist auch die neutrale Stromwechselwirkung mit Nukleonen möglich. Dabei bleibt das Neutrino erhalten und es entsteht ein hadronischer oder elektromagnetischer Schauer abhängig vom Reaktionspartner Elektron oder Parton des Neutrinos [Ice01]. Elektron Neutrinos Bei Elektron Neutrinos laufen die gleichen Prozesse wie beim Myon Neutrino ab. Im Unterschied zu Myonen verlieren Elektronen ihre Energie in erster Linie durch Bremsstrahlung. Da ihre freie Weglänge deutlich kleiner ist als der Abstand zwischen zwei Modulen, ist im Detektor nur eine Schauerstruktur sichtbar. Tau Neutrino Auch hier kann sich das Neutrino über den geladenen Strom umwandeln. Da das Tauon allerdings nur eine mittlere Lebensdauer von s besitzt, geht man von einem Zerfall noch im Detektor aus. Das Resultat wäre eine sogenannte double bang Signatur, die durch einen hadronischen Schauer am Ort der Tau Produktion und, je nach Zerfallsart, einen hadronischen oder elektromagnetischen Schauer am Zerfallsort verursacht würde [Cow07]. Abbildung 1.7 zeigt einen möglichen τ Zerfall. 24

25 1.3. Das IceCube Neutrinoteleskop Abbildung 1.7.: Zerfall eines Tau Leptons über den geladenen Strom. In diesem Fall wäre das resultierende Myon auch im Detektor nachweisbar. Magnetische Monopole Diese hypothetischen Teilchen stellen das Analogon zur elektrischen Ladung dar, also die Quellen des magnetischen Feldes. Aus der Existenz magnetischer Monopole würde direkt die Quantisierung der Elementarladung folgen. Ein solches Teilchen mit der magnetischen Dirac Ladung würde bei β 1 auf seiner Bahn durch den Detektor etwa das 8000 fache an Tscherenkow Strahlung wie ein minimal ionisierendes Myon erzeugen [Ice01]. Bisher wurde kein solches Ereignis beobachtet. WIMPs WIMP ist die Abkürzung für weakly interacting massive particle. Diese hypothetischen, massiven und ungeladenen Teilchen, die nur schwach wechselwirken, sind Kandidaten für die Dunkle Materie. Nach der Theorie könnten sie sich in Gravitationssenken wie z.b. dem Mittelpunkt der Erde oder Sonne sammeln und dort anihilieren. Das Resultat wäre ein verstärkter Neutrinofluss vom Mittelpunkt der Erde oder der Sonne[For06]. 25

26 A distributed system is one on which I cannot get any work done because some machine I have never heard of has crashed. Leslie Lamport

27 2. Grid Infrastruktur in Mainz Dieses Kapitel geht im ersten Teil auf die grundlegenden Konzepte des Grid Computing ein. Neben virtuellen Organisationen und Sicherheitsmechanismen werden die einzelnen Grid Services vorgestellt. Nach dieser Einführung folgt im zweiten Teil die Dokumentation der Grid Hardware des WLCG 1 Clusters und des D Grid Clusters in Mainz. Abschließend werden Details zur Softwareinstallation vorgestellt Grid Computing Eine Einführung Der Begriff Grid stammt von dem englischen Ausdruck für das elektrische Stromnetz (Power Grid) und von der Idee, analog zum elektrischen Netz, geographisch verteilte Ressourcen über eine einheitliche Schnittstelle verfügbar zu machen. Hier ist nicht wie im WWW der Zugriff auf Information gemeint, sondern vielmehr der direkte Zugriff auf Computer, Software, Daten und andere Ressourcen, wie sie bei einer Reihe von kollaborativen, problemlösenden und Ressourcen vermittelnden Strategien benötigt werden, die zurzeit in Industrie, Wissenschaft und im Ingenieurwesen auftauchen [Fos98]. Nachdem die Forschung anfänglich noch auf die Verbindung räumlich getrennter Supercomputer, angepasst auf den speziellen Anwendungsfall, fokussiert war, ist der Schwerpunkt nun auf Interoperabilität, Integrierbarkeit und organisationsübergreifende Nutzung des Grid Konzepts verlagert. Zielsetzung ist die gemeinsame Ressourcennutzung von Personen und Institutionen in Wissenschaft, Wirtschaft oder Ingenieurwissenschaft, die in einer heterogenen, dynamischen, institutsübergreifenden virtuellen Organisation (VO, vgl. Kapitel 2.1.3) zusammenarbeiten [Sch07][Che07]. Zur Entwicklung und Sicherung von Standards im Grid Computing tragen Organisationen wie das Open Grid Forum (OGF [OGF09]) bei, in denen Entwickler, Anwender, Unternehmen und Universitäten neue Trends und Lösungen diskutieren und letztendlich in Standards festlegen. Ein Beispiel ist die Open Grid Service Architecture (OGSA), welche in Schlüsselstellen des Grid Konzepts Standards für zum Beispiel Authentifizierung und VO Mitgliedschaft festlegt [OGF06]. 1 WLCG = Worldwide LHC Computing Grid 27

28 2. Grid Infrastruktur in Mainz Abgrenzung von anderen Technologien Die in Kapitel 2.1 beschriebene Definition des Grids wurde von Foster zu einer 3 Punkte Checkliste verfeinert um in der wachsenden Zahl von Begriffen, wie beispielsweise Compute Grids, Data Grids, Science Grids, Access Grids und Knowledge Grids eine klare Definition zu liefern. Zusätzlich sollte eine Abgrenzung zu oft mit dem Grid verwechselten Technologien wie Cluster Computing, Peer to peer Computing 2 oder Distributed Computing 3 erreicht werden [Fos02]. Ein Grid ist ein System, das: Ressourcen koordiniert, die nicht einer zentralen Instanz untergeordnet sind, offene, standardisierte Protokolle und Schnittstellen verwendet, um nicht triviale Dienstgüten bereitzustellen. Unter Betrachtung dieser Definition wird der Unterschied zwischen dem Grid und den oben genannten Technologien klar, die allerdings jeweils Teilaspekte des Grid Konzepts besitzen. Cluster Computing bezeichnet eine Sammlung von lokalen Rechnern, die über ein Netzwerk verbunden sind und von außen häufig als einzelne leistungsstarke Computerressource sichtbar ist. Da die Kontrolle hier einer einzelnen Instanz unterliegt, ist Punkt eins der Checkliste nicht erfüllt [Mer06]. In der Praxis stellen diese Computercluster allerdings einen wichtigen Teil realer Grid Implementationen dar (Kapitel beschreibt die Mainzer Grid Cluster, die in Zukunft Teil des D Grid bzw. WLCG sein werden). Die Ressourcen des Peer to peer Computing und Distributed Computing unterliegen zwar keiner zentralen Kontrolle, jedoch verwenden diese Konzepte zu spezialisierte, und häufig nicht standardisierte, proprietäre Protokolle und erfüllen damit das zweite Kriterium nicht Reale Grid Implementierungen Beispiel WLCG Der Begriff Grid bezeichnet ein Konzept für verteiltes Rechnen und nicht die Umsetzung. Somit existiert nicht das Grid sondern inzwischen viele verschiedene reale Implementie- 2 Ein peer to peer Netz ist eine Verbindung zwischen gleichgestellten Rechnern, und stellt das Gegenteil zum Client Server Netzwerk dar. Jeder Rechner kann gleichzeitig Client und Server sein. Charakteristisch für diese Netze ist eine starke Heterogenität in Bandbreite, Rechenkapazität und Onlinezeit. Eine weit verbreitete Anwendung dieser Technologie ist das File Sharing. 3 Distributed Computing bezeichnet die Berechnung eines Ergebnisses in einzelnen Prozessen einer verteilten Anwendung. Häufig nutzt man die größtenteils brachliegende CPU Leistung von Desktop Rechnern um kleine Teile eines komplexen, rechenintensiven Problems zu lösen. Einer der ersten großflächigen Einsätze dieser Technik war das SETI@home Projekt [Buy06][SET09]. 28

29 2.1. Grid Computing Eine Einführung rungen dieses Konzepts. Beispiele sind EumedGrid, BioGrid, InGrid, WLCG, NorduGrid und D Grid. Die Unterschiede bestehen einerseits in der Zielsetzung und im Anwendungsbereich. D Grid strebt beispielsweise als gemeinsame Initiative des Bundesministeriums für Bildung und Forschung mit der deutschen Wissenschaft und Wirtschaft die Entwicklung von Grid Technologie und e Science Methoden in Deutschland an [D-G09]. Andererseits kann es Abweichungen zwischen den einzelnen Implementierungen in der Struktur und Organisation der Grid Sites geben. Abbildung 2.1 zeigt beispielsweise die hierarchische Struktur des WLCG. Zusätzlich stellen die verschiedenen Initiativen unterschiedliche Anforderungen an die bereitgestellten Services, Authentifizierungsverfahren und Protokolle der einzelnen Grid Cluster [Ahr09]. Die Grid Implementierung wird nun am Beispiel des WLCG vorgestellt. Der im September 2008 in Betrieb gegangene und hoffentlich bald wieder reparierte Teilchenbeschleuniger LHC am CERN in Genf wird in vollem Betrieb an seinen vier Experimenten ATLAS, ALICE, CMS und LHCb ein Datenvolumen von über 15 PetaBytes pro Jahr produzieren. Diese riesige Datenmenge muss gespeichert, prozessiert und verteilt werden, so dass die beteiligten Institute und Wissenschaftler darauf zugreifen können. Die benötigte Rechenleistung und der Speicherplatz werden durch das WLCG bereit gestellt. Die 140 Rechenzentren in 33 Ländern sind dazu in einer hierarchischen Struktur angeordnet, die in Abbildung 2.1 gezeigt wird [Wor09]. Die verschiedenen Schichten werden mit Tier0 4 bis Tier3 bezeichnet und haben folgende Aufgaben: Tier0: Datennahme am Cern, Preprocessing, Datenspeicherung, Verteilung der Rohdaten an Tier1 Tier1: nationale WLCG Zentren, Massenspeicherung Tier2: MC Produktion 5, Analyse, Simulation Tier3: z.b. Mainz, individuelle User Analyse, teilweise MC Produktion Um eine möglichst gute Lastenteilung zwischen den WLCG Zentren zu gewährleisten ist ein gutes Monitoring der Computerressourcen, der gespeicherten Daten und der Netzwerkverbindungen nötig. Diese Funktionalitäten, sowie Datenverteilung und Datenzugriff, Jobabwicklung, Benutzerauthentifizierung und Zugriffsautorisierung werden von Softwarepaketen bereitgestellt, die unter dem Begriff Middleware (vgl. Kapitel 2.1.4) zusammengefasst werden. Im WLCG werden Globus 6, Condor 7, The Virtual Data Toolkit 8 4 Tier: englisch für Reihe, Stufe oder Rang. 5 Die Simulation der komplexen Abläufe in den LHC Detektoren wird als Monte Carlo Produktion bezeichnet. Kapitel 3.1 über die IceCube Simulation geht näher auf das Thema ein. 6 Das Globus Toolkit bietet folgende Services zum Aufbau einer Grid Infrastruktur: Ressourcenmanagement, Informations und Monitoringdienste, Sicherheitsdienste, Datenmanagement [Glo09]. 7 Condor ist ein Verwaltungssystem für die effektive Nutzung heterogener Computerressourcen und zur Optimierung des gesamten Rechendurchsatzes. 8 Das VDT ist eine Sammlung von Grid Software und hat das Ziel möglichst 29

30 2. Grid Infrastruktur in Mainz und glite verwendet. Kapitel geht näher auf das glite Toolkit ein. Abbildung 2.1.: Hierarchische Struktur des WLCG am Beispiel einiger Rechenzentren. Über die genaue Anbindung des Mainzer Clusters wurde noch nicht entschieden [Ahr08] Virtuelle Organisationen Abschnitt zeigt am Beispiel WLCG bereits eine mögliche grobe Gliederung von Rechenzentren und Ressourcen in einem Grid nach Aufgaben. Eine Einteilung oder Aufteilung der verfügbaren Ressourcen beispielsweise nach Arbeitsgruppen oder Experimenten, beziehungsweise eine Antwort auf die Frage Wer darf was verwenden? wurde jedoch noch nicht diskutiert. Eine Lösung bieten hier virtuelle Organisationen (VO), die das fundamentale Konzept für die Organisation und Bereitstellung von geographisch verteilten Ressourcen in der organisationsübergreifenden Zusammenarbeit auf Grundlage gemeinsamer Ziele, wie sie in den verschiedenen Grid Implementationen angestrebt werden, darstellen [Sch07]. Abbildung 2.2 zeigt ein einfaches Beispiel für eine VO. Reale Institutionen und Personen werden in einer VO abgebildet und erhalten Zugang zu den Ressourcen dieser virtuellen Gruppe. Eine VO ist dabei häufig kein statisches Konstrukt, sondern kann je nach Anforderung dynamisch Personen und Ressourcen aufnehmen. Die Mitgliedschaften und Benutzerrechte werden meistens von einem VO Administrator verwaltet während die Zugriffsregeln (Constraints) vom jeweiligen Besitzer der Ressource (resource provider) festgelegt werden [Che07]. einfach installierbar und konfigurierbar zu sein. Es enthält auch Teile von Condor und Globus. 30

31 2.1. Grid Computing Eine Einführung Abbildung 2.2.: Beispiel für eine einfache aus zwei realen Organisationen bestehende virtuelle Organisation. Reale Ressourcen und Personen werden in einer virtuellen Gruppe zusammengefasst und teilen die verfügbaren Ressourcen [Sch07]. Es existieren noch etliche weitere VO Definitionen, die ihre Schwerpunkte unterschiedlich setzen. Nach Foster und Kesselman ist eine VO a set of individuals and/or institutions defined by resource sharing rules [Fos01]. Diese Definition weist auf die notwendigen Regeln und Nutzungsrelationen zwischen Organisationen, Ressourcen und VO Mitgliedern hin. Diese Regeln und Nutzungsrelationen müssen ständig abrufbar sein. So muss zu jedem Zeitpunkt bekannt sein, welche Ressourcen in der VO zur Verfügung stehen, wie deren Status ist und welche Benutzer zum Zugriff autorisiert sind. Basis dieser Konventionen ist wiederum eine zuverlässige Authentifikation von VO Elementen (vgl. Kapitel 2.1.5). Tabelle 2.1 bietet einen Überblick über benötigte Mechanismen, Funktionalitäten und Eigenschaften einer VO. Autorisierung Authentifizierung Delegation Ressourcenmanagement Datenmanagement VO Administration Job Ausführung Job und Ressourcen Monitoring Tabelle 2.1.: Mechanismen, Dienste und Eigenschaften einer virtuellen Organisation [Che07] Diese Funktionalitäten sind in Grid Architekturen wie OGSA standardisiert und 31

32 2. Grid Infrastruktur in Mainz werden durch die Middleware (Vgl. Kapitel 2.1.4) bereitgestellt Middleware Kapitel geht auf die benötigten Mechanismen und Dienste in VOs und generell in Grid Implementierungen ein. Die Softwarepakete und Protokollsammlungen, die diese Funktionalitäten bereitstellen und einzelne Sites erst zum Grid vernetzen, werden unter dem Begriff Middleware zusammengefasst. Es handelt sich hier um autarke Dienste, die sich über sichere Protokolle (X ) authentifizieren und über Kommunikationsnetze wie LAN 10 und WAN 11 miteinander kommunizieren [Ahr08]. Die Middleware ist im Schichtenmodell zwischen der Betriebssystemschicht und der Anwenderschicht einzuordnen (Abbildung 2.3). Abbildung 2.3.: Einordnung der Middleware in das Schichtensystem moderner Rechner Weit verbreitete Middlewares sind das Globus Toolkit [Glo09] der Globus Alliance, sowie in der Hochenergiephysik glite [EGE09b] der EGEE Initiative (Enabling Grids for E science in Europe) Sicherheit Ein zentraler Aspekt der Grid Entwicklung ist wie bei allen Netzen, aber hier besonders aufgrund der Ausbreitung über Organisationsgrenzen hinweg, Autorisation und Authentifikation der Elemente im Grid. 9 X.509 ist der wichtigste Standard für digitale Zertifikate und liegt momentan in Version 3 vor 10 Local Area Network 11 Wide Area Network 32

33 2.1. Grid Computing Eine Einführung Public Key Konzept Realisiert wird diese Identitätssicherung auf Basis einer Public Key Infrastruktur. Jede Entität im Grid besitzt einen zufällig generierten privaten Schlüssel (private key). Dazu gehört ein öffentlicher Schlüssel (public key), der relativ einfach aus dem private key berechnet werden kann. Umgekehrt ist dies in der Praxis aufgrund der enorm langen Rechenzeit, die von der Schlüssellänge abhängt, kaum möglich. Spezielle Algorithmen ermöglichen das Entschlüsseln von Daten, die mit dem private key verschlüsselt wurden, mit Hilfe des public keys und umgekehrt. So kann nicht nur eine sichere Datenübertragung gewährleistet werden, sondern auch die Identität überprüft werden, indem man mittels einer kleinen verschlüsselten Datenmenge den Besitz des private keys des Gegenübers überprüft, oder digitale Daten zuverlässig signiert werden. Da der private key gleichbedeutend mit der Identität ist, muss dieser möglichst sicher aufbewahrt werden und bei Verdacht eines unautorisierten Zugriffs als ungültig markiert werden [EGE09a]. Zertifikate Um den private key in der Praxis zu verwenden, kombiniert man ihn mit weiteren nutzerrelevanten Informationen, die in einem speziellen Format nach dem X.509 Standard gespeichert werden. Dieses X.509 Zertifikat enthält beispielsweise die Gültigkeitsdauer, die meistens auf ein Jahr festgelegt ist und einen eindeutigen Bezeichner, den Distinguished Name (DN): /C=UK/O=eScience/OU=CLRC/L=RAL/CN=john smith Ausgestellt werden diese Zertifikate von zentralen Certification Authorities (CA), die die Identität des Benutzers überprüfen. Die Zertifikate werden mit dem private key der CA signiert, so dass die Echtheit stets mit dem public key der CA überprüft werden kann. In Deutschland übernimmt das Forschungszentrum Karlsruhe die Erstellung der Zertifikate [Ahr08][Whi08]. Proxy Die digitalen Zertifikate werden bei allen Aktionen im Grid zur Authentifikation benötigt. Ein laufender Job auf einem Grid Cluster muss beispielsweise zur Kommunikation mit anderen Servern zum Datentransfer die Identität des Users mit dem Zertifikat nachweisen. Es muss also eine Weitergabe der Zertifikate möglich sein (Delegation; vgl. Tabelle 33

34 2. Grid Infrastruktur in Mainz 2.1). Da der im Zertifikat enthaltene private key allerdings so grundlegend für die Identität ist, ist eine Weitergabe an andere Server aus sicherheitstechnischer Sicht nicht ideal. Aus diesem Grund werden Stellvertreterzertifikate, sogenannte Proxys verwendet. Dazu wird ein neues Paar aus public und private key und ein neues Zertifikat erstellt, das mit dem ursprünglichen private key signiert wird. Bei Senden eines Jobs wird nun der Proxy mit dem neuen private key, und das Zertifikat ohne private key übermittelt, womit ein Remote Service sich wieder authentifizieren kann. Ein Proxy besitzt nur eine kurze Gültigkeitsdauer von meistens 12 Stunden. Diese Technik stellt einen Kompromiss dar. Zwar besteht durch das Mitsenden des private keys des Proxys die Gefahr, dass die Identität missbraucht werden kann, jedoch ist diese Möglichkeit durch die kurze Gültigkeitsdauer des Proxys stark eingeschränkt [Str06]. VO Management Service Die bisher behandelten Mechanismen dienen der Authentifikation von Entitäten im Grid. Zur Autorisation wird der VO Management Service (VOMS) verwendet. Beim Erstellen eines Proxys wird mindestens ein VOMS Server kontaktiert, der ein von der VO signiertes Attribute Certificate (AC) liefert, das an den Proxy angehängt wird. Dieses AC enthält Informationen über Gruppenzugehörigkeit und Rolle in der VO, die von Grid Services zum Ermitteln von Zugriffs und Nutzungsrechten verwendet werden können [Glo06]. Eine VO Mitgliedschaft berechtigt den Nutzer somit die der VO zugeordneten Ressourcen zu nutzen Grid Services Die Middleware stellt die Services und Dienste bereit, welche die einzelnen Grid Sites verknüpfen und verwalten. Da sich die Terminologie von Middleware zu Middleware unterscheidet, werden hier die Bezeichnungen der glite Implementierung verwendet. Die Grid Services auf den lokalen Grid Clustern in Mainz sind MonBox (MON), Compute Element (CE), Storage Element (SE), Worker Nodes (WN) und User Interface (UI). Im Folgenden werden die Aufgaben dieser Services erläutert. MonBox Die MonBox ist für das Accounting, sowie die Bereitstellung von Jobinformationen zuständig [Ahr08]. Dazu gehört beispielsweise die Protokollierung aller Abläufe und Zugriffe auf dem Cluster. Außerdem wird eine Schnittstelle zur VO weiten R GMA Datenbank bereitgestellt, deren Konzept hier nun kurz erklärt wird: 34

35 2.1. Grid Computing Eine Einführung R GMA Die Relational Grid Monitoring Architecture ist als Implementierung der Grid Monitoring Architecture des Open Grid Forums [OGF09] ein gridweites Informations und Monitoring System. Mit den drei zentralen Komponenten Producer, Consumer und Registry wird eine virtuelle, relationale, verteilte Datenbank erzeugt, die mit einer Untermenge von SQL 12 manipuliert werden kann. Zentrales Element ist die gridweit genau einmal existierende Registry, die den Speicherort aller in Tabellenform vorliegenden Daten kennt. Diese Daten werden geliefert von primären Produzenten (Producer), die die Informationen lokal gespeichert haben, sekundären Produzenten, die Daten aus eigenen Abfragen der virtuellen Datenbank speichern und On Demand Produzenten, die erst auf Anfrage Daten erzeugen. Jeder Produzent überträgt nur logisch nicht physikalisch die Daten über den SQL Insert Befehl an die Registry in die Datenbank. Der Nutzer (Consumer) sendet seine Anfrage via SQL SELECT Befehl an die Registry, die alle für diese spezifische Anfrage relevanten Produzenten zurück gibt, welche dann vom Nutzer direkt kontaktiert werden. Dieses in Abbildung 2.4 gezeigte Konzept wird von Consumer und Producer im Hintergrund umgesetzt und dem Anwender verborgen. Dem Benutzer erscheint R GMA wie eine große relationale Datenbank [Wil04][Bou07]. Abbildung 2.4.: Konzept der Grid Monitoring Architektur des Open Grid Forums [RGM09] Eine Anwendungsmöglichkeit von R GMA ist das direkte Job Monitoring. Im Allgemeinen sind die Worker Nodes vor direktem Zugriff von außerhalb des Clusters geschützt und können somit keine unmittelbaren Informationen liefern. Über die Mon- 12 Die Structured Query Language ist eine von ANSI und ISO standardisierte und von nahezu allen gängigen Datenbanksystemen unterstütze Datenbanksprache zur Abfrage, Manipulation und Definition von Daten in relationalen Datenbanken. 35

36 2. Grid Infrastruktur in Mainz Box können mittels R GMA allerdings Daten direkt vom Job nach außen publiziert werden. Das JMS (Job Monitoring System) aus Wuppertal beispielsweise nutzt diese Technik [Uni09]. User Interface Das User Interface (UI) ist der Zugangspunkt eines Benutzers zum Grid und kann als standalone Installation auf jedem beliebigen Rechner verwendet werden. Voraussetzung ist ein Benutzerkonto auf diesem Rechner sowie das installierte Grid Zertifikat zur Authentifizierung. Vom UI aus kann der Benutzer ein Proxy zur Authentifikation anfordern (vgl. Kapitel 2.1.5), die Grid Ressourcen nutzen und die Funktionen der Informations, Workload und Datenmanagementsysteme verwenden. Folgende Operationen sind über das User Interface ausführbar [EGE09a]: Proxy anfordern (voms-proxy-init) Auflisten verfügbarer Ressourcen Jobs abschicken (glite-wms-job-submit) Jobs abbrechen Jobstatus abrufen (glite-wms-job-status) Output der Jobs empfangen Logging und Bookkeeping Informationen der Jobs abrufen Dateien im Grid kopieren, abgleichen und löschen Status der verschiedenen Ressourcen abrufen Compute Element Das Compute Element ist in der Grid Terminologie eine örtlich begrenzte Gruppe von Rechenressourcen. Es besteht aus einem Server, der einen Gatekeeper als Interface von außen zum Cluster enthält, und Worker Nodes, auf welchen Jobs prozessiert werden. Anfragen und Jobsubmissions werden über das Interface empfangen und beantwortet. Zugriff von außen ist aus Sicherheitsgründen häufig nur auf den vorgeschalteten Server möglich und nicht auf die Worker Nodes. Die Verteilung der Jobs auf die Worker Nodes erfolgt mit Hilfe eines Local Resource Management System (auch Batch System genannt) in dem der Server als Batch Master fungiert und die Worker Nodes als Cli- 36

37 2.1. Grid Computing Eine Einführung ent. Das Batch System verteilt die Jobs nach verschiedenen Kriterien 13 auf die Worker Nodes. Außerdem werden die User Accounts hier in Pool Accounts (z.b. ATLAS001 bis ATLAS099) übersetzt, da sonst die Accounts aller momentan für dieses Cluster berechtigten Nutzer lokal und aktuell auf den Worker Nodes angelegt sein müssten [Ahr09] [EGE09a]. Storage Element Das Storage Element stellt einen einheitlichen Zugriff auf Speicherressourcen bereit. Es kann einfache Plattenserver, große Disk Arrays oder auch bandbasierte Massenspeichersysteme verwalten. Die verschiedenen Massenspeichersysteme werden in einem einheitlichen Protokoll, dem Storage Resource Manager abgebildet. Im Wesentlichen können Dateien erstellt, lesend geöffnet und kopiert werden [EGE09a]. Die Dateien oder ihre Kopien können dabei auf verschiedene Art und Weise angesprochen werden: GUID Grid Unique Identifier Eine Datei ist immer über den GUID ansprechbar. Dieser Bezeichner ist weltweit eindeutig und wird bei der Registrierung der Datei zugewiesen. Das heißt, dass alle Kopien einer Datei auch die gleiche GUID besitzen. Die ID besitzt folgende Form: guid:<eindeutige Zeichenkette>. Beispiel: guid:48gj47s e89-n5bn-b8dhb45kmn687 LFN Logical File Name Der LFN ist ein Synonym, welches der Benutzer für eine Datei beliebig wählen kann. Die einzige Einschränkung ist, dass der Name nur einmal in der VO vorkommen darf. Beispiel: schatto-nugen-ic22-simdata SFN Site File Name Der SFN ist die weltweit eindeutige Bezeichnung für genau eine Kopie einer Datei. Er enthält Rechnername und Pfad und ist somit für alle Kopien 13 Es ist dem lokalen Grid Administrator überlassen, über die Jobaufteilung zu entscheiden. Zum Beispiel kann entweder ein Worker Node erst komplett mit Jobs gefüllt werden, bevor das Zweite an die Reihe kommt, oder die Jobs werden gleichmäßig auf die Worker Nodes verteilt. Andere Kriterien können bei einer heterogenen Ausstattung der Worker Nodes die Hardwareanforderung des Jobs sein. 37

38 2. Grid Infrastruktur in Mainz einer Datei unterschiedlich. Beispiel: gridmzui001.physik.uni-mainz.de/bigarray/luenemann/cramer-rao/-data/- file48gj47s e89-n5bn-b8dhb45kmn687 SURL Storage Universal Resource Locator Der SURL besteht aus dem SFN und einem Protokoll zur Verwaltung des SFN. Die Funktion ist ähnlich einer Datenübertragung im Internet, bei der über ein Kontrollprotokoll nur Verwaltungsdaten gesendet werden Beispiel: srm://gridmzui001.physik.uni-mainz.de/bigarray/luenemann/cramer-rao/- data/file48gj47s e89-n5bn-b8dhb45kmn687 TURL Transfer Universal Resource Locator Der TURL enthält ein Zugriffsprotokoll, sowie den Speicherort für eine Dateikopie. Im Gegensatz zum SURL werden hier die physikalischen Daten übertragen [Har05]. Beispiel für GridFTP: gsiftp://gridmzui001.physik.uni-mainz.de/bigarray/luenemann/cramer-rao/data/file48gj47s e89-n5bn-b8dhb45kmn687 Worker Nodes Als Worker Nodes (WN) werden die Rechner bezeichnet, auf denen letztendlich die Jobs prozessiert werden. Die maximale Anzahl der Jobs ist im Allgemeinen durch die Zahl der Prozessorkerne beschränkt, wodurch jeder Job seine eigene CPU zum Rechnen besitzt. Die Zuweisung der Jobs erfolgt vom CE durch ein Batch System Weg eines Jobs durch das Grid Nachdem nun einige Komponenten des Grid Konzepts näher erläutert wurden, soll auf das Zusammenspiel dieser Elemente am Beispiel eines abgesendeten Jobs eingegangen werden. Startpunkt ist dabei das UI, an dem sich der Benutzer zur Authentifizierung einen temporären Proxy erzeugt (vgl. Kapitel 2.1.5). Damit kann der Job inklusive Input Sandbox 14 an das WMS gesendet werden. Alle Prozesse werden ständig 14 In der Sandbox können vom Job benötigte Daten mitgeschickt werden oder vom Job erzeugte Daten zurück transferiert werden. 38

39 2.1. Grid Computing Eine Einführung an den Logging and Bookkeeping Prozess (LB) gemeldet und dort protokolliert. Der Job hat nun den Status submitted. Der Status kann vom Benutzer über das UI ständig beim LB aktuell abgefragt werden. Das WMS sammelt nun Informationen von IS 15 und RC 16 bezüglich Cluster Status und Konfiguration, sowie Speicherort benötigter Dateien (Jobstatus waiting), wählt auf dieser Basis ein geeignetes CE aus und leitet den Job per Job Submission Service (Status ready) dorthin weiter. Wird der Job vom CE angenommen besitzt er den Status scheduled. Nach Durchlaufen der Warteschlange und unter eventuellem Zugriff auf das SE wird der Job dort auf einem Worker Node prozessiert (Status running). Eventuelle Monitoring Daten können über die MonBox publiziert werden. Hat der Job den Status done erreicht, kann der Benutzer über das User Interface per WMS den Output anfordern (Status output ready) und empfangen (Status cleared). Abbildung 2.5 skizziert diese Prozesse. Abbildung 2.5.: Der Weg eines Jobs durch das Grid [Ahr08] 15 Der Information Service stellt Informationen über die momentan verfügbaren Grid Ressourcen und deren Status bereit. 16 Der Replica Catalog enthält alle im Grid verfügbaren Dateien auf Basis der in Kapitel beschriebenen Dateibezeichner. 39

40 2. Grid Infrastruktur in Mainz 2.2. Grid Hardware in Mainz Nachdem die grundlegenden Prinzipien und Konzepte des Grid Computing nun beschrieben wurden, geht folgendes Kapitel auf die Grid Hardware in Mainz ein. Neben den verwendeten Rechnern und Komponenten wird außerdem die Netzwerkstruktur beschrieben Typische Clusterarchitektur Die Struktur eines Grid Clusters ist in großem Maße durch die Anforderungen des jeweiligen Grids festgelegt. Die Notwendigkeit von Grid Services wie CE, SE und MonBox impliziert die Verwendung von einem oder mehreren, von außen erreichbaren Server zum hosten dieser Dienste. Zur Gewährleistung einer erhöhten Verfügbarkeit können diese Services auch redundant auf mehreren Servern angelegt werden. Dazu kommen je nach Budget und gewünschter Leistung weitere Rechner, die die eigentliche Rechenleistung des Clusters liefern. Diese verfügen über möglichst leistungsfähige Prozessoren und je nach geplantem Einsatzgebiet viel Arbeitsspeicher. Die Anbindung dieser Worker Nodes an die Server, auf welchen die Grid Services laufen, kann neben vielen anderen Möglichkeiten beispielsweise über eine einfache oder doppelte Netzwerkverbindung realisiert werden, während von außerhalb des Clusters im Allgemeinen kein Zugriff möglich ist. Soll gleichzeitig eine große Speicherkapazität verfügbar sein, verwendet man häufig weitere Rechner mit üppiger Festplattenausstattung (Disk Pool (DP)). Abbildung 2.8 zeigt eine solche Architektur am Beispiel des WLCG ATLAS Tier3 Cluster in Mainz. Kapitel geht nun auf die detaillierte Hardwareausstattung des D Grid und WLCG Clusters ein D Grid Cluster und WLCG Cluster Das WLCG ATLAS Tier3 Cluster in Mainz besteht aus zwei identischen redundanten Servern, welche die Grid Services CE, SE, MonBox und UI hosten, zwei Disk Pools als Speicherelemente und den Worker Nodes, welche die Rechenleistung liefern. Das ZDV D Grid Cluster verfügt über lediglich einen Grid Service Server (CE, SE, MonBox, UI), eine identische Speicherausstattung in nur einem DP und mit 256 Prozessorkernen die doppelte Rechenkapazität. Abbildung 2.6 zeigt eine Übersicht über die verwendeten Hardwarekomponenten und Abbildung 2.7 zeigt ein Foto der Rechner mit Beschreibung der Komponenten. 40

41 2.2. Grid Hardware in Mainz Abbildung 2.6.: U bersicht u ber die Hardwarekomponenten des ATLAS Tier3 Cluster im Institut fu r Physik an der Universita t Mainz (links) und Hardwarekomponenten des D Grid Clusters im ZDV in Mainz (rechts) Abbildung 2.7.: Links: Foto der Hardwareinstallation des ATLAS Tier3 Cluster im Institut fu r Physik an der Universita t Mainz. Rechts: Foto des D Grid Clusters im ZDV in Mainz [Ahr08]. 41

42 2. Grid Infrastruktur in Mainz Netzwerkverbindungen Gerade mit Blick auf die Sicherheit im Grid ist die Netzwerkanbindung der Cluster ein kritischer Punkt. Direkter Zugriff von außerhalb auf Worker Nodes und Diskpool ist nicht erlaubt. Im öffentlichen Netz (physik.uni-mainz.de) sind nur die Grid Services CE, MON, SE und UI sichtbar und durch Firewalls gegen Angriffe geschützt. Da über diese Verbindung der komplette Datentransfer mit dem Cluster läuft, ist eine hohe Bandbreite nötig. Momentan beträgt die Übertragungsrate der Anbindung hier 1 Gbit. Abbildung 2.8 zeigt einen Überblick über die 4 verschiedenen Netzwerke des ATLAS Clusters. Redundanz der Grid Services durch DRBD Wie Abbildung 2.7 zeigt sind die Server, welche die zentralen Grid Services hosten, redundant angelegt. Dies ist wichtig um ein hohe Verfügbarkeit der Ressourcen zu gewährleisten. Ein Ausfall dieser Services wäre gleichbedeutend mit dem Ausfall des kompletten Clusters, da kein Zugriff auf Plattenspeicher und Rechenleistung mehr möglich wäre. Mit DRBD (Distributed Replicated Block Device) wird diese Hochverfügbarkeit realisiert. Der Primärserver besitzt im normalen Betrieb den Status aktiv und hat die Kontrolle über die Clusterressourcen, während sich der Sekundärserver passiv verhält. Alle Schreibzugriffe auf dem Primärserver werden über das DRBD Netz (gelbes Netz in Abbildung 2.8) blockweise an den zweiten Server weitergeleitet. Erst wenn dieser den Schreibvorgang als erfolgreich bestätigt hat, meldet der primäre Server das Ende des Schreibzugriffs an die Anwendung zurück. Dadurch erreicht man eine Spiegelung des Primärservers auf den Sekundärserver in Echtzeit. Fällt nun der erste Server aus, wird dieser als inaktiv markiert und über eine Serverüberwachungssoftware kann der Sekundärserver die Funktionen übernehmen. Ist das primäre System wieder verfügbar, so kann es nach einer Resynchronisation wieder in den aktiven Zustand wechseln, oder aber statt des ursprünglichen Sekundärsystems die Ausfallabsicherung übernehmen. Die DRBD Technik ist vergleichbar mit einem RAID1 17 über Netzwerk. Grid Netz Über das private Grid Netz (blau dargestellt in Abbildung 2.8) kommunizieren die Grid 17 Redundant array of independent disks Die RAID Technik bündelt mehrere physikalische Datenträger zu einem logischem Laufwerk, um eine höhere Datensicherheit und/oder einen höheren Datendurchsatz zu gewährleisten. Im Modus RAID1 werden alle Daten redundant auf allen Festplatten gespeichert, während bei RAID5 die Nutzerdaten sowie Paritätsbits zur Fehlerkorrektur über die Festplatten verteilt werden. 42

43 2.2. Grid Hardware in Mainz Services mit den Disk Pools und den Worker Nodes. Das Storage Element verwaltet die Experiment und Monte Carlo Daten auf den Disk Pools, während das Compute Element die Worker Nodes kontrolliert und Jobs verteilt. Außerdem erhalten die Jobs auf den Worker Nodes über dieses Netzwerk direkten Zugriff auf die Disk Pools mit einer Bandbreite von vier parallelen GBit Ethernet Verbindungen. Lokales Netz Das lokale Netz (grün in Abbildung 2.8) steht allen Benutzern aus AFS.physik.unimainz.de zur Verfügung. Über die User Interfaces und Worker Nodes besteht Zugriff auf 6 TByte Speicher exklusiv für Mainz. Experimentsoftware, wie zum Beispiel Athena für ATLAS oder ICESIM für IceCube, wird per NFS an die UIs und Worker Nodes angebunden. Zwischen Disk Pools und User Interfaces besteht eine Bandbreite von 1 GBit und zwischen Disk Pools und Worker Nodes 2 GBit [Ahr08]. Abbildung 2.8.: Netzwerkanbindung der verschiedenen Grid Services für das ATLAS Tier3 Cluster in Mainz: User Interface (UI), Compute Element (CE), Monitoring Box (MON), Storage Element (SE), Disk Pool (DP) und Worker Node (WN) [Ahr08] 43

44 2. Grid Infrastruktur in Mainz 2.3. Software Der letzte Teil dieses Kapitels beschäftigt sich mit der verwendeten Software auf den Grid Clustern. Zuerst wird die Virtualisierungstechnik erläutert, die Grundlage für die Installation der Grid Services auf einem einzigen Server ist. Im weiteren Verlauf folgt dann die Beschreibung der verwendeten Betriebssysteme und der Software Virtualisierung Das Prinzip der Virtualisierung erlaubt generell eine Aufteilung oder Zusammenlegung der Ressourcen eines Rechners. Dies ermöglicht es beispielsweise mehrere Betriebssysteme gleichzeitig und völlig isoliert voneinander auf dem gleichen Computer laufen zu lassen. Man benötigt eine Virtualisierungssoftware wie zum Beispiel Xen, die auf einem Betriebssystem in der Domain0 (Dom0) läuft, und auf der die weiteren Domains laufen (DomU), wobei generell zwei verschiedene Methoden unterschieden werden: Hardware Virtualisierung Hier wird dem Gastsystem ein Teil aller verfügbaren Computerressourcen emuliert, wofür Xen die Software Qemu nutzt. So können beispielsweise alte Betriebssysteme unverändert auf aktueller Hardware verwendet werden. Der Nachteil zur Paravirtualisierung besteht einerseits in der schlechteren Leistung und andererseits in der Tatsache, dass spezielle Prozessoren mit Hardwarevirtualisierungs Technologie benötigt werden (z.b. Intel VT x oder AMD Pacifica). Paravirtualisierung Diese Variante der Virtualisierung emuliert nicht die Hardware, sondern ermöglicht den Zugriff über eine abstrakte Verwaltungsschicht. Da diese der echten Hardware jedoch nur ähnlich ist, ist eine Anpassung des Kernels der Gastsysteme nötig. Ein Windows Gastsystem auf einer Linux Dom0 Basis ist aufgrund der großen Unterschiede nicht umsetzbar. Paravirtualisierung ist auf allen Prozessoren möglich und bietet eine bessere Performance als Hardware Virtualisierung [Ahr08], wobei Host und Gastsystem allerdings auf die gleiche Prozessorarchitektur setzen müssen. Abbildung 2.9 zeigt die Zusammenhänge der Virtualisierung am Beispiel der Virtualisierungssoftware Xen. Nachdem die Grundprinzipien der Virtualisierung nun kurz erläutert wurden, folgen nun die Gründe und Vorteile der Nutzung dieser Technik bei der Konfiguration der Mainzer Grid Cluster. 44

45 2.3. Software Abbildung 2.9.: Struktur eines Rechners, auf dem mittels Xen die Hardware in Dom0 emuliert wird, und auf dem mehrere unterschiedliche Gastsysteme gleichzeitig laufen [Bar03]. Wie in Kapitel nachzulesen ist, verfügen die Server, welche die Grid Services CE, SE, UI und MonBox hosten, über eine 64 bit Architektur und 32 GB an Arbeitsspeicher. Die hier verwendete Middleware glite unterstützt bei einigen Services offiziell allerdings nur die 32 bit Architektur. Ein 32 bit System auf dem Server könnte allerdings nur 4 GB Arbeitsspeicher adressieren und für eine Aufteilung der Services nach Architektur auf zwei Server sind die Rechner überdimensioniert (zusätzlich wäre keine Redundanz bzw. Ausfallsicherheit mehr gegeben). Ein weiteres Problem ist, dass einige Grid Services nicht gleichzeitig in einem System lauffähig sind, da unter anderem Kommunikationsprobleme aufgrund sich überschneidender Port Adressierung 18 auftreten [Ahr09]. Eine Lösung bietet die Virtualisierung indem auf einem Rechner verschiedene Betriebssysteme gleichzeitig verwendet werden. Kapitel geht genauer auf die Details dieser Konfiguration ein. Weitere Vorteile von virtuellen Maschinen sind, dass diese alle auf einer Hardwareplattform laufen, und somit je nach verwendetem Betriebssystem nur ein einmaliges Aufsetzen nötig ist und virtuelle Maschinen einfach geklont und auf andere Server verschoben werden können [Ahr08] Betriebssystem Grundlage für die OS Struktur der Grid Service Server ist die Linux Distribution Fedora Core 7 64bit (FC7) mit der Virtualisierungssoftware Xen3.1. Darauf läuft parallel 18 Ein Port ist ein anwendungsspezifischer Endpunkt einer Kommunikation über Protokolle, wie beispielsweise TCP oder UDP und wird durch seine Port Nummer identifiziert. 45

46 2. Grid Infrastruktur in Mainz für jeden Grid Service eine virtuelle Maschine. Die Services CE und MonBox arbeiten auf einer hardwarevirtualisierten Scientific Linux Cern (SLC) bit Maschine und das SE in einem paravirtualisierten Scientific Linux (SL) bit System. Die UIs stehen auf SLC4.7 32bit und SLC4.7 64bit Basis zur Verfügung. Die Netzwerkanbindung erfolgt über Bridges (interner Switch); eine zum öffentlichen Netz und eine zum privaten Grid Netz (Abbildung 2.10). Die Disk Pool Rechner (DP) laufen mit SL4.7 und die Worker Nodes mit SLC4.7 ohne Virtualisierung. Die Verwendung von VMs auf den Worker Nodes wäre nur bei einer heterogenen Hardwareausstattung sinnvoll, um die Administration zu vereinfachen. Abbildung 2.10.: Konfiguration der virtuellen Maschinen, Betriebssysteme und Grid Services und die Netzwerkanbindung über eine Bridge [Ahr08] glite Die glite Middleware wird im Rahmen des EGEE Projekts entwickelt, basiert technisch auf dem Globus Toolkit, VDT, EDG, Unicore und Condor und bietet alle Grid Basisdienste (Abbildung 2.11 zeigt die Entwicklungshistorie). Momentan wird glite in Version 3.1 verwendet. Abbildung 2.11.: Entwicklungshistorie von glite [Glo06] 46

47 2.3. Software Ein Grid Service besteht aus der Installation aller benötigten glite Komponenten. Das CE verwendet als Batchsystem zusätzlich PBS/Torque 2.3 (Portable Batch System). Als Speichermanagementsystem auf dem SE wird dcache verwendet [Ahr09]. 47

48 Reality is merely an illusion, albeit a very persistent one. Albert Einstein

49 3. IceCube Simulationssoftware in der Mainzer Grid Umgebung Dieses Kapitel gibt zu Beginn einen Einblick in die IceCube Monte Carlo Simulation und geht kurz auf den Zweck und die Notwendigkeit solcher Simulationen ein. Dann folgt die Dokumentation der Installation der dafür benötigten Simulationssoftware auf den Mainzer WLCG und D Grid Cluster, wobei anhand von Beispielskripten auch die Verwendung dieser Software über Grid Jobs beschrieben wird. Der letzte Teil dieses Kapitels beschäftigt sich mit der Ressourcennutzung einer solchen Simulation und geht besonders auf den Arbeitsspeicherbedarf ein Monte Carlo Simulation Eine Einführung Es handelt sich bei der Monte Carlo Simulation um eine möglichst realistische Nachbildung der komplexen Prozesse im IceCube Detektor. Dabei simuliert man nicht nur Neutrinos, sondern auch den unerwünschten Untergrund aus atmosphärischen Myonen und koinzidenten Myonereignissen 1, den man in späteren Analysen möglichst herausfiltern möchte. Zum Einen führt man diese Simulationen durch, um die physikalischen und technischen Prozesse im Detektor besser zu verstehen und zu überprüfen. Entsprechen beispielsweise die Experimentaldaten nicht den Erwartungen aus Theorie und Simulation, so kann das bedeuten, dass man physikalische Prozesse falsch einschätzt, oder auch technische Probleme die Ursache sind. Andererseits stellen die Monte Carlo Daten eine wertvolle Hilfe bei der Entwicklung und beim Test von Analysemethoden dar. Ein Beispiel ist in Kapitel 4 gezeigt, wo mit statistischen Methoden der Untergrund aus CORSIKA Daten 2 und koinzidenten Myonen möglichst eliminiert werden soll, ohne viele Neutrinoereignisse zu verlieren. Der Test solcher Methoden ist nur möglich, wenn man möglichst realistische getrennte Datensätze von Signal und Untergrund besitzt. Abbildung 1.2 zeigt beispielsweise einen simulierten atmosphärischen Schauer während 1 Mehrere zeitgleiche Myonereignisse im Detektor, die von den Rekonstruktionsalgorithmen als ein Ereignis behandelt und somit häufig falsch rekonstruiert werden 2 Der simulierte Untergrund aus atmosphärischen Myonen im IceCube Detektor wird nach dem CORSIKA Modul benannt, das atmosphärische Schauer simuliert. 49

50 3. IceCube Simulationssoftware in der Mainzer Grid Umgebung in Abbildung 3.1 ein aus einer simulierten Neutrinowechselwirkung entstandenes Myon im Detektor zu sehen ist. Aus den oben genannten Gründen wird von den verfügbaren Rechnerressourcen in der IceCube VO ein Teil für die Monte Carlo Produktion verwendet. Im Jahresschnitt werden ständig zeitgleich etwa 500 Simulationsjobs prozessiert, von denen jeder etwa 4 Stunden Zeit benötigt. So wurden inzwischen etwa 86TB an Simulationsdaten erzeugt, die unterteilt in dokumentierte einzelne Datensätze zur Analyse bereitgestellt werden 3 [Wie09][Ice09a]. Die in diesem Kapitel behandelte Simulationssoftware für IceCube kann zur Durchführung individuell angepasster Simulationen auf den Mainzer Grid Clustern verwendet werden. Abbildung 3.1.: Simulation eines GeV Myonneutrino Ereignisses dargestellt im 3D Viewer glshovel, einem Modul der IceTray Software. Zu sehen ist die Spur des Myons im Detektor, sowie farblich kodiert die verschiedenen Ansprechzeiten der optischen Module Installation Im Folgenden wird die Installation der IceCube Simulationssoftware IceSim auf dem ATLAS Tier3 Cluster im Institut für Physik in Mainz beschrieben. Die Installation auf

51 3.2. Installation dem ZDV D Grid Cluster läuft aufgrund der gleichen Rechnerarchitektur identisch ab. Die Software besteht aus einzelnen Modulen, die in Metaprojekten zusammengefasst sind. Hier wird die Installation des Metaprojekts IceSim beschrieben, welches alle zur Simulation benötigten Module wie beispielsweise NeutrinoGenerator und CORSIKA enthält. Je nach Bedarf können weitere Module installiert werden. Die Software wird in einem Verzeichnis auf dem Disk Pool des jeweiligen Clusters eingerichtet, das auf den Worker Nodes angebunden ist und über /exp soft/icecube/simulation erreichbar ist Voraussetzungen, Anforderungen Hier werden nun die grundlegenden Voraussetzungen für die Installation der IceCube Simulationssoftware an Rechner und Betriebssystem, sowie benötigte Software beschrieben [Ice09k]. Betriebssystem Unterstützt werden alle modernen Linux Distributionen, verschiedene Rechnerarchitekturen (i386 und x86 64) und Mac OS X. Einzige Voraussetzung für die Installation ist die GNU Compiler Collection (gcc) in Version 3.4 oder höher. Subversion Zum Download des IceTray Codes wird Subversion 4 (SVN) ab Version 1.4 benötigt. Subversion ist wie CVS eine Software zur Versionsverwaltung von Dateien und Verzeichnissen und wird häufig in der Softwareentwicklung verwendet. Es ermöglicht mehreren Entwicklern den Zugriff auf die zentral gespeicherten Projektdaten, erhält bei Änderungen die ältere Dateiversion, welche eingesehen und wiederhergestellt werden kann und hilft den Überblick über die verschiedenen Dateiversionen zu behalten. Root Eine aktuelle Root Version 5 wird mit dem Port basierten Toolsystem I3 PORTS mitgeliefert. Die Installation der Tools ist weiter unten beschrieben Root ist ein objektorientiertes Framework zur Datenanalyse 51

52 3. IceCube Simulationssoftware in der Mainzer Grid Umgebung Java Zum Kompilieren einiger Projekte der IceTray Software ist mindestens das Java Development Kit (JDK) v nötig und die Umgebungsvariable JAVA HOME muss auf diese Installation zeigen. Aufgrund eines seltenen Fehlers der bei Ausführung von Simulationsskripten auf 64bit Systemen, welcher in Abschnitt näher beschrieben wird, ist die Verwendung einer aktuellen Java Version empfehlenswert. Für die hier beschriebene Installation wird JDK v genutzt. I3 PORTS I3 PORTS basiert auf dem Open Source Paketmanager MacPorts 7 für MAC OS X. Mit ihm werden für IceTray benötigte Tools wie beispielsweise Python, Photonics und Rdmc geliefert. Mit dem Befehl Port install <Paketname> können weitere Tools oder neuere Versionen bestehender Tools installiert werden. Eventuell benötigte Abhängigkeiten werden automatisch geladen. Zur Installation wird erst der neuste Quellcode über SVN geladen: svn co ~/port_source Anschließend wird der I3 PORTS Installationsort gewählt: export I3_PORTS=/exp_soft/IceCube/ports Im Quellcodeverzeichnis (hier port source) kann nun durch Aufruf von./i3-install.sh $I3_PORTS die Konfiguration, Kompilation und Installation gestartet werden IceSim Die Installation der eigentlichen IceCube Simulationssoftware erfolgt ähnlich zu der Installation von I3 PORTS. Im ausgewählten Installationsordner wird per SVN das Verzeichnis src mit dem Quellcode der Software angelegt. Hier wird die Softwareversion verwendet

53 3.2. Installation $> mkdir ~/simulation $> cd ~/simulation $> svn co releases/v src $> mkdir build Im Ordner build können nun mit CMake 8 die Makefiles erzeugt, und anschließend die Software kompiliert werden. $> cd ~/simulation/build $> $I3_PORTS/bin/cmake../src $> make Photonics Tabellen Ein wichtiger Aspekt im Ablauf einer Simulation ist die Nachbildung der Photonenausbreitung im Eis, die mit dem Programm Photonics durchgeführt wird. Da diese Berechnungen allerdings sehr zeitaufwändig sind, werden vorprozessierte Tabellen verwendet. Diese Photonics Tabellen müssen während der Ausführung eines Simulationsskripts zur Verfügung stehen. Aufgrund ihrer Größe können sie nicht in der Job Sandbox mitgeschickt werden, oder vom Job aus externen Quellen kopiert werden, sondern müssen lokal vorliegen. Die Tabellen können als Tar Archive (ca GB) heruntergeladen und entpackt werden. Man erhält folgende Verzeichnisstruktur sowie einen weiteren Ordner mit den Driver Files 9 : AHA07v2h2/ muons/ showers/ Der Ordner AHA07v2h2, der die einzelnen Tabellen enthält, liegt in dem Verzeichnis $PHOTONICS TABLES/tables. Die Umgebungsvariable $PHOTONICS TAB- LES wird beim Laden der IceTray Umgebung automatisch gesetzt, und kann in den IceSim Skripten verwendet werden. Im Ordner $PHOTONICS TABLES liegen außerdem zwei Links ( level1 shower.list und level2 muon.list ), die auf die Treiberdateien zeigen, über die die Tabellen geladen werden. Die genaue Verwendung der Tabellen in der Simulation wird in Abschnitt anhand eines Beispielskripts behandelt. 8 Das CMake Build System wird mit I3 PORTS installiert 9 Die Driver Files enthalten eine Liste der zu ladenden Photonics Tabellen, und liegen für verschiedene Auflösungen vor. Über die Wahl der Driver Files kann die verwendete Auflösung der Photonpropagation und der Speicherbedarf gewählt werden. 53

54 3. IceCube Simulationssoftware in der Mainzer Grid Umgebung Probleme bei der Installation Dieser Abschnitt geht auf einige bisher nicht dokumentierte Probleme ein, die im Laufe der Installation der IceCube Simulationssoftware aufgetreten sind und beschreibt Workarounds und Lösungen. Falsche Versionen der Tools Beim Ausführen von CMake werden die mit I3 PORTS installierten Programme überprüft. Da die verschiedenen Releases von IceSim nach unterschiedlichen Versionen dieser Tools suchen, und I3 PORTS selber unabhängig von den IceSim Versionen aktualisiert wird, kann es vorkommen, dass CMake die benötigten Tools nicht findet. Man hat zwei Möglichkeiten Probleme dieser Art zu lösen. Zum Einen kann mit Port install <Paketname> die benötigte Version in Ports installiert werden. Eine andere Möglichkeit ist, die CMake Dateien in dem Verzeichnis src/cmake/tools 10 zu modifizieren. Ist beispielsweise rdmc installiert, aber laut der Datei Findrdmc.cmake wird nach rdmc gesucht, so muss nur die Versionsnummer angepasst werden. Die momentan installierten Tools mit Versionsnummer findet man im Verzeichnis $I3 PORTS/include/. Fehler im Zusammenhang mit ROOT Unter Verwendung der momentan mit I3 PORTS geliefert Rootversion tritt beim Kompilieren des CXX Objekts sim services folgender Fehler auf: Fehler: "groot" wurde in diesem Gültigkeitsbereich nicht definiert Abhilfe schafft hier die Verwendung von Root v Fehler im Zusammenhang mit CMake Mit CMake Version 2.6 erscheinen beim Erstellen der Makefiles etliche Warnungen der Art Policy not set: CMake Warning (dev) at cmake/testing.cmake:99 (add_custom_target): Policy CMP0002 is not set: Logical target names must be globally unique. 10 Der Ordner src ist der Ordner, in den per SVN der Quellcode von IceSim ausgecheckt wurde 54

55 3.3. Konfiguration und Start eines Simulationsjobs Grund ist ein neuer Mechanismus zur Unterstützung der Abwärtskompatibilität, der in Version 2.6 eingeführt wurde [Kit09]. Das Projekt kann danach trotzdem ohne Probleme kompiliert werden. Vermeiden kann man diese Warnungen durch Verwendung von CMake Version 2.4. Fehler: cannot find mmc output class Trotz erfolgreicher Kompilation des Metaprojekts können bei der Ausführung bestimmter IceTray Module nicht behebbare Fehler auftreten. So tritt bei der aktuellen Installation in Verbindung mit JDK v1.4.2 beim Laden des Moduls I3JavaVMFactory der Fehler cannot find mmc output class auf. Abhilfe schafft hier erneutes Kompilieren unter Verwendung einer aktuelleren Java Version Konfiguration und Start eines Simulationsjobs IceCube Simulationen werden mit Hilfe von Python Skripten definiert. Dieser Abschnitt bezieht sich auf das Beispielskript in Anhang A.2, welches Myonneutrino Ereignisse simuliert und die Detektorantwort inklusive simulierter Teilchenspur als I3 File speichert. Hier werden einige Module des Skripts erklärt, sowie die Einbindung der Photonics Tabellen näher erläutert. Außerdem wird beschrieben, wie ein solcher Simulationsjob letztendlich an die Grid Cluster übergeben wird Beispielskript zur Simulation des Myonneutrinonachweises Im Kopfteil des Python Skripts zur Simulation von Myonneutrinos in Anhang A.2 werden die benötigten Komponenten geladen und überprüft, ob die Variable $PHOTO- NICS TABLES gesetzt ist. Der Service I3ReaderServiceFactory lädt die GCD Datei 12. Nach Auswahl der gewünschten Ausbaustufe (Strings und IceTop Stationen) mittels I3GeometrySelectorServiceFactory werden von I3PSInterfaceFactory die Photonics Tabellen geladen. Hier gibt es nun zwei Möglichkeiten auf die Driver Files zuzugreifen. Erstens kann man die gewünschte Auflösung der Tabellen direkt wählen, indem man den Pfad zu den Driver Files direkt angibt: driverfilepath = tablesdir + "/" + "listfiles_aha07v2h2/i3coord_i3span_z40_a20/" 11 Für die hier beschriebene Installation wurde das JDK v verwendet 12 Die GCD Datei enthält die zu verwendende Detektorgeometrie, Detektorkalibration und den Detektorstatus. 55

56 3. IceCube Simulationssoftware in der Mainzer Grid Umgebung Zweitens können die Links auf die Driver Files verwendet werden, die direkt im Verzeichnis $PHOTONICS TABLES liegen. Auf diesem Weg wird automatisch die maximale Auflösung der Tabellen geladen: driverfilepath = tablesdir + "/" Die Variablen PhotonicsAngularSelectionHigh und PhotonicsAngularSelectionLow bieten die Möglichkeit nur einen Teil der Tabellen zu laden, der über den Zenitwinkel spezifiziert wird. Auf diese Weise kann der Speicherverbrauch stark reduziert werden, wobei allerdings über den gesamten Winkelbereich iteriert werden muss. In Kapitel wird der Speicherbedarf abhängig von diesem geladenen Winkelbereich untersucht. Zentrales Element des Skripts ist das Modul I3NeutrinoGenerator, welches wie der Name schon vermuten lässt die Neutrinos erzeugt. Der Neutrino Generator injiziert ein Neutrino an der Erdoberfläche und propagiert das Teilchen bis zum Detektor, wo es zu einer der möglichen Reaktionen gezwungen wird. Die Wahrscheinlichkeiten dieser Reaktionen werden zur Korrektur der Raten bei späteren Analysen als Gewichte gespeichert. In Tabelle 3.1 sind die verfügbaren Parameter zur Neutrinoerzeugung aufgelistet. EventYear Jahr des Ereignisses (Standard 2010) EventDaqTime DAQ Zeit des Ereignisses (Standard 0) NeutrinoFlavor Neutrinotyp Input: NuE, NuMu or NuTau GammaIndex Gamma Index des Neutrinoflusses: f = E GammaIndex EnergyMin Minimale Energie des erzeugten Teilchens EnergyMax Maximale Energie des erzeugten Teilchens ZenithMin Minimaler Zenitwinkel des erzeugten Teilchens ZenithMax Maximaler Zenitwinkel des erzeugten Teilchens AzimuthMin Minimaler Azimutwinkel des erzeugten Teilchens AzimuthMax Maximaler Azimutwinkel des erzeugten Teilchens InjectionRadius Radius des Injektionszylinders DistanceEntrance Abstand von Neutrinoreaktion zum Detektorzentrum DistanceExit Abstand Detektorzentrum bis Ende Detektionsvolumen DetectorCenterZ z Position des Detektorzentrums (Standard 1945m) Tabelle 3.1.: Parameter des Moduls I3NeutrinoGenerator [Ice09i] Nach Erzeugung eines geladenen Leptons wird dieses mit I3PropagatorMMC durch den Detektor propagiert. Die Module I3PMTSimulator, I3DOMsimulator, I3SMTrigger und I3Conglomerator simulieren die Reaktion der Photomultiplier (PMT), optischen Module und der Trigger auf die Tscherenkow Photonen, bevor I3Writer die I3 Datei erzeugt. 56

57 3.3. Konfiguration und Start eines Simulationsjobs Einrichten der Umgebung und das Abschicken von Jobs Das Ziel dieses Kapitels ist die schrittweise Beschreibung der Ausführung eines Simulationsjobs auf einem der Grid Cluster in Mainz. Grid Jobs werden über eine JDL Datei 13 spezifiziert, die die auszuführende Datei und weitere Optionen enthält und über das UI abgeschickt wird. Bevor man das Simulations Skript auf einem Worker Node starten kann, ist es nötig die IceTray Umgebung zu laden. Dies geschieht durch Ausführen der Datei envshell.sh in /exp soft/icecube/simulation/build/ auf den Worker Nodes, wodurch eine neue Shell mit allen IceTray Umgebungsvariablen gestartet wird. In dieser Shell wird nun das IceSim Skript ausgeführt. Es ist also nicht möglich per Grid Job ein Shellskript zu starten, welches nacheinander env-shell.sh und das Simulations Skript startet, da das Simulations Skript dann nicht in der IceTray Umgebung läuft, sondern in der alten Shell. Statt dessen bietet env-shell.sh die Möglichkeit, das zu startende Skript per Argument zu übergeben und automatisch in der neuen IceTray Shell starten zu lassen. Eine einfache JDL Datei könnte also wie folgt aussehen: #############my Gridjob################# Executable = "/exp_soft/icecube/simulation/build/env-shell.sh"; Arguments = "bash./my_shellscript.sh"; StdOutput = "my_shellscript.out"; StdError = "my_shellscript.err"; InputSandbox = {"my_shellscript.sh","nugen-muons.py"}; OutputSandbox = {"my_shellscript.out","my_shellscript.err"}; ######################################### Als auszuführende Datei wird unter Executable die oben erwähnte env-shell.sh angegeben. Als Argument muss nun das Userskript (./my shellscript.sh) und das Programm, mit dem es ausgeführt werden soll (hier Bash) übergeben werden. Dadurch wird in der IceTray Umgebung das Userskript ausgeführt. StdOutput und StdError benennen die Dateien, in denen die Standardausgabe und die Fehler protokolliert werden. Diese Dateien werden in der OutputSandbox mit angegeben, damit man sie als Job Output abrufen kann. In der InputSandbox befinden sich die Dateien, die mit dem Job übertragen werden. Im obigen Beispiel sind das das Userskript (my shellscript.sh) und ein Simulations Skript (NuGen-Muons.py), das aus dem Userskript gestartet wird. Möchte man im Userskript keine weiteren Aktionen wie zum Beispiel Datentransfer durchführen, sondern nur die Simulation starten, so kann man auch direkt das Simulations Skript als Argument übergeben, und auf den Zwischenschritt über das Userskript verzichten. Das Skript in Anhang A.1 ist ein Beispiel für ein solches Userskript. Es startet nicht nur die Simulation, sondern protokolliert auch die Ressourcennutzung auf dem Worker Node. 13 Job Description Language 57

58 3. IceCube Simulationssoftware in der Mainzer Grid Umgebung Die JDL Datei kann nun mit dem glite UI Befehl glite-wms-job-submit --vo icecube -a -r dgridmzce001.physik.uni-mainz.de:2119/ jobmanager-lcgpbs-icecube my_gridjob.jdl an das D Grid Cluster oder mit glite-wms-job-submit --vo icecube -a -r gridmzce002.physik.uni-mainz.de:2119/ jobmanager-lcgpbs-icecube my_gridjob.jdl an das WLCG Cluster übergeben werden. Dem Job wird dabei eine eindeutige ID zugewiesen, mit der man den Status überprüfen (glite-wms-job-status <job-id>) und nach Ende des Jobs den Output abrufen kann (glite-wms-job-output <job-id>) Ressourcenbedarf der IceCube Simulationssoftware Dieses Kapitel beschreibt einige Leistungstests der IceSim Software auf den lokalen Grid Clustern in Mainz. Unter anderem wird die Abhängigkeit der Ressourcen von einigen Simulationsparametern bestimmt. Im Fokus steht hier besonders der Speicherbedarf der Simulationen, welcher durch den Einsatz von Photonics sehr hoch ausfällt. Um die Ressourcennutzung und die Laufzeit der Simulationen zu überwachen, protokolliert ein Shellskript im Hintergrund die Nutzung der Ressourcen der Worker Nodes, während eine Simulation läuft. Eine im Hintergrund laufende Endlosschleife hält im Sekundentakt mit Hilfe des Programms Top den momentanen Speicherverbrauch fest, und über den Vergleich mit der Startzeit des Skripts wird die aktuelle Laufzeit ermittelt. Zur Kontrolle der Laufzeit wird diese zusätzlich mit dem Programm Time überprüft. Die Protokolldaten werden nach Abschluss des Jobs über die Output Sandbox abgerufen. Dieses Monitoring Skript befindet sich in Anhang A.1. Abbildung 3.2 zeigt die typische Ressourcennutzung einer IceSim Simulation (hier auf einem Worker Node mit Intel GHz und 16GB RAM). Das Laden der Photonics Tabellen dauert hier etwa 160 Sekunden. Währenddessen bewegt sich die CPU Auslastung im Bereich zwischen 20 und 30 Prozent. Sind die Tabellen in den Speicher geladen, so ist mit dem Start der Monte Carlo Simulation ein sprunghafter Anstieg der CPU Last auf 100 Prozent zu beobachten. In den letzten Sekunden der Simulation werden die genutzten Ressourcen wieder freigegeben und CPU Last und Speichernutzung fallen rapide ab. Der sprunghafte Verlauf der physikalischen Speicherbelegung ist auf das Programm Top zurückzuführen, welches den physikalischen Speicher über 10GB 58

59 3.4. Ressourcenbedarf der IceCube Simulationssoftware Abbildung 3.2.: Zeitlicher Verlauf des Bedarfs an physikalischem Speicher, logischem Speicher und CPU Last einer IceCube-80 Myonneutrino Simulation. Die Photonics Tabellen sind in der höchsten Auflösung (Winkelbereich:10, z Bereich: 20m) komplett im Arbeitsspeicher abgelegt. leider nicht genauer protokolliert. Aufgrund des linearen Verlaufs des logischen Speichers und unter Annahme einer konstanten Speicherbandbreite kann jedoch auch im Bereich zwischen 120 und 160 Sekunden von einem weiterhin linearen Anstieg ausgegangen werden. Der Sprung bei 420 Sekunden zeigt, dass im Gegensatz zum logischen Speicher die physikalische Speichernutzung keinesfalls konstant sein muss. Der hier verwendete Rechner besitzt 8 Rechnerkerne, und kann somit 8 Jobs gleichzeitig ausführen, welche sich allerdings die 16 GB Arbeitsspeicher teilen. Somit schwankt der zugewiesene physikalische Speicher, falls andere Jobs gestartet oder beendet werden und ebenfalls Arbeitsspeicher benötigen, da das Betriebssystem mittels Paging 14 den Speicher dynamisch verwaltet. 14 Paging unterscheidet logischen und physikalischen Speicher und ist ein zentraler Aspekt der Speicherverwaltung eines Betriebssystems. Jeder Prozess besitzt einen eigenen logischen Adressraum, welcher aus gleich großen Seiten besteht. Je nach Verfügbarkeit des physikalischen Speichers und je nach Ersetzungsstrategie und Prozesspriorität können diese Seiten im Arbeitsspeicher abgelegt sein, oder auf den Hintergrundspeicher (Festplatte) ausgelagert werden. Der Vorteil gegenüber anderen Methoden wie Swapping ist die Vermeidung der Fragmentierung des Arbeitsspeichers. 59

60 3. IceCube Simulationssoftware in der Mainzer Grid Umgebung Ressourcenverbrauch in Abhängigkeit von der Teilchenenergie Um zu überprüfen in wie weit die Energie des Neutrino den Ablauf der Simulation beeinflusst, wurde eine Serie von Simulationen mit unterschiedlicher Teilchenenergie durchgeführt. Die Ergebnisse sind in Tabelle 3.2 dargestellt. Die Tests wurden am Mainzer DGrid Cluster durchgeführt. Die Worker Nodes sind mit zwei Intel GHz und 16 GB RAM ausgestattet. Energ.[log 10 GeV] log. Mem.[GB] phys. Mem.[GB] Zeit/Ereignis [s] Tabelle 3.2.: Speicherbedarf und Simulationszeit pro Ereignis abhängig von der Neutrinoenergie Es ist zu erkennen, dass der Speicherbedarf kaum von der Teilchenenergie abhängt. Dafür steigt die benötigte Zeit für ein Ereignis mit der Energie stark an. Ursache für diesen Anstieg der Simulationszeit pro Ereignis mit der Energie kann zum einen die erhöhte Erzeugung der Tscherenkow Strahlung sein, wodurch mehr Speicherzugriffe auf die Photonics Tabellen nötig werden. Zusätzlich treten bei der Myonpropagation durch MMC 15 mit höherer Energie häufigere Energieverluste durch Ionisation, Bremsstrahlung, δ Elektron Produktion, Myon Nukleon Wechselwirkung und e -e + oder µ -µ + Paarproduktion auf, welche die Rechenzeit weiter verlängern. Abbildung 3.3 zeigt diesen Zusammenhang. 15 Muon Monte Carlo, entwickelt von Dimtry Chirkin 60

61 3.4. Ressourcenbedarf der IceCube Simulationssoftware Abbildung 3.3.: Darstellung der Zeit pro Simulationsdurchlauf in Abhängigkeit von der Neutrinoenergie Zusammenhang zwischen Granularität der Photonics Tabellen und Speicherbedarf Über die Treiberdateien der Photonics Tabellen wird festgelegt, mit welcher Auflösung die Tabellen geladen werden. Eine Auflösung von beispielsweise z20a10 bedeutet, dass die Schrittweite der z Koordinate 20 Meter beträgt, während ein Winkelabstand von 10 vorliegt. Über eine multidimensionale lineare Interpolation lässt sich nun die Anzahl, sowie die Ankunftszeit der Photonen an den optischen Modulen im gesamten Detektorvolumen abfragen [Lun07]. Tabelle 3.3 zeigt den Speicherbedarf der verschiedenen Auflösungen. Auflösung logischer Speicher [GB] physikalischer Speicher [GB] z20a z20a z20a z40a z40a z40a z80a z80a z80a Tabelle 3.3.: Speicherbedarf als Funktion der Auflösung der Photonics Tabellen 61

62 3. IceCube Simulationssoftware in der Mainzer Grid Umgebung Mit einem Simulationsjob mit bester Auflösung würde man bereits den kompletten Arbeitsspeicher eines Worker Nodes der Grid Cluster in Mainz belegen, wodurch das Prozessieren weiterer Jobs auf den übrigen sieben CPUs durch ständiges Auslagern entweder signifikant langsamer oder sogar ganz unmöglich 16 wäre. Deshalb wird nach Möglichkeiten gesucht den Speicherbedarf zu senken Zusammenhang zwischen Winkelbereich der Photonics Tabellen und Speicherbedarf Eine Möglichkeit den Speicherbedarf der Simulation zu senken, ist nacheinander jeweils nur einen kleinen Winkelbereich (Zenit) der Photonics Tabellen zu laden und jeweils nur Ereignisse in diesem Bereich zu generieren. Diese Testreihe wurde am ATLAS Tier3 Cluster in Mainz durchgeführt, dessen Worker Nodes mit je zwei Intel GHz und 16 GB RAM bestückt sind. Die Photonics Tabellen wurden in der Auflösung z20a10 verwendet. Abbildung 3.4.: Darstellung von physikalischem und logischem Speicherbedarf in Abhängigkeit vom geladenen Winkelbereich der Photonics Tabellen Man erkennt an diesem Zusammenhang klar das zugrundeliegende Binning der Photonics Tabellen. Jeweils nach 10 wird eine neue Tabelle geladen. In der momentanen 16 Die Speicherressourcen für laufende Programme sind genau dann erschöpft, wenn nicht nur der RAM Speicher voll ist, sondern auch die Auslagerungsdatei auf der Festplatte die maximale Größe erreicht hat 62

63 3.4. Ressourcenbedarf der IceCube Simulationssoftware Monte Carlo Produktion wird eine Winkelbreite von 10 bei einer Auflösung von z40a10 verwendet, was einen Speicherbedarf von ca. 1 GB zur Folge hat [Wie09]. 63

64 If your experiment needs statistics, you ought to have done a better experiment. Ernest Rutherford

65 4. Untersuchung eines Spurauflösungsschätzers Im Folgenden werden die Methoden vorgestellt, die IceCube zur Rekonstruktion und Selektion der Spuren verwendet. Es wird gezeigt, dass die Cramér Rao Ungleichung eine Abschätzung für die wahre Spurauflösung liefert. Darauf aufbauend folgt eine Analyse verschiedener Schnitte 1 auf Basis der Cramér Rao Methode für die 22 String Konfiguration von IceCube Daten Rekonstruktion Für die Suche nach Neutrino Punktquellen wird aus den Ankunftszeiten der Photonen an den DOMs die ursprüngliche Richtung des Myons rekonstruiert. Dazu verwendet man verschiedene Algorithmen, die sich in Methodik, Komplexität, Rechenzeit und erreichbarer Winkelauflösung unterscheiden. In diesem Kapitel werden die für diese Arbeit relevanten Rekonstruktions Verfahren und ihre Anwendung auf die IceCube Daten vorgestellt. Linefit Der Linefit ist eine Rekonstruktion, die auf dem allgemeinen zeitlichen Ablauf der Ankunftszeiten der Photonen an den DOMs basiert. Dabei wird zur Vereinfachung angenommen, dass sich die Photonen in ebenen Wellen bewegen. Zudem werden Absorption, Streuung und Anzahl nachgewiesener Photonen ignoriert. Der Linefit erreicht eine deutlich schlechtere Winkelauflösung als die im nächsten Abschnitt beschriebenen Likelihood Verfahren [Ice09b], seine schnelle und analytische Berechenbarkeit macht den Linefit allerdings interessant für erste Abschätzungen. So dient er zum Beispiel zur Diskriminierung vom Südhimmel kommender Myonen und liefert Startparameter für komplexere Rekonstruktionen [Des08]. 1 Als Schnitt bezeichnet man die Datenselektion anhand eines Parameters. Ein Beispiel sind Schnitte auf den Zenitwinkel, die abwärts laufende Myonereignisse eliminieren. 65

66 4. Untersuchung eines Spurauflösungsschätzers Likelihood Rekonstruktionen Die Spurrekonstruktionen auf Likelihood Basis verwenden eine Wahrscheinlichkeitsverteilung für die unterschiedlichen Ankunftszeiten von Photonen, den Zeitresiduen t res. In der Regel werden die Photonen auf ihrem Weg zum DOM gestreut, so dass sich ihre absolute Trefferzeit t hit deutlich von der geometrischen Ankunftszeit t geo unterscheidet: t res = t hit t geo (4.1) Die entsprechende Wahrscheinlichkeitsdichte kann in tabellarischer Form vorliegen (Photonics, vgl. Kapitel 3.2.2) oder analytisch approximiert werden (Pandel Funktion 2 ). Die Pandelfunktion liefert die folgende Wahrscheinlichkeitsverteilung für die Zeitresiduen in Abhängigkeit vom Abstand zwischen Lichtquelle und DOM: mit P (t res, d) = 1 N (d) 1 Γ ( d λ ) 1 t res ( tres τ ) d ) λ t 1 e res ( τ + c med λ abs d λ abs (4.2) N (d) = e d λ abs ( 1 + τ c ) d λ med λ abs. (4.3) N(d) ist eine Normierungskonstante, Γ die Gamma Funktion, c med die Lichtgeschwindigkeit im Durchgangsmedium und λ abs die Absorptionslänge. Sie wird wie die freien Parameter λ und τ an die Eiseigenschaften angepasst. Die wahrscheinlichste Spur ist nun diejenige, für die das Produkt der Wahrscheinlichkeiten, die Likelihood, der einzelnen DOMs maximal wird. Da die Likelihood numerisch schwer zu behandeln ist, wird der negative logarithmische Wert verwendet (-LogLlh). Abbildung 4.1 zeigt einen möglichen Verlauf der negativen logarithmischen Likelihood abhängig vom Zenitwinkel. Die reduzierte logarithmische Likelihood 3 im Minimum kann als Güteparameter des Fits zur Ereignisselektion verwendet werden. Diese Rekonstruktion kann mehrfach durchgeführt werden, wobei versucht wird, die Auflösung durch leichte Variation der Startparameter zu optimieren. Man unterscheidet zudem zwischen den SPE (single photo electron) und MPE (multi photo electron) Fits. Während beim SPE Fit nur das erste am DOM eintreffende Photon berücksichtigt 2 Die Pandel Funktion wurde nach dem Diplomanden Dirk Pandel aus Berlin benannt 3 rlogllh - logarithmische Likelihood geteilt durch die Anzahl der Freiheitsgrade 66

67 4.1. Daten Rekonstruktion wird, schließt der MPE Fit die Information mehrerer Photonen ein. Bisherige Untersuchungen zeigen, dass der MPE Fit ab Neutrinoenergien von 10 5 GeV bei deutlich erhöhtem Rechenaufwand gegenüber SPE eine signifikant bessere Winkelauflösung liefert. Warum der MPE Fit bei niedrigeren Energien schlechtere Ergebnisse liefert als der SPE Fit ist noch nicht verstanden [Ice09c][Por05][Neu03][Boe09]. Umbrella Methode Die bisher vorgestellten Likelihood Methoden versuchen das globale Minimum der negativen logarithmischen Likelihood zu finden. In Abbildung 4.1 ist zu erkennen, dass mehrere Minima existieren können, die sich in ihrer Form und in der Höhe des Scheitelpunkts unterscheiden. Der Umbrella Fit führt eine Likelihood Rekonstruktion, die auf die gegenüberliegenden Hemisphäre eingeschränkt ist, durch. Dort findet er möglicherweise ein solches weiteres Minimum, das im Scheitelpunkt einen höheren Wert von -LogLlh besitzt, als das von bisherigen Rekonstruktionen gefundene Minimum. Ist die logarithmische Likelihood Differenz zwischen diesen beiden Minima groß, so bedeutet das eine Aufwertung der ursprünglichen Spur, während eine kleine Differenz die Wahrscheinlichkeit erhöht, dass die vom Umbrella Fit gefundene Spur die Wahre ist. Diese Differenz der negativen logarithmischen Likelihoods wird als Schnittparameter in der Punktquellenanalyse verwendet [Ice09f]. Abbildung 4.1.: Verlauf der logarithmischen Likelihood rekonstruierter Spuren in Abhängigkeit vom Zenitwinkel. Mit einer Parabelanpassung wurde hier ein Nebenminimum markiert. Die wahrscheinlichste Spur, die durch das globale Minimum beschrieben wird, wurde in diesem Fall nicht gefunden. Die Umbrella Rekonstruktion hätte in diesem Fall das breite Minimum bei 60 gefunden [Neu03]. 67

68 4. Untersuchung eines Spurauflösungsschätzers Fehlerabschätzung durch Paraboloid Anpassung Diese Methode setzt das Minimum der Likelihood Funktion im fünfdimensionalen Parameterraum als bekannt voraus. Im gaußschen Fall ist die Umgebung des Minimums der logarithmischen Likelihood mit einem Paraboloid beschreibbar. Durch eine entsprechende Anpassung kann die Schärfe des Minimums bestimmt werden (siehe Abbildung 4.1). Die hieraus folgenden Fehlerwerte für Zenit und Azimut können zur Ereignisselektion verwendet werden [Neu03] Daten Selektion In Kapitel wurde bereits die Dominanz von Untergrundereignissen gegenüber den echten Neutrinoereignissen erwähnt (10 6 : 1). Ziel der Selektion ist es auf Basis der im letzten Abschnitt beschriebenen Rekonstruktionen den Untergrund möglichst effektiv zu eliminieren, ohne zu viele Neutrinoereignisse zu verlieren. Um die benötigte Rechenzeit zu minimieren, werden komplexe Rekonstruktionen erst auf vorselektierten Ereignissen ausgeführt. Dazu wird eine Datenverarbeitung in mehreren Schritten durchgeführt. Im Folgenden werden die ersten drei Analysestufen näher erläutert: Stufe 0 Nach dem Transfer der vom Online Processing am Pol selektierten Daten über Satellit findet eine Konvertierung vom PnF Format (processing and filtering) in das Standard IceTray Format statt. Zudem werden Detektorgeometrie, Detektorkalibration und Detektorstatus aus einer Datenbank ausgelesen und im Standardformat abgespeichert [Ice09j]. Stufe 1 Basierend auf den Daten aus Stufe 0 findet hier eine erste Auswahl statt. Wichtig für die Selektion von nach oben gerichteten Myonspuren ist in diesem Zusammenhang der Upgoing Muon Trigger. Dieser wählt Ereignisse abhängig von der Anzahl der Treffer 4 und dem Zenitwinkel der Linefit oder Dipolfit 5 Spur aus (Anzahl Hits 11 und Linefit Zenit 70 oder Dipolfit Zenit 70 ) [Ice09e]. 4 Anzahl der DOMs, die Tscherenkow-Licht detektiert haben. 5 Der Dipolfit ordnet ursprünglich alle Pulse an den DOMs nach der Zeit und summiert alle normierten Vektoren zwischen zwei aufeinander folgenden Pulsen zu einem Gesamtvektor, der die Richtung des Dipolfits vorgibt. In einer aktualisierten Version werden nun die Vektoren nicht mehr aus aufeinander folgenden Pulsen, sondern aus größeren Zeitabständen erzeugt [Boe09]. 68

69 4.3. Die Cramér Rao Ungleichung Stufe 2 Ziel der Prozessierung auf Stufe 2 ist die Bereitstellung hochwertiger Spurrekonstruktionen aller vorselektierter Ereignisse. Die durchgeführten Rekonstruktionen sind SPE Likelihood Rekonstruktion, Paraboloid Fehlerabschätzung, Bayesische Rekonstruktion 6 und Doppel Myon Rekonstruktion 7 [Ice09d]. Auf dieser Stufe findet keine Selektion statt. Stufe 3 Die Zahl der Ereignisse wird durch Schnitte auf den Zenitwinkel (> 80 ) und auf die reduzierte logarithmische Likelihood (< 13) verringert. Anschließend werden die Stufe 2 Rekonstruktionen 32 fach iteriert durchgeführt. Darauf basierend wird ein weiterer Zenitschnitt ausgeführt (32 iter. Θ Zenit > 80 ) [Ice09h] Die Cramér Rao Ungleichung Die Cramér Rao Ungleichung ist nach dem schwedischen Mathematiker Harald Cramér ( ) und dem indischen Mathematiker Calyampudi Radhakrishna Rao (*1929) benannt. Sie liefert eine obere Grenze für die Genauigkeit bzw. eine untere Grenze für die Varianz eines Schätzwerts. Im Fall von IceCube liefert die invertierte Fisher Informationsmatrix I 1 die obere Grenze für die erreichbare Auflösung einer Spur: cov (Θ m, Θ k ) I mk ( Θ ) 1. (4.4) Die Fisher Informationsmatrix ist gegeben durch: I mk ( Θ ) = [ AnzahlModule i=1 2 ( ln p t i ; Θ) ] Θ k Θ. (4.5) m ( Θ enthält die Spurparameter, Vertex und Richtung, p t i ; Θ ) ist die Pandelfunktion [Köp08]. Die Matrix wird mit Vereinfachungen analytisch berechnet. Die Diagonalelemente der invertierten Fisher Matrix entsprechen der Varianz. Man erhält für Zenitwinkel und Azimutwinkel eine Cramér Rao Grenze für die Auflösung. 6 Diese Methode rekonstruiert das Myon immer abwärts laufend. 7 Hier wird angenommen, dass sich zwei Myonen zeitgleich im Detektor befinden 69

70 4. Untersuchung eines Spurauflösungsschätzers Ein Vergleich zwischen dem geometrischen Mittelwert von σθ CR = (I 1 ) ΘΘ und σφ CR = (I 1 ) ΦΦ mit dem geometrischen Mittelwert der Paraboloid Fehler zeigt eine deutliche Korrelation für E 2 Neutrinodaten 8 (Abbildung 4.2) [Lün08]. Abbildung 4.2.: Links: Korrelation der geometrischen Mittelwerte der Auflösung der Paraboloid und Cramér Rao Schätzer für E 2 Neutrinodaten. Rechts: Anzahl der Ereignisse als Funktion der Cramér Rao Schätzwerte für E 2 Neutrino, CORSIKA, und koinzidente Ereignisse [Lün08]. Für CORSIKA und koinzidente Ereignisse erhält man einen vergleichbaren Zusammenhang. Obwohl die Cramér Rao Werte mathematisch eigentlich eine obere Grenze für die Auflösung liefern sollten, ist dies hier offensichtlich nicht der Fall, da die Cramér Rao Werte möglicherweise aufgrund von gemachten Vereinfachungen in der Berechnung in der Mehrzahl größer sind, als die Paraboloid Fehler. Trotzdem lässt sich mit dieser Methode die Auflösung abschätzen Datenselektion auf Basis der Cramér Rao Ungleichung Aufgrund der Korrelation zwischen Paraboloid Fehler und Cramér Rao Wert ist zu vermuten, dass auch diese Werte zur Untergrund Unterdrückung verwendet werden können. Abbildung 4.2 zeigt die Anzahl der Ereignisse bei bestimmtem Cramér Rao Wert. Es ist direkt zu erkennen, dass man mit einem Schnitt auf diesen Wert (Cramér Rao < x) eine deutlich größere Menge Untergrund als Neutrinoereignisse verliert. Abbildung 4.3 zeigt den überlebenden Anteil CORSIKA Untergrund gegen das überlebende Neutrinosignal für verschiedene Schnittwerte. Diese Analyse basiert auf Daten aus Stufe 2 und der einfachen Likelihood Rekonstruktion. Es wurden nur Ereignisse mit einem Zenitwinkel größer als 110 verwendet. 8 Man geht von folgendem Neutrinofluss als Funktion der Energie aus und verwendet diese Gewichtung deshalb bei Analysen: Φ E 2 70

71 4.3. Die Cramér Rao Ungleichung Abbildung 4.3.: Bruchteil der überlebenden CORSIKA-Ereignisse über dem Bruchteil der überlebenden Neutrinoereignisse nach dem Schnitt auf den Cramér Rao Schätzer bzw. auf den Paraboloid-Schätzer für Daten aus Stufe 2. Die verschiedenen Farben repräsentieren unterschiedliche Methoden den Schnittparameter aus Cramér Rao Zenit und Cramér Rao Azimut zu berechnen, bzw. einen Vergleich mit Schnitten auf Paraboloidfehlerbasis [Lün08]. Abbildung 4.3 zeigt, dass die Schnitte auf Cramér Rao Basis effizienter sind als Schnitte auf den Paraboloid Fehler. Strebt man beispielsweise eine Reduktion der COR- SIKA Ereignisse um 99% an, so erhöht sich die Anzahl der verbliebenen Neutrinos von 30% beim Paraboloid auf 50% beim Cramér Rao Schnitt. In Abbildung 4.3 werden zudem mehrere Methoden verglichen, aus den Fehlerwerten für Zenitwinkel und Azimutwinkel einen einzigen Schnittparameter zu berechnen. Es zeigt sich die beste Schnitteffizienz bei Verwendung des geometrischen Mittelwerts der beiden Cramér Rao Werte. Alle weiteren in dieser Arbeit durchgeführten Analysen beziehen sich deshalb auf diese Variante. Es ist zu untersuchen, ob dieser Vorteil gegenüber Paraboloidschnitten auch für andere Rekonstruktionen, wie der 32 fachen Likelihood und der MPE Rekonstruktion bestehen bleibt. 71

72 4. Untersuchung eines Spurauflösungsschätzers 4.4. Vergleich der Selektionseffizienz verschiedener Signalquellen In diesem Abschnitt wird die in Kapitel vorgestellte Methode zur Ereignisselektion auf Basis der Cramér Rao Ungleichung auf die 32 fache Likelihood Rekonstruktion angewendet und ein Vergleich der verschiedenen Datenquellen durchgeführt. Zu diesem Zweck werden die in Anhang B dokumentierten Daten aus Stufe 3 verwendet, die bereits die 32 fache Likelihood Rekonstruktion enthalten. Es werden nur Ereignisse verwendet, deren rekonstruierter Zenitwinkel größer als 110 ist. In Abbildung 4.4 sind die Selektionseffizienzen für verschiedene Datenquellen mit und ohne vorherigen Schnitt auf die reduzierte logarithmische Likelihood dargestellt. Generell erreicht man bei einem Verlust von 50% der E 2 Neutrinos eine Unterdrückung der koinzidenten Myonen auf 5%, der CORSIKA Ereignisse auf 2% und der von IceCube aufgezeichneten Experimentaldaten auf 3%. Es ist sehr schön zu erkennen, dass die Experimentaldaten zwischen den koinzidenten Myonereignissen und den CORSIKA Ereignissen liegen, wobei die CORSKIA Daten durchgehend am besten diskriminiert werden. Das war zu erwarten, da die Stufe 3 Experimentaldaten ein Signal Untergrund Verhältnis von etwa 1/1000 aufweisen, und somit von koinzidenten Myonereignissen und atmosphärischen Myonen dominiert werden [Ice09g]. Zusätzlich ist zu beobachten, dass die atmosphärisch gewichteten Neutrinos mit CORSIKA Daten (orange in Abbildung 4.4) bei leichten und bei sehr harten Schnitten die schlechteste Effizienz aufweisen. Nur im Bereich zwischen 40% 70% verbleibender Neutrinos lassen sich die koinzidenten Daten noch schlechter filtern. Führt man zuvor einen Schnitt auf die reduzierte logarithmische Likelihood durch (<10.5, Abbildung 4.4 unten), so ist zu beobachten, dass sich die Effizienz der Schnitte für CORSIKA gegen atmosphärische Neutrinos besonders im Bereich unter 80% überlebender Neutrinos verbessert. Für 60% verbleibender Neutrinos erhält man statt einer Untergrundunterdrückung auf 7% nun eine Untergrundunterdrückung auf etwa 4%. Auch für CORSIKA Daten gegen E 2 Neutrinos zeigt sich eine leichte Verbesserung, während koinzidente Myonen oder Experimentaldaten gegen E 2 Neutrinos kaum profitieren. Um die Effizienz der Schnitte an verschiedenen Datenquellen auch für die Paraboloid Methode nachzuvollziehen, ist dieser Vergleich in Anhang C.1 dargestellt. Beachtet man die anders skalierte y Achse gegenüber den Cramér Rao Histogrammen, so wird deutlich, dass die Cramér Rao Schnitte durchgehend für alle Datenquellen eine bessere Effizienz aufweisen. 72

73 4.4. Vergleich der Selektionseffizienz verschiedener Signalquellen Abbildung 4.4.: Daten aus Stufe 3: Vergleich verschiedener Signalquellen: Bruchteil der Neutrinoereignisse bzw. Untergrundereignisse nach dem Schnitt auf den Cramér Rao Schätzer. Oben: Ohne Schnitt auf die reduzierte logarithmische Likelihood. Unten: Der Schnitt auf die reduzierte logarithmische Likelihood wurde auf <10.5 verschärft. 73

74 4. Untersuchung eines Spurauflösungsschätzers 4.5. Vergleich der Selektionseffizienz verschiedener Rekonstruktionen Hier findet ein direkter Vergleich von Cramér Rao Schnitten auf Basis verschiedener Rekonstruktionsmethoden statt. Da die verwendeten Daten (vgl. Anhang B) keinen MPE Fit enthalten, wird dieser zuerst durchgeführt und die Winkelauflösung untersucht. Anschließend folgt der Vergleich zwischen Linefit (Lf), einfacher Likelihood Rekonstruktion (Llh), 32 facher Likelihood Rekonstruktion (Llh32) und einfachem MPE Fit (MPE) MPE Rekonstruktion Ein MPE Fit kann mit dem IceCube Metaprojekt IceRec durchgeführt werden. Es enthält alle zur Rekonstruktion benötigten Komponenten und wird analog zur IceSim Software installiert 9 (vgl. Kapitel 3.2). Das zur Rekonstruktion verwendete Skript befindet sich in Anhang A.3. Als Startparameter für die MPE Rekonstruktion wird die Spur der 32 fachen Likelihood Rekonstruktion verwendet. Abbildung 4.5.: Daten aus Stufe 3: Winkelauflösung der MPE Rekonstruktion für den Energiebereich unter 10 5 GeV (links) und über 10 5 GeV (rechts) für E 2 Neutrinos Die Histogramme in Abbildung 4.5 zeigen das erwartete Ergebnis (vgl. Kapitel 4.1). Für Energien über 10 5 GeV liefert der MPE Fit eine bessere Auflösung als der 32 fache SPE Fit, während bei niedrigeren Energien das Ergebnis umgekehrt ist. Die bisher in Kapitel 4.4 verwendeten CORSIKA und Neutrinodaten aus Stufe 3 werden für den Vergleich verschiedener Fits im nächsten Abschnitt um den MPE Fit erweitert. 9 Zum Zeitpunkt dieser Arbeit enthielt IceRec noch nicht die neuesten Versionen der Projekte ipdf und lilliput, die zur Durchführung des hier gezeigten MPE Fits benötigt werden. Diese Module mussten manuell installiert werden. 74

75 Ergebnisse 4.5. Vergleich der Selektionseffizienz verschiedener Rekonstruktionen Mit dem im vorigen Abschnitt durchgeführten MPE Fit kann nun ein Vergleich der Schnitteffizienzen für verschiedene Rekonstruktionen durchgeführt werden. In Abbildung 4.6 ist die Effizienz der Cramér Rao Schnitte für den Linefit, die einfache Likelihood Rekonstruktion, die 32 fache Likelihood Rekonstruktion und den MPE Fit gezeigt. Da Daten auf Stufe 3 bereits einen Zenitschnitt bei 80 für die einfache und 32-fache Likelihood Rekonstruktion enthalten, wurden diese Schnitte für den Linefit und den MPE Fit ebenfalls durchgeführt. So wurden ähnliche Voraussetzungen geschaffen. Abbildung 4.6.: Daten aus Stufe 3: Vergleich verschiedener Rekonstruktionen: Bruchteil der CORSIKA Ereignisse gegen den Bruchteil der E 2 Neutrinoereignisse nach dem Cramér Rao Schnitt Unterhalb von 60% Neutrinos verhalten sich die Rekonstruktionen sehr ähnlich. Oberhalb von 60% Neutrinos zeigt der Linefit schlechtere Effizienzen als die übrigen Rekonstruktionen. Das eröffnet die Möglichkeit einen Schnitt auf den Cramér Rao Schätzer der sehr schnell berechnet werden kann bereits auf den ersten Filterstufen durchzuführen. 75

76 4. Untersuchung eines Spurauflösungsschätzers 4.6. Verhalten bei zwei Likelihood Minima Abbildung 4.1 zeigt, dass es häufig mehrere Minima im Verlauf der negativen logarithmischen Likelihood geben kann. Abschnitt 4.1 geht bereits auf die Umbrella Rekonstruktion ein, welche ein von vorherigen Rekonstruktionen aufgrund größerer negativer logarithmischer Likelihood ignoriertes zweites Minimum findet. Im Folgenden wird untersucht, ob sich der Cramér Rao Schätzer an das wahre Minimum erinnert und die Differenz der Cramér Rao Werte für die Spur der Umbrella Rekonstruktion und die Spur der normalen Likelihood Rekonstruktion zur Spurselektion verwendet werden kann. Dazu ist in Abbildung 4.7 die Likelihood Differenz gegen die Differenz der Cramér Rao Werte von Umbrella und 32 facher Likelihood Rekonstruktion aufgetragen. Wie erwartet, sind so gut wie alle Werte auf der y Achse positiv, da die Likelihood Rekonstruktion im Gegensatz zur Umbrella Methode per Definition die Richtung mit kleinster Likelihood sucht. Zusätzlich ist eine Konzentration der atmosphärischen Myonen 10 nahe der Null zu erkennen. Das bedeutet, dass die Umbrella Rekonstruktion eine Spur in der gegenüberliegenden Hemisphäre gefunden hat, die nur ein wenig unwahrscheinlicher ist, als die ursprüngliche Spur der Likelihood Rekonstruktion. Diese Myonen können beispielsweise mit der Bedingung (Umbrella rlogllh - Llh32 rlogllh) >5 eliminiert werden. Abbildung 4.7.: Daten aus Stufe 3 und Zenith>110 : Differenz zwischen der logarithmischen Likelihood des Umbrellafits und des Llh32 Fits aufgetragen gegen die Differenz der Cramér Rao Werte dieser Rekonstruktionen für E 2 Neutrinos (rechts) und CORSIKA Ereignisse (links) Auf der x Achse ist bei den CORSIKA Daten eine gleichmäßigere Verteilung als bei den E 2 Neutrinos zu beobachten. Ein negativer Wert auf dieser Achse bedeutet, dass die Cramér Rao Ungleichung für die Umbrella Spur eine genauere Auflösung 10 Atmosphärische Myonen sollten in Stufe 3 bereits durch die Schnitte auf den Zenitwinkel gefiltert werden. Die trotzdem noch übrig gebliebenen Ereignisse wurden falsch rekonstruiert. 76