Experimenten. really big data



Ähnliche Dokumente
Datenfluss in CERN-Experimenten

Das CMS-Experiment Größe: 21.5 m x 15 m, Gewicht: t Investitionen: 350 Mio. Mitglieder: 2250 aus 38 Ländern

Big Data in der Forschung

Das Higgs-Boson wie wir danach suchen

Grid Computing. Siegmar Alber Universität Salzburg. Luca Debiasi Universität Salzburg

Analyseschritte ROOT Zusammenfassung. Offline-Analyse. Seminar Teilchendetektoren und Experiment an ELSA. Karsten Koop

Beiträge der deutschen Gruppen zum ATLAS Detektor und zum FSP-101

Anleitung. Verschieben des alten -Postfachs (z.b. unter Thunderbird) in den neuen Open Xchange-Account

Dashboard. 1. Dashboard

3 MILLIARDEN GIGABYTE AM TAG ODER WELCHE KAPAZITÄTEN MÜSSEN NETZE TRAGEN?

Das CMS Experiment am Large Hadron Collider (LHC) am. Beispiel für globale Kommunikation in der Elementarteilchen-physik

Das Higgs- Teilchen: Supersymetrische Teilchen:

Verlust von Unternehmensdaten?

Installation von Office 365 auf einem privaten PC

LCG. LHC Computing Grid. Rolf Reinthaler. Universität Würzburg. 17. Juli 2009

Anleitung Redmine. Inhalt. Seite 1 von 11. Anleitung Redmine

Cloud-Computing Seminar - Vergleichende Technologien: Grid-Computing Hochschule Mannheim

Folgeanleitung für Fachlehrer

Folgeanleitung für Klassenlehrer

Select & Preprocessing Cluster. SPP Server #1. SPP Server #2. Cluster InterConnection. SPP Server #n

Staatlich geprüfter EDV-Führerschein

Massenspeichersysteme im Einsatz bei TIER 2/3 Grid-Zentren

Übung - Datenmigration in Windows 7

ASV-Betrieb für die Coburger Schulen. Einbindung externer Schulen via RemoteApp

Benno List Universität Hamburg. VL Detektoren für die Teilchenphysik: Detektorkonzepte

NTT DATA Helpdesk Benutzerhandbuch

MAXDATA b.drive. Externe Festplatte mit integrierter Backup Software

Tipps und Tricks zu Netop Vision und Vision Pro

Fachbericht zum Thema: Anforderungen an ein Datenbanksystem

Professionelle Seminare im Bereich MS-Office

Die aktuellen Top 10 IT Herausforderungen im Mittelstand

Übersicht Benutzerdaten -Adresse: persönlich Benutzernamen: persönlich (aus Ihrem Outlook Web Access, siehe Anleitung Teil A)

Umstieg auf Microsoft Exchange in der Fakultät 02

Im vorliegenden Tutorial erfahren Sie, wie Sie in myfactory Postfächer für den Posteingang und den Postausgang anlegen.

Eine ausführliche Anleitung finden Sie auf den folgenden Seiten.

Neuerungen in ReviPS Version 12g

Spotlight 5 Gründe für die Sicherung auf NAS-Geräten

Zur Einrichtung der orgamax Cloud auf Ihrem ipad beschreiben wir hier die Vorgehensweise.

SZ Digital. Bedienungsanleitung zum Löschen geladener Ausgaben in der SZ Digital -App. Windows 8. Kurz- und Langversion

Handbuch ECDL 2003 Basic Modul 3: Textverarbeitung Dokument bearbeiten und speichern

Der Support für Windows Server 2003 endet endgültig alles was Ihnen dann noch bleibt ist diese Broschüre.

Informationen zum Thema Datensicherheit

SharePoint Demonstration

Eigene Dokumente, Fotos, Bilder etc. sichern

Anleitung Redmine. Inhalt. Seite 1 von 11. Anleitung Redmine

Handbuch zur Anlage von Turnieren auf der NÖEV-Homepage

Das top-quark. Entdeckung und Vermessung

Cloud Computing. Ergebnisse einer repräsentativen Erhebung für das BMELV

Sicher ist sicher! itbank Hosting!

Willkommen Einen neuen Fall eröffnen: Erfasste Fälle ansehen/bearbeiten Ihr Benutzerprofil anpassen Ihr Passwort ändern

DataBackup / DataReplication

Mail-Account Unimail mit der Einstellungen für Outlook Express 5.0

Verwendung von USB-Datenträger in der VDI unter Mac OSX

0HLQ&RPSXWHU. :LHKHL HQGLH7HLOHGHV&RPSXWHUV"2UGQHGLH:RUWNlUWFKHQ]X 0DUWLQD 0 OOHU

Inhalt. 1 Einleitung AUTOMATISCHE DATENSICHERUNG AUF EINEN CLOUDSPEICHER

Konfiguration von Outlook 2010

Platz 2: "Massenspeicher"

ACDSee Pro 2. ACDSee Pro 2 Tutorials: Übertragung von Fotos (+ Datenbank) auf einen anderen Computer. Über Metadaten und die Datenbank

Übersicht zur Lastschriftverwaltung im Online-Banking für Vereine

Eltako-FVS. Lizenzaktivierung ohne Internetverbindung

Mobile Scanner - Best Practice Versenden von Bildern oder Scans an eine Mailadresse

ClubWebMan Veranstaltungskalender

Schritt für Schritt Hilfe Neufahrzeugkonfigurator

Mail-Weiterleitung unter WebAccess

Das Organisationssystem für die Fertigung

5.12. Variable Temperaturgradienten über dem Scheibenzwischenraum

1. bvh-datenschutztag 2013

Erzeugung enormer Datenvolumina aus hochaufgelösten anatomischen MRT-Messungen

Anleitung für das Content Management System

Installation und Bedienung von vappx unter ios

Moodle-Kurzübersicht Kurse Sichern und Zurücksetzen

Fertigstellung Fakturierung BST auf grafischer Oberfläche

A1 Desktop Security Installationshilfe. Symantec Endpoint Protection 12.1 für Windows/Mac

Möglichkeiten für bestehende Systeme

G DATA GOES AZURE. NEXT LEVEL MANAGED ENDPOINT SECURITY DRAGOMIR VATKOV Technical Product Manager B2B

So eröffnen Sie schnell und bequem Ihr Internet-Festgeld

ACDSee Pro 3-Tutorials: Fotos (+ Datenbank) auf einen anderen Computer bringen

synergetic AG Open House 2012 Ihr Unternehmen in der Wolke - Cloud Lösungen von synergetic

Die neue Website der Universitätsbibliothek. Überblick. Die wichtigsten Veränderungen - klicken Sie sich einfach mal durch!

MICROSOFT WORD 2007 SERIENBRIEFE

Jenseits der Antimaterie

Herzlich Willkommen. Der Weg zur eigenen Homepage. vorgestellt von Frank Kullmann

icloud nicht neu, aber doch irgendwie anders

Inhalt. 1 Installation und Konfiguration des Citrix Receivers

Horstbox VoIP. Stefan Dahler. 1. HorstBox Konfiguration. 1.1 Einleitung

Installation und Bedienung von vappx unter Android

Hinweise bei Problemen mit Makros

Planung, Auswahl und Ingest

So funktioniert die NetWorker 7.5 Eigenschaft zum Sichern umbenannter Verzeichnisse ( Backup renamed Directories )

Installation Hardlockserver-Dongle

Funktionsbeschreibung Datenlogger DL28W

Bedienungsanleitung für BackupMotion

Hinweise für die Umstellung auf das neue E Mail und Kalendersystem Zimbra

Übung - Datensicherung und Wiederherstellung in Windows Vista

Benutzerhandbuch. Leitfaden zur Benutzung der Anwendung für sicheren Dateitransfer.

Datenbank-Verschlüsselung mit DbDefence und Webanwendungen.

Matrix42. Use Case - Erfassung von Nutzungs- rechten mit Hilfe einer SKU. Version September

How-to: Webserver NAT. Securepoint Security System Version 2007nx

Transparente Kommunikation zwischen SPS / PC und TOSHIBA Frequenzumrichtern

Transkript:

Datenfluss in CERN- Experimenten really big data

Gliederung Das CERN Allgemeines Wichtige Errungenschaften Der Weg der Daten Das CMS-Experiment Aufbau Anfallende Daten Trigger Das Grid Die Ebenen des Grid Vorteile des Grid-Computing

Das CERN Bildquelle: http://www.lhc-facts.ch/img/tunnel/karte6.jpg, Entnahmedatum: 10.05.2014

Geschichte des CERN Conseil Européen pour la Recherche Nucléaire

Wichtige Errungenschaften 1954 Gründung 1957 Synchro-Zyklotron fertiggestellt 1959 Proton-Synchrotron (PS) geht in Betrieb 1976 Super-Proton-Synchrotron (SPS) geht in Betrieb 1968 Vieldraht-Proportionalkammer wird erfunden 1983 Entdeckung der W- und Z-Bosonen 1989 Erste Kollisionen im LEP-Beschleuniger 2008 LHC geht in Betrieb 2000 LEP wird abgeschaltet 1999 Bauarbeiten für den LHC beginnen

Der Weg der Daten

Das CMS-Experiment Compact Muon Solenoid Einer der vier Detektoren am LHC Aufgaben: Suche nach dem Higgs-Boson Suche nach supersymmetrischen Teilchen Suche nach neuer Physik Genauere Vermessung bekannter Teilchen

Aufbau Bildquelle: https://cms-docdb.cern.ch/cgi-bin/publicdocdb/retrievefile?docid=11514&version=1&filename=cms_120918_03.png, Entnahmedatum 21.05.2014

Anfallende Daten Welche Datenmengen fallen an? Kollisionsrate: 40MHz 22 pp-events pro Kollision Daten einer pp-kollision: 1-2 MB 0,88-1,76 PB pro Sekunde!

Trigger Zweck: Aus der Datenflut die interessanten Daten herausfiltern Reduktion der Datenmenge auf einige 100 Events pro Sekunde

Trigger Level 1 Trigger Hardwaretrigger Reduktion auf 100.000 Events pro Sekunde High Level Trigger Softwaretrigger Reduktion auf einige 100 Events die gespeichert werden Aus handelsüblichen Prozessoren aufgebaut Bildquelle: http://www.hep.ph.ic.ac.uk/~tapper/talks/cms-trigger.pdf, Entnahmedatum: 26.05.2014

Das Grid Die am CERN vorhandene Rechenleistung ist viel zu gering um die riesigen Datenmengen auswerten zu können Datenanalyse im Worldwide LHC Computing Grid (WLCG)

Das Grid Weltweit größtes Computing Grid Aufgebaut in 4 Ebenen genannt Tiers 260.000 Prozessorkerne (2013) 180 PB Speicherplatz (2013) Bildquelle: https://espace2013.cern.ch/wlcg-document-repository/images1/wlcg/ccapr13-tiers0-1-2_png-file.png, Entnahmedatum: 02.06.2014

Das Grid Tier 0 CERN Data Centre 1450m² große Serverfarm am CERN 10.000 Server mit 90.000 Prozessorkernen 30 PB Festplattenplatz, 70 PB Magnetbandspeicher 3,5 MW Leistung Wigner Data Centre (Budapest) Über zwei 100 Gbit/s Leitungen mit dem CERN Data Centre verbunden 500 Server mit 20.000 Prozessorkernen 5,5 PB Festplattenplatz 2,5 MW Leistung

Das Grid Tier 0 Zentraler Punkt des Grid Aufgaben Erste Rekonstruktion der Events aus den Rohdaten Speicherung von Rohdaten und rekonstruierten Events Bildquelle: http://home.web.cern.ch/sites/home.web.cern.ch/files/styles/medium/public/image/about_section_page/2013/01/cern-servers.jpg?itok=rskttlqv Entnahmedatum: 02.06.2014

Das Grid Tier 1 13 Rechenzentren weltweit Zentrale Knotenpunkte des Grid Über Glasfaserleitungen direkt mit dem CERN verbunden (10Gbit/s) Deutsches Tier 1 Rechenzentrum: GridKa 8600 Prozessorkerne (2010) 20 PB Speicher (2012)

Das Grid Tier 1 Aufgaben: Sicherung von Rohdaten und rekonstruierten Events Erneute Verarbeitung der Daten unter Berücksichtigung neuer Kalibrierungen Verteilung der Daten an Tier-2 Rechenzentren Archivierung von simulierten Daten aus Tier-2 Rechenzentren

Das Grid Tier 1 Bildquelle: http://gstat2.grid.sinica.edu.tw/gstat/gstat/geo/openlayers#/wlcg_tier/1 Entnahmedatum: 02.06.2014

Das Grid Tiers 2 & 3 o Tier 2 Ca. 150 Forschungseinrichtungen und Universitäten in ca. 40 Ländern Aufgaben: Simulationen Rechenkapazität für Datenanalysen der Endbenutzer o Tier 3 Zugriffspunkt Zur Eingabe von Analyseaufgaben

Vorteile des Grid-computing Hohe Datensicherheit Wissenschaftler weltweit können fast verzögerungsfrei auf LHC-Daten zugreifen Ausfallsicherheit

Das Grid - Datenfluss Bildquelle: http://wlcg-public.web.cern.ch/structure Entnahmedatum02.06.2014