Seminar: Praktische Quantenchemie

Transkript

1 Seminar: Praktische Quantenchemie Bernd Hartke Theoretische Chemie Institut für Physikalische Chemie 5. Stock, Raum 519 Tel.: 0431/ Sprechstunde: jederzeit!

2 Voraussichtlicher Inhalt: WAP-Cluster: hardware und Betrieb Mini-Crashkurs Quantenchemie Gaussian Molpro Turbomole

3 Der PhysChem-WAP-Cluster dirac Wieso dieser Name? P. A. M. Dirac (Nobelpreis 1933, zusammen mit Schrödinger; 1932 ging der Nobelpreis an Heisenberg), Proc. R. Soc. Lond. Ser. A 123 (1929) 714: The underlying physical laws necessary for the mathematical theory of a large part of physics and the whole of chemistry are thus completely known, and the difficulty is only that the exact application of these laws leads to equations much too complicated to be soluble. It therefore becomes desirable that approximate practical methods of applying quantum mechanics should be developed, which can lead to an explanation of the main features of complex atomic systems without too much computation. Einige zentrale Fakten: dirac ist ein Rechner für die PhysChem, nicht für die Gesamt-Chemie steht physikalisch im Rechenzentrum (RZ), gehört aber nicht zu den RZ-Rechnern RZ administriert hardware und Betriebssystem PhysChem (Hartke) administriert Anwendungssoftware (inkl. Quantenchemie-Programme)

4 Technische Daten: 23 Einheiten: 1 master, 1 backup-master (master2), 21 Rechenknoten (der backup-master fungiert auch als Rechenknoten, der master nicht) pro Knoten: 2 CPUs: AMD Opteron 248, 2.2 GHz (64bit) memory: 4 GB, DDR ECC registered PC400 2 Festplatten 250 GB, S-ATA, 7200 rpm Festplatten-Partitionierung: disk1: 20 GB System, 4 GB swap, 216 GB /scratch1 disk2: 241 GB /scratch2 zwei interne Gigabit-Netzwerke, für 1. Datenaustausch paralleler Programme (MPI) 2. normaler Datentransfer, NFS,... nur im master: 2 weitere Festplatten; Partitionierung: disk1: 20 GB System, 4 GB swap, 216 GB /scratch disk2: 241 GB /home disk3: 241 GB /scratch1 disk4: 241 GB /scratch2 nur im backup-master: andere Partitionierung: disk1: 20 GB System, 10 GB SuSE, 4 GB swap, 206 GB /home disk2: 241 GB /scratch nur im master und backup-master: zusätzlicher Ethernet-Anschluß an die Außenwelt Betriebssystem: SuSE Linux Pro 9.1 (kernel 2.6.5) Vorrechner helium (AK Temps) und pcws20 (AK Grotemeyer) sind praktisch identisch zum backup-master, aber weder physikalisch noch organisatorisch in den Cluster integriert Zugang: account persönlich einrichten lassen von Herrn Dr. Nielsen (RZ, nielsen@rz.uni-kiel.de, Tel.: 3581); userid/passwd nach Wunsch dirac.phc.uni-kiel.de (ebenso helium und pcws20 im phc-subnetz) nur per ssh/scp (kein telnet/ftp) /home kann per Samba auf Windows-Rechnern in der PhysChem direkt sichtbar gemacht werden direkter filetransfer per Explorer möglich

5 hardware-hierarchie: AK-eigene Standard-PCs für intensiv-interaktives input-entwicklung, Testläufe kleinere Produktionsläufe WAP-Cluster für mittlere Produktionsläufe master: interaktiver Zugang, ggf. compilieren/linken, kurze Tests eigentliche Produktion: über queueing-system auf den Rechenknoten Vorrechner helium bzw. pcws20 zum vorherigen Austesten accounts: Direktvergabe durch Herrn Nielsen; nicht gekoppelt an RZ-account! RZ Kiel: größere Produktion NEC-SX5: älterer Vektorrechner (16 Prozessoren); steht kurz vor der Ausmusterung; für Einsteiger nicht mehr interessant; aber Achtung: interessantes Nachfolgemodell ist in Planung! rzcluster: fast eine Kopie von dirac (9 Knoten, je dual-opteron GHz, 4 GB memory), aber sehr voll und mit weniger software (Info unter /node4.html und altix: modernerer Parallelrechner accounts: einfaches Antragsformular ausfüllen (Nr.1 und Nr.3 unter keine weiteren Beschränkungen! HLRN: Groß-Produktion accounts und Rechenzeit nur auf Antrag (ca. 5 Seiten): wissenschaftliche Projektdarstellung sowie Rechenzeitabschätzung wird 1mal pro Quartal von einem wissenschaftlichen Ausschuß begutachtet ich biete individuelle Hilfe beim konrekten Erstellen von HLRN-Rechenzeitanträgen

6 Leistung einzelner Prozessoren quick-and-dirty linpack benchmark: (Vorsicht!: Dies sind weder absolut noch relativ korrekte Zahlen: unterschiedliche Compiler, Optimierungsstufen, Cache-Größen, Bibliotheken,... ) Moral: Einzelprozessoren von Großrechnern sind nicht wesentlich schneller als Einzelprozessoren moderner Standard-PCs, ggf. sogar langsamer.

7 Großrechnernutzung lohnt sich für Parallelrechnungen auf vielen Prozessoren und/oder bei sehr großen Datenmengen. Quantenchemie: mindestens grobkörniges Gleichzeitig-Rechnen vieler Einzeljobs, z.b. Potentialflächen- Scans besser: Parallelisierung innerhalb eines Laufs; lohnt sich typischerweise bis etwa 4 16 Prozesse SGI-Altix im Rechenzentrum Kiel: 128 Prozessoren ( ) 128 Intel-Itanium2-Prozessoren, 1.3 GHz zusätzlich 2 Frontends mit je 8 Prozessoren Speicher: 512 GByte insgesamt (4 GB pro Prozesor, shared memory) Plattenplatz: 3 TByte insgesamt schnelle Kommunikation zwischen den Knoten Info:

8 Norddeutscher Verbund für Hoch- und Höchstleistungsrechnen (HLRN) (Niedersachsen, Berlin, Mecklenburg-Vorpommern, Schleswig-Holstein, Hamburg, Bremen): je 512 Prozessoren am RRZN (Hannover) und am ZIB (Berlin) Am RRZN und am ZIB jeweils: 512 IBM-Power4-Prozessoren, 1.3 GHz Speicher: 1.25 TByte insgesamt (ca. 2 GB/proc) Plattenplatz: > 20 TByte schnelle Kommunikation zwischen den Knoten Verbindung zwischen RRZN und ZIB: 2 GBit/s

9 Mini-Crashkurs Linux: einloggen: ssh Verzeichnis-Navigation: cd, ls files: cp, mv, more/less Editoren: vi, emacs Systembelastung, jobs: top, ps Information: man, info Auf Linux-Rechner von Windows aus zugreifen: Linux-artige Emulation (z.b. CygWin); darin xterm und ssh/scp; im XServer-Modus auch X-Applikationen, die auf dem Linux-Server laufen, lokal darstellbar; direkt unter Windows: ssh-fähige Terminal-Emulationen (z.b. F-Secure SSH, putty), scp-fähige file-transfer-programme (z.b. F-Secure SSH File Transfer, pscp), XServer unter Windows (z.b. Xwin32) (genannte software kostenfrei oder mit Campuslizenz verfügbar) andere Datentransfer-Möglichkeit: direkt im Windows-Explorer auf dirac:/home zugreifen (Netzwerkressourcen) Mini-Crashkurs queueing-system PBS/torque: jobs abschicken: qsub <scriptname> jobs löschen: qdel <jobid> queues ansehen: qstat -a Optionen (auf der Kommandozeile oder im Skript): -l: Ressourcen-Anforderungen: CPU-Zeit, real-zeit, Anzahl CPUs, memory,... ; Maschinen- und Implementations-abhängig immer Manuale konsultieren! -e <filename>, -o <filename>: Umlenken von error/output-files -m abe: mail-benachrichtigung bei job-abort/begin/end (explizite Anforderung bestimmter queues wird in der Regel nicht gewünscht)

10 Einige Praxisaspekte: queue-strukturen auf altix und HLRN Kettenjobs: am Ende eines PBS-Jobs einen neuen starten CPU-Sets auf altix: ein job blockiert den Prozessor, auf dem er läuft, für andere Jobs keine CPU-Sets Rechner kann im Prinzip mehr Jobs verarbeiten, als Prozessoren vorhanden sind; bei kleinen jobs tragbar, bei großen jobs starker Leistungsabfall durch swappen memory: swap auf Platte kann mehr memory simulieren als vorhanden; ist aber extrem langsam. Diagnose: swap-dämon (kswapd) verbraucht viel Rechenzeit (ps) Integralfiles immer nur lokal auf den scratch-platten der jeweiligen Rechenknoten anlegen! Sonst gehen zig GB über das Intra-Cluster-Netzwerk.

11 Vorläufige Betriebsregelungen auf dirac: dirac ist von außen nicht sichtbar, nur innerhalb der PhysChem immer erst auf einem PhysChem-Rechner einloggen, dann auf dirac gehen auch von der PhysChem aus ist nur dirac (intern = master) sichtbar; auf die einzelnen Knoten kommt man nur vom master-knoten aus jobs abschicken (und compilieren, linken, usw.) nur auf dem master; einloggen auf anderen Knoten nur im Notfall zu Diagnosezwecken (Rettungsaktionen bei job-absturz), dort niemals jobs am queueing-system vorbei abschicken Übersicht über Gesamtstatus von dirac: ganglia; zugänglich von beliebigen Rechnern in der PhysChem via web-browser: vorläufig nur eine Queue, ohne memory- oder Zeitlimits (!): batch queue; seriell und parallel möglich; lediglich Limitierung auf 4 gleichzeitige jobs pro user (per PBS sollte es eigentlich nicht möglich sein, mehr jobs zu starten als Prozessoren vorhanden sind. pbsnodes -a zeigt für mit 2 jobs belegte Knoten state = jobexclusive an. Wenn das für alle Knoten der Fall ist, zeigt qstat -s an: Not Running: No available resources on nodes.) Festplatten: dirac:/home fuer user-daten, aber nicht permanent; nur das, was für die aktuell laufenden jobs nötig ist. Auswertung/Archivierung auf lokalen PCs! /scratch nur für Integralfiles von Quantenchemie-Programmen u.ä.; dort nach Programmläufen alles beseitigen, wenn das das Programm nicht selber macht backup: /home: automatisches inkrementelles backup durchs RZ (Stand irgendeines Tages der letzten zwei Wochen kann eingespielt werden) /scratch: keinerlei backup; keine Garantie auf Erhalt irgendwelcher Dateien nach Job-Ende

12 Hinweise für Entwickler: compiler: PGI intel gcc libraries: BLAS, ATLAS LAPACK ACML NAG, IMSL, NumRec,... Parallelisierung: MPI