Werkzeuge unter Windows Unix-Grundlagen Benutzung von Programmen auf dem Cluster

Transkript

1 Unix-Einführung Werkzeuge unter Windows Unix-Grundlagen Benutzung von Programmen auf dem Cluster Universität Heidelberg - Institut für Anorganische Chemie Dr. Bodo Martin

2 Windows-Werkzeuge Zugang mit Textkonsole: ssh-client putty Kopieren von Dateien ssh-client winscp Graphische Anzeige unter Windows winaxe Universität Heidelberg - Institut für Anorganische Chemie Dr. Bodo Martin

3 Windows-Werkzeuge für Experten cygwin: komplette Unix-Umgebung unter Windows Kostenlos X11 (graphische Oberfäche) compiler Skriptsprachen etc. gut zum Testen/Üben Universität Heidelberg - Institut für Anorganische Chemie Dr. Bodo Martin

4 Grundlagen Terminologie Server entfernter Rechner oder Dienst Client lokaler Dienst, der auf den Server zugreift Protokoll ein Kommunikationskanal z.b http: 80, ssh: 22 = Dienst ein vom Server angebotenes Protokoll ssh dienst X11 Protokoll Universität Heidelberg - Institut für Anorganische Chemie Dr. Bodo Martin

5 Grundlagen Windowmanager X-Server lokal Windows-PC X11-Protokoll ssh-protokoll remote Linux-PC Anmelden am server (chi) per ssh-protokoll Auf dem server Starten eines graphischen Programms lokale Darstellung mittels X-Server (Vorsicht andere Terminologie) Universität Heidelberg - Institut für Anorganische Chemie Dr. Bodo Martin

6 Grundlagen Windowmanager X-Server lokal Windows-PC X11-Protokoll getunnelt ssh-protokoll remote Linux-PC z.b. chi X11-Protokoll unsicher deshalb Tunneln des Protokolls innerhalb ssh nur so graphische Fenster auf chi Universität Heidelberg - Institut für Anorganische Chemie Dr. Bodo Martin

7 Grundlagen Zugang innerhalb der Uni X-Server lokal Windows-PC ssh remote Linux-PC server mit VPN (virtual private network) X-Server lokal Windows-PC VPN remote Linux-PC server Universität Heidelberg - Institut für Anorganische Chemie Dr. Bodo Martin

8 Zugang CiscoVPN innerhalb der Uni (ACI/OCI/PCI) direkt außerhalb (auch WLAN) Cisco-Client URZ-account

9 X-Server winaxe nach Installation: xsettings als Administrator ausführen nach Ausführen von xsession als admin: Universität Heidelberg - Institut für Anorganische Chemie Dr. Bodo Martin

10 ssh-client putty X11-forwarding anschalten Konfiguration speichern Universität Heidelberg - Institut für Anorganische Chemie Dr. Bodo Martin

11 ssh-client putty Profil abspeichern Universität Heidelberg - Institut für Anorganische Chemie Dr. Bodo Martin

12 Zugang zu Server (Windows) 1. ggf. CiscoVPN starten 2. winaxe starten 3. putty starten, Profil laden Universität Heidelberg - Institut für Anorganische Chemie Dr. Bodo Martin

13 Zugang auf Server Textzugang schnell, von zuhause zum Kontrollieren von Rechnungen meist ausreichend shell: bash (bourne again shell) Graphischer Zugang Visualisierung von Molekülen Datenbanken (CSD) Komfort Kommando-Prompt Universität Heidelberg - Institut für Anorganische Chemie Dr. Bodo Martin

14 konsole komfortable Version der Texteingabe Teil der KDE-Oberfläche (Linux) konsole läuft lokal läuft auf dem Server! Die Ausgabe wird übertragen, Anzeige durch winaxe Universität Heidelberg - Institut für Anorganische Chemie Dr. Bodo Martin

15 Programme auf chi Dokumentation wichtigste Infos Account: ab Diplomand bei AK-Sekretariat Formular auf chi Universität Heidelberg - Institut für Anorganische Chemie Dr. Bodo Martin

16 Unix Essentials bash = bo(u)rn(e) again shell Dateisystem Grundlegende Befehle Nomenklatur für Beispiele: <name> : Namen einsetzen /home/<name> /home/kurs1 etc Cluster <chi> bzw. angegeber Name fett: Unix-Commando

17 Unix Dateisystem 1 Root = / Verzeichnistrenner: / (nicht \!) Wo bin ich: pwd Verzeichniswechsel: cd Home-Verzeichnis: /home/<name>

18 Unix Dateisystem 2 Relative und absolute Pfade: / vs. ~ Tilde: ~ cd /home/martin oder cd ~ Leerzeichen in Dateinamen vermeiden: Sonderzeichen: _ -, keine Umlaute! Besondere Dateien:. und.. cd.. : ein Verzeichnis nach oben cd. : aktuelles Verzeichnis

19 Unix Dateisystem 3 Rechte User, Group, others jeweils Dreiergruppen: (Oktalformat) rwx r = read, w = write, x = execute Modifikation von Benutzerrechten mit chmod a = all, u = user, g = group -rwxrwxrwx = 777 Gruppenrechte chmod g+rw hallo.txt chmod og-rwx hallo.txt Universität Heidelberg - Institut für Anorganische Chemie Dr. Bodo Martin

20 Reguläre Ausdrücke: regular expressions Selektive Platzhalter Alle Dateien : * (nicht *.*) Alle.com Dateien: *.com Alle hallo-<ziffer>: hallo-? Beispiel *.com : alle.com Dateien im aktuellen Verzeichnis

21 Unix Befehle: ls Auflisten von Dateien Eine Datei: ls hallo Alle.com Dateien: ls *.com (Fast) alle Dateien im Verzeichnis: Weitere Formen: ll = ls -l, la = ls -a nicht überall verfügbar ls * oder ls

22 Unix Befehle: pwd / cd Aktuelles Verzeichnis: pwd Verzeichniswechsel: cd pwd; cd. ; pwd; cd.. Verzeichnis: /home/muster/kurs/test/ cd /home/muster/kurs/test/ cd test2 cd ~/kurs/test/test2

23 Unix Befehle: touch Erzeugen leerer Dateien touch test ls test Später: Editoren: vi, emacs, nedit Löschen des Bildschirms : clear

24 Unix Befehle: mkdir/rmdir Erstellen von Verzeichnissen mkdir ~/test-dir mkdir /home/muster/test-dir mkdir../muster/test-dir Löschen von leeren Verzeichnissen rmdir ~/junk-dir

25 Unix Befehle: cp Kopieren von Dateien und Verzeichnissen Dateien: cp hallo hallo2 Verzeichnisse: cp r testdir testdir2 cp r testdir/. cp rv testdir/ testdir2 -r : rekursiv -v : verbose

26 Unix Befehle: scp Kopieren von Dateien und Verzeichnissen zwischen zwei (Linux)-Computern scp hallo hallo2 kopiert lokal (ruft cp auf) scp <quelle> <ziel> scp test1 zielrechner:/home/martin kopiert Datei test1 auf den zielrechner nach /home/martin/test1 scp r test2 zielrechner:/home/martin kopiert rekursiv (test2 kann ein Verzeichnis sein

27 Unix Befehle: scp absolute und relative Pfade: scp r test1 ziel:test1 kopiert rekursiv nach ziel in $HOME/test1 ($HOME ist normalerweise /home/<muster>) ändern der Netzerkennung scp h2o.out muster@ziel: kopiert h2o.out zum Rechner ziel, entfernter Username muster

28 Unix Befehle: ssh unter Unix: (oder cygwin) Einloggen auf einem anderem Rechner ssh chi Ändern des Namens: ssh l muster chi X11-forwarding: ssh X chi Beenden einer Session bitte mit exit oder CTRL-d

29 Unix Befehle: mv Dateien verschieben/umbenennen Datei: mv hallo hallo_alt Verzeichnis: mv hallo hallo_alt Im Dateibaum: mv ~/test1.com dir2 wenn dir2 existiert (als Verzeichnis): dir2/test1.com wenn nicht : Umbenennen in dir2 (Datei)

30 Unix Befehle: Löschen von Dateien/Verzeichnissen ACHTUNG: KEIN Papierkorb! rm hallo Interaktiv: rm i hallo Rekursiv: rm r test-dir Ohne Nachfrage: rm rf *!! besser: cd folder_to_delete pwd rm ri * cd.. rmdir folder_to_delete rm

31 Unix Befehle: man/info Hilfesysteme: 1. man 2. info Eingabe von: man man Bsp: man less : Hilfe über Aufrufparameter. info less : moderneres Hilfesystem. Einfachster Zugang über emacs. (C-h i)

32 Unix: Prozesse Befehle parallel ausführen cp r alles backup & Anzeige mit: jobs Kontrolle über die Shell: CTRL-z fg und bg %1& Vorsicht!

33 Unix: bash History: mit Pfeiltasten Ergänzung mit TAB CTRL-a und CTRL-e Sprung an Anfang/Ende der Zeile Letzter Befehl mit!<name> history dann!123 führt entsprechnenden Befehl aus Exit aus der Shell: exit oder CTRL-d (bitte nicht das Kreuz unter Windows!)

34 Pager less Anzeige einer Datei ohne sie zu verändern wichtig bei laufenden Rechnungen! less <dateiname> Quit : q Follow mode: SHIFT-f Anfang: p Ende SHIFT-g SPC, b, Suche: /SCF, dann n oder SHIFT-n

35 Prozessanzeige top Anzeige über Auslastung der CPUs load-anzeige maximal 1 pro Core Beenden (in top) eigner Prozesse: mit k(ill) Anzeige von Prozessen: PID: process ID beenden mit kill <PID> ps Universität Heidelberg - Institut für Anorganische Chemie Dr. Bodo Martin

36 Unix: Editoren Gebräuchlichste Editoren vi emacs nedit schnell, mächtig, kryptisch sehr gut, aber umfangreich einfach, intuitiv, nicht überall verfügbar Funktion 1/Einarbeitungszeit

37 Editor vi Einfüge- und Kommandomodus, Umschalten mit ESC, Kommando mit : Insert :i Replace :r (ein Zeichen), :R Löschen :dd (eine Zeile), :x (Zeichen) ESC :wq write and quit Hilfe: vi :help auch als Windows-Version!

38 Editor nedit (N)irwana (Edit)or menügesteuert Aufruf: nedit datei & Copy & paste Menü / Help

39 Editor (x)emacs Anleitung: Graphischer Modus auch für Einsteiger. sowohl emacs als auch xemacs Textmodus mit emacs nw (für console) Komplexer Editor (aber gut!) META-Taste = ALT, also M-x = ALT-x Hilfe: CTRL-h i (Hilfe-Index) Probieren: M-x doctor RET

40 Editor (x)emacs gibt es auch unter Windows gut zum Ansehen/Editieren von Files die unter Linux erzeugt wurden cut & paste markieren: CTRL-space und dann cursor setzen in den Zwischenspeicher: ALT-w kopieren mit CTRL-y

41 Kommandos emacs C- : ctrl-taste M- : Alt-Taste Universität Heidelberg - Institut für Anorganische Chemie Dr. Bodo Martin

42 cluster 45 Opteron Rechner, 100+ Cores 16 AMD MP Rechner, 32 Cores Master Quad-Xeon Arbeitskreis-Rechenknoten Chi (master node) AMD XP x2 AMD Opteron 45x2 AMD Quad Universität Heidelberg - Institut für Anorganische Chemie Dr. Bodo Martin

43 cluster Schlangensystem Anzeige laufender Rechnungen listnodes Jobs werden der Reihe nach verarbeitet. Status R: running Q: queued Anhalten/Löschen von Jobs killjob <jobid>

44 Beispiel Quantenmechanik Gaussian 03 Input erstellen Abschicken

45 Inputs erstellen xyz Koordinaten Z-Matrix (redundant coordinates) Alles Textdateien! Mit jedem Editor zu öffnen

46 Eingabe: Z-Matrix Beschreibung des Moleküls in internen Koordinaten (keine Translation, keine Rotation) Bindungen, Winkel, Diederwinkel (Torsionen) Vorteil: klare Beschreibung (e.g. Torsionsprofil von Ethan)

47 Z-Matrix 1. Atom: keine Freiheitsgrade! 2. Atom: Bindung zu Atom: Bindung und Winkel 3+. Atom: Bindung, Winkel, Torsion Rein geometrische Beschreibung, kein Kraftfeld! (Elektronendichte)

48 Eingabe: g03 H 2 O #P HF/6-31G* opt iop(6/7=3) geom=printinputorient gfinput Leerzeile Water optimization Leerzeile 0 1 H1 O2 H1 r1 H3 O2 r1 H1 a1 Variables: r1 1.0 a Leerzeile

49 XYZ Input Leichter aus anderen Programmen / Formaten zu erhalten; Reihenfolge der Atome unwichtig (keine Abhängigkeiten) Für große Moleküle empfehlenswert

50 Eingabe XYZ #P HF/6-31G* opt iop(6/7=3) geom=printinputorient gfinput Leerzeile Formaldehyde optimization Leerzeile 0 1 C z1 O H H Variables: z1 Leerzeile

51 Rechnung abschicken Input erstellen (mit nedit/emacs/vi) h2o.com 2. Abschicken: g03 h2o.com 3. Schlangensystem: listnodes 4. less h2o.out (kein &!) 5. In less: SHIFT-f (follow mode) 6. In less: CTRL-c, (q)

52 QM-Rechnung Endung.com.out Files Inhalt g03 Eingabedatei g03 Ausgabedatei.chk.bz2 Komprimiertes Checkpointfile.fchk.bz2 Formatiertes Checkpointfile

53 Visualisierung z.b. molden 1. Eingabe von: molden & 2. Öffnen der h2o.out Datei 3. Visualisierung der Optimierung etc. 4. Orbitale, HOMO/LUMO 5. Ändern der Z-Matrix möglich. andere Möglichkeiten gaussview 3.0 (g03v) molekel

54 Tools grep Durchsuchen von Textdateien Beispiel: SCF Done in h2o.out grep "SCF Done" h2o.out grep "SCF Done" h2o.out less siehe: man grep

55 Tools bzip2/bunzip2 Komprimieren von Dateien Komprimieren bzip2 h2o.out Ergebnis : h2o.out.bz2 Dekomprimieren bunzip2 h2o.out.bz2 Ergebnis: h2o.out analog mit gzip/gunzip (Endung.gz)

56 Tools zip Erstellen von Archiven (Windows-compatibel) zip r zipfile.zip g03-files/ erstellt komprimiertes Archiv mit allen Dateien in g03-files unix-tool: tar Erstellen gzip: tar czvf tarfile.tar.gz g03-files bzip2: tar cjvf tarfile.tar.bz2 g03-files Entpacken tar xzvf tarfile.tar.gz tar xjvf tarfile.tar.bz2

57 Tools bc "Taschenrechner" bc -l quit

58 Tools dos2unix/unix2dos Umwandeln der Zeilenendung unter Unix und Windows Editoren emacs, vim machen das unter Windows automatisch (aber z.b. nicht nodepad) auf dem Server verfügbar lokal mittels cygwin installierbar man recode

59 Tools > >> < << File-IO umleiten und Pipes cat hallo > hallo2 Inhalt der Datei hallo nach hallo2 schreiben cat hallo >> hallo2 Inhalt der Datei hallo an Datei hallo2 anfügen (append) grep "SCF Done" h2o.out less Suche nach Zeilen mit SCF Done und Anzeige in less grep "A" *.out grep "B" less Pipe-Symbol : Verknüpfung von Input und Output

60 Tools (windows) winzip Kopieren von Dateien zwischen Windows und Linux frei erhältlich Explorer-Interface (zwei Fenster nebeneinander) sicher, einfach

61 Tools Dateiformate Umwandlung verschiedener Formate mit newzmat z.b. Aus dem checkpoint file eine neue Eingabestruktur: 1. bunzip2 h2o.chk.bz2 2. newzmat 03 ichk h2o.chk ocart h2o-o.com 3. bzip2 h2o.chk.bz2 andere Möglichkeiten babel maestro (graphische Oberfläche) mercury (graphisch, Teil der CSD-Datenbank) molekel

62 Beispiel QM-Rechnung Rechnungstypen Single point SP (default) Geometry optimization OPT Frequency calculation FREQ Eigenschaftsberechnungen etc. Programme gaussian 03, turbomol, jaguar, dalton, nwchem..

63 QM-Rechnung SCF Self Consistent Field Iteratives Verfahren zum Optimieren der Dichte: Abbruch wenn P n = P n-1 Geometrie-Optimierung Zyklus SCF Done Converged? Stationary Point Found.