Werkzeuge unter Windows Unix-Grundlagen Benutzung von Programmen auf dem Cluster

Transkript

1 Unix-Einführung 08 Werkzeuge unter Windows Unix-Grundlagen Benutzung von Programmen auf dem Cluster Universität Heidelberg - Institut für Anorganische Chemie Dr. Bodo Martin

2 Windows-Werkzeuge Zugang mit Textkonsole: ssh-client Putty Kopieren von Dateien ssh-client winscp Graphische Anzeige unter Windows winaxe Universität Heidelberg - Institut für Anorganische Chemie Dr. Bodo Martin

3 Windows-Werkzeuge für Experten cygwin: komplette Unix-Umgebung unter Windows Kostenlos X11 (graphische Oberfäche), Gnome/KDE Compiler (gcc etc.) Skriptsprachen (perl, python, ruby etc.) gut zum Testen/Üben (Administration) Universität Heidelberg - Institut für Anorganische Chemie Dr. Bodo Martin

4 Grundlagen Terminologie Server entfernter Rechner oder Dienst Client lokaler Dienst, der auf den Server zugreift Protokoll ein Kommunikationskanal z.b http: 80, ssh: 22 = Dienst ein vom Server angebotenes Protokoll ssh dienst X11 Protokoll Universität Heidelberg - Institut für Anorganische Chemie Dr. Bodo Martin

5 Grundlagen Windowmanager X-Server lokal Windows-PC X11-Protokoll ssh-protokoll remote Linux-PC Anmelden am server (chi) per ssh-protokoll Auf dem server Starten eines graphischen Programms lokale Darstellung mittels X-Server (Vorsicht andere Terminologie) Universität Heidelberg - Institut für Anorganische Chemie Dr. Bodo Martin

6 Grundlagen Windowmanager X-Server lokal Windows-PC X11-Protokoll getunnelt ssh-protokoll remote Linux-PC z.b. chi X11-Protokoll unsicher deshalb Tunneln des Protokolls innerhalb ssh nur so graphische Fenster auf chi Universität Heidelberg - Institut für Anorganische Chemie Dr. Bodo Martin

7 Grundlagen Zugang innerhalb der Uni X-Server lokal Windows-PC ssh remote Linux-PC server mit VPN (virtual private network) X-Server lokal Windows-PC VPN remote Linux-PC server Universität Heidelberg - Institut für Anorganische Chemie Dr. Bodo Martin

8 Zugang CiscoVPN innerhalb der Uni (ACI/OCI/PCI etc.) direkt außerhalb (auch WLAN) Cisco-Client URZ-account Universität Heidelberg - Institut für Anorganische Chemie Dr. Bodo Martin

9 Andere Zugänge zum Netz im ACI Hausnetz-Computer Mitarbeiter Stand PCs Computer vor Bunsen-Saal Studenten Eingeschränkte Möglichkeiten Lokale Netze der Aks Laptops Für Praktika / Mitarbeiter Laptops etc. (AK Admin) Für diese Netze: kein VPN nötig Universität Heidelberg - Institut für Anorganische Chemie Dr. Bodo Martin

10 X-Server winaxe nach Installation: xsettings als Administrator ausführen Universität Heidelberg - Institut für Anorganische Chemie Dr. Bodo Martin

11 ssh-client putty X11-forwarding anschalten Konfiguration speichern Universität Heidelberg - Institut für Anorganische Chemie Dr. Bodo Martin

12 ssh-client putty Profil abspeichern Universität Heidelberg - Institut für Anorganische Chemie Dr. Bodo Martin

13 Zugang zu Server (von Windows aus) 1. ggf. CiscoVPN starten 2. winaxe starten 3. Putty (oder Winssh) starten, Profil laden Universität Heidelberg - Institut für Anorganische Chemie Dr. Bodo Martin

14 Zugang auf Server Textzugang schnell, auch von zuhause (mit VPN) zum Kontrollieren von Rechnungen meist ausreichend shell: bash (bourne again shell) Graphischer Zugang Visualisierung von Molekülen Datenbanken (CSD) Komfort Frontends (Maestro, Molden) Kommando-Prompt Universität Heidelberg - Institut für Anorganische Chemie Dr. Bodo Martin

15 konsole komfortable Version der Texteingabe Teil der KDE-Oberfläche (Linux) konsole läuft lokal läuft auf dem Server! Die Ausgabe wird übertragen, Anzeige durch winaxe Universität Heidelberg - Institut für Anorganische Chemie Dr. Bodo Martin

16 Programme auf chi Dokumentation wichtigste Infos Account: ab Diplomand/AFP bei AK-Sekretariat oder AK-Admin Formular auf chi Universität Heidelberg - Institut für Anorganische Chemie Dr. Bodo Martin

17 Unix Essentials bash = bo(u)rn(e) again shell Dateisystem Grundlegende Befehle Nomenklatur für Beispiele: <name> : Namen einsetzen /home/<name> /home/kurs1 etc Cluster <chi> bzw. angegeber Name fett: Unix-Commando

18 Unix Dateisystem 1 Root = / Verzeichnistrenner: / (nicht \!) Wo bin ich: pwd Verzeichniswechsel: cd Home-Verzeichnis: /home/<name>

19 Unix Dateisystem 2 Relative und absolute Pfade: / vs. ~ Tilde: ~ cd /home/martin oder cd ~ Leerzeichen in Dateinamen vermeiden: Sonderzeichen: _ -, keine Umlaute! Besondere Dateien:. und.. cd.. : ein Verzeichnis nach oben cd. : aktuelles Verzeichnis

20 Unix Dateisystem 3 Rechte User, Group, others jeweils Dreiergruppen: (Oktalformat) rwx r = read, w = write, x = execute Modifikation von Benutzerrechten mit chmod a = all, u = user, g = group -rwxrwxrwx = 777 Gruppenrechte chmod g+rw hallo.txt chmod og-rwx hallo.txt 000 = = = = = = = 7 Universität Heidelberg - Institut für Anorganische Chemie Dr. Bodo Martin

21 Reguläre Ausdrücke: regular expressions Selektive Platzhalter Alle Dateien : * (nicht *.*) Alle.com Dateien: *.com Alle hallo-<ziffer>: hallo-? Beispiel *.com : alle.com Dateien im aktuellen Verzeichnis

22 Unix Befehle: ls Auflisten von Dateien Eine Datei: ls hallo Alle.com Dateien: ls *.com (Fast) alle Dateien im Verzeichnis: ls * oder ls Weitere Formen: ll = ls -l, la = ls -a nicht überall verfügbar (aber auf chi) aber nachrüstbar: alias ll= ls -l

23 Unix Befehle: pwd / cd Aktuelles Verzeichnis: pwd Verzeichniswechsel: cd pwd; cd. ; pwd; cd.. Verzeichnis: /home/muster/kurs/test/ cd /home/muster/kurs/test/ cd test2 cd ~/kurs/test/test2

24 Unix Befehle: touch Erzeugen leerer Dateien touch test ls test Später: Editoren: vi, emacs, nedit Löschen des Bildschirms : clear Neuinitalisierung: reset

25 Unix Befehle: mkdir/rmdir Erstellen von Verzeichnissen mkdir ~/test-dir mkdir /home/muster/test-dir mkdir../muster/test-dir Löschen von leeren Verzeichnissen rmdir ~/junk-dir

26 Unix Befehle: cp Kopieren von Dateien und Verzeichnissen Dateien: cp hallo hallo2 Verzeichnisse: -r : rekursiv -v : verbose auch -a : archive cp -r testdir testdir2 cp -r testdir/. cp -rv testdir/ testdir2

27 Unix Befehle: mv Dateien verschieben/umbenennen Datei: mv hallo hallo_alt Verzeichnis: mv hallo hallo_alt Im Dateibaum: mv ~/test1.com dir2 wenn dir2 existiert (als Verzeichnis): dir2/test1.com wenn nicht : Umbenennen in dir2 (Datei)

28 Unix Befehle: Löschen von Dateien/Verzeichnissen ACHTUNG: KEIN Papierkorb! rm hallo Interaktiv: rm i hallo Rekursiv: rm r test-dir Ohne Nachfrage: rm rf *!! besser: cd folder_to_delete pwd rm ri * cd.. rmdir folder_to_delete rm

29 Unix Befehle: man/info Hilfesysteme: 1. man 2. info Eingabe von: man man Bsp: man less : Hilfe über Aufrufparameter. info less : moderneres Hilfesystem. Einfachster Zugang über emacs. (C-h i)

30 Unix: Prozesse Befehle parallel ausführen cp r alles backup & Anzeige mit: jobs Kontrolle über die Shell: CTRL-z fg und bg %1& Vorsicht!

31 Unix: bash History: mit Pfeiltasten Ergänzung mit TAB CTRL-a und CTRL-e Sprung an Anfang/Ende der Zeile Letzter Befehl mit!<name> history dann!123 führt entsprechnenden Befehl aus Letzen Befehl teilweise eingeben, dann PgUp/PgDown Exit aus der Shell: exit oder CTRL-d (nicht X)

32 Pager less Anzeige einer Datei ohne sie zu verändern wichtig bei laufenden Rechnungen! less <dateiname> Quit : q Follow mode: SHIFT-f Anfang: p Ende SHIFT-g SPC, b, Suche: /SCF, dann n oder SHIFT-n

33 Prozessanzeige top Anzeige über Auslastung der CPUs load-anzeige maximal 1 pro Core Beenden (in top) eigner Prozesse: mit k(ill) Anzeige von Prozessen: ps PID: process ID beenden eingener Prozesse mit kill <PID> zombies.. Universität Heidelberg - Institut für Anorganische Chemie Dr. Bodo Martin

34 Unix: Editoren Gebräuchlichste Editoren vi emacs nedit schnell, mächtig, kryptisch sehr gut, aber umfangreich (und kryptisch) einfach, intuitiv, nicht überall verfügbar Funktion 1/Einarbeitungszeit

35 Editor vi Einfüge- und Kommandomodus, Umschalten mit ESC, Kommando mit : Insert :i Replace :r (ein Zeichen), :R Löschen :dd (eine Zeile), :x (Zeichen) ESC :wq write and quit Hilfe: vi :help

36 Editor nedit (N)irwana (Edit)or menügesteuert Aufruf: nedit datei & Copy & paste Steuerung an Windows angelehnt Menü / Help

37 Editor (x)emacs Anleitung: Graphischer Modus auch für Einsteiger. sowohl emacs als auch xemacs Textmodus mit emacs nw (für console) Komplexer Editor (aber gut!) META-Taste = ALT, also M-x = ALT-x Hilfe: CTRL-h i (Hilfe-Index) Probieren: M-x doctor RET

38 Kommandos emacs C- : ctrl-taste M- : Alt-Taste Universität Heidelberg - Institut für Anorganische Chemie Dr. Bodo Martin

39 cluster 45 Opteron Rechner, 100+ Cores 16 AMD MP Rechner, 32 Cores 5 Xeon Dual-Quadcores Master Quad-Xeon Arbeitskreis-Rechenknoten Chi (master node) AMD XP x2 AMD Opteron 45x2 AMD Quad Xeons Universität Heidelberg - Institut für Anorganische Chemie Dr. Bodo Martin

40 cluster Schlangensystem Anzeige laufender Rechnungen listnodes Jobs werden der Reihe nach verarbeitet. Status R: running Q: queued Anhalten/Löschen von Jobs killjob <jobid>

41 cluster listnodes Universität Heidelberg - Institut für Anorganische Chemie Dr. Bodo Martin

42 Beispiel Quantenmechanik Gaussian 03 Input erstellen Abschicken

43 Inputs erstellen xyz Koordinaten Z-Matrix (redundant coordinates) Alles Textdateien! Mit jedem Editor zu öffnen

44 Eingabe: Z-Matrix Beschreibung des Moleküls in internen Koordinaten (keine Translation, keine Rotation) Bindungen, Winkel, Diederwinkel (Torsionen) Vorteil: klare Beschreibung (e.g. Torsionsprofil von Ethan)

45 Z-Matrix 1. Atom: keine Freiheitsgrade! 2. Atom: Bindung zu Atom: Bindung und Winkel 3+. Atom: Bindung, Winkel, Torsion Rein geometrische Beschreibung, kein Kraftfeld! (Elektronendichte)

46 Eingabe: g03 H 2 O #P HF/6-31G* opt iop(6/7=3) geom=printinputorient gfinput Leerzeile Water optimization Leerzeile 0 1 H1 O2 H1 r1 H3 O2 r1 H1 a1 Variables: r1 1.0 a Leerzeile

47 XYZ Input Leichter aus anderen Programmen / Formaten zu erhalten; Reihenfolge der Atome unwichtig (keine Abhängigkeiten) Für große Moleküle empfehlenswert

48 Eingabe XYZ #P HF/6-31G* opt iop(6/7=3) geom=printinputorient gfinput Leerzeile Formaldehyde optimization Leerzeile 0 1 C z1 O H H Variables: z1 Leerzeile

49 Rechnung abschicken Input erstellen (mit nedit/emacs/vi) h2o.com 2. Abschicken: g03 h2o.com 3. Schlangensystem: listnodes 4. less h2o.out (kein &!) 5. In less: SHIFT-f (follow mode) 6. In less: CTRL-c, (q)

50 QM-Rechnung Files Endung.com.out Inhalt g03 Eingabedatei g03 Ausgabedatei.chk.bz2 Komprimiertes Checkpointfile.fchk.bz2 Formatiertes Checkpointfile

51 Visualisierung z.b. molden 1. Eingabe von: molden & 2. Öffnen der h2o.out Datei 3. Visualisierung der Optimierung etc. 4. Orbitale, HOMO/LUMO 5. Ändern der Z-Matrix möglich. andere Möglichkeiten gaussview 4.1 (gv41) molekel

52 Visualisierung Gaussview 4.1 Gaussview 4.1 Lokale Kopie (Windows) erhältlich ab FP / Diplomand Universität Heidelberg - Institut für Anorganische Chemie Dr. Bodo Martin

53 Tools grep Durchsuchen von Textdateien Beispiel: SCF Done in h2o.out grep "SCF Done" h2o.out grep "SCF Done" h2o.out less siehe: man grep

54 Tools bzip2/bunzip2 Komprimieren von Dateien Komprimieren bzip2 h2o.out Ergebnis : h2o.out.bz2 Dekomprimieren bunzip2 h2o.out.bz2 Ergebnis: h2o.out analog mit gzip/gunzip (Endung.gz)

55 Tools zip Erstellen von Archiven (Windows-compatibel) zip r zipfile.zip g03-files/ erstellt komprimiertes Archiv mit allen Dateien in g03-files unix-tool: tar Erstellen gzip: tar czvf tarfile.tar.gz g03-files bzip2: tar cjvf tarfile.tar.bz2 g03-files Entpacken tar xzvf tarfile.tar.gz tar xjvf tarfile.tar.bz2

56 Tools bc/xcalc "Taschenrechner" bc -l quit xcalc

57 Tools > >> < << File-IO umleiten und Pipes cat hallo > hallo2 Inhalt der Datei hallo nach hallo2 schreiben cat hallo >> hallo2 Inhalt der Datei hallo an Datei hallo2 anfügen (append) grep "SCF Done" h2o.out less Suche nach Zeilen mit SCF Done und Anzeige in less grep "A" *.out grep "B" less Pipe-Symbol : Verknüpfung von Input und Output

58 Tools (windows) winzip Kopieren von Dateien zwischen Windows und Linux frei erhältlich Explorer-Interface (zwei Fenster nebeneinander) sicher, einfach unter XP/Vista eigentlich überflüssig

59 Tools Dateiformate Umwandlung verschiedener Formate mit newzmat z.b. Aus dem checkpoint file eine neue Eingabestruktur: 1. bunzip2 h2o.chk.bz2 2. newzmat 03 ichk h2o.chk ocart h2o-o.com 3. bzip2 h2o.chk.bz2 andere Möglichkeiten Babel (openbabel, maestro (graphische Oberfläche, frei, ) mercury (graphisch, Teil der CSD-Datenbank) Molekel Universität Heidelberg - Institut für Anorganische Chemie QM-Methoden in der Anorganischen Chemie WS05/06