Vorlesung Unix-Praktikum

Transkript

1 1/3...mit Vorlesung 7. -, CSV- Rechnerbeiebsgruppe Technische Fakultät Universität Bielefeld 30. November 2015

2 2/3 Willkommen zur siebten Vorlesung Was gab es beim letzten Mal? bedingte Ausführung (if...then...else...fi) Shell-Variablen...mit

3 3/3 Willkommen zur siebten Vorlesung Was machen wir heute?...mit...mit

4 4/3 Shellskript Prinzipieller Aufbau eines Shell-Skriptes Textdatei mit folgendem Inhalt:...mit #!/bin/bash echo Hallo echo ich bin ein echo Shellskript Shell zum Ausführen des Skriptes Aufrufe, wie Ihr sie auch direkt eintippen würdet

5 5/3 Parameterübergabe...mit Beispiel zur Übergabe von Parametern: #!/bin/bash echo "Erstes : $1" echo "Zweites: $2" echo "Drittes: $3" echo "Anzahl : $#" echo "Alle : $*"

6 Variablenzuweisungen...mit Werte an Variablen zuweisen und benutzen/ausgeben: > wort=apfel > echo $wort apfel > echo ${wort}kuchen apfelkuchen Programmausgaben zwischenspeichern: > a=$(echo -n Linux wc -m) > echo $a 5 Mit Variablen rechnen: > echo $((a*2)) 10 6/3

7 7/3 Fallunterscheidungen...mit Bedingte Ausführung: if...then...else oder auf Deutsch: wenn...dann...sonst Wenn diese Bedingung erfüllt ist... if test $1 = "eins" then dann mache dies echo "$1 ist gleich eins" (Bedingung erfüllt ) else echo "$1 ist ungleich eins" fi sonst ( nicht erfüllt ) mache das

8 8/3 Motivation...mit Beispiel aus der ersten Vorlesung: > i in img*.jpg; do composite untertitel.png -geomey $i neu-$1; done

9 9/3 - : i in...do...done (Deutsch: für alle i in...führe...aus)...mit #!/bin/bash variable i in *.jpg do echo $i... done Wertebereich der variable führe diese Zeile(n) für jeden Wert der variable einmal aus

10 10/3 - direkt eingeben...mit Bei direkten Eingeben der Schleife: Zeilenumbrüche durch Semikolon ersetzen! #!/bin/bash i in *.jpg do echo $i done i in *.jpg; do echo $i ; done ";" als Ersatz für Zeilenschaltung

11 11/3 über diskrete Werte laufen lassen...mit Schleife über vorgegebene Werte: > i in eins zwei drei; do echo $i; done eins zwei drei

12 12/3 Motivation: Wertetabelle ausgeben...mit./tab1.bash x x*x Wie gibt man einen Wertebereich n,...,m in der Schleife vor?

13 ...mit : Zahlenfolge ausgeben > > 4 6 # Startwert ist > # Schrittweite ist /3

14 Beispiel: Wertetabelle ausgeben...mit #!/bin/bash echo -e "x\t x*x" i in $( 10); do echo -e "$i\t $((i*i))" done./tab1.bash x x*x /3

15 15/3 und find...mit Alle Dateien mit Endung *.jpg finden: > find. -name "*.jpg" Bilder/img_1219.jpg ablage/foto11.jpg... Alle Dateien mit Endung *.jpg nach /Bilder verschieben: (egal in welchem Unterverzeichnis sie liegen) i in $(find. -name "*.jpg") do mv $i /Bilder done

16 16/3...mit : Dateiname ohne Pfad und Endung liefern > /homes/cg/bild.jpg bild.jpg > cg/bild.jpg.jpg bild

17 17/3 Dateiendungen umbenennen...mit Problem: mv *.JPG *.jpg geht nicht! Ansatz: > bild.jpg.jpg bild Mit Zwischenspeichern in einer Variable: > bn=$( bild.jpg.jpg) > echo $bn bild > echo $bn.jpg bild.jpg

18 18/3 Dateiendungen umbenennen...mit Erste Version: #!/bin/bash i in *.JPG do bn=$( $i.jpg) echo mv $i $bn.jpg done # für alles was auf.jpg endet # führe aus: erst mal nur testen! #.JPG abschneiden # umbenennen

19 19/3 Dateiendungen umbenennen...mit Zweite Version (Absaktion:.JPG $1;.jpg $2) #!/bin/bash i in *. $1 do bn=$( $i. $1) mv $i $bn. $2 done Aufrufbeispiel: > 2.bash JPG jpg # für alles was auf.jpg endet # führe aus: #.JPG abschneiden # umbenennen

20 20/3 Bilddateien umbenennen...mit Aufgabe: Satz von Dateien umbenennen + neu numerieren img_5011.jpg -> bild200.jpg img_5012.jpg -> bild201.jpg usw. Randbedingungen: 1. Reihenfolge der alten Numerierung soll bleiben 2. Startwert (z.b. 200) vorgeben

21 21/3 Ansatz: Datei der Reihe nach verarbeiten...mit > i in *.jpg; do echo $i; done... img 18.jpg img 19.jpg img 1.jpg img 20.jpg img 21.jpg... alte Sortierreihenfolge wird zerstört

22 22/3 Verwendung von sort...mit sort -V: Natürliche Sortierung von (Versions)nummern im Text > ls *.jpg sort -V img 1.jpg img 2.jpg... img 9.jpg img 10.jpg...

23 23/3 Integration in die -Schleife...mit Einsetzen des ls/sort-ausdrucks mit Hilfe von $(...): #!/bin/bash i in $(ls *.jpg sort -V); do echo $i done img 1.jpg img 2.jpg... img 9.jpg img 10.jpg...

24 Lösung des Problems mit Hilfe von Variablen(-arithmetik) #!/bin/bash zaehler=$1 # Startwert zuweisen...mit i in $(ls *.jpg sort -V); do echo mv $i bild${zaehler}.jpg zaehler=$((zaehler+1)) # hochzählen done >./.bash 201 mv img 1.jpg bild201.jpg mv img 2.jpg bild202.jpg mv img 3.jpg bild203.jpg... 24/3

25 25/3 Arbeiten mit CSV-...mit CSV: character separated values Typische Darstellung von als Textdateien: Bielefeld;21243;mittel;Station 44;1.Januar 2010 Herd;5741;hoch;Mast 38;1.Januar 2010 Gütersloh;28759;mittel;Mast 92;1.Januar 2010 Bielefeld;12535;hoch;Mast 81;2.Januar 2010 Trennzeichen (hier: ;) beliebig wählbar solange es nicht innerhalb der Daten vorkommt!

26 26/3 Arbeiten mit Spalten aus CSV- auswählen...mit : Spalten aus auswählen typ. Aufruf: -d ennzeichen -f spalten Trennzeichen mit Bedeutung in der Shell entschärfen : -d \;... -d \... typische Spaltenauswahlen: -f 2,5,9 Spalten 2,5,9 auswählen -f 2-4,7 Spalten 2 bis 4 und 7 -f 5- alle Spalten ab der 5.

27 27/3 Arbeiten mit Beispiele...mit Spalten 1,2 und 4 auswählen: > -d\; -f1,2,4 messung.csv Bielefeld;21243;Station 44 Herd;5741;Mast 38 Gütersloh;28759;Mast 92 Spalten 1,2 und 5 nur für Bielefeld auswählen: > grep Bielefeld messung.csv -d\; -f 1-2,5 Bielefeld;21243;1.Januar.2010 Bielefeld;12535;2.Januar.2010 Bielefeld;24817;3.Januar Spalten vertauschen später

28 28/3 Arbeiten mit Serienfehler in Spalten korrigieren...mit Bielefled;21243;mittel;Station 44;1.Januar 2010 Herd;5741;hoch;Mast 38;1.Januar 2010 Güterloh;28759;mittel;Mast 92;1.Januar 2010 Bielefled;12535;hoch;Mast 81;2.Januar 2010 Herd;20885;niedrig;Mast 3;2.Januar wir brauchen Suchen und Ersetzen für die Kommandozeile

29 29/3 Suchen und Ersetzen innerhalb von Textdateien (zu denen auch CSV gehört!)...mit : script editor - Suchen und Ersetzen per Kommandozeile Ersetzen des ersten Vorkommens: > echo "alt alt alt" e " s/ alt/neu/" > neu alt alt Ersetzen aller Vorkommen: > echo "alt alt alt" e "s/alt/neu/ g" > neu neu neu s - Beiebsart (hier: Ausdruck suchen und ersetzen; es gibt noch weitere g - Modifier (hier: globale Ersetzung)

30 30/3 Suchen und Ersetzen Fehler in der Tabelle korrigieren...mit > -e "s/bielefled/bielefeld/g" <messung-typo.cs Bielefeld;21243;mittel;Station 44;1.Januar 2010 Herd;5741;hoch;Mast 38;1.Januar 2010 Gütersloh;28759;mittel;Mast 92;1.Januar 2010 Bielefeld;12535;hoch;Mast 81;2.Januar

31 31/3 mit Leerzeichen als Spaltenennern Ausgabe von ls spaltenweise zerlegen...mit Ziel: Größe und Namen von Dateien (Spalten 5,9) exahieren Problem: beachtet 3 Leerzeichen als 3 leere Spalten! unterschiedlich viele Leerzeichen > ls l rwxr r 1 cg cg Nov 14:55 gen.bash rw r r 1 cg cg Nov 14:56 messung.csv > ls -l -d\ -f 5,9 Nov Nov messung.csv Nov 16:38 17:43

32 32/3 mit Leerzeichen als Spaltenennern einzelne Zeichen umwandeln oder zusammenfassen...mit : Zeichen umwandeln oder zusammenfassen Zeichen komprimieren: > echo "abxxxbacxxxxxxb" -s "x" abxbacxb Zeichen umwandeln: > echo "abxxxbaccxxxxxxb" "xc" "yd" abyyybaddyyyyyyb Groß-/Kleinschreibung konvertieren: > echo GROSS [:upper:] [:lower:] gross

33 33/3 mit Leerzeichen als Spaltenennern Lösung zum Auswählen von Spalten aus ls -l...mit ls -l -s " " -d\ -f 5,9 612 gen.bash 238 ls-size.bash messung.csv 283 rechner.bash 4502 verbrauch.txt 4096 verzeichnis wie bekommt man eine spaltenweise Ausgabe?

34 34/3 Spaltenweise Ausgabe - matierte Ausgabe...mit - matierte Ausgabe Ansatz: "%5s %s\n" 238 ls size bash Ausgabespezifikation: Anzahl der Parameter Ausgabe der Parameter 2. Parameter 1. Parameter %5s Sing-Parameter, Spaltenbreite 5, rechtsbündig %-5s Sing-Parameter, Spaltenbreite 5, linksbündig \n Zeilenende (-vorschub)

35 35/3 Mehr Elemente von Shellskripten matierte Ausgabe: Dateigröße und -name...mit #!/bin/bash i in $(ls); do if test -f $i; then # Nur Dateien berücksichtige zeile=$(ls -l $i -s " ") groesse=$(echo $zeile -d\ -f 5) name=$(echo $zeile -d\ -f 9) "%5s %s\n" $groesse $name fi done

36 Spaltenweise Ausgabe Anwendung auf die Wertetabelle...mit #!/bin/bash "%5s %5s\n" x x*x i in $( 10); do "%5s %5s\n" $i $((i*i)) done x x*x /3

37 37/3 Ende der heutigen Vorlesung...mit Vielen Dank fürs Zuhören! Bis nächste Woche!