Lecture 4. Input/output and file handling

Transkript

1 Lecture 4. Input/output and file handling Dorett Odoni Programming in Python (recap) Interactive mode Code is written line by line and directly executed (usually when you hit "Enter"). Pro: Direct insight into behaviour of every code fragment. Con: Not suitable for long and complex scripting (imagine making a mistake). Scripts The code is written in plain text format (kate, Vi, gedit,...). The text file is saved (usually with the extension ".py"), and executed via the terminal (i.e, the command-line; as already applied in previous exercises). python3 /<path-to-script> program.py Scripting in Python - block structure Indendation of Python source code organises program into execution blocks. Statements at the top level of the program are unindented. Branching statements (e.g. "if " and "for") control the execution of one or more subsidiary blocks. Block: a group of adjacent lines that has the same indentation level. Note: amount of indentation (tabs, spaces) not critical, but should be consistent. 1

2 invertlistelements.py (camelcase naming) list = [2.,1.,3.,4.] #statement 1 inverse_list = [] #statement 2 for element in list: #branching statement 1 if(not(element == 0)): #branching statement 2 inverse_list += [1./element] #statement 3 else: #branching statement 3 inverse_list += [None] #statement 4 print(inverse_list) #statement 5 python3 /<path-to-script> invertlistelements.py [0.5, 1.0, , 0.25] Parameterisation of Scripts Intro Parameterisation allows reusability of Python code. invertlistelements.py list = [2.,1.,3.,4.] #statement 1 inverse_list = [] #statement 2 for element in list: #branching statement 1 if(not(element == 0)): #branching statement 2 inverse_list += [1./element] #statement 3 else: #branching statement 3 inverse_list += [None] #statement 4 print(inverse_list) #statement 5 invertlistelements.py list = <flexible input> #parameter 1 inverse_list = [] #statement 2 for element in list: #branching statement 1 2

3 if(not(element == 0)): #branching statement 2 inverse_list += [1./element] #statement 3 else: #branching statement 3 inverse_list += [None] #statement 4 print(inverse_list) #statement 5 Intro To define a parameter, arguments can be passed to the script via the terminal (separated by one space). python3 /<path-to-script> program.py <argument 1> <argument 2>... <argument n> python3 /<path-to-script> invertlistelements.py [2., 1., 3., 4.] Module sys The module sys allows passing of arguments via the terminal. sys.argv is a list that contains all the command-line arguments in the order that they were passed to the script via the terminal (note that sys.argv[0] is reserved for the name of the script itself). Module sys - script import sys input_1 = sys.argv[1] input_2 = sys.argv[2]... input_n = sys.argv[n] 3

4 The module is imported with the statement "import sys"" at the top of the script. The arguments from the list sys.argv are stored in the variables input_1 to input_n. Parameters are defined by the names that appear in a function definition; they define what types of arguments a function can accept. - script import sys input_1 = sys.argv[1] #sys.argv[1] is parameter 1, assigned to the variable "input_1" input2 = sys.argv[2] #sys.argv[2] parameter 2, etc input_n = sys.argv[n] Arguments are the values actually passed to a function when calling it. Arguments are assigned to the named local variables in a function body. python3 /<path-to-script> program.py <argument 1> <argument 2>... <argument n> Module sys square.py import sys number = int(sys.argv[1]) number_squared = number*number print(str(number_squared)) python3 square.py

5 INPUT from stdin and OUTPUT to stdout STDIN input([prompt]) The built-in function input([prompt]) reads a user input and returns it as a string. The parameter "prompt" ist optional. You can insert any string, which will be displayed on the command-line to ask for user input. - script s = input("please enter any text: ") print('you wrote "' + s + '" in the terminal.') - command line: Please enter any text: Text, text, and more text You wrote "Text, text, and more text" in the terminal. STDOUT print([*objects], {sep, end, file}) The built-in function print writes the string-representation of the instances passed through objects to the data-stream file sep: Separator between the objects [standard: ""]. end: Character after the last object [standard: "\n"]. file: Stream where a program writes its output data [standard: sys.stdout, i.e., the text terminal which initiated the program]. guessingnumbers.py #import module sys import sys #assign the first argument to the variable "max_tries" via the parameter sys.argv[0] max_tries = int(sys.argv[1]) #define the secret number 5

6 secret_number=3124 #initiate the "guess" variable guess = 0 #branching statement 1 for counter in range(max_tries): #interactive: ask for user input guess = int(input("guess a number: ")) #branching statement 2 if(guess < secret_number): #print something to stdout print("too small", end="\n") # branching statement 3 elif(vguess > secret_number): #print something to stdout print("too big", end="\n") #branching statement 4 else: #print something to stdout print("great, you guessed correctly in ", str(counter), "tries!", sep=" ", end="\n") sys.exit() #exi program #All tries failed, print something to stdout print("pity,", str(max_tries), "were not enough!", sep=" ", end="\n") python3 guessingnumbers.py 10 Guess a number: 1000 too small Guess a number: 5000 too big Guess a number: 3124 Great, you guessed correctly in 2 tries! 6

7 File handling Intro Reading and writing files is a central concept in programming. Python uses file objects for reading and writing data. To get a file object, you use Python s built-in function open. To close the file object, you use Python s built-in function close. File objects open(filename, [mode, buffering]) *filename* is the absolute or relative path to the file that will be read/written. *mode* is an optional parameter; it defines the access mode for the file object (e.g. read, write,...). *buffering* is an optional parameter; it defines how the content of the file object should be buffered. File objects Reading File objects are iterable, i.e., you can use a for-loop to read (and modify) the file line-by-line. Example (file): testfile.fasta >DNA_fasta_header ATGGACGAGGACGACAATCCACGAGATGGCAATCGACGGGAAGATGGGGGT ACACCGGGTCCGGTGGCGTGGCTCCCGAGGATGACGTATCCGCCGAGGATA - script fasta_file = open("testfile.fasta", "r") #"r" for "read", see additional information for line in fasta_file: print(line, end='') fasta_file.close() 7

8 - output >DNA ATGGACGAGGACGACAATCCACGAGATGGCAATCGACGGGAAGATGGGGGT ACACCGGGTCCGGTGGCGTGGCTCCCGAGGATGACGTATCCGCCGAGGATA Careful: Every line in the file ends with a newline character ("\n"), which is invisible to the naked eye, but is read by the Python interpreter. To avoid empty lines, end is defined as empty string. File objects Reading - many paths lead to Rome - script fasta_file = open("testfile.fasta", "r") line = fasta_file.readline() while line: print(line, end="") line = fasta_file.readline() fasta_file.close() - output >DNA ATGGACGAGGACGACAATCCACGAGATGGCAATCGACGGGAAGATGGGGGT ACACCGGGTCCGGTGGCGTGGCTCCCGAGGATGACGTATCCGCCGAGGATA File objects Reading - many paths lead to Rome - script fasta_file = open("testfile.fasta", "r") lines = fasta_file.readlines() for line in lines: print(line, end="") fasta_file.close() 8

9 - output >DNA ATGGACGAGGACGACAATCCACGAGATGGCAATCGACGGGAAGATGGGGGT ACACCGGGTCCGGTGGCGTGGCTCCCGAGGATGACGTATCCGCCGAGGATA File objects Reading - many paths lead to Rome - script fasta_file = open("testfile.fasta", "r") print(fasta_file.read()) fasta_file.close() - output >DNA ATGGACGAGGACGACAATCCACGAGATGGCAATCGACGGGAAGATGGGGGT ACACCGGGTCCGGTGGCGTGGCTCCCGAGGATGACGTATCCGCCGAGGATA File objects Writing To write data to files, a file object is opened in the access mode "w" (see additional information). To write strings to a file object, you can use file.write(string), or file.writelines(list). File objects Writing Example (file): dbsnp.vcf 9

10 #CHROM POS ID REF ALT rs T C,G rs T A,C,G rs C T extendvcffile.py import sys dbsnp_filename = sys.argv[1] output_filename = sys.argv[2] dbsnp_file = open(dbsnp_filename, "r") output_file = open(output_filename, "w") for line in dbsnp_file: split_line = line.rstrip().split("\t") if(split_line[0] == "#CHROM"): output_file.write(line) else: alternative_bases = split_line[4].split(",") for alternative_base in alternative_bases: output_file.write("\t".join(split_line[:4]+... [alternative_base])+"\n") dbsnp_file.close() output_file.close() python3 extendvcffile.py dbsnp.vcf dbsnp.extended.vcf #CHROM POS ID REF ALT rs T C rs T G rs T A rs T C rs T G rs C T 10

11 Additional information Dateiobjekte (file objects) open - Zugriffsmodi (access modes) Modus "r" "w" "a" "x" Datei wird ausschliesslich zum Lesen geöffnet ("read"). Datei wird ausschliesslich zum Schreiben geöffnet. Eine evtl. schon bestehende Datei wird überschrieben ("write"). Datei wird ausschliesslich zum Schreiben geöffnet. Eine evtl. schon bestehende Datei wird erweitert ("append"). Datei wird ausschliesslich zum Schreiben geöffnet, sofern sie nich existiert. Wenn eine Datei gleichen Namens schon existiert, wird eine FileExistsError Exception geworfen. Dateiobjekte Wichtige Methoden Methode read([size]) readline([size]) readlines([sizehint]) Liest size Bytes der Datei ein. Sollte size nicht angegeben sein, wird die gesamte Datei eingelesen. Liest eine Zeile der Datei ein. Durch Angabe von size lässt sich die Anzahl der zu lesenden Bytes begrenzen. Liest alle Zeilen einer Datei ein und gibt sie in Form einer Liste von Strings zurück. Sollte sizehint angegeben sein, wird nur gelesen, bis sizehint Bytes gelesen wurden. Dateiobjekte Wichtige Methoden Methode next() seek(offset, [whence]) tell() Liest die nächste Zeile aus der Datei ein und gibt sie als String zurück. Setzt die aktuelle Schreib-/ Leseposition in der Datei auf offset. Liefert die aktuelle Schreib-/ Leseposition in der Datei. 11

12 Dateiobjekte Wichtige Methoden Methode write(str) writelines(iterable) close() Schreibt den String str in die Datei. Schreibt alle Strings aus iterable in die Datei, getrennt durch newline. Schliesst ein bestehendes Dateiobjekt. 12

13 Spezial- oder Kontrollzeichen Spezialzeichen erfüllen eine spezielle Funktion und werden daher nicht so wiedergegeben, wie sie erscheinen. Sie zeichnen sich üblicherweise dadurch aus, dass sie einen backslash vorangestellt haben. Spezial- oder Kontrollzeichen Zeichen \0 Null Zeichen \a Klingel \b Backspace (Löschen) \t Horizontaler Tab \n Newline \v Vertikaler Tab \f Form Feed (Springe zu nächster Seite) \r Carriage return Spezial, oder Kontroll Zeichen Zeichen \e Escape \" Doppelte Anführungszeichen \ Einfache Anführungszeichen \\ Backslash In : f = open("testfile.fasta", "r") lines = f.readlines() lines[:2] Out: ['>DNA\n', 'ATGGACGAGGACGACAATCCACGAGATGGCAATCGACGGGAAGATGGGGGT\n'] Jede Zeile endet mit einem "newline" Zeichen (\n). 13

14 String- und Listen- Methoden In der Bioinformatik ist man sehr oft mit dem Bearbeiten von Tabellen konfrontiert. Diese sind zumeist in Reintextdateien gespeichert. Die Spalten sind meist durch ein Tab ("\t") getrennt (der Spaltentrenner (separator, "sep") kann jedoch jedes beliebige Zeichen sein). Um Zeilen nach bestimmten Zeichen zu trennen und später wieder zusammenzufügen, gibt es besondere String- bzw. Listenmethoden. Wichtige Stringmethoden Methode string.split(str="") string.rstrip() string.join(list) Trennt einen String string nach einem bestimmten Trennzeichen str und gibt eine Liste von Unterstrings zurück (nämlich genau jene, welche zwischen den Trennzeichen standen). Entfernt alle Leerzeichen (" "), Tabs ("\t") und Zeilenumbrüche ("\n") vom Ende eines Strings string. Verbindet eine Liste von Strings list über ein Trennzeichen string und gibt den konkatenierten String zurück. Wichtige Stringmethoden Methode string.replace(str1, str2) string.upper() string.lower() Sucht nach allen Vorkommen von str1 in string und ersetzt diese durch str2. Konvertiert alle Zeichen in string zu Grossbuchstaben. Konvertiert alle Zeichen in string zu Kleinbuchstaben. 14