Softwareprojektpraktikum Maschinelle Übersetzung Kurze Einführung in Python

Transkript

1 Softwareprojektpraktikum Maschinelle Übersetzung Kurze Einführung in Python Julian Schamper, Jan Rosendahl 11. April 2018 Human Language Technology and Pattern Recognition Computer Science Department, RWTH Aachen University J. Schamper, J. Rosendahl: Softwareprojektpraktikum Maschinelle Übersetzung 1 / April 2018

2 Python: Kurze Charakterisierung interpretierte höhere Programmiersprache hat den Anspruch gut lesbarer, knapper Programmierstil zu fördern klare übersichtliche Syntax verschiedene Programmierparadigmen imperativ, objektorientiert, funktional,... dynamische Typisierung J. Schamper, J. Rosendahl: Softwareprojektpraktikum Maschinelle Übersetzung 2 / April 2018

3 Erste Code Zeilen I print Funktion print("hello world!") for Schleife für i von 1 bis 9 for i in range(1,10): print(i) Scopes werden durch konsistente Einrückung definiert Tabs und Leerzeichen werden unterstützt, aber nicht durchmischen for Schleife über eine Liste (von strings) for w in ['Hello', 'world', '!']: print(w) Ausführen / Interpretieren des Programms # python3 hello.py J. Schamper, J. Rosendahl: Softwareprojektpraktikum Maschinelle Übersetzung 3 / April 2018

4 Beispiel Datei: calc_log.py import sys, math as m Erste Code Zeilen II ln_arg = sys.argv[1] log_res = m.log(float(ln_arg)) print("ln(%s) = %.4f" % (ln_arg, log_res)) Ausführen des Programms # python3 calc_log.py 2 ln(2) = (Ausgabe nach stdout) Sichtbare Konzepte Kommandozeilen Argumente Zugriffsoperator [ ] Importieren und Nutzen von Bibliotheken Typenkonvertierung (hier string zu float) Formatierungs-Strings allerdings besser arparse verwenden J. Schamper, J. Rosendahl: Softwareprojektpraktikum Maschinelle Übersetzung 4 / April 2018

5 Python typisch: List Comprehension Einfaches Beispiel l = [2, 3, 4] l_squared = [i**2 for i in l] l_squared == [4, 9, 16] vgl. mit ähnlicher Schreibweise in der Mathematik: {i 2 i N} Weiteres Beispiel l_tuple = [(i, i**2, i**3) for i in l] l_tuple == [(2, 4, 8), (3, 9, 27), (4, 16, 64)] Erzeugung komplexerer Elemente möglich, hier "nur" 3-Tupel Das Comprehension Konzept wird auch für andere Datenstrukturen, wie z.b. Mengen oder dictionaries unterstützt J. Schamper, J. Rosendahl: Softwareprojektpraktikum Maschinelle Übersetzung 5 / April 2018

6 Argparse Kommandozeilen Parameter definieren import argparse parser = argparse.argumentparser() parser.add_argument("-t", "--text") args = parser.parse_args() das übergebene Argument kann dann über args.text ausgelesen werden Ausführen des Programms # python3 pyfile.py --text my_text.txt oder # python3 pyfile.py -t my_text.txt J. Schamper, J. Rosendahl: Softwareprojektpraktikum Maschinelle Übersetzung 6 / April 2018

7 Dateien Einlesen Datei zeilenweise Einlesen in_file = open(args.text, 'r', encoding="utf-8") for line in in_file: print(line.split()) in_file.close() Verschiedene Modi beim Öffnen möglich, hier "read" Zeichencodierung der Datei berücksichtigen! Komprimierte Textdateien Einlesen Tipp import gzip gzip.open(args.text, 'rt', encoding="utf-8") zip Funktion (nicht verwandt mit obigen gzip Modul) kann hilfreich sein um mehrere Dateien gleichzeitig zeilenweise zu verarbeiten J. Schamper, J. Rosendahl: Softwareprojektpraktikum Maschinelle Übersetzung 7 / April 2018

8 Serialisierung mit Pickle viele Berechnungen in der maschinellen Übersetzung bauen auf einander auf insbesondere zeitaufwendige Ergebnisse sollten auf der Festplatte zwischengespeichert werden Beispiel: Speichern ganzer Objekter mittels Pickle, hier dictionary import pickle favorite_number = {"Peter": 3, "Michael": 7, "Horst": 42} pickle.dump(favorite_number, open("save.pkl", "wb")) Beispiel: Laden, z.b. auch in einem anderen Programm favorite_number = pickle.load(open("save.pkl", "rb")) Alternativen JSON (JavaScript Object Notation) eigene Dateiformate J. Schamper, J. Rosendahl: Softwareprojektpraktikum Maschinelle Übersetzung 8 / April 2018

9 Debugging und Experimentieren I Python bietet interaktiven Modus nach Aufruf von # python3 (ohne Quellcode Datei als Argument) kann Python-Code interaktiv Zeile für Zeile ausgeführt werden Ipython besser ipython3 anstatt python3 verwenden sowohl interaktiv als auch zum Interpretieren von Quellcode Dateien bietet farbiges Highlighting des Codes und der Fehlermeldungen ausführlichere Fehlermeldungen Autocomplete über Tabs J. Schamper, J. Rosendahl: Softwareprojektpraktikum Maschinelle Übersetzung 9 / April 2018

10 Debugging und Experimentieren II Mischung: Code in Dateien und interaktiver Modus -i Option von python3 / ipython3: komplette Quellcode Datei interpretieren lassen, danach wird der interaktive Modus betreten oder Breakpoint mittels pdb.set_trace() setzen Weitere hilfreiche Funktionen type(var): Gibt den Typ von var zurück dir(var): Listet alle Attribute, Funktionen etc. von var auf (var kann dabei ein Objekt, eine Funktion, ein Modul etc. sein) J. Schamper, J. Rosendahl: Softwareprojektpraktikum Maschinelle Übersetzung 10 / April 2018

11 Python Environments Nützlich insbesondere wenn Python Pakete nachinstalliert werden müssen, aber der Nutzer keine Schreibrechte in großen Teilen des Dateisystems hat. Erstellung einer Environment in einer Linux Shell (wie bash oder zsh) # cd <path with write access> # virtualenv -p /usr/bin/python3 <environment name> Aktivieren der Environment # source <path to environment>/bin/activate Überprüfen ob die Aktivierung erfolgreich war # which pip oder # which pip3 und Überprüfen ob der ausgegebene Pfad zur gewünschten Environment zeigt analoge Überprüfung von python / python3 J. Schamper, J. Rosendahl: Softwareprojektpraktikum Maschinelle Übersetzung 11 / April 2018

12 Python Pakete mit pip nachinstallieren Standard Python Installation hat bereits eine Vielzahl an Paketen aber Ihr werdet später z.b. mxnet installieren müssen oder weitere hilfreiche Bibliotheken finden Beispiele (nach Aktivierung der gewünschten Environment) # pip install mxnet # pip install ipython Nach erfolgreicher Installation kann das Paket direkt genutzt werden z.b.: import mxnet as mx print(mx.nd.arange(1,4)) J. Schamper, J. Rosendahl: Softwareprojektpraktikum Maschinelle Übersetzung 12 / April 2018

13 Python3 Python2 gilt als veraltet erste Python3 Version 2008 veröffentlicht größere Verbesserungen der Hauptbibliotheken nur für Python3 Hauptgrund warum Python2 auch noch stärker verwendet wird sind speziellere ältere Bibliotheken, welche nur Python2 unterstützen Ihr werdet aber solche spezielleren Bibliotheken nicht brauchen insbesondere mxnet unterstützt uneingeschränkt Python3 Für dieses Praktikum verlangen wir Python3 Code die Unterschiede in Syntax sind größtenteils nur marginal oder nicht vorhanden J. Schamper, J. Rosendahl: Softwareprojektpraktikum Maschinelle Übersetzung 13 / April 2018

14 Weitere Empfehlungen Code organisieren mittels der verteilten Versionsverwaltung git RWTH bietet kostenfreie private Repositories: Entwicklung innerhalb einer Linux Umgebung Code muss innerhalb unserer Linux Umgebung ausführbar sein auch wenn Python Code größtenteils Plattform-unabhängig sein sollte Die von uns bereitgestellten Rechner mit leistungsstarken GPUs arbeiten ebenfalls unter Linux Linux Shells sind deutlich komfortabler als Windows cmd Leistungsstarke IDE wie z.b. PyCharm (Community Edition) benutzen J. Schamper, J. Rosendahl: Softwareprojektpraktikum Maschinelle Übersetzung 14 / April 2018

15 Ressourcen The Python Tutorial der Python Software Foundation Interaktives Tutorial J. Schamper, J. Rosendahl: Softwareprojektpraktikum Maschinelle Übersetzung 15 / April 2018

16 Einordnung Die gezeigten Folien stellen eine kurze Einführung in Python dar geben einen Einblick in nützliche Features haben keinerlei Anspruch auf Vollständigkeit wir setzen grundlegende Kenntnisse der Softwareentwicklung und Programmierung voraus auch wenn wir Objektorientierung und Modularisierung hier nicht explizit thematisiert haben, legen wir Wert auf sauberen, gut leserlichen, modularen Code Lesen von Dokumentationen zu weiteren Konzepten in Python und externen Bibliotheken (z.b. mxnet) wird nötig sein J. Schamper, J. Rosendahl: Softwareprojektpraktikum Maschinelle Übersetzung 16 / April 2018

17 Fragen? J. Schamper, J. Rosendahl: Softwareprojektpraktikum Maschinelle Übersetzung 17 / April 2018