Softwareprojektpraktikum Maschinelle Übersetzung Kurze Einführung in Python

Transkript

1 Softwareprojektpraktikum Maschinelle Übersetzung Kurze Einführung in Python Jan Rosendahl, Christian Herold 02. April 2019 Human Language Technology and Pattern Recognition Computer Science Department, RWTH Aachen University J. Rosendahl, C. Herold: Softwareprojektpraktikum Maschinelle Übersetzung 1 / April 2019

2 Python: Kurze Charakterisierung interpretierte höhere Programmiersprache hat den Anspruch gut lesbarer, knapper Programmierstil zu fördern klare übersichtliche Syntax verschiedene Programmierparadigmen imperativ, objektorientiert, funktional,... dynamische Typisierung J. Rosendahl, C. Herold: Softwareprojektpraktikum Maschinelle Übersetzung 2 / April 2019

3 Python3 Python2 gilt als veraltet erste Python3 Version 2008 veröffentlicht größere Verbesserungen der Hauptbibliotheken nur für Python3 Hauptgrund warum Python2 auch noch stärker verwendet wird sind speziellere ältere Bibliotheken, welche nur Python2 unterstützen Ihr werdet aber solche spezielleren Bibliotheken nicht brauchen insbesondere TensorFlow unterstützt uneingeschränkt Python3 Für dieses Praktikum verlangen wir Python3 Code die Unterschiede in Syntax sind größtenteils nur marginal oder nicht vorhanden J. Rosendahl, C. Herold: Softwareprojektpraktikum Maschinelle Übersetzung 3 / April 2019

4 print Funktion print("hello world!") for Schleife für i von 1 bis 9 for i in range(1,10): print(i) Erste Code Zeilen I Scopes werden durch konsistente Einrückung definiert Tabs und Leerzeichen werden unterstützt, dürfen aber nicht gemischt verwendet werden (Standard: 4 Leerzeichen) for Schleife über eine Liste (von strings) for w in ['Hello', 'world', '!']: print(w) Ausführen / Interpretieren des Programms # python3 hello.py J. Rosendahl, C. Herold: Softwareprojektpraktikum Maschinelle Übersetzung 4 / April 2019

5 Beispiel Datei: calc_log.py import sys, math as m Erste Code Zeilen II ln_arg = sys.argv[1] log_res = m.log(float(ln_arg)) print("ln(%s) = %.4f" % (ln_arg, log_res)) Ausführen des Programms # python3 calc_log.py 2 ln(2) = (Ausgabe nach stdout) Sichtbare Konzepte Kommandozeilen Argumente Zugriffsoperator [ ] Importieren und Nutzen von Bibliotheken Typenkonvertierung (hier string zu float) Formatierungs-Strings allerdings besser arparse verwenden J. Rosendahl, C. Herold: Softwareprojektpraktikum Maschinelle Übersetzung 5 / April 2019

6 Python typisch: List Comprehension Einfaches Beispiel l = [2, 3, 4] l_squared = [i**2 for i in l] l_squared == [4, 9, 16] vgl. mit ähnlicher Schreibweise in der Mathematik: {i 2 i N} Weiteres Beispiel l_tuple = [(i, i**2, i**3) for i in l] l_tuple == [(2, 4, 8), (3, 9, 27), (4, 16, 64)] Erzeugung komplexerer Elemente möglich, hier "nur" 3-Tupel Das Comprehension Konzept wird auch für andere Datenstrukturen, wie z.b. Mengen oder dictionaries unterstützt J. Rosendahl, C. Herold: Softwareprojektpraktikum Maschinelle Übersetzung 6 / April 2019

7 Argparse Kommandozeilen Parameter definieren import argparse parser = argparse.argumentparser() parser.add_argument("-t", "--text") args = parser.parse_args() das übergebene Argument kann dann über args.text ausgelesen werden Ausführen des Programms # python3 pyfile.py --text my_text.txt oder # python3 pyfile.py -t my_text.txt J. Rosendahl, C. Herold: Softwareprojektpraktikum Maschinelle Übersetzung 7 / April 2019

8 Dateien Einlesen Datei zeilenweise Einlesen in_file = open(args.text, 'r', encoding="utf-8") for line in in_file: print(line.split()) in_file.close() Verschiedene Modi beim Öffnen möglich, hier "read" Zeichencodierung der Datei berücksichtigen! Komprimierte Textdateien Einlesen Tipp import gzip gzip.open(args.text, 'rt', encoding="utf-8") zip Funktion (nicht verwandt mit obigen gzip Modul) kann hilfreich sein um mehrere Dateien gleichzeitig zeilenweise zu verarbeiten J. Rosendahl, C. Herold: Softwareprojektpraktikum Maschinelle Übersetzung 8 / April 2019

9 Serialisierung mit Pickle viele Berechnungen in der maschinellen Übersetzung bauen auf einander auf insbesondere zeitaufwendige Ergebnisse sollten auf der Festplatte zwischengespeichert werden Beispiel: Speichern ganzer Objekter mittels Pickle, hier dictionary import pickle favorite_number = {"Peter": 3, "Michael": 7, "Horst": 42} pickle.dump(favorite_number, open("save.pkl", "wb")) Beispiel: Laden, z.b. auch in einem anderen Programm favorite_number = pickle.load(open("save.pkl", "rb")) Alternativen JSON (JavaScript Object Notation) eigene Dateiformate J. Rosendahl, C. Herold: Softwareprojektpraktikum Maschinelle Übersetzung 9 / April 2019

10 Debugging und Experimentieren I Python bietet interaktiven Modus nach Aufruf von # python3 (ohne Quellcode Datei als Argument) kann Python-Code interaktiv Zeile für Zeile ausgeführt werden IPython besser ipython3 anstatt python3 verwenden sowohl interaktiv als auch zum Interpretieren von Quellcode Dateien bietet farbiges Highlighting des Codes und der Fehlermeldungen ausführlichere Fehlermeldungen J. Rosendahl, C. Herold: Softwareprojektpraktikum Maschinelle Übersetzung 10 / April 2019

11 Debugging und Experimentieren II Mischung: Code in Dateien und interaktiver Modus -i Option von python3 / ipython3: komplette Quellcode Datei interpretieren lassen, danach wird der interaktive Modus betreten oder Breakpoint mittels pdb.set_trace() setzen Weitere hilfreiche Funktionen type(var): Gibt den Typ von var zurück (in IPython) module.funct?: Zeigt Dokumentation dir(var): Listet alle Attribute, Funktionen etc. von var auf (var kann dabei ein Objekt, eine Funktion, ein Modul etc. sein) J. Rosendahl, C. Herold: Softwareprojektpraktikum Maschinelle Übersetzung 11 / April 2019

12 Python Environments Nützlich insbesondere wenn Python Pakete nachinstalliert werden müssen, aber der Nutzer keine Schreibrechte in großen Teilen des Dateisystems hat. Erstellung einer Environment in einer Linux Shell (wie bash oder zsh) # cd <path with write access> # virtualenv -p /usr/bin/python3 <environment name> Aktivieren der Environment # source <path to environment>/bin/activate Überprüfen ob die Aktivierung erfolgreich war # which pip oder # which pip3 und Überprüfen ob der ausgegebene Pfad zur gewünschten Environment zeigt analoge Überprüfung von python / python3 J. Rosendahl, C. Herold: Softwareprojektpraktikum Maschinelle Übersetzung 12 / April 2019

13 Python Pakete mit pip nachinstallieren Standard Python Installation hat bereits eine Vielzahl an Paketen Ihr werdet später z.b. TensorFlow installieren müssen Beispiele (nach Aktivierung der gewünschten Environment) # pip install tensorflow # pip install ipython Nach erfolgreicher Installation kann das Paket direkt genutzt werden z.b.: import tensorflow as tf tf.constant(0) J. Rosendahl, C. Herold: Softwareprojektpraktikum Maschinelle Übersetzung 13 / April 2019

14 Weitere Empfehlungen Code organisieren mittels der verteilten Versionsverwaltung git RWTH bietet kostenfreie private Repositories: Entwicklung innerhalb einer Linux Umgebung Code muss innerhalb unserer Linux Umgebung ausführbar sein auch wenn Python Code größtenteils Plattform-unabhängig sein sollte Die von uns bereitgestellten Rechner mit leistungsstarken GPUs arbeiten ebenfalls unter Linux Linux Shells sind deutlich komfortabler als Windows cmd Leistungsstarke IDE wie z.b. PyCharm (Community Edition) benutzen J. Rosendahl, C. Herold: Softwareprojektpraktikum Maschinelle Übersetzung 14 / April 2019

15 Ressourcen The Python Tutorial der Python Software Foundation Interaktives Tutorial J. Rosendahl, C. Herold: Softwareprojektpraktikum Maschinelle Übersetzung 15 / April 2019

16 Einordnung Die gezeigten Folien stellen eine kurze Einführung in Python dar geben einen Einblick in nützliche Features haben keinerlei Anspruch auf Vollständigkeit wir setzen grundlegende Kenntnisse der Softwareentwicklung und Programmierung voraus auch wenn wir Objektorientierung und Modularisierung hier nicht explizit thematisiert haben, legen wir Wert auf sauberen, gut leserlichen, modularen Code Lesen von Dokumentationen zu weiteren Konzepten in Python und externen Bibliotheken (z.b. TensorFlow) wird nötig sein J. Rosendahl, C. Herold: Softwareprojektpraktikum Maschinelle Übersetzung 16 / April 2019

17 Fragen? J. Rosendahl, C. Herold: Softwareprojektpraktikum Maschinelle Übersetzung 17 / April 2019

18 Gruppenbildung Testate in Zweiergruppen am Dienstag den (in der nächsten VL werden neue, dauerhafte Zeitslots bestimmt) Die Testate von Blatt 1 dauern 30 Minuten Bitte gebt mindestens Zeitslots im Umfang von insgesamt 4 Stunden an Zeitslots zwischen 9:00h und 18:30h Wir versuchen eure Wünsche zu berücksichtigen Beispiel GruppenTeilnehmer1, GruppenTeilnehmer2 Zeitblock1 Zeitblock2. J. Rosendahl, C. Herold: Softwareprojektpraktikum Maschinelle Übersetzung 18 / April 2019