Python im Bioinformatiker-Alltag

Transkript

1 Python im Bioinformatiker-Alltag Marcel Martin Bioinformatik für Hochdurchsatztechnologien, TU Dortmund 6. Oktober von 27

2 Worum gehts? Bioinformatik Löst Probleme in Biologie oder Medizin Teilbereich Genominformatik Analysie des Erbguts (Genom) von Lebewesen Python im Bioinformatiker-Alltag 2 von 27

3 Übersicht 1 Ein bisschen Biologie 2 Sequenzdaten und Datenformate 3 Wie wir Python einsetzen 4 Unsere Python-Software 5 Gedanken zu Python in der Bioinformatik Python im Bioinformatiker-Alltag 3 von 27

4 Übersicht 1 Ein bisschen Biologie 2 Sequenzdaten und Datenformate 3 Wie wir Python einsetzen 4 Unsere Python-Software 5 Gedanken zu Python in der Bioinformatik Python im Bioinformatiker-Alltag 4 von 27

5 Molekularbiologie DNA Träger der Erbinformation Für Biologen: Zwei Kettenmoleküle aus vier Basen Adenin, Cytosin, Guanin, Thymin Paarung: immer A T und C G Für Informatiker: String über dem Alphabet {A, C, G, T} PD by Forluvoft Gen: Ein Abschnitt auf der DNA Python im Bioinformatiker-Alltag 5 von 27

6 Was machen wir? Fragen Welche Gene sind in bestimmten Zelltypen aktiv und wie stark? Python im Bioinformatiker-Alltag 6 von 27

7 Was machen wir? Fragen Welche Gene sind in bestimmten Zelltypen aktiv und wie stark? Wie unterscheidet sich Genaktivität in kranken und gesunden Zellen? Welche Gene sind an, welche aus? Python im Bioinformatiker-Alltag 6 von 27

8 Was machen wir? Fragen Welche Gene sind in bestimmten Zelltypen aktiv und wie stark? Wie unterscheidet sich Genaktivität in kranken und gesunden Zellen? Welche Gene sind an, welche aus? Welche Mutationen führen zu Krebs? Python im Bioinformatiker-Alltag 6 von 27

9 Was machen wir? Fragen Welche Gene sind in bestimmten Zelltypen aktiv und wie stark? Wie unterscheidet sich Genaktivität in kranken und gesunden Zellen? Welche Gene sind an, welche aus? Welche Mutationen führen zu Krebs? Welche Veränderungen in welchem Gen sind für eine erbliche Krankheit verantwortlich? Python im Bioinformatiker-Alltag 6 von 27

10 Was machen wir? Fragen Welche Gene sind in bestimmten Zelltypen aktiv und wie stark? Wie unterscheidet sich Genaktivität in kranken und gesunden Zellen? Welche Gene sind an, welche aus? Welche Mutationen führen zu Krebs? Welche Veränderungen in welchem Gen sind für eine erbliche Krankheit verantwortlich? Beantwortung mit Hochdurchsatz-DNA-Sequenzierung Python im Bioinformatiker-Alltag 6 von 27

11 Hochdurchsatz-DNA-Sequenzierung DNA-Fragmente aus Gewebeprobe (z. B. Blut) Sequenziergerät Kurze Zeichenketten bestehend aus A, C, G, T: Reads Foto: Illumina, Inc. Python im Bioinformatiker-Alltag 7 von 27

12 Technische Daten Illumina HiSeq 100 Basen pro Read 6 Milliarden Reads pro Durchlauf (14 Tage) 600 Gigabasen pro Durchlauf Python im Bioinformatiker-Alltag 8 von 27

13 Technische Daten Illumina HiSeq 100 Basen pro Read 6 Milliarden Reads pro Durchlauf (14 Tage) 600 Gigabasen pro Durchlauf Zum Vergleich Humangenom: 6 Gigabasen (in 2 23 Chromosomen) Python im Bioinformatiker-Alltag 8 von 27

14 Technische Daten Illumina HiSeq 100 Basen pro Read 6 Milliarden Reads pro Durchlauf (14 Tage) 600 Gigabasen pro Durchlauf Zum Vergleich Humangenom: 6 Gigabasen (in 2 23 Chromosomen) Gerätesoftware Frontend: Vista; Compute-Server: Linux Software teilw. in Python Python im Bioinformatiker-Alltag 8 von 27

15 Übersicht 1 Ein bisschen Biologie 2 Sequenzdaten und Datenformate 3 Wie wir Python einsetzen 4 Unsere Python-Software 5 Gedanken zu Python in der Bioinformatik Python im Bioinformatiker-Alltag 9 von 27

16 Sequenzdaten Ausgabe: gzip-komprimierte Textdatei im FASTQ-Format Zwei Reads plus ASCII-kodierte ATATATTATGTTACTTCCTTTAATGCATGTAACACATTTTGTAGTCATGTGTTTA... + ATACCCATTCTGCACAGCACACACACTGTACAGCATACACACTGCACTTCACACA... + CCCFFFFFHHHHHJJJJJJJJJJJJJJJJJJJJJJJJJJJJJJJJJJJJJJJJJJ... Python im Bioinformatiker-Alltag 10 von 27

17 Was geschieht mit den Daten? Read Mapping (wenn Genom der Spezies bekannt) Positioniere Reads mit Textsuchalgorithmen auf dem Genom Erlaube Unterschiede Sequenzierfehler oder Mutationen Finde Mutationen Vergleiche bekannte Referenz mit Reads und liste abweichende Stellen auf Python im Bioinformatiker-Alltag 11 von 27

18 Read Mapping Platziere Read auf Chromosom Erlaube: Zeichenveränderung, -löschung, -einfügung Alignment ( - : Lücke) Read: CT-ATCGCTTCTGTC Chromosom:... CAGCCAGGCTGATCCCTT-TGTCGAGTAGGAC... diff macht Ähnliches Python im Bioinformatiker-Alltag 12 von 27

19 SAM-Dateiformat Ausgabe der positionierten Reads im SAM-Dateiformat 1 Readname 2 Chromosom und Position 3 Alignment 4 Sequenz und Qualitätswerte Python-API für Zugriff auf SAM-Dateien: pysam 1 (nicht von uns) 1 Python im Bioinformatiker-Alltag 13 von 27

20 SAM-Viewer Python im Bioinformatiker-Alltag 14 von 27

21 Übersicht 1 Ein bisschen Biologie 2 Sequenzdaten und Datenformate 3 Wie wir Python einsetzen 4 Unsere Python-Software 5 Gedanken zu Python in der Bioinformatik Python im Bioinformatiker-Alltag 15 von 27

22 Software-Arten Einmal-Skripte Software-Bibliothek Neue Algorithmen Python im Bioinformatiker-Alltag 16 von 27

23 Einmal-Skripte Nur in einem Projekt interessant Wenn als Einzeiler möglich, dann in Bash, ansonsten in Python programmiert Beispiele quick and dirty, aber: immer mit (kurzer) Doku Konvertiere andere Sequenzformate zu FASTQ Importiere Mutationen in SQLite-Datenbank, führe ein SELECT aus, gib Ergebnis aus Python im Bioinformatiker-Alltag 17 von 27

24 Bibliothek / Sammlung Anforderungen Aufnahme wenn mehrfach ( 2) benötigt Hartkodierte Werte ok aber sofort Kommandozeilenparameter hinzufügen wenn nötig Wenn ich im Code nachschauen muss Doku verbessern Zur Zeit nur teilweise: Unit Tests Python im Bioinformatiker-Alltag 18 von 27

25 Entwicklung neuer Algorithmen Beispiele Read-Mapping-Algorithmus für Sequenziertechnologie mit besonderen Fehlertypen Suffix-Array-Konstruktionsalgorithmus Ablauf Prototyp immer in Python schnelle iterative Verbesserung Evaluation auf kleinen Testdaten Prototyp auf große Daten loslassen Langsam? Parallelisieren (Cluster), C-Erweiterung programmieren oder abwarten Python im Bioinformatiker-Alltag 19 von 27

26 Effizienz Python ist langsam! Oder? Beispiel Python ist schnell und effizient zu programmieren Rechenzeit ist billig, Arbeitszeit ist teuer Fremdes C++-Tool zum Kürzen von Reads in FASTQ-Datei reimplementiert in reinem Python Python war doppelt so schnell Wahl der Algorithmen ist viel wichtiger als Wahl der Programmiersprache! Python im Bioinformatiker-Alltag 20 von 27

27 Übersicht 1 Ein bisschen Biologie 2 Sequenzdaten und Datenformate 3 Wie wir Python einsetzen 4 Unsere Python-Software 5 Gedanken zu Python in der Bioinformatik Python im Bioinformatiker-Alltag 21 von 27

28 sqt SeQuencing Tools Kommandozeilentools (Python- und Shell-Skripte) Python-Module (in Python und C) MIT-Lizenz, Python im Bioinformatiker-Alltag 22 von 27

29 sqt SeQuencing Tools Kommandozeilentools (Python- und Shell-Skripte) Python-Module (in Python und C) Idee ähnlich wie Git: sqt-binary plus externe Subcommands in beliebiger Programmiersprache (sogar Perl) MIT-Lizenz, Python im Bioinformatiker-Alltag 22 von 27

30 sqt SeQuencing Tools Kommandozeilentools (Python- und Shell-Skripte) Python-Module (in Python und C) Idee ähnlich wie Git: sqt-binary plus externe Subcommands in beliebiger Programmiersprache (sogar Perl) Momentan unvollständig MIT-Lizenz, Python im Bioinformatiker-Alltag 22 von 27

31 Beispiel: fastamutate 1 import sys 2 from sqt import seqio 3 4 def mutate ( seq, rate =0.01): 5 # mutate and return 6 7 out = seqio. FastaWriter ( sys. stdout, wrap =80) 8 for record in seqio. FastaReader ( sys. argv [1]): 9 mutated = mutate ( record. sequence ) 10 out. write ( record.name, mutated ) Python im Bioinformatiker-Alltag 23 von 27

32 Cutadapt DNA-Moleküle enthalten am Ende Adaptoren (techn. Gründe) Wenn DNA-Fragment zu kurz, wird Adapter mitsequenziert GAGTGGTTGGAGAGGAGTTGTTGGGAGTTTGTGTCCTGCTGAGACACGCA cutadapt schneidet Adapter fehlertolerant ab Füllt anscheinend eine Marktlücke Läuft mit Python 2.6 bis 3.2 MIT-Lizenz, Python im Bioinformatiker-Alltag 24 von 27

33 Übersicht 1 Ein bisschen Biologie 2 Sequenzdaten und Datenformate 3 Wie wir Python einsetzen 4 Unsere Python-Software 5 Gedanken zu Python in der Bioinformatik Python im Bioinformatiker-Alltag 25 von 27

34 Python in der Bioinformatik ja bitte Bioinformatik-Tools: Es scheint alles zu geben aber schlecht (Abstürze, seltsame Ein- oder Ausgabeformate, verwaist, unsinnige oder keine Fehlermeldungen) Das wäre auch mit Python möglich ist aber schwieriger! (Exceptions, argparse) Python-Code ist aufs Wesentliche reduziert macht das Verstehen von Algorithmen einfacher Python im Bioinformatiker-Alltag 26 von 27

35 Um was es ging Moderne Sequenziergeräten produzieren Massen von Daten Python lässt sich dennoch sinnvoll anwenden Python-Code muss nicht von Anfang an wartbar und schön sein Die Bioinformatik verträgt mehr Python es würde Arbeit erleichtern und macht einfach Spaß! Python im Bioinformatiker-Alltag 27 von 27

36 Quelltextkompatibel mit Python 2 und 3 überall: from future import print_function, division 5 6 Stellen mit: if sys.version_info[0] >= 3: (darin z.b. xrange = range) Größtes Problem: str vs. bytes/bytearray (Elemente sind Strings der Länge 1 oder ints) Wie erstellt man sinnvoll installierbare gemischte Pakete aus Python-2- und Python-3-Tools? Python im Bioinformatiker-Alltag 1 von 1