Zielfunktion. Minimierung von ψ ("Summe der Fehlerquadrate", Fehlerfunktional) calc i

Transkript

1 Neuronale Netzwerke Ziel: Modellierung von komplexen Zusammenhängen ohne Einsicht in die Art des funktionalen Zusammenhanges Idee: Zusammenwirkung von Neuronen-Inputs zur Bildung des Neuronen-Outputs (konzeptuell!) simulieren Verwendung einer sehr allgemeinen "Parametrisierung" (Funktion) Voraussetzung: Lernphase zur Etablierung der Modellierung Ergebnis: Output für gegebenen Input; "Generalisierung" Verwendung: z.b. Sekundärstrukturvorhersage, bestimmte Aspekte der Tertiärstruktur; nicht-biologisch: Börsenkurse, Bombensuche auf Flughäfen, Go, Schach,

2 Zielfunktion Minimierung von ψ ("Summe der Fehlerquadrate", Fehlerfunktional) exp ( p) ( yi ( xi ) i (die Summe läuft über alle Trainingsdaten ) x: gegebene Grössen (z.b. Ort, Sequenz,...) (Vektor) y exp : für x beobachtete / gemessene Funktionswerte (Vektor) y calc : für x aus Parametern berechnete Funktionswerte (Vektor) p: Parameter, die berechnete Funktionswerte beeinflussen (Vektor) y calc i ( x i 2, p)) 185

3 einfachstes Beispiel: "linear Minimierung von least-squares" exp ( a, b) ( yi ( xi ) i Beispiel: Ertrag eines Feldes als Funktion der Düngermenge "Regressionsgerade", y calc = a + b x wie??? y calc i ( x i ; a, b)) 2 Gauss (1809): allgemein - Methode der kleinsten Quadrate

4 187 least-squares (Ausgleichs-)Gerade y calc = a + b x 2 2 ) ( 1/ 1/ i i i i i i x n x y x n y x b ) ( / 1 i i x b y n a n i i bx i a y b a 1 2 ) ( ), ( mathematisch: Minimierung von graphisch y calc = a + b x : a : ist der Schnittpunkt der Gerade mit der y-achse, bei x=0 ( Achsenabschnitt ) b : 2 beliebige Punkte 1,2 auf der Geraden nehmen und Differenzenquotient (y 2 -y 1 )/(x 2 -x 1 ) berechnen. b ist die Steigung der Gerade hat die Lösung:

5 Aufbau eines Neuronalen Netzes Es gibt häufig (sehr) viele Einflußgrößen (x-werte) der "funktionale Zusammenhang" zwischen y exp und y calc ist nicht klar Idee für ein allgemeines Modell (Kreise=Neuronen): Input-Units: Units, die von der Außenwelt Signale (Reize, Muster) empfangen können. Hidden-Units: Units, die sich zwischen Input- und Output-Units befinden und eine interne Repräsentation der Außenwelt beinhalten. Output-Units: Units, die Signale an die Außenwelt weitergeben 188

6 Verknüpfungen und Berechnungen Verbindungen zwischen Neuronen = Verknüpfungen Stärke der Verbindung = Grösse des Einflusses Stärke = Zahlenwert (>0 fördernd, 0, <0 hemmend) = "Gewichte" (in der Formel: die Parameter p) Wissen = Zahlenwerte; lernen = Gewichte an Problem anpassen der Input jeder "Unit" besteht aus Outputs der vorgelagerten Units, multipliziert mit Gewichten Kennlinie: transformiert in Bereich

7 Kennlinie: sigmoidale Funktion y j 1 1 e x i pij zwischen 0 und 1 Ableitung analytisch berechenbar 190

8 Anzahl der Gewichte 1. alle Units aufeinanderfolgender Layer werden miteinander verknüpft 2. eine zusätzliche "Bias-Unit" im Input- Layer 3. eine zusätzliche "Bias-Unit" im Hidden- Layer ohne Verbindung zum Input-Layer 191

9 Algorithmus (iterativ) 0: Initialisieren der Gewichte (zufällige Werte) 1: Vorwärtsschritt durchführen: den Output des neuronalen Netzes berechnen 2: Gewünschten Output mit dem tatsächlichen Output vergleichen. Daraus und aus der Ableitung der Kennlinie Berechnung der Gewichtsänderungen in der Outputschicht. 3: Backpropagation in darüberliegende Schichten durch Berechnen der Gewichtsänderungen aus diesen Werten und mit Hilfe der Kennlinie. 4: Update der Gewichte 5: Iteration - wenn nicht zufrieden ( konvergiert ), wieder zu Schritt 1 gehen 192

10 "Wissen" "lernen" und anwenden Trainingsdaten: Gewichte an Problem anpassen Testdaten: Performance evaluieren optimale Zahl von Hidden-Units und Layern? Produktion / Server 193

11 Beispiel: Multiplikation 2 Input units, 2 hidden units, 1 Output unit 9 Gewichte Daten: x1 x2 y=x1*x2/100 ( kleines 1 x 1 )

12 Fehlersumme und Gewichte: 100 Iterationen grün: mittleres Gewicht rot: Fehlerfunktional 195

13 Lernphase: Iteration 1 grün: berechneter Output rot: Soll-Output 196

14 Lernphase: Iteration 11 grün: berechneter Output rot: Soll-Output 197

15 Lernphase: Iteration 12 grün: berechneter Output rot: Soll-Output 198

16 Lernphase: Iteration 16 grün: berechneter Output rot: Soll-Output 199

17 Lernphase: Iteration 20 grün: berechneter Output rot: Soll-Output 200

18 Lernphase: Iteration 100 x: berechneter Output +: Soll-Output 201

19 Biologie vs Computer Mensch: Milliarden Neuronen Schnecken: ca Neuronen Hardware-Lösungen: bis Neuronen Programme: in Software bis ~2010 meist nur mehrere 100 Units Programme bilden Architektur nach, nicht physiologische Vorgänge Lernen an Beispielen 202

20 Stand der Forschung C. elegans: Computernachbildung aller 302 Nervenzellen Mechanisches Modell der Haut und von 95 kontraktilen Muskeln (Roboter) das Hirn in den Körper stopfen OpenWorm - (Wikipedia) 203

21 Google Brain Three years ago, researchers at the secretive Google X lab in Mountain View, California, extracted some 10 million still images from YouTube videos and fed them into Google Brain a network of 1,000 computers programmed to soak up the world much as a human toddler does. After three days looking for recurring patterns, Google Brain decided, all on its own, that there were certain repeating categories it could identify: human faces, human bodies and cats! (Januar 2014) Google Brain, with about 1 million simulated neurons and 1 billion simulated connections, was ten times larger than any deep neural network before it. 204

22 Google ge-scale-brain-simulations-for.html (2012; CPUs; 1 Milliarde Verbindungen) 205

23 206

24 Vorteile Analogien bilden und Ähnlichkeiten finden, Beschreibung von auch unklaren Zusammenhängen zwischen Systemeingang und ausgang ( kein Modell vorhanden ). Geringer Arbeitsaufwand, der sich auf die Eingabe geeigneter Beispiele - der Wissensbasis - beschränkt. Black Box: keine Datenverarbeitungskenntnisse oder andere Spezialkenntnisse erforderlich Schnelle Berechnung der Ergebnisse, wenn einmal gelernt worden ist. 207

25 Nachteile Unfähigkeit, die gelieferten Ergebnisse zu erklären, denn: eine Formel als Funktionsgleichung gibt es nicht. ( liefert kein Modell ) Hoher Rechenaufwand in der Lernphase Problem des Overfitting (Überanpassung) bei vielen Gewichten und wenig Daten 208

26 Overfitting Überbestimmte Probleme kein Overfitting : Anzahl Daten >> Anzahl Modellparameter Unterbestimmte Probleme Overfitting: Anzahl Daten ~ Anzahl Modellparameter Generalisierung nur, wenn kein Overfitting Es gibt Methoden, die overfitting quantifizieren: a) Einteilung in Trainings/Testdatensatz b) allgemeiner: complete cross-validation 209

27 Protein Structure Prediction with Neural Networks L H Holley and M Karplus (1989) Proc Natl Acad Sci U S A. 86: (Secondary structure) Tutorial (Secondary orial/ss-index.html Properties predicted by NNs: 1. Secondary Structure Prediction 2. Solvent accessibility prediction & Folds 3. Transmembrane helix and signal peptide prediction 4. Prediction of O-glycosylation sites 210

28 Google seit ~ Deep Learning 211

29 Literatur zu Artificial Neural Networks (ANN) Rumelhart, D.E., Hinton, G.E., Williams R.J. (1986) Learning representations by backpropagating errors, Nature 323, Stuttgart Neural Network Simulator: B. Rost, C. Sander (1993) Prediction of Protein Secondary Structure at Better than 70% Accuracy. J.Mol.Biol. 232, Diederichs, K., Freigang, J., Umhau, S., Zeth, K., Breed, J. (1998) Prediction by a Neural Network of Outer Membrane β-strand Protein Topology. Protein Science 7,

30 Mögliche Klausurfragen u.a. Nennen Sie die verschiedenen Kategorien von Datenbanken mit je einem Beispiel. Erklären Sie zwei Methoden zur Strukturbestimmung von Proteinen Erklären Sie zwei Methoden zur Sequenzbestimmung von Proteinen Sequenzalignment: zwei PAM-Matrizen sind gegeben. Wie wird die Multiplikation von Matrizen durchgeführt, was liefert die Multiplikation von PAM-Matrizen? BLOSUM62-Matrix gegeben. Dynamisches Programmieren: erstellen Sie für die zwei angegebenen Proteine eine A- und eine S-Matrix und stellen Sie das Ergebnis in einem Alignment dar. Was für verschiedene Alignments gibt es? Wie ist ein künstliches Neuronales Netzwerk aufgebaut? Was ist die Anzahl der Gewichte in einem künstlichen Neuronalen Netzwerk bei gegebener Topologie? 213

31 Viel Erfolg in der Klausur! 214