1. XOR: Mit folgender Architektur geht es. x 1. x n-dimensionale Lernprobleme mit einer n-2-1-architektur lösen ...
|
|
- Helmuth Morgenstern
- vor 6 Jahren
- Abrufe
Transkript
1 1. XOR: Mit folgender Architektur geht es x 1 x 2 2. n-dimensionale Lernprobleme mit einer n-2-1-architektur lösen x 1 x 2... x 2 Loading-Problem: Für eine endliche Liste binärer Trainingspaare (x(1),d(1)),l,(x(k)d(k)) mit x(1),l, x(k) " {,1} n,d(1),l,d(k) " {,1} soll entschieden werden, ob es ein n-2-1-mlp gibt, welches bei Eingabe von Vektor x(i) eine Ausgabe,99 für d(i) = 1, und für d(i) =, produziert. Dieses Problem ist NP-vollständig. Mit den Festlegungen Ausgabe,99 für d(i) = 1, und für d(i) = tragen wir der Tatsache Rechnung, dass wir Neuronen mit sigmoider Aktivierungsfunktion verwenden wollen, die, auch wenn die Eingaben nur binär sind, doch beliebige Werte zwischen und 1 abliefern (ja sogar gar nicht in der Lage sind, exakt oder 1 zu produzieren).
2 3. Encoder (Datenkompression) Es gibt n Eingabeneuronen und n Ausgabeneuronen. Dazwischen gibt es eine verborgene Schicht mit log(n) versteckten Neuronen (n sei eine Zweierpotenz). Bei Eingabe von genau einer 1 am i-ten Eingabeneuron und sonst lauter Nullen, soll am i-ten Ausgabeneuron ein Wert,99 und an allen anderen Ausgabeneuronen ein Wert ausgegeben werden. Dies soll für alle i von 1 bis n gelten. Die Idee ist, das Netz auf die (approximative) Reproduktion einer unären Zahleneingabe an der Ausgabeschicht zu trainieren. Da nur log(n) versteckte Neuronen erlaubt sind, die verborgene Schicht somit ein Nadelöhr für den Informationstransport darstellt, muss das Netz irgendeine Art der Datenkompression lernen. Eine Möglichkeit wäre der Binärcode an den versteckten Neuronen. Beispiel mit n = 8 und als einem der 8 möglichen Eingabevektoren die Zahl 5: unär 5 = 1 binär 5 = 11,99 1,99,99
3 4. Sekundärstruktur von Proteinen Ein Protein besteht, vereinfacht gesagt, aus einer linearen Verkettung von Aminosäuren. Es gibt, je nach Zählung, 2 verschiedene Aminosäuren. Proteine können aus einigen Dutzenden, aber auch aus vielen Tausenden von Aminosäuren bestehen. Für die biologische Wirkung eines Proteins ist seine 3-dimensionale Struktur, die sog. Tertiärstruktur, von essentieller Bedeutung. Diese ist nur in aufwändigen Laborprozessen (Röntgenkristallographie) zu bestimmen wenn überhaupt. Seit einiger Zeit versucht man, solche Strukturen eher rechnerisch zu bestimmen. Etwas weniger anspruchsvoll ist es, als Vorarbeit aus der Liste der Aminosäuren eines Proteins (diese Liste nennt man die Primärstruktur) zunächst die sog. Sekundärstruktur zu bestimmen, in der für jede Aminosäure codiert ist, ob sie Teil einer Helixstruktur (α-helix), einer Faltblattes (βsheet), oder einer eher lockeren Verbindung zwischen solchen Teilen (γ-coil) ist.
4 Man hat dabei das Gefühl, dass die Zugehörigkeit einer Aminosäure A i eines Proteins zu einer dieser 3 möglichen Strukturen in lokaler Weise durch seine Interaktionen mit benachbarten Aminosäuren festgelegt ist, beispielsweise durch die 5 Aminosäuren links und die 5 Aminosäuren rechts neben A i. Deshalb kommt man auf die Idee, aus der Kenntnis von 11 Aminosäuren die Klasse (α oder β oder γ) der mittleren (also 6-ten) Aminosäure zu prognostizieren. Diese 11 Aminosäuren sollen einem MLP als Eingaben präsentiert werden. Da es für die erste Aminosäure 2 Möglichkeiten gibt, verwenden wir (unär codierend) hierfür 2 Neuronen. Entsprechendes gilt für die zweite bis 11-te Aminosäure. Insgesamt verwenden wir also 22 Eingabeneuronen. An der Ausgabe verwenden wir 3 Ausgabeneuronen, die mit einem Wert,99 an einem der 3 Neuronen und zwei Werten an den anderen beiden codieren, welcher der 3 Klassen die mittlere, durch die Eingabeneuronen repräsentierte Aminosäure angehört. Gebräuchlich sind 2 verborgene Schichten mit 2 3 Neuronen in der ersten und 5 1 Neuronen in der zweiten verborgenen Schicht. Als Trainingsdaten stehen alle Segmente aus 11 Aminosäuren von Proteinen bekannter Sekundärstruktur zur Verfügung. erste Amino- säure α β 1 3 γ 22
5 5. Mühle Wohin soll Weiß seinen letzten Stein setzen? Erste Möglichkeit: Score einer Stellung berechnen Netzeingabe sind diverse Merkmale, die man einer Stellung entnimmt: Anzahl geschlossener Mühlen, Anzahl aller freien Positionen, wo man durch Setzen eines Steines eine neue Mühle bilden kann; etc. Daraus soll ein Score dieser Stellung berechnet werden (numerischer Wert normiert auf das Intervall von bis 1). Dann wird unter allen Folgestellungen diejenige gewählt, die den größten Score hat. Letzteres macht nicht das Netz, sondern ein sequentieller Durchlauf durch das trainierte Netz mit allen möglichen Stellungen. Problem: Man tut sich in Trainingsstellungen schwer, einen geeigneten Score zu definieren. Zweite Möglichkeit: Eingabe sind geeignete Merkmale zweier Vergleichsstellungen, die als Folgestellungen derselben Ausgangsstellung auftreten können. Das Netz soll entscheiden, ob die erste Stellung die bessere ist.
6 Eine solche Entscheidung ist in vielen Trainingssituationen (= 2 zu vergleichende Stellungen) leichter zu treffen. 6. Contact Map Wir betrachten, als Beispiel, eine größere Anzahl n von Hämoglobinproteinen bei unterschiedlichen Tieren. Wir unterstellen, dass sich all diese Hämoglobine aus einem gemeinsamen Ur-Hämoglobin entwickelt haben ( homologe Proteine ), wobei es in der Evolution gelegentlich Mutationen, Einfügen weitere Aminosäuren und Löschen vorhandener Aminosäuren gegeben hat, was dafür verantwortlich sind, dass die diversen Hämoglobine Variationen in der Aminosäurenreihenfolge aufweisen. Wir nehmen nun an, dass uns diese evolutionäre Historie bekannt ist. Dies drückt man durch ein sog. multiples Alignment aus, in dem die Mutationen, Einfügen, Löschen beispielsweise wie folgt ausgedrückt sein können (die Buchstaben M, G, V, etc. sind Kürzel für Aminosäuren):
7 Etwas abstrakter gesagt legen wir als multiples Alignment eine Tabelle folgender Art zugrunde: die Abfolge der Aminosäuren bzw. Leerstellen in den Proteinen 1 i j m P 1 a 11 a 1i a 1j a 1m P r a r1 a ri a rj a rm n homologe Proteine P s a s1 a si a sj a sm P n a n1 a ni a nj a nm
8 These 1: Wenn in einem der Proteine ein Kontakt zwischen Aminosäure i und Aminosäure j besteht, so ist dieser Kontakt vermutlich funktionsrelevant und sollte deshalb in allen anderen der homologen Proteine auch vorhanden sein. i j These 2: Wenn wir für je zwei Positionen i und j wüssten, ob hier ein Kontakt zwischen den Aminosäuren besteht, so könnten wir daraus die genaue räumlich Struktur der Proteine vorhersagen. (In Wahrheit reicht es für die Vorhersage der 3D-Struktur schon, wenn man ca. 5% der Kontakte kennt.) Nun konzentrieren wir uns im multiplen Alignment einmal auf die Spalten i und j. In Spalte i wird nicht überall dieselbe Aminosäure stehen (weil ja Mutationen zu Veränderungen geführt haben können). Ebenso wird in Spalte j nicht überall dieselbe Aminosäure stehen. Wir stellen uns vor, dass wir den Aminosäuren A eine Maßzahl µ(a) zuweisen können, welche diese Aminosäuren hinsichtlich gewisser chemischer Eigenschaften charakterisiert (wie beispielsweise mehr oder weniger hydrophob/hydrophil zu sein, oder Ähnliches). In Spalte i sei der Mittelwert der dort auftretenden solchen Maßzahlen gleich µ i und die Varianz (mittlere quadratische Abweichung vom Mittelwert) der Maßzahlen gleich " 2 i. These 3: Wenn in einem den betrachteten Proteinen des multiplen Alignments ein Kontakt zwischen Aminosäure i und Aminosäure j besteht, so sollten eine Mutationen in den Spalten i und j hinsichtlich der oben beschriebenen Maßzahl eine gewisse Korrelation aufweisen: Mutation in Spalte i zu einem
9 überdurchschnittlichen Maßzahlwert sollte durch Mutation in Spalte j zu einem ebenso überdurchschnittlichen Maßzahlwert begleitet sein, und mit unterdurchschnittlichen Werten ebenso. Dies alles, damit chemisch auch nach Mutationen ein Kontakt der Aminosäuren i und j möglich bleibt (Proteine, bei denen durch eine Mutation dieser Kontakt verloren gegangen ist, waren nicht lebensfähig und sind von der Evolution ausgesondert worden, kommen also in unserem multiplen Alignment gar nicht vor). Protein P r µ i i Protein P s µ i + 8 i µ i - 7 i j µ j j µ j + 6 Protein j P t µ j - 6 Eine solche Kovariabilität des Mutationsgeschehens in den Spalten numero i und j misst man in der Statistik durch die sog. Kovarianz: m " ij = 1 # 2 2 %(µ(a pi ) $ µ i )( µ(a pj ) $ µ j ) i # j p=1 These 4: Ein positiver (möglichst großer) Wert κ ij sollte also auf einen möglichen Kontakt dieser beiden Positionen hinweisen. Wir können noch einen Schritt weiter gehen. These 5: besteht ein Kontakt an den Positionen i und j, so erwarten wir auch entsprechende Kontakte an den beiden linken und den beiden rechten Nachbarpositionen.
10 Bei einem β-sheet würde man je nach Orientierung des Faltblattes zwei Möglichkeiten haben: i-2 i-1 i i+1 i+2 i-2 i-1 i i+1 i+2 j+2 j+1 j j-1 j-2 j-2 j-1 j j+1 j+2 anti-paralleler β-sheet paralleler β-sheet In der Matrix aller paarweisen Korrelationen würde man folgende Muster erwarten erwarten: j " 2 j "1 j j +1 j + 2 i " 2 > i "1 > i > i +1 > i + 2 > j " 2 j "1 j j +1 j + 2 i " 2 > i "1 > i > i +1 > i + 2 > Bei einem Kontakt in einer α-helix würde es wie in einem parallelen β-sheet aussehen; außerdem würde hier die Differenz j i nicht allzu groß sein dürfen. Da in diesen 25 Werten also starke Informationen enthalten zu sein scheinen bezüglich der Frage, ob zwischen Positionen i und j ein Kontakt besteht, sollte ein neuronales Netz diese 25 Werte zur Verfügung gestellt bekommen. Des Weiteren würde man ihm vielleicht auch noch die alle Prognosewerte bezüglich Sekundärstruktur an den Positionen i 2,..., i +2 und j 2,..., j +2 geben, sowie relevante chemische Charakteristika (what ever).
11 25 Neuronen mit Korrelations- koeffizienten 18 Neuronen mit Sekundärstrukturprognosen Weitere Neuronen mit chemischen Merkmalen und Abstand zwischen i und j i, j in Kontakt i, j nicht in Kontakt Anzahl der Gewichte bei ca. 6 Eingabeneuronen, 2 verborgenen Neuronen in der ersten hidden Schicht, 1 verborgenen Neuronen in der zweiten hidden Schicht, 2 Ausgabeneuronen: 6" "1 +1 " 2 =142 Zur Erinnerung: Die Hessematrix der zweiten partiellen Ableitungen der quadratischen Fehlerfunktion hätte Einträge; ihre Invertierung würde O( ) Additionen und Multiplikationen verschlingen.
Hannah Wester Juan Jose Gonzalez
Neuronale Netze Supervised Learning Proseminar Kognitive Robotik (SS12) Hannah Wester Juan Jose Gonzalez Kurze Einführung Warum braucht man Neuronale Netze und insbesondere Supervised Learning? Das Perzeptron
MehrWas bisher geschah Künstliche Neuronen: Mathematisches Modell und Funktionen: Eingabe-, Aktivierungs- Ausgabefunktion Boolesche oder reelle Ein-und
Was bisher geschah Künstliche Neuronen: Mathematisches Modell und Funktionen: Eingabe-, Aktivierungs- Ausgabefunktion Boolesche oder reelle Ein-und Ausgaben Aktivierungsfunktionen: Schwellwertfunktion
MehrNeuronale Netze mit mehreren Schichten
Neuronale Netze mit mehreren Schichten Lehrstuhl für Künstliche Intelligenz Institut für Informatik Friedrich-Alexander-Universität Erlangen-Nürnberg (Lehrstuhl Informatik 8) Neuronale Netze mit mehreren
MehrPraktische Optimierung
Wintersemester 27/8 Praktische Optimierung (Vorlesung) Prof. Dr. Günter Rudolph Fakultät für Informatik Lehrstuhl für Algorithm Engineering Metamodellierung Inhalt Multilayer-Perceptron (MLP) Radiale Basisfunktionsnetze
MehrSoftcomputing Biologische Prinzipien in der Informatik. Neuronale Netze. Dipl. Math. Maria Oelinger Dipl. Inform. Gabriele Vierhuff IF TIF 08 2003
Softcomputing Biologische Prinzipien in der Informatik Neuronale Netze Dipl. Math. Maria Oelinger Dipl. Inform. Gabriele Vierhuff IF TIF 08 2003 Überblick Motivation Biologische Grundlagen und ihre Umsetzung
MehrThema 3: Radiale Basisfunktionen und RBF- Netze
Proseminar: Machine Learning 10 Juli 2006 Thema 3: Radiale Basisfunktionen und RBF- Netze Barbara Rakitsch Zusammenfassung: Aufgabe dieses Vortrags war es, die Grundlagen der RBF-Netze darzustellen 1 Einführung
MehrMaschinelles Lernen: Neuronale Netze. Ideen der Informatik
Maschinelles Lernen: Neuronale Netze Ideen der Informatik Kurt Mehlhorn Adrian Neumann 16. Januar 2014 Übersicht Biologische Inspiration Stand der Kunst in Objekterkennung auf Bildern Künstliche Neuronale
MehrAllgemeine (Künstliche) Neuronale Netze. Rudolf Kruse Neuronale Netze 40
Allgemeine (Künstliche) Neuronale Netze Rudolf Kruse Neuronale Netze 40 Allgemeine Neuronale Netze Graphentheoretische Grundlagen Ein (gerichteter) Graph ist ein Tupel G = (V, E), bestehend aus einer (endlichen)
Mehr1 Singulärwertzerlegung und Pseudoinverse
Singulärwertzerlegung und Pseudoinverse Singulärwertzerlegung A sei eine Matrix mit n Spalten und m Zeilen. Zunächst sei n m. Bilde B = A A. Dies ist eine n n-matrix. Berechne die Eigenwerte von B. Diese
MehrGrundlagen Kondition Demo. Numerisches Rechnen. (für Informatiker) M. Grepl P. Esser & G. Welper & L. Zhang
Numerisches Rechnen (für Informatiker) M. Grepl P. Esser & G. Welper & L. Zhang Institut für Geometrie und Praktische Mathematik RWTH Aachen Wintersemester 2011/12 IGPM, RWTH Aachen Numerisches Rechnen
MehrKapitel 6. Neuronale Netze. 6.1 Verwendeter Netztyp
Kapitel 6 Neuronale Netze Ein wesentlicher Teil der in dieser Arbeit entwickelten Methoden zur lokalen Kompositions- und Dickenbestimmung verwendet neuronale Netze zur Unterdrückung von Störeinflüssen.
MehrImplementationsaspekte
Implementationsaspekte Überlegungen zur Programmierung Neuronaler Netzwerke Implementationsprinzipien Trennung der Aspekte: Datenhaltung numerische Eigenschaften der Objekte Funktionalität Methoden der
MehrWissensbasierte Systeme
Analytisch lösbare Optimierungsaufgaben Das Chaos-Spiel gründet auf der folgenden Vorschrift: Man startet von einem beliebigen Punkt aus geht auf einer Verbindung mit einem von drei zufällig gewählten
MehrEinführung in neuronale Netze
Einführung in neuronale Netze Florian Wenzel Neurorobotik Institut für Informatik Humboldt-Universität zu Berlin 1. Mai 2012 1 / 20 Überblick 1 Motivation 2 Das Neuron 3 Aufbau des Netzes 4 Neuronale Netze
MehrComputational Intelligence I Künstliche Neuronale Netze
Computational Intelligence I Künstliche Neuronale Nete Universität Dortmund, Informatik I Otto-Hahn-Str. 6, 44227 Dortmund lars.hildebrand@uni-dortmund.de Inhalt der Vorlesung 0. Organisatorisches & Vorbemerkungen.
MehrAssoziation & Korrelation
Statistik 1 für SoziologInnen Assoziation & Korrelation Univ.Prof. Dr. Marcus Hudec Einleitung Bei Beobachtung von Merkmalen stellt sich die Frage, ob es Zusammenhänge oder Abhängigkeiten zwischen den
MehrBrückenkurs Mathematik. Mittwoch Freitag
Brückenkurs Mathematik Mittwoch 5.10. - Freitag 14.10.2016 Vorlesung 4 Dreiecke, Vektoren, Matrizen, lineare Gleichungssysteme Kai Rothe Technische Universität Hamburg-Harburg Montag 10.10.2016 0 Brückenkurs
MehrKünstliche neuronale Netze
Künstliche neuronale Netze Eigenschaften neuronaler Netze: hohe Arbeitsgeschwindigkeit durch Parallelität, Funktionsfähigkeit auch nach Ausfall von Teilen des Netzes, Lernfähigkeit, Möglichkeit zur Generalisierung
MehrFehlerfortpflanzung. M. Schlup. 27. Mai 2011
Fehlerfortpflanzung M. Schlup 7. Mai 0 Wird eine nicht direkt messbare physikalische Grösse durch das Messen anderer Grössen ermittelt, so stellt sich die Frage, wie die Unsicherheitsschranke dieser nicht-messbaren
MehrSelbstorganisierende Karten
Selbstorganisierende Karten Yacin Bessas yb1@informatik.uni-ulm.de Proseminar Neuronale Netze 1 Einleitung 1.1 Kurzüberblick Die Selbstorganisierenden Karten, auch Self-Organizing (Feature) Maps, Kohonen-
MehrMaschinelles Lernen: Neuronale Netze. Ideen der Informatik Kurt Mehlhorn
Maschinelles Lernen: Neuronale Netze Ideen der Informatik Kurt Mehlhorn 16. Januar 2014 Übersicht Stand der Kunst im Bilderverstehen: Klassifizieren und Suchen Was ist ein Bild in Rohform? Biologische
MehrVektorräume. 1. v + w = w + v (Kommutativität der Vektoraddition)
Vektorräume In vielen physikalischen Betrachtungen treten Größen auf, die nicht nur durch ihren Zahlenwert charakterisiert werden, sondern auch durch ihre Richtung Man nennt sie vektorielle Größen im Gegensatz
Mehr8. Elemente der linearen Algebra 8.5 Quadratische Matrizen und Determinanten
Einheitsmatrix Die quadratische Einheitsmatrix I n M n,n ist definiert durch I n = 1 0 0 0 1 0 0 0 1 (Auf der Hauptdiagonalen stehen Einsen, außerhalb Nullen Durch Ausmultiplizieren sieht man I n A = A
Mehr5. Lernregeln für neuronale Netze
5. Lernregeln für neuronale Netze 1. Allgemeine Lokale Lernregeln 2. Lernregeln aus Zielfunktionen: Optimierung durch Gradientenverfahren 3. Beispiel: Überwachtes Lernen im Einschicht-Netz Schwenker NI1
MehrAssoziation & Korrelation
Statistik 1 für SoziologInnen Assoziation & Korrelation Univ.Prof. Dr. Marcus Hudec Einleitung Bei Beobachtung von 2 Merkmalen stellt sich die Frage, ob es Zusammenhänge oder Abhängigkeiten zwischen den
Mehr3 Elementare Umformung von linearen Gleichungssystemen und Matrizen
3 Elementare Umformung von linearen Gleichungssystemen und Matrizen Beispiel 1: Betrachte das Gleichungssystem x 1 + x 2 + x 3 = 2 2x 1 + 4x 2 + 3x 3 = 1 3x 1 x 2 + 4x 3 = 7 Wir formen das GLS so lange
MehrAufbau und Konformation von Polypeptiden
1 Aufbau und Konformation von Polypeptiden Peter Güntert, Sommersemester 2009 Hierarchie von Proteinstrukturen Primärstruktur: Aminosäuresequenz Sekundärstruktur: Helices, Faltblätter, Turns, Loops Tertiärstruktur:
MehrVorlesung 8a. Kovarianz und Korrelation
Vorlesung 8a Kovarianz und Korrelation 1 Wir erinnern an die Definition der Kovarianz Für reellwertige Zufallsvariable X, Y mit E[X 2 ] < und E[Y 2 ] < ist Cov[X, Y ] := E [ (X EX)(Y EY ) ] Insbesondere
MehrLineare Algebra: Determinanten und Eigenwerte
: und Eigenwerte 16. Dezember 2011 der Ordnung 2 I Im Folgenden: quadratische Matrizen Sei ( a b A = c d eine 2 2-Matrix. Die Determinante D(A (bzw. det(a oder Det(A von A ist gleich ad bc. Det(A = a b
MehrSummen, Indices und Multiindices
Summen, Indices und Multiindices 1 Einleitung Möchten wir zwei Zahlen a und b addieren, so schreiben wir für gewöhnlich a + b. Genauso schreiben wir a + b + c, für die Summe von drei Zahlen a, b und c.
Mehrund Reinstruktur Die Sekundärstruktur ist die Anordnung der Aminosäurenkette, wobei man in zwei Arten unterscheidet: o Faltblatt- oder β- Struktur
Aufbau von Proteinen insbesondere unter Betrachtung der Primär-,, Sekundär-,, Tertiär-,, Quartär-,, Supersekundär- und Reinstruktur Primärstruktur Unter Primärstruktur versteht man in der Biochemie die
MehrProseminar Machine Learning. Neuronale Netze: mehrschichtige Perzeptrone. Christina Schmiedl Betreuer: Christian Spieth, Andreas Dräger
Proseminar Machine Learning Neuronale Netze: mehrschichtige Perzeptrone Christina Schmiedl Betreuer: Christian Spieth, Andreas Dräger 27.Mai 2006 Inhaltsverzeichnis 1 Biologische Motivation 2 2 Neuronale
Mehr$Id: linabb.tex,v /01/09 13:27:34 hk Exp hk $
Mathematik für Ingenieure I, WS 8/9 Freitag 9. $Id: linabb.tex,v.3 9//9 3:7:34 hk Exp hk $ II. Lineare Algebra 9 Lineare Abbildungen 9. Lineare Abbildungen Der folgende Satz gibt uns eine einfachere Möglichkeit
MehrKapitel XII - Kennzahlen mehrdimensionaler Zufallsvariablen
Institut für Volkswirtschaftslehre (ECON) Lehrstuhl für Ökonometrie und Statistik Kapitel XII - Kennzahlen mehrdimensionaler Zufallsvariablen Wahrscheinlichkeitstheorie Prof. Dr. W.-D. Heller Hartwig Senska
Mehr8 Lineare Abbildungen und Matrizen
8 Lineare Abbildungen und Matrizen 8.1 Lineare Abbildungen Wir beschäftigen uns nun mit Abbildungen zwischen linearen Räumen. Von besonderem Interesse sind Abbildungen, die die Struktur der linearen Räume
MehrLineare Algebra. Mathematik II für Chemiker. Daniel Gerth
Lineare Algebra Mathematik II für Chemiker Daniel Gerth Überblick Lineare Algebra Dieses Kapitel erklärt: Was man unter Vektoren versteht Wie man einfache geometrische Sachverhalte beschreibt Was man unter
MehrWirtschaftsmathematik Formelsammlung
Wirtschaftsmathematik Formelsammlung Binomische Formeln Stand März 2015 (a + b) 2 = a 2 +2ab + b 2 (a b) 2 = a 2 2ab + b 2 (a + b) (a b) =a 2 b 2 Fakultät (Faktorielle) n! =1 2 3 4 (n 1) n Intervalle Notation
MehrLineare Gleichungssysteme und Matrizen
Kapitel 11 Lineare Gleichungssysteme und Matrizen Ein lineares Gleichungssystem (lgs) mit m linearen Gleichungen in den n Unbekannten x 1, x 2,..., x n hat die Gestalt: Mit a 11 x 1 + a 12 x 2 + a 13 x
MehrEuklidische und unitäre Vektorräume
Kapitel 7 Euklidische und unitäre Vektorräume In diesem Abschnitt ist der Körper K stets R oder C. 7.1 Definitionen, Orthonormalbasen Definition 7.1.1 Sei K = R oder C, und sei V ein K-Vektorraum. Ein
MehrNeuronale Netze. Anna Wallner. 15. Mai 2007
5. Mai 2007 Inhalt : Motivation Grundlagen Beispiel: XOR Netze mit einer verdeckten Schicht Anpassung des Netzes mit Backpropagation Probleme Beispiel: Klassifikation handgeschriebener Ziffern Rekurrente
MehrLineare Algebra I (WS 13/14)
Lineare Algebra I (WS 13/14) Alexander Lytchak Nach einer Vorlage von Bernhard Hanke 15.11.2013 Alexander Lytchak 1 / 12 Erinnerung Eine Abbildung f : V W zwischen reellen Vektorräumen ist linear, wenn
Mehrb) Bestimmen Sie die Varianz der beiden Schätzer. c) Ist ein oder sind beide Schätzer konsistent? Begründen Sie!
Aufgabe 1 (3 + 3 + 2 Punkte) Ein Landwirt möchte das durchschnittliche Gewicht von einjährigen Ferkeln bestimmen lassen. Dies möchte er aus seinem diesjährigen Bestand an n Tieren schätzen. Er kann dies
Mehr1 (2π) m/2 det (Σ) exp 1 ]
Multivariate Normalverteilung: m=1: Y N(µ; σ 2 ) Erwartungswert: µ Varianz: σ 2 f Y (y) = f Y1 Y 2...Y m (y 1,y 2,...,y m ) = [ 1 exp 1 ] 2πσ 2 2 (y µ)2 /σ 2 Σ: m m-matrix, symmetrisch, positiv definit.
MehrEine zweidimensionale Stichprobe
Eine zweidimensionale Stichprobe liegt vor, wenn zwei qualitative Merkmale gleichzeitig betrachtet werden. Eine Urliste besteht dann aus Wertepaaren (x i, y i ) R 2 und hat die Form (x 1, y 1 ), (x 2,
MehrTheoretische Informatik SS 04 Übung 1
Theoretische Informatik SS 04 Übung 1 Aufgabe 1 Es gibt verschiedene Möglichkeiten, eine natürliche Zahl n zu codieren. In der unären Codierung hat man nur ein Alphabet mit einem Zeichen - sagen wir die
MehrLineare Algebra I. Prof. Dr. M. Rost. Übungen Blatt 6 (WS 2010/2011) Abgabetermin: Donnerstag, 27. November
Lineare Algebra I Prof. Dr. M. Rost Übungen Blatt 6 (WS 2010/2011) Abgabetermin: Donnerstag, 27. November http://www.math.uni-bielefeld.de/~rost/la1 Erinnerungen und Ergänzugen zur Vorlesung: Der Vollständigkeit
MehrLösungen zu den Hausaufgaben zur Analysis II
Christian Fenske Lösungen zu den Hausaufgaben zur Analysis II Blatt 6 1. Seien 0 < b < a und (a) M = {(x, y, z) R 3 x 2 + y 4 + z 4 = 1}. (b) M = {(x, y, z) R 3 x 3 + y 3 + z 3 = 3}. (c) M = {((a+b sin
MehrBerechnung von W für die Elementarereignisse einer Zufallsgröße
R. Albers, M. Yanik Skript zur Vorlesung Stochastik (lementarmathematik) 5. Zufallsvariablen Bei Zufallsvariablen geht es darum, ein xperiment durchzuführen und dem entstandenen rgebnis eine Zahl zuzuordnen.
MehrIm Falle einer zweimal differenzierbaren Funktion lässt sich das Krümmungsverhalten anhand der zweiten Ableitung feststellen.
Konvex, Konkav, Wendepunkt: Sei f : D R eine Funktion und sei I D ein Intervall. Gilt für alle x 1,x 2 I f ( x1 +x ) 2 2 f(x 1)+f(x 2 ), 2 dann heißt f konvex (linksgekrümmt) in I. Gilt für alle x 1,x
MehrLineare Differenzengleichungen
Lineare Differenzengleichungen Die Fibonacci-Zahlen F n sind definiert durch F 0 = 0 F 1 = 1 F n = F n 1 +F n 2 für n >= 2 Die letzte Zeile ist ein Beispiel für eine homogene lineare Differenzengleichung
Mehr2 Aufgaben aus [Teschl, Band 2]
20 2 Aufgaben aus [Teschl, Band 2] 2.1 Kap. 25: Beschreibende Statistik 25.3 Übungsaufgabe 25.3 a i. Arithmetisches Mittel: 10.5 ii. Median: 10.4 iii. Quartile: x 0.25 Y 4 10.1, x 0.75 Y 12 11.1 iv. Varianz:
MehrWas bisher geschah. Lernen: überwachtes Lernen. biologisches Vorbild neuronaler Netze: unüberwachtes Lernen
Was bisher geschah Lernen: überwachtes Lernen korrigierendes Lernen bestärkendes Lernen unüberwachtes Lernen biologisches Vorbild neuronaler Netze: Neuron (Zellkörper, Synapsen, Axon) und Funktionsweise
MehrMatrizen - I. Sei K ein Körper. Ein rechteckiges Schema A = wobei a ij K heißt Matrix bzw. eine m n Matrix (mit Elementen aus K).
Matrizen - I Definition. Sei K ein Körper. Ein rechteckiges Schema A = a 11 a 12...... a 1n a 21 a 22...... a 2n............ a m1 a m2...... a mn wobei j K heißt Matrix bzw. eine m n Matrix (mit Elementen
MehrViele wichtige Operationen können als lineare Abbildungen interpretiert werden. Beispielsweise beschreibt die lineare Abbildung
Kapitel 3 Lineare Abbildungen Lineare Abbildungen sind eine natürliche Klasse von Abbildungen zwischen zwei Vektorräumen, denn sie vertragen sich per definitionem mit der Struktur linearer Räume Viele
MehrIn diesem Abschnitt betrachten wir nur quadratische Matrizen mit Komponenten aus einem Körper K, also A K n n für ein n N. Wenn (mit einem n > 1)
34 Determinanten In diesem Abschnitt betrachten wir nur quadratische Matrizen mit Komponenten aus einem Körper K, also A K n n für ein n N Wenn (mit einem n > 1) a 11 a 12 a 1n a 21 a 22 a 2n A =, (1)
Mehrkurze Wiederholung der letzten Stunde: Neuronale Netze Dipl.-Inform. Martin Lösch (0721) Dipl.-Inform.
kurze Wiederholung der letzten Stunde: Neuronale Netze martin.loesch@kit.edu (0721) 608 45944 Labor Wissensrepräsentation Aufgaben der letzten Stunde Übersicht Neuronale Netze Motivation Perzeptron Multilayer
MehrMethode der kleinsten Quadrate
1. Phase: Methode der kleinsten Quadrate Einführung Im Vortrag über das CT-Verfahren hat Herr Köckler schon auf die Methode der kleinsten Quadrate hingewiesen. Diese Lösungsmethode, welche bei überbestimmten
MehrNeuronale Netze (Konnektionismus) Einführung in die KI. Beispiel-Aufgabe: Schrifterkennung. Biologisches Vorbild. Neuronale Netze.
Einführung in die KI Prof. Dr. sc. Hans-Dieter Burkhard Vorlesung (Konnektionismus) sind biologisch motiviert können diskrete, reell-wertige und Vektor-wertige Funktionen berechnen Informationsspeicherung
MehrRandomisierte Algorithmen 2. Erste Beispiele
Randomisierte Algorithmen Randomisierte Algorithmen 2. Erste Beispiele Thomas Worsch Fakultät für Informatik Karlsruher Institut für Technologie Wintersemester 2016/2017 1 / 35 Randomisierter Identitätstest
MehrNumerische Verfahren und Grundlagen der Analysis
Numerische Verfahren und Grundlagen der Analysis Rasa Steuding Hochschule RheinMain Wiesbaden Wintersemester 2011/12 R. Steuding (HS-RM) NumAna Wintersemester 2011/12 1 / 19 Fehlerbetrachtung R. Steuding
MehrBrückenkurs Statistik für Wirtschaftswissenschaften
Peter von der Lippe Brückenkurs Statistik für Wirtschaftswissenschaften Weitere Übungsfragen UVK Verlagsgesellschaft mbh Konstanz Mit UVK/Lucius München UVK Verlagsgesellschaft mbh Konstanz und München
MehrDas Perzeptron. Künstliche neuronale Netze. Sebastian Otte. 1 Grundlegendes. 2 Perzeptron Modell
Fachbereich Design Informatik Medien Studiengang Master Informatik Künstliche neuronale Netze Das Perzeptron Sebastian Otte Dezember 2009 1 Grundlegendes Als Perzeptron bezeichnet man eine Form von künstlichen
Mehr2. Dezember Lineare Algebra II. Christian Ebert & Fritz Hamm. Skalarprodukt, Norm, Metrik. Matrizen. Lineare Abbildungen
Algebra und Algebra 2. Dezember 2011 Übersicht Algebra und Algebra I Gruppen & Körper Vektorräume, Basis & Dimension Algebra Norm & Metrik Abbildung & Algebra I Eigenwerte, Eigenwertzerlegung Singulärwertzerlegung
MehrRelative Atommassen. Stefan Pudritzki Göttingen. 8. September 2007
Relative Atommassen Stefan Pudritzki Göttingen 8. September 2007 Berechnung der relativen Atommassen Nach dem derzeitigen Kenntnisstand können die relativen Atommassen der chemischen Elemente mit einem
MehrGliederung. Biologische Motivation Künstliche neuronale Netzwerke. Anwendungsbeispiele Zusammenfassung. Das Perzeptron
Neuronale Netzwerke Gliederung Biologische Motivation Künstliche neuronale Netzwerke Das Perzeptron Aufbau Lernen und Verallgemeinern Anwendung Testergebnis Anwendungsbeispiele Zusammenfassung Biologische
Mehr3.4 Der Gaußsche Algorithmus
94 34 Der Gaußsche Algorithmus Wir kommen jetzt zur expliziten numerischen Lösung des eingangs als eine Motivierung für die Lineare Algebra angegebenen linearen Gleichungssystems 341 n 1 a ik x k = b i,
Mehr5 Lineare Algebra (Teil 3): Skalarprodukt
5 Lineare Algebra (Teil 3): Skalarprodukt Der Begriff der linearen Abhängigkeit ermöglicht die Definition, wann zwei Vektoren parallel sind und wann drei Vektoren in einer Ebene liegen. Daß aber reale
MehrLineare Gleichungssysteme
Mathematik I für Biologen, Geowissenschaftler und Geoökologen 28. November 2011 Definition Beispiel: Wassermengen und Konzentrationen in einem Fluss Beispiel Zeilenstufenform Beispiel (Fortsetzung) Anhang
MehrKapitel 2: Mathematische Grundlagen
[ Computeranimation ] Kapitel 2: Mathematische Grundlagen Prof. Dr. Stefan M. Grünvogel stefan.gruenvogel@fh-koeln.de Institut für Medien- und Phototechnik Fachhochschule Köln 2. Mathematische Grundlagen
MehrTechnische Universität. Fakultät für Informatik
Technische Universität München Fakultät für Informatik Forschungs- und Lehreinheit Informatik VI Neuronale Netze - Supervised Learning Proseminar Kognitive Robotik (SS12) Hannah Wester Betreuer: Dr. Florian
MehrStatistik II. Lineare Regressionsrechnung. Wiederholung Skript 2.8 und Ergänzungen (Schira: Kapitel 4) Statistik II
Statistik II Lineare Regressionsrechnung Wiederholung Skript 2.8 und Ergänzungen (Schira: Kapitel 4) Statistik II - 09.06.2006 1 Mit der Kovarianz und dem Korrelationskoeffizienten können wir den statistischen
MehrAlgorithmen für paarweise Sequenz-Alignments. Katharina Hembach
Proseminar Bioinformatik WS 2010/11 Algorithmen für paarweise Sequenz-Alignments Katharina Hembach 06.12.2010 1 Einleitung Paarweise Sequenz-Alignments spielen in der Bioinformatik eine wichtige Rolle.
MehrQuadratische Formen und Definitheit
Universität Basel Wirtschaftswissenschaftliches Zentrum Quadratische Formen und Definitheit Dr. Thomas Zehrt Inhalt: 1. Quadratische Formen 2. Quadratische Approximation von Funktionen 3. Definitheit von
Mehr7.1 Matrizen und Vektore
7.1 Matrizen und Vektore Lineare Gleichungssysteme bestehen aus einer Gruppe von Gleichungen, in denen alle Variablen nur in der 1. Potenz vorkommen. Beispiel Seite 340 oben: 6 x 2 = -1 + 3x 2 = 4 mit
Mehr4 Lineare Abbildungen und Matrizen
Mathematik I für inf/swt, Wintersemester /, Seite 8 4 Lineare Abbildungen und Matrizen 4 Kern und Injektivität 4 Definition: Sei : V W linear Kern : {v V : v } ist linearer eilraum von V Ü68 und heißt
Mehr7.2 Moment und Varianz
7.2 Moment und Varianz Def. 21 Es sei X eine zufällige Variable. Falls der Erwartungswert E( X p ) existiert, heißt der Erwartungswert EX p p tes Moment der zufälligen Variablen X. Es gilt dann: + x p
MehrPraktikum Computational Intelligence 2 Ulrich Lehmann, Johannes Brenig, Michael Schneider
Praktikum Computational Intelligence 2 Ulrich Lehmann, Johannes Brenig, Michael Schneider Versuch: Training des XOR-Problems mit einem Künstlichen Neuronalen Netz (KNN) in JavaNNS 11.04.2011 2_CI2_Deckblatt_XORbinaer_JNNS_2
MehrStatistik I. Hinweise zur Bearbeitung. Aufgabe 1
Statistik I, WS 2002/03, Seite 1 von 7 Statistik I Hinweise zur Bearbeitung Hilfsmittel: - Taschenrechner (ohne Datenbank oder die Möglichkeit diesen zu programmieren) - Formelsammlung im Umfang von einer
Mehr3 Matrizenrechnung. 3. November
3. November 008 4 3 Matrizenrechnung 3.1 Transponierter Vektor: Die Notation x R n bezieht sich per Definition 1 immer auf einen stehenden Vektor, x 1 x x =.. x n Der transponierte Vektor x T ist das zugehörige
Mehr(A T ) T = A. Eigenschaft:
Elementare Matrizenrechnung m n-matrix von Zahlen A m n a 1,1 a 1,n a m,1 a m,n rechteckige Tabelle m n Dimension der Matrix Sprechweise: m Kreuz n wobei m Anzahl Zeilen, n Anzahl Spalten a i,j Element
MehrDrittvariablenkontrolle in der linearen Regression: Trivariate Regression
Drittvariablenkontrolle in der linearen Regression: Trivariate Regression 14. Januar 2002 In der Tabellenanalyse wird bei der Drittvariablenkontrolle für jede Ausprägung der Kontrollvariablen eine Partialtabelle
MehrAufgabe 4 (Sekundärstruktur)
Aufgabe 4 (Sekundärstruktur) Fragestellung - Durch welche Eigenschaften zeichnen sich α-helices und β-faltblätter aus? Belegen Sie Ihre Antwort mit den entsprechenden Daten. (phi/psi-winkel). - Wodurch
MehrInexakte Newton Verfahren
Kapitel 3 Inexakte Newton Verfahren 3.1 Idee inexakter Newton Verfahren Wir betrachten weiterhin das nichtlineare Gleichungssystem F (x) = mit einer zumindest stetig differenzierbaren Funktion F : R n
MehrPerzeptronen. Lehrstuhl für Künstliche Intelligenz Institut für Informatik Friedrich-Alexander-Universität Erlangen-Nürnberg
Perzeptronen Lehrstuhl für Künstliche Intelligenz Institut für Informatik Friedrich-Alexander-Universität Erlangen-Nürnberg (Lehrstuhl Informatik 8) Perzeptronen 1 / 22 Gliederung 1 Schwellwert-Logik (MCCULLOCH-PITTS-Neuron)
Mehr36 2 Lineare Algebra
6 Lineare Algebra Quadratische Matrizen a a n sei jetzt n m, A, a ij R, i, j,, n a n a nn Definition Eine quadratische Matrix A heißt invertierbar genau dann, wenn es eine quadratische Matrix B gibt, so
Mehr4 Vorlesung: 21.11. 2005 Matrix und Determinante
4 Vorlesung: 2111 2005 Matrix und Determinante 41 Matrix und Determinante Zur Lösung von m Gleichungen mit n Unbekannten kann man alle Parameter der Gleichungen in einem rechteckigen Zahlenschema, einer
MehrLineare Algebra I. Lösung 9.2:
Universität Konstanz Wintersemester 2009/2010 Fachbereich Mathematik und Statistik Lösungsblatt 9 Prof. Dr. Markus Schweighofer 20.01.2010 Aaron Kunert / Sven Wagner Lineare Algebra I Lösung 9.1: Voraussetzung:
MehrAufbau und Beschreibung Neuronaler Netzwerke
Aufbau und Beschreibung r 1 Inhalt Biologisches Vorbild Mathematisches Modell Grundmodelle 2 Biologisches Vorbild Das Neuron Grundkomponenten: Zellkörper (Soma) Zellkern (Nukleus) Dendriten Nervenfaser
MehrMATRIZEN. Eine Matrix ist eine rechteckige Anordnung von Zahlen, als ein Schema betrachtet. a 11 a a 1n a 21. a a 2n A = a m1 a m2...
MATRIZEN Eine Matrix ist eine rechteckige Anordnung von Zahlen, als ein Schema betrachtet A = a 11 a 12 a 1n a 21 a 22 a 2n a m1 a m2 a mn A ist eine m n Matrix, dh: A hat m Zeilen und n Spalten A besitzt
MehrInstitut für Statistik und Mathematische Wirtschaftstheorie Universität Augsburg. PROGNOSE II - Vertiefung Aufgaben und Lösungen Sommersemester 2004
Institut für Statistik und Mathematische Wirtschaftstheorie Universität Augsburg PROGNOSE II - Vertiefung Aufgaben und Lösungen Sommersemester 2004 Aufgabe 1 U t bedeute weißes Rauschen und B den Backshift
MehrKapitel 7. Regression und Korrelation. 7.1 Das Regressionsproblem
Kapitel 7 Regression und Korrelation Ein Regressionsproblem behandelt die Verteilung einer Variablen, wenn mindestens eine andere gewisse Werte in nicht zufälliger Art annimmt. Ein Korrelationsproblem
MehrLineare Algebra und analytische Geometrie I
Prof Dr H Brenner Osnabrück WS 2015/2016 Lineare Algebra und analytische Geometrie I Vorlesung 12 Wege entstehen dadurch, dass man sie geht Franz Kafka Invertierbare Matrizen Definition 121 Es sei K ein
MehrMLAN1 1 MATRIZEN 1 0 = A T =
MLAN1 1 MATRIZEN 1 1 Matrizen Eine m n Matrix ein rechteckiges Zahlenschema a 11 a 12 a 13 a 1n a 21 a 22 a 23 a 2n a m1 a m2 a m3 amn mit m Zeilen und n Spalten bestehend aus m n Zahlen Die Matrixelemente
MehrVektorräume. Kapitel Definition und Beispiele
Kapitel 3 Vektorräume 3.1 Definition und Beispiele Sei (V,,0) eine abelsche Gruppe, und sei (K, +,, 0, 1) ein Körper. Beachten Sie, dass V und K zunächst nichts miteinander zu tun haben, deshalb sollte
MehrMathematik II für Studierende der Informatik. Wirtschaftsinformatik (Analysis und lineare Algebra) im Sommersemester 2016
und Wirtschaftsinformatik (Analysis und lineare Algebra) im Sommersemester 2016 25. April 2016 Die Dimensionsformel Definition 3.9 Sei f : V W eine lineare Abbildung zwischen zwei K-Vektorräumen. Der Kern
MehrGrundlagen und Aufbau von neuronalen Netzen
Grundlagen und Aufbau von neuronalen Netzen Künstliche neuronale Netze (KNN) modellieren auf stark vereinfachte Weise Organisationsprinzipien und Abläufe biologischer neuronaler Netze Jedes KNN besteht
MehrAlgebraische Zahlentheorie. Teil II. Die Diskriminante.
II-1 Algebraische Zahlentheorie Teil II Die Diskriminante Sei K ein Zahlkörper vom Grad n (also [K : Q] = n) Es gibt genau n Körper- Homomorphismen σ i : K C (siehe Merkzettel Separabilität) Stellen wir
MehrLineare Algebra und Numerische Mathematik für D-BAUG. Serie 6
R. Hiptmair S. Pintarelli E. Spindler Herbstsemester 2014 Lineare Algebra und Numerische Mathematik für D-BAUG Serie 6 ETH Zürich D-MATH Einleitung. Diese Serie behandelt nochmals das Rechnen mit Vektoren
Mehr1 Grundlagen der Numerik
1 Grundlagen der Numerik 1.1 Gleitpunkt-Arithmetik Es gibt nur endlich viele Zahlen auf dem Computer. Gleitpunktzahl: x = σmb E σ: Vorzeichen B: Basis (feste Zahl >1); M: Mantisse E: Exponent B = 2 : Dualzahl
MehrNumerische Methoden und Algorithmen in der Physik
Numerische Methoden und Algorithmen in der Physik Hartmut Stadie, Christian Autermann 15.01.2009 Numerische Methoden und Algorithmen in der Physik Christian Autermann 1/ 47 Methode der kleinsten Quadrate
Mehr