1 Einleitung. 2 Clustering
|
|
- Henriette Sauer
- vor 6 Jahren
- Abrufe
Transkript
1 Lernende Vektorquantisierung (LVQ) und K-Means-Clustering David Bouchain Proseminar Neuronale Netze Kurs-Nr.: CS4400 ISI WS 2004/05 1 Einleitung Im Folgenden soll zum einen ein Überblick über das Clustering gegeben werden. Darunter versteht man die Aufteilung der Eingabemuster nach bestimmten Merkmalen in Gruppen, den Clustern, die, räumlich gesehen, je nach Ähnlichkeit mehr oder weniger weit auseinander liegen. Zudem wird auf den K-Means-Algorithmus eingegangen, der den Clustern einen oder mehrere Prototypen, oder Referenzvektoren, zuordnet. Zum anderen soll die lernende Vektorquantisierung vorgestellt, erläutert und veranschaulicht werden. Hierbei handelt es sich um ein überwachtes Lernverfahren. Basierend auf der zur jeweiligen Eingabe gegebenen Klasseninformation wird der dem Eingabevektor nächste Gewichtsvektor ersterem entweder angenähert oder von ihm entfernt (Quantisierung). So soll der Eingaberaum iterativ immer besser abgedeckt werden. Es werden vier verschiedene Methoden der lernenden Vektorquantisierung dargelegt, die sich in Stabilität und Effizienz (Lernrate) unterscheiden. Die lernende Vektorquantisierung ist zwar ein überwachtes Lernverfahren, allerdings bildet es im Zusammenhang mit dem Clustering die Grundlage für ein wichtiges unüberwachtes Lernverfahren, nämlich die Self Organizing Feature Maps (selbstorganisierende Karten). Diese werden allerdings in einem separaten Vortrag behandelt. 2 Clustering Unter dem so genannten Clustering versteht man das Sortieren der Elemente des Eingaberaums zu verschiedenen Gruppen, den Clustern. Das Clustering stellt die Klasseninformation für die Eingaben bereit, die für das Training benötigt werden. Clustering spielt bei unüberwachten Lernverfahren (unsupervised learning) eine besondere Rolle, da es eine Möglichkeit bietet, die Eingaben auch ohne Klasseninformation zu ordnen. Das Clustering in Verbindung mit dem K-Means-Algorithmus ist eng verwandt mit den selbstorganisierenden Karten, lediglich die Nachbarschaftsbeziehung zwischen den Neuronen ist hier nicht vorhanden. 1
2 Der geclusterte Eingaberaum sollte folgende Eigenschaften aufweisen [1]: 1. Die Eingaben in einem Cluster sollten in mindestens einer Eigenschaft ähnlich sein 2. Ähnliche Cluster sollten dicht beieinander liegen Eine Eingabe X wird einem Cluster dann zugeordnet, wenn sie dicht an einem Prototypen desselben Clusters liegt. Der Abstand d lässt sich dabei durch die quadratische euklidische Norm berechnen, allerdings können auch andere Normen verwendet werden [1]. Gegeben sei ein Cluster j. Dann ist der Vektor p j ein Prototyp des Clusters wenn er in der Nähe des geometrischen Mittelpunktes des Clusters liegt. Ein Clustering- Algorithmus ordnet die Elemente des Eingaberaums den Clustern zu. Dies kann erreicht werden, indem zu Beginn des Trainings die Prototypen in ihrer Eigenschaft festgelegt werden. Anschließend werden alle Eingabevektoren demjenigen Prototypen zugewiesen, dem sie am ähnlichsten sind. Um den Cluster zu repräsentieren wird der Prototyp auf das geometrische Mittel aller ihm zugewiesenen Eingaben gesetzt [1]. 3 K-Means Der K-Means-Clustering-Algorithmus dient dem Platzieren der Prototypen auf den geclusterten Eingaberaum. Für eine gegebene Datenmenge muss bekannt sein, wieviele Cluster gebildet werden sollen. Diese Anzahl der Cluster sei K. Nachdem die Prototypen {p 1,..., p K } zufällig im Raum verteilt wurden, beinhaltet der K-Means-Algorithmus folgende Schritte [3]: 1. Jeden Eingabevektor dem Prototypen mit dem geringsten Abstand zuweisen 2. Alle Prototypen in ihr jeweiliges neues Zentrum verschieben 3. Schritt 1 und 2 wiederholen, bis die Cluster stabil sind Ein Problem dieses spezifischen Algorithmus ist, dass das Ergebnis stark von K abhängt und es keine Möglichkeit gibt, den Wert für eine gegebene Datenmenge optimal zu bestimmen. Allerdings gibt es auch Ansätze die versuchen, die Cluster-Anzahl zu schätzen und anzupassen. 2
3 4 Lernende Vektorquantisierung (LVQ) Die lernende Vektorquantisierung ist ein überwachtes Verfahrung zum Training einschichtiger neuronaler Netze [2], die Klasse des Eingabevektors muss also bekannt sein. Die Gewichtsvektoren {W 1,...,W j } des neuronalen Netzes werden dabei schrittweise soweit optimiert, bis sie die Eingabevektoren {X 1,...,X p } bestmöglich abdecken. Die Adaptation der Gewichtsvektoren erfolgt durch das schrittweise Annähern bzw. Entfernen des gewählten Vektors zum bzw. vom jeweiligen Eingabevektor, wobei der gewählte Vektor W c der Gewichtsvektor ist, der dem Eingabevektor am ähnlichsten ist. Vorgestellt werden vier verschiedene Varianten der lernenden Vektorquantisierung, mämlich LVQ1, LVQ2.1, LVQ3 und OLVQ1. Diese unterscheiden sich in der Methode der Vektorenmodifikation (Quantisierung) und damit in der Effizienz und Stabilität. 4.1 LVQ1 Zu Beginn jeder Iteration muss bei LVQ1 (learning vector quantization 1) der Gewichtsvektor gefunden werden, der dem Eingabevektor X am ähnlichsten ist. Hierzu bietet sich die Minimierung der euklidischen Norm an, aber auch die Maximierung des Skalarproduktes kann verwendet werden [2]. Gleichung 1 zeigt formal die Mimimierung des Skalarproduktes [2]: X W c = min j { X W j } (1) Die Modifikation des gewählten Gewichtsvektors geschieht durch die Annäherung um einen Bruchteil α(t) des Differenzvektors X(t) W c (t) an den Eingabevektor X(t) wenn der Gewichtsvektor W c (t) in derselben Klasse liegt wie der Eingabevektor. Liegt W c (t) nicht in der Klasse des Eingabevektors, wird W c um denselben Wert von X(t) entfernt. α(t), mit 0 < α(t) < 1, ist dabei die Lernkonstante, die entweder konstant oder abhängig von der Iteration t monoton fallend ist [2]. In Abbildung 1 wird der Trainings-Prozess, das Verschieben des Vektors W c, veranschaulicht. Gleichung 2 zeigt diese Lernregel formal: { Wc (t) + α(t)[x(t) W W c (t + 1) = c (t)],kls(w c ) = Kls(X) W c (t) α(t)[x(t) W c (t)],kls(w c ) Kls(X) Alle anderen Gewichtsvektoren bleiben unverändert. Es ergibt sich also: (2) W j (t + 1) = W j (t) j c (3) 3
4 Abbildung 1: Adaptation des Gewichtsvektors W c bei LVQ1 4.2 LVQ2.1 LVQ2.1 verwendet im Gegensatz zu LVQ1 die beiden nächsten Gewichtsvektoren W i und W j. Eine Modifikation findet unter folgenden Voraussetzungen statt [2]: 1. Die Klassen der beiden Gewichtsvektoren W i und W j sind unterschiedlich 2. X gehört einer der beiden Klassen W i oder W j an 3. X liegt in einem Fenster entlang der Mittelsenkrechten zwischen beiden Klassen. Um herauszufinden, ob X entlang der Mittelsenkrechten zwischen beiden Klassen liegt, wird folgender Ausdruck verwendet, v sollte dabei zwischen 0.2 und 0.3 betragen [2]: { di min, d } j > s,wobei s = 1 v (4) d j d i 1 + v Falls X und W i zur gleichen Klasse gehören (und W j damit laut Voraussetzung nicht in dieser Klasse liegt), gilt folgende Lernregel [2]: W i (t + 1) = W i (t) + α(t)[x(t) W i (t)] W j (t + 1) = W j (t) α(t)[x(t) W j (t)] In Abbildung 2 wird Trainings-Prozess von LVQ2.1 veranschaulicht. Dieses Verfahren modifiziert die den Voraussetzungen entsprechenden Gewichtsvektoren und verschiebt dadurch die Klassengrenzen. (5) 4
5 Abbildung 2: Adaptation bei LVQ LVQ3 LVQ2.1 verändert die Verteilung der Gewichtsvektoren an sich nicht. Daher wurde LVQ3 als Weiterentwicklung von LVQ2.1 entworfen [2], um die Gleichverteilung innerhalb der Klassen und damit eine bestmögliche Abdeckung des Eingaberaums zu gewährleisten. LVQ3 unterscheidet sich in dem Fall von LVQ2.1, in dem die Gewichtsvektoren W i und W j der Klasse des Eingabevektors X angehören. Für die Gleichverteilung sorgt dabei die Konstante e, die nach [2] zwischen 0.1 und 0.5 liegen sollte. e als Koeffizient der Lernkonstante α(t) verhindert eine zu große Modifikation der Gewichtsvektoren und damit Oszillation und Instabilität. Die Lernregel für diesen Fall lautet dann formal [2]: W i (t + 1) = W i (t) + eα(t)[x(t) W i (t)] W j (t + 1) = W j (t) + eα(t)[x(t) W j (t)] Zusätzlich zu den Klassengrenzen verändert LVQ3 also auch die Verteilung der Gewichtsvektoren innerhalb der Klassen. 4.4 OLVQ1 OLVQ1(Optimized Learning Vector Quantization 1) erweitert LVQ1 so, dass jeder Gewichtsvektor eine eigene Lernrate erhält. Dies führt zu folgender Lernregel [2]: (6) { Wc (t) + α W c (t + 1) = c (t)[x(t) W c (t)],kls(w c ) = Kls(X) W c (t) α c (t)[x(t) W c (t)],kls(w c ) Kls(X) α c (t) ergibt sich dabei aus folgender Gleichung [2]: (7) 5
6 α c (t 1) α c (t) = 1 + s(t)α c (t 1) (8) Dabei ist s(t) = 1, wenn W c in der gleichen Klasse wie X, und s(t) = 1, wenn W c außerhalb der Klasse von X liegt. Es ist unbedingt wichtig, α c (t) nicht größer als 1 werden zu lassen, da sonst der Gewichtsvektor W c am Eingabevektor X vorbei gezogen wird und das neuronale Netz dadurch instabil werden kann. Durch die Zustandsabhängigkeit der Lernkonstante α c vom zugehörigen Gewichtsvektor kann der Startwert α c (0) deutlich größer gewählt werden als bei LVQ1, z. B. 0.3 ([2]), so ein anfänglich schnelleres Training und folglich ein generell schneller konvergierendes Netz erzielt werden. Bei der OLVQ1 wird also jedem Gewichtsvektor eine eigene Lernrate zugewiesen, was ein schnelleres Lernen und damit ein effizienteres Netz zur Folge hat. 5 Zusammenfassung Zunächst wurde ein Überblick über das Clustering, also das Zusammenfassen der Daten des Eingaberaums zu Gruppen bzw. Clustern, und seine Bedeutung gegeben. Zudem wurde mittels des Clustering und dem dazu gehörigen K-Means-Algorithmus die Grundlage für das Verständnis unüberwachter Lernverfahren vermittelt. Daran anschließend wurde das überwachte Lernverfahren lernende Vektorquantisierung mit den dazugehörigen Algorithmen vorgestellt. LVQ1 modifiziert den Gewichtsvektor, der der Eingabe am ähnlichsten ist, entsprechend der Klassenzugehörigkeit. Die zweite Variante, LVQ2.1, verschiebt die Klassengrenzen. LVQ3 sorgt als Erweiterung der LVQ2.1 zusätzlich für eine Gleichverteilung der Gewichtsvektoren in den Klassen. Die optimierte Fassung der LVQ1, OLVQ1, weist jedem Gewichtsvektor eine eigene Lernrate zu, wodurch ein effizienteres Training erzielt werden kann. Literatur [1] R. Callan. The essence of Neural Networks. Prentice Hall Kap. 3.1 Clustering Patterns - Basic Ideas, pp [2] A. Zell. Simulation Neuronaler Netze. Addison-Wesley Kap. 14 Lernende Vektorquantisierung, pp [3] B. T. Luke. K-Means Clustering. ( lukeb/kmeans.html; Download: ) 6
Kohonennetze Selbstorganisierende Karten
Kohonennetze Selbstorganisierende Karten Julian Rith, Simon Regnet, Falk Kniffka Seminar: Umgebungsexploration und Wegeplanung mit Robotern Kohonennetze: Neuronale Netze In Dendriten werden die ankommenden
Mehrweitere Modelle und Methoden
weitere Modelle und Methoden LVQ-Netze, competetive learning, counterpropagation, motorische karten, adaptive resonance theory LVQ Struktur Lernende Vektor-Quantisierung Input-Raum mit Distanz-Funktion
MehrEinführung in neuronale Netze
Einführung in neuronale Netze Florian Wenzel Neurorobotik Institut für Informatik Humboldt-Universität zu Berlin 1. Mai 2012 1 / 20 Überblick 1 Motivation 2 Das Neuron 3 Aufbau des Netzes 4 Neuronale Netze
MehrSeminar zum Thema Künstliche Intelligenz:
Wolfgang Ginolas Seminar zum Thema Künstliche Intelligenz: Clusteranalyse Wolfgang Ginolas 11.5.2005 Wolfgang Ginolas 1 Beispiel Was ist eine Clusteranalyse Ein einfacher Algorithmus 2 bei verschieden
MehrSimulation neuronaler Netzwerke mit TIKAPP
Überblick Michael Hanke Sebastian Krüger Institut für Psychologie Martin-Luther-Universität Halle-Wittenberg Forschungskolloquium, SS 2004 Überblick Fragen 1 Was sind neuronale Netze? 2 Was ist TIKAPP?
MehrGrowing neural Gas Strukturen lernen. Torsten Siedel 23.05.2012
Growing neural Gas Strukturen lernen Torsten Siedel 23.05.2012 Inhalt 1. Prozess der Selbstorganisation 2. Lernen - momentan oder statistisch? 3. Vektorbasierte Neuronale Netze 4. Klassifizierung der Lernverfahren
MehrMethoden zur Visualisierung von Ergebnissen aus Optimierungs- und DOE-Studien
Methoden zur Visualisierung von Ergebnissen aus Optimierungs- und DOE-Studien Katharina Witowski katharina.witowski@dynamore.de Übersicht Beispiel Allgemeines zum LS-OPT Viewer Visualisierung von Simulationsergebnissen
MehrZeichnen von Graphen. graph drawing
Zeichnen von Graphen graph drawing WS 2006 / 2007 Gruppe: D_rot_Ala0607 Christian Becker 11042315 Eugen Plischke 11042351 Vadim Filippov 11042026 Gegeben sei ein Graph G = (V; E) Problemstellung V E =
MehrKapitel ML: I. I. Einführung. Beispiele für Lernaufgaben Spezifikation von Lernproblemen
Kapitel ML: I I. Einführung Beispiele für Lernaufgaben Spezifikation von Lernproblemen ML: I-8 Introduction c STEIN/LETTMANN 2005-2010 Beispiele für Lernaufgaben Autoeinkaufsberater Welche Kriterien liegen
MehrVisualisierung hochdimensionaler Daten. Hauptseminar SS11 Michael Kircher
Hauptseminar SS11 Inhalt Einführung zu hochdimensionalen Daten Visualisierungsmöglichkeiten dimensionale Teilmengen dimensionale Schachtelung Achsenumgestaltung Algorithmen zur Dimensionsreduktion Zusammenfassung
MehrWas bisher geschah Künstliche Neuronen: Mathematisches Modell und Funktionen: Eingabe-, Aktivierungs- Ausgabefunktion Boolesche oder reelle Ein-und
Was bisher geschah Künstliche Neuronen: Mathematisches Modell und Funktionen: Eingabe-, Aktivierungs- Ausgabefunktion Boolesche oder reelle Ein-und Ausgaben Aktivierungsfunktionen: Schwellwertfunktion
MehrVorlesung Text und Data Mining S9 Text Clustering. Hans Hermann Weber Univ. Erlangen, Informatik
Vorlesung Text und Data Mining S9 Text Clustering Hans Hermann Weber Univ. Erlangen, Informatik Document Clustering Überblick 1 Es gibt (sehr viele) verschiedene Verfahren für das Bilden von Gruppen Bei
MehrExploration und Klassifikation von BigData
Exploration und Klassifikation von BigData Inhalt Einführung Daten Data Mining: Vorbereitungen Clustering Konvexe Hülle Fragen Google: Riesige Datenmengen (2009: Prozessieren von 24 Petabytes pro Tag)
MehrPROSEMINAR ONLINE ALGORITHMEN
PROSEMINAR ONLINE ALGORITHMEN im Wintersemester 2000/2001 Prof. Dr. Rolf Klein, Dr. Elmar Langetepe, Dipl. Inform. Thomas Kamphans (Betreuer) Vortrag vom 15.11.2000 von Jan Schmitt Thema : Finden eines
Mehr(künstliche) Neuronale Netze. (c) Till Hänisch 2003, BA Heidenheim
(künstliche) Neuronale Netze (c) Till Hänisch 2003, BA Heidenheim Literatur zusätzlich zum Lit. Verz. Michael Negnevitsky, Artificial Intelligence, Addison Wesley 2002 Warum? Manche Probleme (z.b. Klassifikation)
MehrNeuronale Netze mit mehreren Schichten
Neuronale Netze mit mehreren Schichten Lehrstuhl für Künstliche Intelligenz Institut für Informatik Friedrich-Alexander-Universität Erlangen-Nürnberg (Lehrstuhl Informatik 8) Neuronale Netze mit mehreren
MehrSoftcomputing Biologische Prinzipien in der Informatik. Neuronale Netze. Dipl. Math. Maria Oelinger Dipl. Inform. Gabriele Vierhuff IF TIF 08 2003
Softcomputing Biologische Prinzipien in der Informatik Neuronale Netze Dipl. Math. Maria Oelinger Dipl. Inform. Gabriele Vierhuff IF TIF 08 2003 Überblick Motivation Biologische Grundlagen und ihre Umsetzung
MehrPROCMON. Performance und Condition Monitoring komplexer verfahrenstechnischer Prozesse. Christian W. Frey. christian.frey@iosb.fraunhofer.
PROCMON Performance und Condition Monitoring komplexer verfahrenstechnischer Prozesse Christian W. Frey 2011 PROCMON Performance und Condition Monitoring komplexer verfahrenstechnischer Prozesse 1. Motivation
MehrNeuronale Netze, Fuzzy Control, Genetische Algorithmen. Prof. Jürgen Sauer. 5. Aufgabenblatt: Neural Network Toolbox 1
Neuronale Netze, Fuzzy Control, Genetische Algorithmen Prof. Jürgen Sauer 5. Aufgabenblatt: Neural Network Toolbox 1 A. Mit Hilfe der GUI vom Neural Network erstelle die in den folgenden Aufgaben geforderten
MehrComputational Intelligence I Künstliche Neuronale Netze
Computational Intelligence I Künstliche Neuronale Nete Universität Dortmund, Informatik I Otto-Hahn-Str. 6, 44227 Dortmund lars.hildebrand@uni-dortmund.de Inhalt der Vorlesung 0. Organisatorisches & Vorbemerkungen.
MehrMaschinelles Lernen: Neuronale Netze. Ideen der Informatik Kurt Mehlhorn
Maschinelles Lernen: Neuronale Netze Ideen der Informatik Kurt Mehlhorn 16. Januar 2014 Übersicht Stand der Kunst im Bilderverstehen: Klassifizieren und Suchen Was ist ein Bild in Rohform? Biologische
MehrÜbersicht. 20. Verstärkungslernen
Übersicht I Künstliche Intelligenz II Problemlösen III Wissen und Schlußfolgern IV Logisch Handeln V Unsicheres Wissen und Schließen VI Lernen 18. Lernen aus Beobachtungen 19. Lernen in neuronalen & Bayes
MehrProduktentwicklung damit sollten Sie rechnen
Produktentwicklung damit sollten Sie rechnen 0. Zusammenfassung Wer Produktentwicklung betreiben will, muss in erster Linie sehr viel lesen: Dokumente aus unterschiedlichsten Quellen und in vielen Formaten.
Mehr(künstliche) Neuronale Netze. (c) Till Hänisch 2003,2015, DHBW Heidenheim
(künstliche) Neuronale Netze (c) Till Hänisch 2003,2015, DHBW Heidenheim Literatur zusätzlich zum Lit. Verz. Michael Negnevitsky, Artificial Intelligence, Addison Wesley 2002 Aufbau des Gehirns Säugetiergehirn,
MehrAnhand des bereits hergeleiteten Models erstellen wir nun mit der Formel
Ausarbeitung zum Proseminar Finanzmathematische Modelle und Simulationen bei Raphael Kruse und Prof. Dr. Wolf-Jürgen Beyn zum Thema Simulation des Anlagenpreismodels von Simon Uphus im WS 09/10 Zusammenfassung
MehrPraktikum Computational Intelligence 2 Ulrich Lehmann, Johannes Brenig, Michael Schneider
Praktikum Computational Intelligence 2 Ulrich Lehmann, Johannes Brenig, Michael Schneider Versuch: Training des XOR-Problems mit einem Künstlichen Neuronalen Netz (KNN) in JavaNNS 11.04.2011 2_CI2_Deckblatt_XORbinaer_JNNS_2
MehrNeuronale Netze (Konnektionismus)
Einführung in die KI Prof. Dr. sc. Hans-Dieter Burkhard Vorlesung (Konnektionismus) sind biologisch motiviert können diskrete, reell-wertige und Vektor-wertige Funktionen berechnen, Einsatz z.b. für Klassifizierungsaufgaben
MehrKlassifizieren und Visualisieren von Daten mit Selbstorganisierenden Karten
Fachhochschule Brandenburg Fachbereich Informatik und Medien Klassifizieren und Visualisieren von Daten mit Selbstorganisierenden Karten Diplomkolloquium Sven Schröder Aufgabenstellung und Motivation Biologisches
Mehr2.5.2 Selbstorganisierte Karten: das Modell von Kohonen. Weil es beim Perzeptron keine Wechselwirkung in der Verarbeitungsschicht
2.5.2 Selbstorganisierte Karten: das Modell von Kohonen Weil es beim Perzeptron keine Wechselwirkung in der Verarbeitungsschicht zwischen den einzelnen Neuronen gibt, spielt deren räumliche Anordnung keine
MehrTermin3 Klassifikation multispektraler Daten unüberwachte Verfahren
Ziel Termin3 Klassifikation multispektraler Daten unüberwachte Verfahren Einteilung (=Klassifikation) der Pixel eines multispektralen Datensatzes in eine endliche Anzahl von Klassen. Es sollen dabei versucht
MehrGeoGebra Quickstart Eine Kurzanleitung für GeoGebra
GeoGebra Quickstart Eine Kurzanleitung für GeoGebra Dynamische Geometrie, Algebra und Analysis ergeben GeoGebra, eine mehrfach preisgekrönte Unterrichtssoftware, die Geometrie und Algebra als gleichwertige
MehrNichtlineare Optimierung ohne Nebenbedingungen
Kapitel 2 Nichtlineare Optimierung ohne Nebenbedingungen In diesem Abschnitt sollen im wesentlichen Verfahren zur Bestimmung des Minimums von nichtglatten Funktionen in einer Variablen im Detail vorgestellt
MehrTEILWEISE ASYNCHRONE ALGORITHMEN
TEILWEISE ASYNCHRONE ALGORITHMEN FRANK LANGBEIN Literatur: D. Berseas, J. Tsitsilis: Parallel and distributed computatoin, pp. 48 489 URI: http://www.langbein.org/research/parallel/ Modell teilweiser asynchroner
MehrProseminar - Data Mining
Proseminar - Data Mining SCCS, Fakultät für Informatik Technische Universität München SS 2012, SS 2012 1 Data Mining Pipeline Planung Aufbereitung Modellbildung Auswertung Wir wollen nützliches Wissen
MehrTeil II. Nichtlineare Optimierung
Teil II Nichtlineare Optimierung 60 Kapitel 1 Einleitung In diesem Abschnitt wird die Optimierung von Funktionen min {f(x)} x Ω betrachtet, wobei Ω R n eine abgeschlossene Menge und f : Ω R eine gegebene
MehrVoraussetzung wieder: Datenraum mit Instanzen, mehrere Attribute - kein ausgezeichnetes Zielattribut, keine vorgegebenen Klassen
7. Clusteranalyse (= Häufungsanalyse; Clustering-Verfahren) wird der multivariaten Statistik zugeordnet Voraussetzung wieder: Datenraum mit Instanzen, mehrere Attribute - kein ausgezeichnetes Zielattribut,
MehrVorlesung. Funktionen/Abbildungen 1
Vorlesung Funktionen/Abbildungen 1 1 Grundlagen Hinweis: In dieser Vorlesung werden Funktionen und Abbildungen synonym verwendet. In der Schule wird eine Funktion häufig als eindeutige Zuordnung definiert.
MehrErkennung von automatisierten Zugriffen auf Webseiten unter Verwendung von Selbstorganisierenden Karten
Fachhochschule Wedel Fachbereich Medieninformatik Bachelor-Thesis Erkennung von automatisierten Zugriffen auf Webseiten unter Verwendung von Selbstorganisierenden Karten Eine Machbarkeitsstudie eingereicht
MehrMachine Learning - Maschinen besser als das menschliche Gehirn?
Machine Learning - Maschinen besser als das menschliche Gehirn? Seminar Big Data Science Tobias Stähle 23. Mai 2014 KIT Universität des Landes Baden-Württemberg und nationales Forschungszentrum in der
MehrKapitel LF: IV. IV. Neuronale Netze
Kapitel LF: IV IV. Neuronale Netze Perzeptron-Lernalgorithmus Gradientenabstiegmethode Multilayer-Perzeptrons und ackpropagation Self-Organizing Feature Maps Neuronales Gas LF: IV-39 Machine Learning c
MehrArbeiten mit Excel. 1. Allgemeine Hinweise
1. Allgemeine Hinweise Man sollte eine Excel Tabelle immer so übersichtlich wie möglich halten. Dazu empfiehlt es sich, alle benötigten Daten, Konstanten und Messwerte inklusive aller dazugehörigen Einheiten
Mehrx 2 x 1 x 3 5.1 Lernen mit Entscheidungsbäumen
5.1 Lernen mit Entscheidungsbäumen Falls zum Beispiel A = {gelb, rot, blau} R 2 und B = {0, 1}, so definiert der folgende Entscheidungsbaum eine Hypothese H : A B (wobei der Attributvektor aus A mit x
MehrData Mining - Wiederholung
Data Mining - Wiederholung Norbert Fuhr 9. Juni 2008 Problemstellungen Problemstellungen Daten vs. Information Def. Data Mining Arten von strukturellen Beschreibungen Regeln (Klassifikation, Assoziations-)
MehrProseminar - Data Mining
Proseminar - Data Mining SCCS, Fakultät für Informatik Technische Universität München SS 2014, SS 2014 1 Data Mining: Beispiele (1) Hausnummererkennung (Klassifikation) Source: http://arxiv.org/abs/1312.6082,
Mehr1. Allgemeine Hinweise Alexander.Martin.Koenig@TU-Clausthal.de
1. Allgemeine Hinweise Alexander.Martin.Koenig@TU-Clausthal.de Man sollte eine Excel-Tabelle immer so übersichtlich wie möglich halten. Dazu empfiehlt es sich, alle benötigten Daten, Konstanten und Messwerte
MehrEchtzeitfähige Ereignisgetriebene Scheduling-Strategien
Friedrich-Alexander-Universität Erlangen-Nürnberg Ausgewählte Kapitel eingebetteter Systeme Echtzeitfähige Ereignisgetriebene Scheduling-Strategien Sven Kerschbaum 1. Einführung Bei einem eingebetteten
MehrProgramm 4: Arbeiten mit thematischen Karten
: Arbeiten mit thematischen Karten A) Anteil der ausländischen Wohnbevölkerung an der Wohnbevölkerung insgesamt 2001 in Prozent 1. Inhaltliche und kartographische Beschreibung - Originalkarte Bei dieser
MehrPfinder: Real-Time Tracking of the Human Body
Pfinder: Real-Time Tracking of the Human Body Christopher Wren, Ali Azarbayejani, Trevor Darrell, Alex Pentland aus: IEEE Transactions on Pattern Analysis and Machine Intelligence (pp. 780-785) 12. April
MehrKapitel LF: IV. Multilayer-Perzeptrons und Backpropagation. Multilayer-Perzeptrons und Backpropagation. LF: IV Machine Learning c STEIN 2005-06
Kapitel LF: IV IV. Neuronale Netze Perzeptron-Lernalgorithmus Gradientenabstiegmethode Multilayer-Perzeptrons und ackpropagation Self-Organizing Feature Maps Neuronales Gas 39 Multilayer-Perzeptrons und
Mehr1 Hochverfügbarkeit. 1.1 Einführung. 1.2 Network Load Balancing (NLB) Quelle: Microsoft. Hochverfügbarkeit
1 Hochverfügbarkeit Lernziele: Network Load Balancing (NLB) Failover-Servercluster Verwalten der Failover Cluster Rolle Arbeiten mit virtuellen Maschinen Prüfungsanforderungen von Microsoft: Configure
MehrSortierverfahren für Felder (Listen)
Sortierverfahren für Felder (Listen) Generell geht es um die Sortierung von Daten nach einem bestimmten Sortierschlüssel. Es ist auch möglich, daß verschiedene Daten denselben Sortierschlüssel haben. Es
MehrDownload. Mathematik üben Klasse 8 Funktionen. Differenzierte Materialien für das ganze Schuljahr. Jens Conrad, Hardy Seifert
Download Jens Conrad, Hard Seifert Mathematik üben Klasse 8 Funktionen Differenzierte Materialien für das ganze Schuljahr Downloadauszug aus dem Originaltitel: Mathematik üben Klasse 8 Funktionen Differenzierte
MehrSimulation neuronaler Netze
Simulation neuronaler Netze von Professor Dr. Andreas Zeil Universität Tübingen R. Oldenbourg Verlag München Wien Inhaltsverzeichnis Teil I: Einführung und Neurobiologische Grundlagen 21 Kapitel 1 Einleitung
Mehr9.4 Binäre Suchbäume. Xiaoyi Jiang Informatik II Datenstrukturen und Algorithmen
9.4 Binäre Suchbäume Erweiterung: Einfügen an der Wurzel Standardimplementierung: Der neue Schlüssel wird am Ende des Suchpfades angefügt (natürlich, weil zuerst festgestellt werden muss, ob der Schlüssel
MehrKünstliche Intelligenz Maschinelles Lernen
Künstliche Intelligenz Maschinelles Lernen Stephan Schwiebert Sommersemester 2009 Sprachliche Informationsverarbeitung Institut für Linguistik Universität zu Köln Maschinelles Lernen Überwachtes Lernen
MehrData Mining und Knowledge Discovery in Databases
Data Mining und Knowledge Discovery in Databases Begriffsabgrenzungen... Phasen der KDD...3 3 Datenvorverarbeitung...4 3. Datenproblematik...4 3. Möglichkeiten der Datenvorverarbeitung...4 4 Data Mining
MehrScheinaufgabe im Fach Web Engineering
Otto-von-Guericke-Universität Magdeburg Fakultät für Informatik Institut für Verteilte Systeme Scheinaufgabe im Fach Web Engineering Thomas Thüm 07. August 2006 Matrikel: 171046 Lehrveranstaltung: Web
Mehr1. Grundlegende Konzepte der Informatik
1. Grundlegende Konzepte der Informatik Inhalt Algorithmen Darstellung von Algorithmen mit Programmablaufplänen Beispiele für Algorithmen Aussagenlogik Zahlensysteme Kodierung Peter Sobe 1 Algorithmen
MehrNutzerhilfe Excel-Produkte
Nutzerhilfe zur Arbeit in Microsoft Excel-basierten Produkten der Statistik der BA am Beispiel der Übergangsanalysen erwerbsfähiger Hilfebedürftiger bzw. Arbeitsloser - Excel-Version 2007 - Seite 1 Impressum
MehrMortalitätsschätzungen in ungleichaltrigen Fichtenwäldern mit Hilfe Neuronaler Netze
Mortalitätsschätzungen in ungleichaltrigen Fichtenwäldern mit Hilfe Neuronaler Netze Hubert Hasenauer 1 und Dieter Merkl 2 Abstract Within forest growth modeling it is understood that individual tree mortality
MehrBestimmung einer ersten
Kapitel 6 Bestimmung einer ersten zulässigen Basislösung Ein Problem, was man für die Durchführung der Simplexmethode lösen muss, ist die Bestimmung einer ersten zulässigen Basislösung. Wie gut das geht,
MehrInformatik II Greedy-Algorithmen
7/7/06 lausthal Erinnerung: Dynamische Programmierung Informatik II reedy-algorithmen. Zachmann lausthal University, ermany zach@in.tu-clausthal.de Zusammenfassung der grundlegenden Idee: Optimale Sub-Struktur:
MehrAdaptive Behavior from Fixed Weight Networks
Adaptive Behavior from Fixed Weight Networks Jonas Zilles, 11. Juni 007 Betreuer: Dr. Mohamed Oubbati 1 Inhaltsverzichnis 1. Abstrakt Seite 3. Einführung Seite 3 3. Problem. Seite 5 3.1. Training. Seite
MehrMethoden der Datenanalyse AI-basierte Decision Support Systeme WS 2006/07
Regression Trees Methoden der Datenanalyse AI-basierte Decision Support Systeme WS 2006/07 Ao.Univ.Prof. Dr. Marcus Hudec marcus.hudec@univie.ac.at Institut für Scientific Computing, Universität Wien 2
MehrCLINICAL DECISION SUPPORT SYSTEMS
CLINICAL DECISION SUPPORT SYSTEMS INHALTSVERZEICHNIS 1/2 Diagnosefindung Prävention Medikamente (Auswahl, Dosierung etc.) INHALTSVERZEICHNIS 2/2 Supervised, Unsupervised Bayes-Netzwerke Neuronale Netze
MehrTag 9: Datenstrukturen
Tag 9: Datenstrukturen A) Datenstrukturen B) Cell Arrays C) Anwendungsbeispiel: Stimulation in einem psychophysikalischen Experiment A) Datenstrukturen Wenn man komplizierte Datenmengen verwalten möchte,
MehrWas bisher geschah. Lernen: überwachtes Lernen. biologisches Vorbild neuronaler Netze: unüberwachtes Lernen
Was bisher geschah Lernen: überwachtes Lernen korrigierendes Lernen bestärkendes Lernen unüberwachtes Lernen biologisches Vorbild neuronaler Netze: Neuron (Zellkörper, Synapsen, Axon) und Funktionsweise
MehrBuddy - Algorithmus Handbuch für Endnutzer Stand 02.08.2005
Buddy - Algorithmus Handbuch für Endnutzer Stand 02.08.2005 1. Vorwort 1 2. Systemvoraussetzungen 2 3. Programmarten 2 4. Sicherheit der Endnutzer 2 5. Handhabung 3 5.1 allgemeine Programmübersicht 3 5.2
MehrLineare Algebra und Lösung linearer zeitinvarianter Differentialgleichungssysteme
Übung Lineare Algebra und Lösung linearer zeitinvarianter Differentialgleichungssysteme Diese Übung beschäftigt sich mit Grundbegriffen der linearen Algebra. Im Speziellen werden lineare Abbildungen, sowie
MehrEine Einführung in C-Funktionen
Eine Einführung in C-Funktionen CGK-Proseminar 2014 Philip Gawehn 04.07.2014, Hamburg Inhaltsverzeichnis 1 Einleitung 2 2 Grundlagen 2 2.1 Der Aufbau einer Funktion....................... 2 2.2 Schlüsselwörter.............................
MehrNP-Vollständigkeit. Krautgartner Martin (9920077) Markgraf Waldomir (9921041) Rattensberger Martin (9921846) Rieder Caroline (0020984)
NP-Vollständigkeit Krautgartner Martin (9920077) Markgraf Waldomir (9921041) Rattensberger Martin (9921846) Rieder Caroline (0020984) 0 Übersicht: Einleitung Einteilung in Klassen Die Klassen P und NP
MehrÜbungen zur Vorlesung Grundlagen der Bilderzeugung und Bildanalyse (Mustererkennung) WS 04/05. Musterlösung 9
ALBERT-LUDWIGS-UNIVERSITÄT FREIBURG INSTITUT FÜR INFORMATIK Lehrstuhl für Mustererkennung und Bildverarbeitung Prof. Dr.-Ing. Hans Burkhardt Georges-Köhler-Allee Geb. 52, Zi -29 D-79 Freiburg Tel. 76-23
MehrInformationstheorethisches Theorem nach Shannon
Informationstheorethisches Theorem nach Shannon Beispiel zum Codierungsaufwand - Wiederholung: Informationstheorethisches Modell (Shannon) Sei x eine Aussage. Sei M ein Modell Wieviele Bits sind aussreichend,
MehrArbeitsgruppe Neuroinformatik
Arbeitsgruppe Neuroinformatik Prof. Dr. Martin Riedmiller Martin.Riedmiller@uos.de Martin Riedmiller, Univ. Osnabrück, Martin.Riedmiller@uos.de Arbeitsgruppe Neuroinformatik 1 Leitmotiv Zukünftige Computerprogramme
MehrSeminar Textmining SS 2015 Grundlagen des Maschinellen Lernens
Seminar Textmining SS 2015 Grundlagen des Maschinellen Lernens Martin Hacker Richard Schaller Künstliche Intelligenz Department Informatik FAU Erlangen-Nürnberg 17.04.2015 Entscheidungsprobleme beim Textmining
MehrKünstliche neuronale Netze
Lösungen zum Buch: Wissensverarbeitung Kapitel 10 Künstliche neuronale Netze Lösung 10.1 (Maschinelles Lernen) a) Ein Computerprogramm lernt aus einer Erfahrung E bezüglich einer Aufgabenklasse T und einer
MehrMonte-Carlo-Simulation
Modellierung und Simulation Monte-Carlo-Simulation Universität Hamburg Johannes Schlundt 7. Januar 2013 Monte-Carlo-Simulation Johannes S. 1/31 Inhalt Motivation Geschichtliche Entwicklung Monte-Carlo-Simulation
MehrModerne Methoden der KI: Maschinelles Lernen
Moderne Methoden der KI: Maschinelles Lernen Prof. Dr.Hans-Dieter Burkhard Vorlesung Entscheidungsbäume Darstellung durch Regeln ID3 / C4.5 Bevorzugung kleiner Hypothesen Overfitting Entscheidungsbäume
MehrDPF Dynamic Partial distance Function
DPF Dynamic Partial distance Function Vorgelegt von Sebastian Loose (MatrikelNR.: 169172), Computervisualistikstudent im 4. Semester. Hausarbeit zum Papier DPF A Perceptual Distance Function for Image
MehrErfolg und Vermögensrückgänge angefertigt im Rahmen der Lehrveranstaltung Nachrichtentechnik von: Eric Hansen, eric-hansen@gmx.de am: 07.09.
Abstract zum Thema Handelssysteme Erfolg und Vermögensrückgänge angefertigt im Rahmen der Lehrveranstaltung Nachrichtentechnik von: Eric Hansen, eric-hansen@gmx.de am: 07.09.01 Einleitung: Handelssysteme
MehrClusteranalyse und Genetische Algorithmen
Duale Hochschule Baden-Württemberg Standort Stuttgart, Campus Horb Florianstraße 15 72160 Horb am Neckar TIT 2008/NS 6. Semester Data-Mining Prof. Peter Schubert Data-Mining Algorithmen Clusteranalyse
MehrOPERATIONS-RESEARCH (OR)
OPERATIONS-RESEARCH (OR) Man versteht darunter die Anwendung mathematischer Methoden und Modelle zur Vorbereitung optimaler Entscheidungen bei einem Unternehmen. Andere deutsche und englische Bezeichnungen:
MehrMaschinelles Lernen und Data Mining: Methoden und Anwendungen
Maschinelles Lernen und Data Mining: Methoden und Anwendungen Eyke Hüllermeier Knowledge Engineering & Bioinformatics Fachbereich Mathematik und Informatik GFFT-Jahrestagung, Wesel, 17. Januar 2008 Knowledge
MehrKünstliche Neuronale Netze und Data Mining
Künstliche Neuronale Netze und Data Mining Catherine Janson, icasus GmbH Heidelberg Abstract Der Begriff "künstliche Neuronale Netze" fasst Methoden der Informationstechnik zusammen, deren Entwicklung
Mehrhttp://paeda-logics.ch/newsletter/archive/view/listid-1-mailinglist/mail...
Sehr geehrte Damen und Herren Sie erhalten hier den 2. Newsletter von Päda.logics! Er enthält wieder einiges an Informationen über Ausbildungsthemen, Entwicklungen im pädagogischen Frühbereich und in der
MehrClustering Seminar für Statistik
Clustering Markus Kalisch 03.12.2014 1 Ziel von Clustering Finde Gruppen, sodas Elemente innerhalb der gleichen Gruppe möglichst ähnlich sind und Elemente von verschiedenen Gruppen möglichst verschieden
MehrEin (7,4)-Code-Beispiel
Ein (7,4)-Code-Beispiel Generator-Polynom: P(X) = X 3 + X 2 + 1 Bemerkung: Es ist 7 = 2^3-1, also nach voriger Überlegung sind alle 1-Bit-Fehler korrigierbar Beachte auch d min der Codewörter ist 3, also
MehrNetzeffekte. Seminar im WS 10/11. Kapitel 17 aus: 26.01.2011 Netzeffekte Mathias Rhiel 1
Netzeffekte Seminar im WS 10/11 Kapitel 17 aus: 26.01.2011 Netzeffekte Mathias Rhiel 1 Netzeffekte sind positive externe Effekte Definition: Externalität Eine Externalität ist irgendeine Situation in der
Mehr8.2.2.3 Übung - Arbeiten mit Android
5.0 8.2.2.3 Übung - Arbeiten mit Android Einführung Drucken Sie die Übung aus und führen Sie sie Übungen durch. In dieser Übung werden Sie Apps und Widgets auf dem Home-Bildschirm platzieren und Sie zwischen
MehrScope-Camp Hamburg 27. Mai 2008. learning to change changing to learn
Scope-Camp Hamburg 27. Mai 2008 learning to change changing to learn Scope-Camp Hamburg 27. Mai 2008 Angelehnt an die Idee eines Barcamps. Der Unterschied zur herkömmlichen Konferenz besteht darin, dass
MehrKompetitive Analysen von Online-Algorithmen
Kompetitive Analysen von Online-Algorithmen jonas echterhoff 16. Juli 004 1 Einführung 1.1 Terminologie Online-Algorithmen sind Algorithmen, die Probleme lösen sollen, bei denen Entscheidungen getroffen
MehrClustering von Dokumenten (k-means, HCL)
Clustering von Dokumenten (k-means, HCL) Jonas Wolz Universität Ulm Zusammenfassung Ein Überblick über das Clustering von Dokumenten. Außerdem werden zwei dafür verwendete Algorithmen vorgestellt (k-means
Mehr4 Produktspezifische Ausfallwahrscheinlichkeit und Ausbeute
4.1 Grundlagen 4 Produktspezifische Ausfallwahrscheinlichkeit und Ausbeute 4.1 Grundlagen In den bisherigen Ausführungen wurden die Grundlagen der Ausbeuteberechnung behandelt. So wurde bereits im Abschnitt
MehrMusterlösung Tutorium 3 zur Vorlesung
PROF. DR.MICHAEL FUNKE DIPL.VW. KRISTIN GÖBEL Musterlösung Tutorium 3 zur Vorlesung Makroökonomik (WS 2010/11) Aufgabe 1: Das IS-LM-Modell in einer geschlossenen Volkswirtschaft a) Zeigen Sie unter Verwendung
Mehr2 Darstellung von Zahlen und Zeichen
2.1 Analoge und digitale Darstellung von Werten 79 2 Darstellung von Zahlen und Zeichen Computer- bzw. Prozessorsysteme führen Transformationen durch, die Eingaben X auf Ausgaben Y abbilden, d.h. Y = f
MehrWas genau ist eigentlich Coaching:
Was genau ist eigentlich Coaching: 2 Eine Begriffsbestimmung 2.1 Ursprung und Entwicklung Coaching hat Tradition. So gab es im angloamerikanischen Raum bereits im 19. Jahrhundert private Tutoren an Universitäten,
MehrWiederholung: Informationssicherheit Ziele
Wiederholung: Informationssicherheit Ziele Vertraulichkeit: Schutz der Information vor unberechtigtem Zugriff bei Speicherung, Verarbeitung und Übertragung Integrität: Garantie der Korrektheit (unverändert,
MehrSchätzen der Fehlerzahl. in Software-Dokumenten. Dr. Frank Padberg Universität Karlsruhe Mai 2003
Schätzen der Fehlerzahl in Software-Dokumenten Dr. Frank Padberg Universität Karlsruhe Mai 2003 Motivation beim Testen oder bei Inspektionen werden nicht alle Fehler gefunden Anzahl der unentdeckten Fehler
Mehr