Maschinelles Lernen mit RapidMiner. Fakultät Informatik Lehrstuhl für Künstliche Intelligenz

Größe: px

Ab Seite anzeigen:

Download "Maschinelles Lernen mit RapidMiner. Fakultät Informatik Lehrstuhl für Künstliche Intelligenz"

Emilia Solberg
vor 7 Jahren
Abrufe

1 Maschinelles Lernen mit RapidMiner Fakultät Informatik

2 Inhalt Motivation / Ziel Konzept von RapidMiner Beispiele Details, Implementierung ExampleSet, Attribute Übungen

3 Motivation Abstrakte maschinelle Lernaufgaben aus der Vorlesung Clustering Klassifikation/Regression Funktionslernen Darüber hinaus Merkmalsextraktion, -generierung, - selektion Zeitreihenanalyse, Text-Mining

4 Motivation In der Praxis leider häufig: Jeder implementiert seinen Algorithmus für seine Anwendung neu Jede Anwendung setzt auf unterschiedliche Datenformate Modell-/Verfahrensselektion durch Ausprobieren auf den eigenen Daten

5 Motivation Dabei häufig viele Schritte gleich ML-Experiment besteht aus unterschiedlichen Teilaufgaben Datenvorverarbeitung spielt wichtige Rolle für Lernaufgaben/-algorithmen Evaluationen erfordern flexible Experimentierumgebung Ggf. periodische Wiederholungen von Analysen notwendig Laden der Daten Transformieren und Lernen Evaluieren Darstellung der Ergebnisse

6 Motivation Dabei häufig viele Schritte gleich ML-Experiment besteht aus unterschiedlichen Teilaufgaben Datenvorverarbeitung spielt wichtige Rolle für Lernaufgaben/-algorithmen Evaluationen erfordern flexible Experimentierumgebung Ggf. periodische Wiederholungen von Analysen notwendig Laden der Daten Transformieren und Lernen Evaluieren Darstellung der Ergebnisse

7 Ziele (RapidMiner) Abstraktion der ML-Experimente Einfache, wiederverwendbare Beschreibung von Experimenten Austauschbarkeit von Lern- Verfahren, insbesondere: Durchführen von Vergleichen unterschiedlicher Verfahren Kombination/Verschachtelung von Verfahren

8 RapidMiner Daten lesen Modellierung von ML-Experimenten als Abfolge von Operatoren (Ketten) Verschachtelung von Operatoren Transparente/effiziente Datenhaltung Leichte Erweiterbarkeit durch Plugins GUI-Modus/Batch-Modus Einbindung externer Programme (z.b. Weka, SVM-Imlementierungen) Beispiele (ExampleSet) Lernen Modell Modell anwenden/ evaluieren

9 RapidMiner Daten lesen Modellierung von ML-Experimenten als Abfolge von Operatoren (Ketten) Verschachtelung von Operatoren Transparente/effiziente Datenhaltung Leichte Erweiterbarkeit durch Plugins GUI-Modus/Batch-Modus Einbindung externer Programme (z.b. Weka, SVM-Imlementierungen) Beispiele (ExampleSet) Lernen Modell Modell anwenden/ evaluieren Operatoren

10 RapidMiner Daten lesen Modellierung von ML-Experimenten als Abfolge von Operatoren (Ketten) Verschachtelung von Operatoren Transparente/effiziente Datenhaltung Leichte Erweiterbarkeit durch Plugins GUI-Modus/Batch-Modus Einbindung externer Programme (z.b. Weka, SVM-Imlementierungen) Beispiele (ExampleSet) Lernen Modell Modell anwenden/ evaluieren Objekte (IOObject)

11 Integrierte Operatoren DB Source SPSS Source Excel Source Operatoren zur Ein-/Ausgabe Datenvorverarbeitung Zahlreiche Lernverfahren (Weka-Lerner, Clustering,...) Performanzbewertung von Lernverfahren Verwaltung/Ausgabe von Lernergebnissen KMeans ID3 FPGrowth Cluster Model ExampleSet Tree-Model Frequent Sets Visualisierung Evaluierung

12 Fakultät Informatik Information Open-Source (GPL-Lizenz) Weltweite Verbreitung (Anwender / Wissenschaftler in über 30 Ländern) Dokumentation/Download/uvm. unter Erfolgreiche Anwendung auf unterschiedliche Lernaufgaben

14 Aufbau/ Ablauf

15 Parameter Aufbau/ Ablauf

16 Parameter Aufbau/ Ablauf Logfenster

17 Operatorbaum Operatorbaum ist die zentrale Darstellung eines Experimentes Operatoren sind in einer Baumstruktur aufgebaut Einige Operatoren erlauben innere Operatoren Abarbeitung der Operatoren in DFS Reihenfolge

18 Parameter-Ansicht Viele Operatoren benötigen eine Reihe von zusätzlichen Parametern Die Parameter-Ansicht zeigt für den aktuell ausgewählten Operator die verfügbaren Parameter an Einige Parameter sind nur im Experten-Modus sichtbar

19 XML-Sicht Jedes Experiment ist in XML beschrieben Über den XML-Reiter kann das Experiment in XML angezeigt und verändert werden

20 Operator-Menü Eine der Stärken von RapidMiner ist die Vielzahl unterschiedlicher Operatoren Der Reiter New Operator erlaubt das Hinzufügen neuer Operatoren zum Experiment per DnD Hinweis: Über das sehr praktische Suchfeld lassen sich Operatoren schneller finden!

21 Log-Fenster Im Log-Fenster werden allerhand Informationen angezeigt: Über den gerade laufenden Operator Ausgaben durch den Operator

22 RapidMiner Kurze Demo

23 Details Operatoren erhalten IOObjects und liefern ggf. mehrere IOObjects zurück Operatoren erweitern die Klasse Operator IOObject ist eine abstrakte Klasse, von der z.b. ExampleSet, Model, usw. erben IOObject[] Operator Parameter IOObject[]

24 Details Operatoren erhalten IOObjects und liefern ggf. mehrere IOObjects zurück Operatoren erweitern die Klasse Operator IOObject ist eine abstrakte Klasse, von der z.b. ExampleSet, Model, usw. erben Beispiel für einen Lernalgorithmus: Operator, der ein ExampleSet Objekt erhält und ein Model Objekt erzeugt IOObject[]{ ExampleSet } Lernalgorithmus XY Parameter IOObject[]{ ExampleSet, Model}

25 Details Objekte, die zwischen Operatoren ausgetauscht werden: ExampleSet (eine Menge von Daten) Model (gelerntes Model) PerformanceVector (Menge von Leistungsmaßen) Merkmalsgewichte... IOObject[] Operator IOObject[]

26 Details Attribute X1,...,Xp Die wichtigsten Klassen sind Example, ExampleSet Attribute, Attributes Jedes Attribut referenziert eine Spalte bzw. Eigenschaft der Daten Jedes Example entspricht einer Zeile, also einem Beispiel unserer Daten ExampleSet kann man sich vorstellen als (N x p)-matrix Beispiele Je Beispiel eine Zeile Spezielle Attribute, die von Lernalgorithmen verwendet, z.b. Label Y

27 Attribute Temp Outlook Play (Label) 85 sunny no Attribute legen den Wertebereich einer Spalte fest Neben einfachen double-werten sind nominale, Integer oder auch Datums- Attribute möglich Die Attribute teilen sich in reguläre und spezielle Attribute auf Regulär: Daten-Werte (in der Vorlesung mit X bezeichnet) 80 sunny no 83 overcast yes 70 rain yes 68 rain yes Att1 Att2 Cluster-ID 0,35 4,87 1 0,29 9,27 2 0,47 2,31 0 0,98 7,53 2 0,56 6,82 1 Speziell: z.b. das Label -Attribut

28 ExampleSet ExampleSet ExampleSet stellt eine Menge von Beispielen über diesen Attributen dar Implementiert u.a. Iterable<Example> : RapidMiner bietet Darstellung von ExampleSets als Tabelle ExampleSet examples =... for( Example ex : examples ){... }

29 Example Example entspricht einem Beispiel, d.h. einer Menge von Werten für Attribute Beispiele werden intern durch eine Menge von double Werten repräsentiert Example ex =... for(attribute a : ex.getattributes()){ double value = ex.getvalue( a ); }

30 Example Example entspricht einem Beispiel, d.h. einer Menge von Werten für Attribute Beispiele werden intern durch eine Menge von double Werten repräsentiert Example ex =... for(attribute a : ex.getattributes()){ double value = ex.getvalue( a ); } Iteration über die regulären Attribute!

31 Attribute Nominale Attribute enthalten implizit ein Mapping double -> nominaler Wert Example ex =... Attribute a =... double value = ex.getvalue( a ); if( a.isnominal() ){ } String s = ex.getnominalvalue( value );

32 Übungen Über subversion ist der Lesezugriff auf ein Plugin-Projekt möglich mlv-uebung ist ein Java-Eclipse Projekt, welches ein eigenständiges RapidMiner-Plugin darstellt Das Plugin wird z.b. mit dem Ant-Tool erstellt: ant plugin Software

33 Übungen Das Projekt mlv-uebung enthält einige Basis-Klassen (com.rapidminer.plugin) Die zu implementierenden Übungen sind im Paket com.rapidminer.exercises Die Lösungen können im Ordner solutions innerhalb des Projektes erstellt werden Software Mit ant plugin läßt sich das Plugin erstellen

34 Übungen Mit Hilfe von Ant läßt sich das Plugin erstellen Dazu im Verzeichnis mlv-uebung den Befehl ant plugin aufrufen Das entstehende Jar-Archiv ist das Plugin mit Eurer Lösung Nach Kopie in ${RM}/lib/plugins/ sind die Operatoren aus dem Plugin beim nächsten Start verfügbar Software

35 Übungen Ausgabe der Übungsblätter in der Vorlesung Abgabe per Mail bis Dienstag danach Implementationsaufgaben: Nach Möglichkeit in einer Datei (PDF) + Quellen (.java-dateien) Ansonsten: RM-Experiment (XML) + Ausgabe Gruppenabgaben (bis 4 Studierende) erwünscht

36 Übungen Fragen zu den Übungen, Eclipse/ Subversion oder ähnliches? Sprechstunde: Montags 14 Uhr in GB IV, Raum 119 Per Telefon: Per Mail:

Ähnliche Dokumente

Maschinelles Lernen mit RapidMiner

Inhalt Maschinelles Lernen mit RapidMiner Motivation / Ziel Konzept von RapidMiner Beispiele Details, Implementierung ExampleSet, Attribute Motivation Abstrakte maschinelle Lernaufgaben aus der Vorlesung