Machine Learning Tutorial

Transkript

1 Machine Learning Tutorial a very fast WEKA Introduction busche@ismll.uni-hildesheim.de

2 Hauptbestandteile von WEKA: Instances Instance Attribute FastVector Classifier Evaluation (Filter)

3 Instances (Dataset) besteht aus mehreren Instanzen (Instance, nächste Folie) verschiedene Instanzen können unterschiedliche Gewichte bekommen Instanzen sind geordnet (!!!) stratified tests (stratify(int numfolds)) cross validation experiments traincv(int numfolds, int foldnumber) Zugriff auf Metadaten des Datensatzes median, mean, variance, min, max, etc. Ist initialisiert auf ein (geschlossenes) Set von Attributen

4 Instances (Dataset) Erzeugen aus ARFF-Dateien java.io.reader auf Datei an Konstruktor übergeben weka.core.converter.loader verwenden aus Datenbanken weka.core.converter.databaseloader weka.experiment.instancequery mit Hilfe eigenen Quelltextes etc

5 Instances (Dataset) Speichern weka.core.converter.saver verwenden ARFF Datenbank CSV oder aber für ARFF einfach FileWriter fw = new FileWriter(target); fw.write(instances.tostring()); fw.close();

6 Instances (Dataset) Aber: kein direktes Zusammenführen oder Teilen von Instances-Objekten Hinzufügen von Attributen funktioniert nicht immer (pers. Erfahrung ohne Beispiel)

7 Instance (eine Instanz) Klasse Instance wird erzeugt nach einer gewissen Anzahl an Attributen, deren Semantik sich nicht direkt aus der Instanz erschließt. warum? Instance.setDataSet(Instances inst) optional! kann auch Fehler erzeugen (wenn z. B. Initialisierungsreihenfolge nicht eingehalten wird)! Methoden wie attribute(int index):attribute schlagen fehl, wenn kein DS gesetzt ist, bzw. Instance noch keinem DS hinzugefügt wurde

8 Attribute (kurzer Einschub) Eine Klasse für alle Variablentypen numeric nominal (fixed set of predefined values) string (growable set of values) date relational 12 Konstruktoren, die je nach Parameter einen der genannten Variablentypen erzeugen string-typ in der Praxis problematisch alle Typen sind intern numerisch (nom. Attribute verweisen auf Indexposition des Sets)

9 FastVector (auch ein kurzer Einschub) Funktionsweise wie Vector aus dem Collections Framework aber: keine Synchronisation (-> schneller) nicht getypt (-> casting erforderlich) (auch nicht in V3.6) implementiert nicht java.util.collection wird u. A. benutzt, um nom. Attribute zu erzeugen Achtung: kein Hinzufügen von Werten möglich!!

10 Instance (eine Instanz) inst.setvalue(attribute/int attr, String/double value) setzt einen Wert String value -> nomineller Wert wird in index position (- > double) aufgelöst Fehler, wenn String nicht in dem FastVector existiert, der für die Erzeugung des Attributs benutzt wurde double Wert wird an Indexposition des Attributs geschrieben setmissing(attribute/int index)

11 Classifier -> Cursor auf Classifier und F4 in Eclipse

12 Classifier buildclassifier(instances inst) initialisiert einen Klassifikator für die gegebenen Instanzen (alle!) classifyinstance(instance i) gibt double für predizierten Wert zurück index-position für nominelles Attribut echter numerischer Wert für num. Attribut vor Training: generisches Setzen von Parametern mittels setoptions(string[] options)

13 Classifier (Beispiel Knn) weka.classifiers.lazy.ibk

14 Classifier (Beispiel Knn) Instances wekainstances = null; Classifier classifier = new IBk(10); try { classifier.setoptions(new String[] {"-K", "3"}); classifier.buildclassifier(wekainstances); } catch (Exception e) { }

15 Evaluation z. B. für 10-fold cv weka.classifiers.evaluation Instances wekainstances = load "iris.arff"; Evaluation eval = new Evaluation(wekaInstances); Classifier classifier = new IBk(3); eval.crossvalidatemodel(classifier, wekainstances, 10, new Random()); System.out.println(eval.toSummaryString());

16 Evaluation === Confusion Matrix === a b c <-- classified as a = Iris-setosa b = Iris-versicolor c = Iris-virginica Correctly Classified Instances % Incorrectly Classified Instances % Kappa statistic 0.96 Mean absolute error Root mean squared error Relative absolute error % Root relative squared error % Total Number of Instances 150 Precision? Recall? Accuracy? F1-Measure?

17 Evaluation Jedes (Standard-)Fehlermaß hat eigene Methoden: fmeasure(int classindex) recall(int classindex) auch: numtruenegatives(int classindex) numtruepositives(int classindex)

18 Alternativen zu WEKA? MinorThird Java Machine Learning Library (mit Anbindung an WEKA) Sogar eine JSR: JSR 73: Data Mining API