Praktischer Teil des Seminars. Gruppe C Sebastian Raßmann Christian Michele

Transkript

1 Praktischer Teil des Seminars Gruppe C Sebastian Raßmann Christian Michele

2 Aufgabenstellung 6 Aufgaben: DTF vs. DTF max. 5 DL vs. CORI 5 DTF: BM 25 vs. TF.IDF CORI: nur BM25 nur DTF: c=1 vs. c=0.5 nur DTF: P0=1

3 Lösung der 6 Aufgaben Starten der Versuchsreihe über ein Shell Skript Verschiedene Parameter erzeugen die gewünschten Testläufe: public ComputeForTopic(double c, double P0, String usedstemen, int flagdtf) Dadurch ist war es möglich die gesamte Aufgabenreihe zu automatisieren

4 Lösung der 6 Aufgaben /* Args[0] = c Parameter * Args[1] = p0 Parameter * Args[2] = stemen * Args[3] = maxnumdtf(5),maxnumdtf(10), maxnumdtf() */ new ComputeForTopic( Double.parseDouble(args[0]), Double.parseDouble(args[1]), args[2], Integer.parseInt(args[3])); }

5 Aufgabenstellung Vorbereitung einmalig: Indexierung der 24 Kollektionen Ressource Descriptions erstellen Für 100 Topics: Kosten berechnen Ressource Selection Retrieval

6 Allgemeines zu Anfang Java: Über 100 Klassen im Package Sehr unübersichtlich (Navigation im fremden Code) Benötigte Klassen und Methoden nicht ausreichend dokumentiert Aufgabenstellung Es wurde nicht ausreichend klar, was getan werden musste

7 Allgemeines zu Anfang Testlauf über 24 Collections mit jeweils 100 Topics Lösung in Java: Collections: ap88_1a ap88_8c mit jeweils Topic: for(int i=1; i<9; i++){ for(int j=0; j<3; j++){ String abc = ""; if(j==0){abc="a";} if(j==1){abc="b";} if(j==2){abc="c";} String coll= ap88_ +i+abc for (int h = 51; h<151; h++){ String collnr=h; if (h<100){ collnr = 0 +h;}

8 Indexierung Aufgabenstellung: Veränderung der Klasse IndexCollection.java Aufteilung der Dokumente in Doc ID Attribute Name (hier: Text ) Attribut Wert (hier: Textinhalt) Lösung: für jede Collection über einen Tokenizer Aufteilung in die geforderten Parameter CODE: StringTokenizer st = new StringTokenizer(content, "<>" ); String[] tokens = new String[3]; int i = 0; tokens[0] = ""; tokens[2] = ""; while (st.hasmoretokens()){ tokens[i] = st.nexttoken(); i++; } ir.addtoindex(tokens[0]); ir.addtoindex(tokens[0],"text",tokens[2]);

9 Indexierung aufgetretene Fehler: nach Ablauf der Experimente und unklaren Ergebnissen durch Nachfrage ergeben, dass bei der Indexierung ein Fehler aufgetreten ist: fehlende Gewichtung bei der Indexierung

10 TF IDF Aufgabenstellung: TF IDF implementieren Lösung: in der Klasse TextExpDT.java: If Bedingung mit STEMEN_TFIDF erweitert um eine neue Bedingung: rule = Parser.parseRule("maxtf(D,M) :- max(m,tf,{ tf(d,~,tf) })."); Hier musste das TF im Code durch eine Variable ersetzt werden, die dann das Präfix enthält auch das MAXTF musste durch eine entsprechende Variable ersetzt werden. Der restliche Code konnte von STEMEN_BM25 kopiert werden.

11 TF IDF aufgetretene Fehler zuerst haben wir die TFIDF und MAXTF nicht als Variable eingefügt und folgenden Fehler erhalten: java.sql.sqlexception: General error message from server: "Table 'exp_c.tf' doesn't exist" at com.mysql.jdbc.mysqlio.checkerrorpacket(mysqlio.java:1997) at com.mysql.jdbc.mysqlio.sendcommand(mysqlio.java:1167) at com.mysql.jdbc.mysqlio.sqlquerydirect(mysqlio.java:1278) at com.mysql.jdbc.mysqlio.sqlquery(mysqlio.java:1224) at com.mysql.jdbc.connection.execsql(connection.java:2248) at com.mysql.jdbc.connection.execsql(connection.java:2196) at com.mysql.jdbc.statement.executeupdate(statement.java:1259) at com.mysql.jdbc.statement.executeupdate(statement.java:1205)

12 Starten der Indexierung - Probleme Starten der Indexierung über Putty. Starten der Indexierung auf dem Unix Rechnerpool. Probleme: Eine Netzwerkverbindung muss über die gesamte Zeit der Indexierung vorhanden sein da Putty die Session schließt und alle Jobs beendet. (Kein Test vom Laptop möglich -> Zeitaufwand!) Der Unix Rechnerpool ist schwer zu durchschauen Es ist möglich sich mit royanne auch auf z.b charlotte Server einzulogen. Es ist schwer zu erkennen, dass auf den Workstations ein Starten nicht möglich ist: Fehlermeldung: Tabellen werden leer erzeugt. Falsch einloggen: Fehler: die TMP Dateien werden nicht erzeugt.

13 Retrieval Aufgabenstellung: Kosten berechnen Ressource Selection Retrieval Lösung Umschreiben der Klasse ComputeForTopic.java

14 Kosten berechnen Implementieren von ComputeCosts ursprünglicher Code von Testcollection auf die 24 Collections angepasst PIRE Object für aktuelle Collection erzeugen in HashMap die Zuordnung von PIRE auf DL speichern dann Parameter p 0 und c speichern für jede der 150 Topics nun die Kosten berechnen

15 PIRE pire = ExpUtils.createPIRE1(coll); DTFPDatalogConfig config = new DTFPDatalogDefaultConfig("exp_", pire.getschema(), ExpUtils.getDB()); DTFPDatalogRDStorage storage = new DTFPDatalogRDStorage(config); DTFCostEstimator costestimator = new DTFRPCostEstimator(storage); // DL Objekt von aktueller Kollektion betrachten DL dl = new GenericDL(coll); dls.add(dl); dlaufpire.put(dl,pire); // Parameter setzen storage.deleteparameters(dl,"parameter('c1','_')."); storage.deleteparameters(dl,"parameter('p0','_')."); storage.storeparameters(dl,"parameter('c1'," + c + ")."); storage.storeparameters(dl,"parameter('p0'," + P0 + ")."); for(int k=51; k<=150; k++){ String topicname = k+""; if(k<100){topicname="0"+topicname;} String queryid = topicname; WSumQuery query = Queries.getWSumQuery(queryID, "text", usedstemen); // Kosten berechnen Map costs = costestimator.estimatecosts(dls, query);

16 Ressource Selection Implementieren von ComputeRS Ursprünglicher Code von Testcollection auf die 24 Collections angepasst FlagDTF: Flag für die variable Gestaltung der MaxNumDLDTFRS(*) auch hier für jede der 150 Topics // Resource selection RS rs = null; switch(flagdtf){ case 1: rs = new MaxNumDLDTFRS(5);break; case 2: rs = new MaxNumDLDTFRS(10);break; default: rs = new DTFRS();break; } PropertyMap cp = new HashPropertyMap(); cp.setdouble("rs.costs.relevance", 1); ResourceSelection sel = rs.computeselection(dls, costs, 300, cp);

17 Retrieval Implementieren von PerformRetrieval angepasst an die 24 Collections und für jede der 150 Topics wird der folgende Code ausgeführt die Schleife durchläuft die in der Ressource Selection gefundenen DL Objekte und ermittelt anhand der Hash Map die entsprechenden PIRE Objekte es wird das Ergebnis des Queries in einer Datei gespeichert for (Iterator iter = sel.keys(); iter.hasnext();) { dl = (DL) iter.next(); int numdocs = sel.getnumdocs(dl); query.setnumdocs(numdocs); PIRE ir = (PIRE)dlAufPire.get(dl); List result = ir.getresult(query); // TODO: ausgabedatei individuell gemacht TRECResult.writeResult( new File("result_c_"+c+"_p0_"+P0+"_"+topicName+"_"+usedStemen), queryid, result, true); }

18 Probleme Beim Erzeugen der ComputeForTopic.java sind folgende Probleme aufgetreten: Das erzeugte PIRE Objekt wird zwar in einer Hash Map gespeichert, aber beim Kosten berechnen wird nur jeweils ein PIRE Objekt verwendet; für eine Liste von DL Objekten Sinn?? Sinnvolles Speichern der Datei? (viele Schleifendurchläufe notwendig)

19 Weitere Probleme Weitere Probleme hatten wir leider mit der Linux Umgebung Befehle der Shell sind/waren uns unbekannt Zusammenhang Java SQL Datenbank Prozess / Java Prog. (nicht) erfolgreich? Hilfe von Kollegen mit Shell Skript, dadurch aber neu Probleme (Rechte, Fehlermeldungen) Speicherort Datenmenge (140 MB und das nur für einen Aufgabenteil)