Language Model basierte Suchterm Klassifizierung. Marcus Fabarius Kamila Kedzior Philipp Liepert Rim Sahnoun Enterprise Data Management SoSe 2014

Transkript

1 Language Model basierte Suchterm Klassifizierung Marcus Fabarius Kamila Kedzior Philipp Liepert Rim Sahnoun Enterprise Data Management SoSe 2014

2 Problem Die Intention des Nutzers ist nicht immer eindeutig Mit freundlicher Genehmigung von Zalando Marcus Fabarius, Kamila Kedzior, Philipp Liepert, Rim Sahnoun 1

3 Ansatz N-gram Language Model Marcus Fabarius, Kamila Kedzior, Philipp Liepert, Rim Sahnoun 2

4 Ansatz Article.json { "responseheader":{ "status":0, "QTime":11}, "response":{"numfound":258751,"start":0,"docs":[ { "sku":"hu722i ", "name_de":"sinadalio - Strickpullover - medium brown", "brand":"hugo", "brand_code":"hu7", "color_key":"color.702", "color":"rosa", "color_family_key":"color_family.700", "color_family":"pink", "brandfamily":"boss", "brandfamily_code":"boss", "category":["pullover","herren", "premium-herrenbekleidung-strickpullover-sale", "alle","premium-herrenbekleidung-sale","outlet-herren", "premium-herrenbekleidung-strick-sweat-sale", "herrenbekleidung-strickpullover-sale", "katalog","outlet-herrenbekleidung", "outlet-bekleidung-herrenbekleidung-pullover-sweater", "outlet"], "tag_translated":[ "Strickpullover"]}, {... 1 und 2 3 bis 5 * Indexierungs-Zeit Query-Zeit Fokus lag auf der Aufbereitung der Eingangsdaten. Dies macht ca. 90% der Programmlogik aus. 1 rosa [color] pullover [category] nike [brand] schuhe [category] 3 rosa [brand] 2 * Lucene FreeTextSuggester pullover [category] rosa [color] schuhe [category] nike [brand] pullover [category] rosa pullover rosa [color] pullover [category] rosa [brand] pullover [category] Klassifiziertes Ergebnis: color: rosa category: pullover } 80% brand: category: 4 5 rosa pullover } 20% Marcus Fabarius, Kamila Kedzior, Philipp Liepert, Rim Sahnoun 3

5 Ergebnisse: Mehr Features besseres Ergebnis Precision / Recall Precision Alle Optimierungen zusammen: Recall: 59/60 = 98% > Precision: 59/74 = 80% > Recall A: ohne Optimierungen B: mit Sonderzeichen C: zusätzlich Multi Words (Marken) D: zusätzlich Synonyme (Farbe) E: zusätzlich Permutation F: optimierte Permutation Marcus Fabarius, Kamila Kedzior, Philipp Liepert, Rim Sahnoun 4

6 Ergebnisse: Mehr Features mehr Aufwand Zeitaufwand zur Erzeugung des Suggesters Zeit in ms A bis D: Ein bis Vier Attribute. E: Optimierte Attributenliste (mehrere Attributenlisten in dreier und zweier Kombinationen) Testumgebung: Anzahl der Attribute Java VM: 64 bit RAM: 4 GB DDR3 CPU: Intel Core i7-4500u 1.8GHz, Disk: Samsung SSD 840 EVO 250GB Marcus Fabarius, Kamila Kedzior, Philipp Liepert, Rim Sahnoun 5

7 Ergebnisse: Kurze Antwortzeit Antwortzeit des Suggesters Zeit in ms Anzahl der Suchterme A bis C: Länge der Suchphrase Testumgebung: Java VM: 64 bit RAM: 4 GB DDR3 CPU: Intel Core i7-4500u 1.8GHz, Disk: Samsung SSD 840 EVO 250GB Marcus Fabarius, Kamila Kedzior, Philipp Liepert, Rim Sahnoun 6

8 Iterationsschritte PDCA - plan-do-check-act Plannen (Entwurf der Umsetzung des Features ausarbeiten) Handeln (Feature optimieren / Feature in Produkt integriegrieren) Prüfen (Ergebniss gegen Goldstandard prüfen) Ausführen (Features implementieren) 1. Permutationen 2. Synonyme 3. Multiterm Wörter 4. Format der Eingabedaten Marcus Fabarius, Kamila Kedzior, Philipp Liepert, Rim Sahnoun 7

9 Schwächen Auf nur einen Attributtyp angewandte Features: - Synonyme nur für Farben - Multiterm Wörter nur für Marken - Sonderzeichenbehandlung nur für Kategorien Nicht implementierte Features: - Keine Stoppwort Analyse - Kein Stemming Datenbestand: - Geringe Anzahl unterstützter Atribut-Typen - Zu kleiner Goldstandard Ansatz ist nicht Kontext-spezifisch Marcus Fabarius, Kamila Kedzior, Philipp Liepert, Rim Sahnoun 8

10 Wie geht es weiter? 1. Qualität des Klassifiziers verbessern 2. Klassifizierer als Teil eines mehrstufigen Verfahrens nutzen - Mehrere Klassifizierer arbeiten paralell - Regelwerk entscheidet welche Klassifizierung verwendet wird Marcus Fabarius, Kamila Kedzior, Philipp Liepert, Rim Sahnoun 9

11 Wie geht es weiter? Mehrstufiges Verfahren: Rosa Pullover Rosa Pullover Language Model Farbe / Marke Kategorie aktueller Klassifizierer Farbe Kategorie Social Klassifizierer Person Kleiderstück... Marcus Fabarius, Kamila Kedzior, Philipp Liepert, Rim Sahnoun 10

12 Tipps für das nächste Semester 1. Frühzeitig mit sinvollen Projektmanagement Tool beginen. - Klare Aufgaben verteilen - Teilprobleme rechtzeitig erkennen 2. Falls Anforderungen unklar, frühzeitig klären. 3. Kritik des Dozenten konstruktiver nutzen. Marcus Fabarius, Kamila Kedzior, Philipp Liepert, Rim Sahnoun 11

13 Fragen Marcus Fabarius, Kamila Kedzior, Philipp Liepert, Rim Sahnoun 12