Amazon Mechanical Turk: Gold Mine or Coal Mine?

Transkript

1 Amazon Mechanical Turk: Gold Mine or Coal Mine? Basierend auf dem gleichnamigen Paper von Karën Fort, Gilles Add und Kevin Bretonnel Cohen Stefan Grünewald Seminar: Natural Language Processing and the Web Universität des Saarlandes

2 Der mechanische Türke 2 / 34

3 Amazon Mechanical Turk (MTurk) Internetplattform zur Lösung von Aufgaben, die menschliche Intelligenz erfordern 3 / 34

4 Gliederung 1. Funktionsweise von MTurk 2. Probleme mit MTurk 3. Mögliche Lösungen 4 / 34

5 Crowdsourcing/Microworking-Plattform Teil des Amazon-Konzerns Gegründet 2005 Verfügbar in 17 Ländern, darunter Deutschland, Frankreich, USA Umsatz: 1-30 Mio. $ 5 / 34

6 Crowdsourcing und Microworking Microworking: Aufsplitten einer Aufgabe in viele kleine (bezahlte) Jobs Crowdsourcing: Outsourcing von Aufgaben an Internet-Nutzer (bezahlt oder unbezahlt) Crowdsourcing + Microworking (MTurk): Zerlegung komplexer Aufgaben in einfache Teilaufgaben Internetnutzer lösen Teilaufgaben gegen Bezahlung 6 / 34

7 A marketplace for work Requester Requester schreiben aus HIT HIT bearbeiten Turker Turker Turker Turker Turker Turker Requester schreiben Human Intelligence Tasks (HITs) aus Provider (Turker) erfüllen die Aufgaben für ein geringes Entgelt 7 / 34

8 Human Intelligence Tasks (HITs) Aufgaben, die menschliche Intelligenz erfordern bzw. (noch) nicht automatisierbar sind Beispiele: Transkriptionen Bildbeschreibungen Übersetzungen Umfragen 8 / 34

9 HITs auf MTurk: Einige Beispiele 9 / 34

10 HIT-Beispiel: Transkription 10 / 34

11 HIT-Beispiel: Objekterkennung 11 / 34

12 HIT-Beispiel: Umfrage 12 / 34

13 MTurk in der CoLi Verwendung: Einfache Aufgaben, die viel Arbeitszeit erfordern Beispiele: Erstellung und Annotation von Textkorpora Zunehmende Verwendung in wissenschaftlichen Arbeiten 13 / 34

14 Probleme mit MTurk Aufgabe Resultat 14 / 34

15 Probleme mit MTurk Aufgabe Resultat Zentrale Fragen: Wer sind die Turker? Wie sind die Arbeitsbedingungen? Wie ist die Qualität der Ergebnisse? 15 / 34

16 Wer sind die Turker? Abschätzung von Anzahl und Eigenschaften der aktiven Turker: Umfragen Anzahl unter Turkern der vervollständigten HITs Ergebnisse stellen Schätzungen dar, sind aber konsistent 16 / 34

17 Wie viele Turker gibt es? Ca registrierte Nutzer (100%) 17 / 34

18 Wie viele Turker gibt es? Ca registrierte Nutzer (100%) Ca aktive Nutzer (< 9%) 18 / 34

19 Wie viele Turker gibt es? Ca registrierte Nutzer (100%) Ca aktive Nutzer (< 9%) Ca Nutzer, die 80% der HITs erledigen (< 2%) 19 / 34

20 Weswegen wird geturkt? Turking als primäre Einkommensquelle (~20%) Turking als sekundäre Einkommensquelle (~50%) 20 / 34

21 Woher kommen die Turker? Indien (~50%) USA (~35%) Sonstige (~15%) 21 / 34

22 Arbeitsbedingungen bei MTurk Amazon beschäftigt Turker als Contractors Normales Arbeitsrecht Kein Mindestlohn Mittlerer greift nicht Stundenlohn unter 2$ Keine geregelten Arbeitszeiten, Urlaub, Gewerkschaften etc. Requester können Ergebnisse ohne Begründung zurückweisen (Rejection) Arbeitsrechtlich und ethisch problematisch 22 / 34

23 Rejections und Approval Rate Geld ist primäre Motivation für Großteil der Turker Je höher Approval Rate und Anzahl bearbeiteter HITs, desto höher der mögliche Verdienst Turker tun alles, um Rejections zu vermeiden Rejections (selbst wenn berechtigt) können daher dem Ruf von Requestern schaden Teilweise Betrug durch Bots, Spam 23 / 34

24 Rejections: Ein Beispiel 24 / 34

25 Informationsmangel auf MTurk Keine offiziellen Kommunikationskanäle zwischen Requestern und Turkern Amazon verfolgt Hands off -Ansatz Kein Pre-Screening gewünschter Qualifkationen (Muttersprache, Bildungsgrad, ) möglich Grad der Entlohnung und Qualität der Ergebnisse sind nicht korreliert Höhere Löhne ziehen mehr Spammer an 25 / 34

26 Lohnniveau und Qualität Niedriges Lohnniveau und mangelnde Qualität hängen zusammen: Qualität kann nicht gewährleistet werden Potenzielle bessere Turker werden abgeschreckt Requester wollen keine höheren Löhne zahlen Gesamt-Lohnniveau ist niedrig Market for Lemons Bedingt durch Informationsmangel 26 / 34

27 MTurk-Interface MTurk-Benutzerinterface hat nur sehr eingeschränkte Funktionalität Komplexere Aufgaben (viele Labels, Dependenzen) schwer oder gar nicht umsetzbar (Aus: Tim Finin et al.: Annotating Named Entities in Twitter Data with Crowdsourcing) 27 / 34

28 Qualität von Mturk-Ergebnissen: Empirie Simple Aufgaben mit kleinem bis mittlerem Umfang: Brauchbare Ergebnisse Z.B. Transkription, Erstellung von Korpora Komplexere Aufgaben (z.b. Annotation): Qualität variiert beträchtlich zwischen Turkern Experten häufig besser Benötigte Zeit bei großen Aufgaben schwer vorhersagbar 28 / 34

29 MTurk in der Wissenschaft MTurk bis zu 90% günstiger als konventionelle Methoden Geringere Budgets könnten zum neuen Standard werden Weniger Geld für konventionelle Methoden Problematisch, da viele Aufgaben zu komplex für MTurk Ethisch fragwürdig 29 / 34

30 Mögliche Lösungen Gemeinsame Mindeststandards der wissenschaftlichen Community Alternative Crowdsourcing-Plattformen Games with a Purpose 30 / 34

31 DYNAMO Gemeinsames Projekt von Turkern und Wissenschaftlern Veröffentlichung von Richtlinien für Turking im wissenschaftlichen Kontext Faire Entlohnung, detaillierte HIT-Beschreibungen etc. Kampagne gegen Erhöhung der AmazonProvision Lindert ethische Probleme, nicht aber Qualitätsprobleme 31 / 34

32 MTurk-Alternativen: Prolific Academic Crowdsourcing-Plattform speziell für wissenschaftliche Zwecke 6,50 /Stunde Mindestentlohnung für Partizipanten Umfangreiche Pre-Screening-Möglichkeiten Alter, Bildungsgrad, Lieblings-Programmiersprache Qualitätskontrolle von Betreiberseite Deutlich geringere Größe als MTurk 32 / 34

33 Games with a Purpose: Spielerisches Lösen von NLP-Aufgaben (hier: Koreferenten bestimmen) Gamification Keine Entlohnung, sondern nur Verlosung von Preisen Potentiell bessere Ergebnisse durch motiviertere Teilnehmer Keine Gewährleistung, dass Aufgaben tatsächlich erfüllt werden 33 / 34

34 Zusammenfassung Crowdsourcing einfacher NLP-Aufgaben mit Amazon Mechanical Turk Turking ist Arbeit und kein bloßer Zeitvertreib Ethische Fragwürdigkeit (geringe Löhne, schlechte Arbeitsbedingungen) Teils fragwürdige Qualität der Ergebnisse (insb. bei komplexeren Aufgaben) Alternativen zu MTurk: Prolific Academic, Games with a Purpose 34 / 34