Incomesecurityforcrowdworkers

Janine BergILOTurin, May 9, 2016

Debate oncrowdwork/on‐demandeconomyhasbeenframed todiscourage regulation

• That this is ‘extra’ money for secondary earners or others who would otherwise be unemployed

• That because of technology there can’t be a traditional employment relationship, thus need to create new legal categories

• That the policy response should center on developing alternative forms of social protection (addressing the  worker, rather than the job)

WHATDOWEKNOWABOUTTHECROWDWORKMARKET

Maintasksonmicrotask platforms• Gadiraju (2014): 6 main categories

1. Information finding2. Verification and validation3. Interpretation and analysis (categorize, classify)4. Content creation (summarize document, transcription, 

suggest names for a new product)5. Surveys6. Content access

• Audio transcription has grown in importance and is most popular task on AMT

• Surveys have grown in importance (country restrictions)• Content access has decreased (AMT restrictions)

Heavyorexclusiveusebysomefirms• The top 0.1% of requesters account for 30% of dollar activity and 1% of requesters post more than 50% of dollar‐weighted tasks.

“Amazon Mechanical Turk is the core of our business. We are in a people‐hungry business. All of our work is done by people. It's not mass‐production; but individual hand‐crafted work. Our entire workforce is Mechanical Turk. There are vast amounts of service‐oriented businesses on this planet, and all of these businesses could leverage the sort of hand work that is doable on Mechanical Turk.”(emphasis added)

‐Nathan McFarland, Co‐founder, Casting Words

Issueswithqualityofwork• Gadiraju et al. (2014):Almost 44% of the CF workers incorrectly answered simple attention check questions.

• P. Ipeirotis gives examples of how to game one’s ratings  

• Mason and Watts (2010): monetary incentives increase the quantity but not the quality of the crowdworkers.

• Difallah et al (2014): analyses how to price microtasks to improve worker retention

Fillingindatagaps• Beyond basic demographic information, we know little about crowdworkers

• Who are they?  How many crowdwork for a living?  What other jobs do they do and what did they do before?  How is the financial security of their household? 

• November/December 2015 – ILO survey of 1,167 crowdworkerson Crowdflower and Amazon Mechanical Turk platforms:

• Crowdflower: 353 

• AMT‐US: 686 for Survey 1 (573 for Survey 2) 

• AMT‐India: 128 for Survey1  (104 for Survey 2)

ILOsurveyofcrowdworkers

ILOsurveyofcrowdworkers

MAINSURVEYFINDINGS

Where aretheworkers?

Gender balanceamongUS‐AMT;moremenelsewhere

73.1

52.1

68.8

26.9

47.9

31.3

0.0

10.0

20.0

30.0

40.0

50.0

60.0

70.0

80.0

CF AMT‐US AMT‐India

Male

Female

Averageageis35years0

510

15P

erce

nt

20 40 60 80Years

Educationlevels arehigh

14.1

3.9

28.4

36.7

16.918.7

4.0

20.7

36.5

20.1

14.3

3.4

37.3

34.1

11.1

0.8

6.3

2.3

51.6

39.1

0.0

10.0

20.0

30.0

40.0

50.0

60.0

HS diploma or less Technical certificate Some college College degree Post‐graduate degree

All CF AMT‐US AMT‐India

Iscrowdwork your primarymeans ofincome (i.e.mainjob)?

36.96

30.75

37.96

48.8

63.04

69.25

62.04

51.2

0

10

20

30

40

50

60

70

80

All CF AMT‐US AMT‐India

Yes

No

Which is themost importantreasonwhyyoudocrowdwork?

0 5 10 15 20 25 30 35 40 45 50

Could not find other employment

I can only work from home

I prefer to work from home

Pay is better than other available jobs

To complement pay from other jobs

To earn money while going to school

As a form of leisure

I enjoy it

Other

All CF AMT‐US AMT‐India

60%ofAMTworkerswhoholdanotherjob. Theiremploymentstatus:

53.2

28.4

11.9

3.972.7

19.6

64.7

3.9

11.8

00

10

20

30

40

50

60

70

Hourly wage employee Salaried employee Freelancer Owner or partner in business Other

AMT‐USA AMT‐India

Doingcrowdworkwhileontheotherjob

• 40% perform crowdwork during the working hours of the other job• yet only 5% do so exclusively

• 55% report that their employer would be accepting of them performing crowdwork while at their other job. 

“The pay is low, but since I do it while I do my other job it is like getting paid a little extra at my other job.”

Mainactivitypriortobeginningcrowdwork

46

26

4

33

18

26

49

49

17

26

36

33

0 10 20 30 40 50 60

working the same job or running the same business

working a different job

running a business that no longer exists

unemployed

in education or training

caring for children, a disabled person or an elderly adult

USA India

Survey 2.  AMT workers only.

4mainareasofconcern1. Pay of the tasks

2. Availability of work 

3. Unfair treatment by requesters

4. Lack of responsiveness of the platforms to the workers’ concerns.

HourlypaybyplatformandcountryCrowdflower AMT ‐ USA AMT ‐ India

Median hourly pay

$0.94 $4.65 $1.65

Mean hourly pay

$1.77 $5.55 $3.17

Standard deviation

$2.61 $3.97 $4.24

Observations 315 667 111

Note: Trimmed at 99% and $0 responses removed.  Results are from Survey 1. Source: ILO Survey of Crowdworkers.

“The pay. I don't expect it to be a great wage, but it should strive to be close to the current minimum. $2‐6 an hour is just too low.”  ‐ AMT worker

“Fairer pay – a bare minimum of 10 cents a minute is barely acceptable, but anything under that is just greed. I put in a lot of thought and work into each HIT and deserve to be compensated fairly.” – AMT worker

“Minimum task [payment] should be .02 [cents]” – Crowdflowerworker, Qatar

“Pay must be more!” – Crowdflower worker, Turkey

“HITs should pay at least the minimum wage.” – AMT worker

In response to Q on what they would change, «pay» was explicitly mentioned 488 times.  

Insufficentwork:90%wouldliketodomorecrowdwork thantheyarecurrentlydoingnow

Why are you not currently doing more crowdwork?

5

60

14 14

79

38

33

18

4

20

36

24

18

2

0

10

20

30

40

50

60

70

I am not qualified forthe work

There isn't enoughwork

The pay is not goodenough

I do not have time todo more work

Other

CF

AMT‐US

AMT‐India

Continuous search fortasks…“The toughest part of turking for a living is actually finding the jobs, for every hour I spend working I most likely spend 2 hours monitoring the various scripts I have running to see what jobs show up.” –AMT worker

“I would like to change how hard it is to find the jobs to work on.  I often have some time to do a task, but cannot find anything to work on.” –AMT worker

“…half of the key to making money on MTurk is being on the site 24/7 with your scripts running so you can catch all the best jobs as they come out.” –AMT worker

94%havehadworkrejected/wererefusedpayment

"When you work at a real job, you are given time to learn and make mistakes and are given feedback, but in crowdwork, the first time you make a mistake (usually for a task that has vague instructions) you are rejected and maybe even blocked" ‐ AMT worker

5.0

17.5

24.6

34.4

18.6

0.0

5.0

10.0

15.0

20.0

25.0

30.0

35.0

40.0

They allwere

Most were Some were A few were They werenot

Socialsecurity contributionsamongUS‐AMTworkersDo any of your jobs take out social security from your paycheck, or do you make voluntary contributions to social security?

51.5

9.4

77.0

48.5

90.6

23.0

0.0

10.0

20.0

30.0

40.0

50.0

60.0

70.0

80.0

90.0

100.0

All Main job Not main job

Yes

No

REGULATINGCROWDWORK

WhyshouldweleaveregulationtoJeffBezos?

“The position of the platform vis‐à‐vis the marketplace is more like that of a government that sets policies to encourage efficient market outcomes without dictating trades. The platform decides how often and in what context participants are exposed to each other, what information is collected by parties, and how this information is displayed. Platforms also set policies about what trades are permissible, how entry is gained, what contracts and prices are allowed and so on.”

“Both employers and contractors can file disputes if they feel they’ve been unjustly charged or underpaid. Platforms act as mediators in these disputes and ultimately decide how they should be resolved.”

‐ Argawal et al., 2013, “Digitization and the Contract Labor Market:  A research agenda” (p.19 & p.11)

Proposedremediestothe‘gigeconomy’havefocusedonbenefitportability(theworker)ratherthanthejobortheemployerHill (2015), New America Foundation:

“we have to make the personal support infrastructure for workers and their families more portable, so that the safety net follows the worker from job to gig and employer to employer.  The net needs to protect the worker regardless or her or his employment situation.”

=> proposes Individual Security Accounts

9 November 2015 letter on Medium «Common Ground for Independent workers» signed by wide array of heads of Washington think tanks, academics and activists arguing for individual securityaccounts.

No reflection on the legitimacy of the contractualarrangements. 

Portability doesn’tmeansecurity• Without guarantees of minimum amounts of work, workers cannot ensure income security

• Workers in ‘unsteady’ work are more likely to stay thatway – experience from other types of NSFE

• Need to recognize employment relationship (or if new category treat it along the same lines), so that employersare subject to minimum wage provisions and workershave possibility for negotiating higher wages.

• The structure of the work (e.g., homework paid as piecerates) could still be maintained.

Piece‐ratescanbeefficient,butavailabilityofworkandminimumpayneedtobeguaranteed

• Given the type of work done, piece rates can be an efficient form of paying workers

• But even if being paid by the piece or task, workers need to be guaranteed a minimum wage.  Technology facilitates setting the rate.

• Productive workers have the ability to earn much more than the minimum wage, as is case now.

• Requires screening of workforce, but this will improve quality

• Fewer workers, with greater guarantees of work 

THANKYOU!berg@ilo.org

“This is obviously a way of working that will likely explode in the future.  If some sort of fairness were present in early stages it would prove beneficial to long term prospects.” 

―AMT worker