seminario le indagini web e alcuni aspetti sul processo di partecipazione allindagine prof. a....
TRANSCRIPT
Seminario
Le indagini web e alcuni aspetti sul processo di partecipazione
all’indagine
Prof. A. D’Agostino
Dip. Di Statistica e Matematica per la Ricerca Economica
Università di Napoli “Parthenope”
2
Le indagini web sono abbastanza nuove – iniziano dal 1990
Perché è accresciuto il loro utilizzo?
– Sono facili da sviluppare e implementare
– Generalmente costano poco
– Si può raggiungere un elevato numero di persone a un basso costo marginale
3
• I sondaggi web sono ad esempio molto utili alle aziende o a chiunque voglia ottenere un feedback immediato circa un prodotto o un servizio.
• Il web offre molti servizi anche gratuiti per creare un sondaggio o un questionario online in modo semplice e con tutte le funzionalità per gestirlo al meglio– Surveymonkey – Polldaddy etc..
4
Quando si può usare un’indagine web?
Prima di decidere se sia opportuno condurre un’indagine web dobbiamo riflettere su alcuni
punti
5
Questioni importanti….
• I potenziali rispondenti hanno un facile accesso a internet?
• Hanno familiarità con internet?• Si fidano della comunicazione tramite internet? • Hanno le competenze per aprire e completare
un’indagine online?• Il loro hardware e software può influenzare come
il questionario viene visualizzato?
6
Che cosa conosciamo circa l’utilizzo e l’accesso ad internet?
Sicuramente età, cultura e contesto sociale interagiscono differentemente con la tecnologia
1. I principali utilizzatori delle tecnologie avanzate risultano i giovani e le persone che esercitano professioni intellettuali
2. L'uso delle tecnologie è prevalentemente riservato ai giovani. Le famiglie con almeno un minorenne possiedono il personal computer e l'accesso a internet
7
L’accesso e l’uso dipende da: – Livello di istruzione– Reddito familiare – età: 18-34 – fanno un uso maggiore di internet– Molti usano internet a lavoro (ma potrebbero
avere restrizioni a lavoro nel suo utilizzo)
• Comfort e sicurezza– Mancanza di competenze informatiche;
familiariatà con internet– Diffidenza con internet– Paura dei virus o altri software dannosi
8
Questo implica che…
• Molte persone possono essere escluse quando si utilizza un’indagine web
• Coloro che rispondono potrebbero essere considerevolmente diversi da coloro che non rispondono
= distorsione nei risultati
9
Pianificazione dell’indagineCi sono una serie di fasi da considerare:
• Obiettivo indagine• Popolazione di riferimento• Recupero indirizzi e-mail• Piano di campionamento ( indagine o sondaggio
online?)• Sviluppo del questionario • Implementazione del questionario online• Strategia di contatto (lettera di accompagnamento)• Bilancio e tempi
10
Una nota sulla anonimato e la riservatezza delle indagini online
• Anonimo significa che nessuno può identificare chi ha fornito le informazioni
• Questo è difficile da garantire quando l'indagine viene somministrata online (internet o intranet) ... quindi, non promettono anonimato!
• Riservatezza significa che siamo in grado di identificare la persona, ma si garantisce che le informazioni non saranno identificate con la persona
• Questo vale per tutti gli aspetti della raccolta dati, analisi e reporting
11
Indagine online implementazione
• Personalizzare il più possibile tutti i contatti
• Prendere in considerazione incentivi - migliora il tasso di risposta
• Utilizzare più contatti e variare il messaggio
• Utilizzare un altro modo di mettersi in contatto con gli intervistati, se possibile
• Mantenere contatti e-mail brevi
12
• Accertarsi che la mail non sia contrassegnata come spam• Includere una linea informativa sulle finalità dell’indagine• Fornire istruzioni chiare su come accedere al sondaggio• Assegnare a ciascun partecipante un numero ID unico• Mantenere entro i limiti delle capacità del server web• Creare un sistema per la gestione e-mail• Stabilire procedure per affrontare le richieste e le questioni• Monitorare i progressi e le risposte
Indagine online implementazione passi
13
Due sono gli aspetti fondamentali per la buona riuscita dell’indagine online
• Ottenere un elevato tasso di risposta
• Ottenere il massimo livello di accuratezza delle informazioni
Quindi, è necessario prestare attenzione a:
• Tasso di risposta in itinere
• un buon disegno del questionario
14
Un esempio di indagine web
Obiettivo indagine : transizione università-lavoro
Per esempio, potremmo essere interessati a studiare:
• Mismatch tra titolo di studio e lavoro• Il guadagno percepito nel primo lavoro dopo la laurea• Soddisfazione sul lavoro
15
Che cosa significa mismatch?
I laureati aspirano ad ottenere un buon lavoro dopo la laurea
“overeducated workers” sono coloro che riportano che il titolo di studio richiesto per ottenere il loro lavoro è inferiore alla laurea
16
Popolazione obiettivo: laureati in Economia dell’Università di Napoli “Parthenope”
Strategia di indagine: indagine web
Qualità dei dati (tasso di risposta,
accuratezza delle risposte, etc..)Costi
Tempestività
La modalità di raccolta dei dati è strettamente legata
17
Le indagini web sono state molto utilizzate negli ultimi anni perché sono poco costose
ma i suoi effetti sulla qualità dei dati e la tempestività delle informazioni raccolte possono e devono essere ben analizzate
18
In Italia ci sono delle esperienze di indagini web sui laureati
– Almalaurea– Fabbris and Giusti, 2001 (EXPERTUM
project);– Pratesi, 2004, l’università di Pisa promuove un
servizio informativo sui curricula tramite internet
19
Qui siamo interessati a studiare il processo di partecipazione
all’indagine
Per capire quali siano i fattori che influenzano la cooperazione nelle
indagini web sui laureati
20
• Il disegno campionario a cui si fa riferimento è abbastanza complesso affinché si possa controllare adeguatamente per il processo di partecipazione (cooperazione all’indagine)
• Dati sono raccolti su un campione di laureati in Economia nel 2005 che appartengono a 4 distinte coorti di laurea (1999, 2000, 2001, 2002)
21
Le caratteristiche salienti sono:
• Campione causale , un po’ inusuale nelle indagini web
• Abbiamo due differenti modalità di contatto (telefono e e-mail)
• In effetti lavoriamo con un panel (la prima onda risale al 2003 effettuata tramite intervista telefonica)
22
Disegno di indagine Panel di laureati in economia
Wave 1 2003
indagine telefonica
Wave 22005
Indagine web
23
Wave 1: 813 unità campionarie
Tasso di risposta ottenuto 80%
• Si ipotizza che il grado di penetrazione Internet tra i laureati sia alto
• Quindi è un’ottima popolazione per studiare la qualità del processo di partecipazione
Tutti i rispondenti alla wave 1
(n=651)+
Un campione casuale dei non rispondenti alla
wave 1 (91/162)=56%
2005
24
unità campionarie nel 2005
wave 1 rispondenti con e-mail (555/651)=85%
wave 1Rispondenti senza
e-mail (96/651)=15%
Campione casualedei non rispondenti
wave 1 senza e-mail56%
Tasso di cooperazioneNel fornire e-mail
è alto!!
25
Wave2: modalità del primo contatto
Primo contatto: telefono:• 96 wave 1 rispondenti senza e-mail• 111 wave 1 rispondenti con e-mail
Survey Telephone Units wave1 Respondents(STUR)
• 91 non rispondenti e senza e-mailSurvey Telephone Units wave1 non Respondents
(STUNR)(STU)= STUR+ STUNRSurvey Telephone Units
Primo contatto: e-mail444 wave 1 rispondenti
con e-mailSample Mail Units
(SMU)
Unità scelte casualmente Tra le 555 con e-mail
Unità scelte casualmente tra i 162 wave 1 non rispondenti
Questo gruppo
non è considerato
26
Il questionarioIl questionario include molte informazioni sulla storia lavorativa e la condizione lavorativa attuale dei laureati
Ad esempio:B.16 Quanto è soddisfatto del lavoro che svolge? Per niente1. (andare alla B.18)Poco2. (andare alla B.18)Abbastanza3. (andare alla B.18)Molto4. (andare alla B.18)Del tutto5. (andare alla B.18)
27
Il questionario
• È collegato direttamente ad un database che memorizza le infomazioni
• Ove possibile, sono previsti dei controlli automatici per controllare l’accuratezza delle risposte fornite
• L’accesso è vincolato da una password personale resa nota dopo il primo contatto
28
Primo contatto: e-mail, SMU = 444
UNAWARE UNITS (UU)=231(No reply to the invitation)
AWARE UNITS (AU)=106(positive reply to the invitation)
Wrong E-mail Units (WEU)=82
Mail-box Full(MFU)=25
Rilevazione dei dati
29
Definiamo
CONTACT UNITS(CU)
231 UNAWARE UNITS
(UU)
106AWARE UNITS
(AU) sollecito•e-mail
•telefonico
30
Alcuni indicatori della qualità del processo(primo contatto: e-mail)
Gross Contact rate = CU/SMU=(231+106)/444=76%Net Contact rate=AU/SMU=106/444=24%Hypothetical Contact rate=UU/SMU=231/444=52%Coverage error rate= (WEU+MFU)/SMU=(82+25)/24%
Reply non response rate given the contact= UU/CU=231/(231+106)=69%
decisione: spedire il link del questionario e password di accesso solo alle Aware Units
31
Aware units (AU=106) possono partecipare o non partecipare all’indagine
No Answer to WEB questionnaire Units
(NAWU)=12
Complete Respondents to WEB questionnaire
(CRW)=90
Partial Respondents to WEB questionnaire
(PRW)=4
32
Alcuni indicatori della qualità del processo(partecipazione: dopo primo contatto e-mail)
Response rate given the reply=(CRW+ PRW)/AU=89%
Complete response rate given the reply=(CRW)/AU=85%
Partial response rate given the reply=(PRW)/AU=4%
Response rate given the contact
= (CRW+ PRW)/CU= (90+4)/(231+106) =28%
Non è alto!!!
33
UNAWARE UNITS UU=231
Richiamo: e-mail
Unaware Units after the Remainder by E-mail
(UURE)=197
Aware Units after the Remainder by E-mail
(AURE)=34
Studiamo l’effetto del sollecito
34
Alcuni indicatori della qualità del processo(sollecito: e-mail )
Net Contact rate after remainder by e-mail=
=(AU+AURE)/SMU=(106+34))/444 32%
E-mail Solicitation effect rate= AURE/UU=34/231=15%
C’è un migliramento da 24%
a 32% dovuto al piano di sollecito
decisione: inviare il link del questionario e la password anche alle unità AURE
35
sintetizzando
94/444=21%Rispondenti
al questionario Web primo contatto e-mail
32/444=7%Rispondenti
al questionario Web dopo il primo sollecito
138/444=31%rispondenti
al questionario Web Dopo il secondo sollecito
telefonico
E-mail errate email-box full
contatto telefonico
18%
36
Trattamento dell’errore di copertura
e-mail errate e mail-box-full (WEU+MFU)=107Resultati: contatto telefonico
Cooperation rate=94%
nuovi e-mail 89%
unità non raggiunte 6%
e-mail confermate 5%
Unità perse
laureati sono inclini a fornire
37
No answer to Web questionnaire 18%
Complete Respondents to Web questionnaire
70%
Partial Respondents to Web questionnaire
12%
Participazione indagine dopo il contatto telefonico per WEU and MFU
38
In summary on SMU=444
Response rate (complete respondents)
70%
Response rate(partial respondents)
8%
Non response rate22%
39
Primo contatto: telefono su i wave 1 rispondenti STUR=207
Survey partecipation after first contact by telephone STUR
No answer to the Web questionnaire 50%
Complete Respondents to the Web questionnaire
48%
Partial Respondents to the Web questionnaire 2%
Tasso di non risposta abbastanza alto
40
In summary on SMU+STUR=651
Response rate (complete respondents)
63%
Response rate(partial respondents)
7%
Non response rate30%
41
Tempestività?
42
aware units: primo contatto e-mail (e-mail sent on Thursday March 7 at about 1 p.m.)
il tempo di attesa mediano è di 21 ore e dopo 100 ore (circa 4 giorni) solo il 20% sopravvive
Tempo è in ore
0.0
00.2
50.5
00.7
51.0
0
0 100 200 300 400 500analysis time
Kaplan-Meier survival estimate
43
il tempo mediano di attesa è di 2 giorni se il primo contatto è telefonico e di 8 se è per e-mail
La curva di sopravvivenza è molto più ripida se il primo contatto è telefonico!!!!
Tipo_cont=1 il primo contatto tramite e-mail
0.00
0.25
0.50
0.75
1.00
0 20 40 60analysis time
tipo_cont = 0 tipo_cont = 1
Kaplan-Meier survival estimates, by tipo_cont
44
Alcune conclusioni sull’esempio
• L’indagine web è una modalità di indagine efficace per la popolazione di laureati
• L’indagine web funziona meglio se il primo contatto è fatto tramite telefono sia in termini di tassi di risposta che per la velocità di risposta