Workshop de Surveys

Agenda

214/04/2023

- O que é? Quando usar? (14:00 – 14:15)

- Processo (14:15 – 14:25)

- Desenvolvendo um questionário (14-25 – 15:25)

* Respiro * (15:25 – 15:40)

- Avaliando questionários (15:40 – 16:00)

- Hands-on time! ( 16:00 – 16:20 )

- Amostra, Recrutamento e Incentivos (16:20 – 16:40)

- Análise( 16:40 – 16:50 )

- Reportando os resultados (16:50 – 17:00)

14/04/2023 3

O que é? Quando usar?

O que é?

14/04/2023 4

O que é Survey?

514/04/2023

• Survey = levantamento de dados.

• “Método para coletar informações de pessoas acerca de suas ideias, sentimentos, planos, crenças, bem como origem social, educacional e financeira” – (Fink & Kosecoff, 1985, p. 13)

O que é Questionário?

614/04/2023

• Questionário = instrumento utilizado no survey.• “Um conjunto de perguntas sobre um determinado

tópico que não testa a habilidade do respondente, mas mede sua opinião, seus interesses, aspectos da personalidade e informação biográfica” – (Yaremko, Harari, Harrison & Lynn 1986, p. 186)

Tipos de Surveys

• Formulários online• Formulários em papel auto-

administrados (questionários)• Entrevistas estruturadas• Entrevistas estruturadas pelo

telefone• Enquetes• Aplicações podem ser

diversas

Tipos de Entrevistas

• Estruturada (nível fácil): o entrevistador se mantém fiel ao roteiro e não explora assuntos que podem surgir durante a entrevista.

• Semiestruturada (nível moderado): o entrevistador possui um roteiro dos tópicos ou perguntas e pode explorar as respostas se achar necessário.

• Não estruturada (nível difícil): o entrevistador apenas tem um assunto e realiza perguntas de modo flexível. Pode explorar e se aprofundar nos assuntos.

Quando usar ?

Estratégia DesignPós

Lançamento

- Medir e dimensionar:- Requisitos de usuário.- Preferências.- Funcionalidades.- Segmentação dos

consumidores.

- Feedbacks quantitativos em protótipos

- Satisfação e adoção do produto

Quando usar ?

• Quando você sabe o que quer: dados quantitativos e/ou dados

qualitativos de atitudes, crenças, opiniões, preferências,

motivações – comportamento self-reported.

• Observar o atual comportamento não é relevante, ou você

pode fazer pesquisas de campo/testes de usabilidade para

complementar os dados levantados.

• Você quer atingir um grande número de pessoas para derivar

um comportamento padrão de todo o público.

• Quando você tem tempo e budget suficientes.

• Quando você tem acesso aos

consumidores/prospects/usuários.

Quando usar ?

- Meio fácil de coletar dados qualitativos

- Meio fácil para coletar respostas abertas de muitos respondentes.

- Flexível (telefone, web, e-mail, papel)

- Facilmente combinado com outras técnicas (observação, focus groups, testes de usabilidade).

- Exige conhecimento específico (amostra, análise dos dados,...)

- Pode levar bastante tempo (mais do que você imagina)

- Não é o melhor meio de avaliar usabilidade (o que as pessoas dizem não é o que elas fazem – combinar com observação)

Prós Contras

14/04/2023 12

Processo

Processo

Processo

• Entender:– Objetivos a serem estudados– O que deve ser melhorado (site, alguma interação

específica...)– Público-alvo (demográfico, background ou comportamental)

• Pesquise:– Brainstorm com o time possíveis questões e abordagens– Revisar pesquisas anteriores– Entrevistar interessados e acordar um objetivo comum na

pesquisa– Os dados já existem em algum lugar?

Processo

• Comece por um outline!

Tópicos:

- Esclareça os objetivos,- Análise (qual o formato de

resultado é esperado?)- Incentivos,- Como os participantes

serão recrutados- Como será feito o convite- Tamanho da amostra- Metodologia- Duração- Questionário

Ética na Pesquisa

• Resolução 196/96: diretrizes e normas para pesquisa com seres humanos.

• Baseada em 4 princípios: autonomia, não-maleficência, beneficência e justiça.

14/04/2023 17

Desenvolvendo um questionário

Seções de um Questionário

Introdução

Demográficas

Questões

Introdução

• Dê instruções para o preenchimento (140 caracteres)

• Exponha como serão exibidas as questões obrigatórias (opcional)

• Garanta a privacidade dos dados que estão sendo solicitados.

• Permita que o usuário desista do preenchimento.

Demográficas

• Questões demográficas devem ser colocadas somente se houver realmente um objetivo pra elas.

• Coloque primeiro as questões que filtram os respondentes (que vão delimitar se a sequência de preenchimento é obrigatória).

• Considere mensagens de conclusão: se terminou preenchimento, se qualificou para responder toda a pesquisa.

Formulando as questões

• Use a abordagem de funil (perguntas gerais para específicas),

• Comece com perguntas fáceis,• Considere iniciar a pesquisa com questões

de pré-teste,• Mantenha as questões e sessões curtas –

evite o cansaço!• Inclua instruções e um exemplo,• Não pergunte sobre comportamentos

repetitivos ou não marcantes,

Objetividade é a palavra-

chave!

Curva aproximada do esquecimento

Formulando as questões

• Sempre inclua uma opção “outros” de resposta:– Eu não sei– Prefiro não responder– Todas anteriores

• Utilize linguagem familiar – pense nas questões como uma conversa,

• Mostre apenas dados mutuamente excludentes,• Evite: questionar tendenciosamente ou guiar,• Evite: Questões que “aparecem” após alguma

seleção• Evite: Palavras com significado vago

Formulando as questões

• Pergunte “o quanto você...” em vez de “você...”

• A ordem dos itens afeta as respostas,• Varie as respostas, use termos

negativos,• Faça uma pergunta mais de uma vez,

em momentos diferentes da pesquisa,• Utilize questões tanto fechadas quanto

abertas.

(embora inconsciente e automaticamente)

Fonte: Reeves, B., & Nass, C. (1996). The media equation: How people treat computers, television and new media like real people and places. Cambridge:

Cambridge University Press.

Evitando respostas educadas

• Crie uma distância entre o meio de avaliação e o objeto a ser avaliado:– Se possível, utilize papel ou

computadores separados– Linguagem (“nosso site” X “o site”)– Design da pesquisa, diferente do site– Sem branding ?

Nunca o entrevistador pode

- Influenciar respostas dos participantes com alteração da expressão facial, gestos ou entonação na voz.

Devemos ser totalmente Poker face!

Lembrete

• Nem sempre o que uma pessoa diz que faz é o que ela realmente faz.

• Algumas realmente esquecem e outras tentam passar uma boa imagem de si mesmas.

Neste caso, é bom observar o entrevistado enquanto ele realiza uma ou mais atividades (investigação contextual)

Dicas

• Conquiste o entrevistado no início.• Faça perguntas relevantes.• Pense no perfil de quem vai responder para não

criar perguntas complexas.• Não crie perguntas que pode ter mais de um

sentido.• Não induza o participante a responder o que

você quer.• Evite perguntas que fazem o participante pensar

muito para poder responder, ele não lembrará. Ao invés de perguntar quantas vezes no ano, pergunte quantas vezes no último mês.

Tipos de Perguntas

Fechadas- Utilizado para avaliar algo e obter um feedback rápido.

- Muito usado para obter dados quantitativos.

- Requer que o entrevistado conheça as respostas prováveis e escolha uma delas.- Restringe a abrangência do assunto.

Qual o horário que você almoça?

( ) 12h( ) 12h30( ) 13h

Tipos de Perguntas

Abertas- São exploratórias, ou seja, não há limitação para as respostas dos entrevistados.- É útil quando temos pouco ou nenhum conhecimento sobre um assunto.- Serve para coletar opiniões e fatos desconhecidos ou inesperados.- Análise das perguntas é complexa.- Mais utilizada para obter informações qualitativas.

Qual o horário que você almoça?______________________________________________________

Tipos de Perguntas

Semi-Abertas- É o misto da fechada com a aberta.

- O entrevistado seleciona uma possível resposta e faz a justificativa da sua escolha ou cita uma outra opção.- Permite que se entenda o motivo da opção escolhida.

Qual o horário que você almoça? Justifique sua resposta.

( ) 12h( ) 12h30( ) 13h

____________________________________________________________________

Tipos de Perguntas

Dicôtomica- São questões em que apenas temos uma variável boolena e oposta a outra como Sim/Não ou Concordo/Não Condordo.

- Pode também ter uma questão aberta de justificativa da opção escolhida ou mais uma opção caso a pessoa não saiba responder, como ( ) não sei

Você já comprou o livro de UX? Justifique sua resposta.( ) Sim ( ) Não

_________________

Tipos de Perguntas

Encadeadas- É quando a segunda resposta depende da primeira resposta.

- Podem ser fechada, aberta ou semi-aberta.- Utilizada quando uma pergunta tem um complemento em outra questão e que necessita de uma sequência lógica.

Qual dispositivo você mais usa?

( ) computador( ) smartphone( ) tablet

Se você escolheu a opção computador -> Quais sites você costuma acessar?Se você escolheu a opção smartphone -> Você possui conexão 3G?Se você escolheu a opção tablet -> Quais aplicativos você possui instalado?

Tipos de Perguntas

Ordem de preferência- Onde são apresentadas várias opções ao entrevistado e não há opção correta.

Numere as opções de acordo com sua preferência de horário para almoçar:

( ) 12h( ) 12h30( ) 13h( ) 13h30

Tipos de Perguntas

Múltipla Escolha- É quando se tem um conjunto de respostas válidas e deseja saber as.

- Utilizada para descobrir as atividades mais frequentes que o entrevistado faz.- Você pode limitar o número de opções.

Quais atividades você realiza diariamente? (marque até três opções)

( ) andar de bicicleta ( ) fazer caminhada( ) comer frutas ( ) dormir cedo( ) ir ao parque ( ) levar o cachorro para passear

Tipos de Perguntas

Faixas de Valores- Utilizado para questões delicadas como idade e salário, onde os participantes podem não querer responder o valor exato.- Lembre-se de não sobrepor valores como 20-30 / 30-40, onde o 30 aparece em duas opções.

Idade:

( ) abaixo de 21( ) 21-30( ) 31-40( ) 41-50

( ) 51-60

Tipos de Perguntas

Escala de Likert- Utilizado para opiniões, atitudes ou satisfação.

- A questão é uma afirmação. - Normalmente temos 5 respostas.

É fácil aprender sobre questionários através de um workshop:

( ) concordo plenamente( ) concordo parcialmente( ) não concordo nem discordo( ) discordo parcialmente

( ) discordo totalmente

Tipos de Perguntas

Escala de Diferenciais Semânticos- Utilizado explorar atitudes e opiniões bipolares.

- Normalmente temos 5 ou 7 respostas. Mas podemos ter um número par 4 ou 6 caso queremos evitar que as pessoas fiquem em “cima do muro”.

De acordo com sua opinião, o site é:

bonito ( ) ( ) ( ) ( ) ( ) feio

claro ( ) ( ) ( ) ( ) ( ) confuso

útil ( ) ( ) ( ) ( ) ( ) inútil

Entendimento errado da escala

NPS (Net Promoter Score)

• Pergunte a uma amostra aleatória de sua pesquisa sobre recomendações (com um campo aberto para explicações)

14/04/2023 42

* RESPIRO *

14/04/2023 43

Avaliando Alguns questionários

Avaliando alguns (1/3) questionários

• Uma pesquisa de uma página que questiona sobre o registro online de uma cidade, para serviços recreativos

Avaliando alguns (2/3) questionários

• Uma enquete sobre a capacidade dos candidatos a vice-presidente.

Avaliando alguns (3/3) questionários

• Uma parte de uma pesquisa feita pela HBO.

14/04/2023 67

Hans-on time!

• Descreva um outline de uma pesquisa para seu produto.– Objetivo: alguma

necessidade já levantada– Ou: conhecer seus usuários

e opiniões de uso.

14/04/2023 69

Amostra, Recrutamento e Incentivos

Tamanho da Amostra

Margem de erro

Tamanho da Amostra

Sample Size Calculator: http://www.surveysystem.com/sscalc.htm

Como os participantes serão recrutados

Fonte Prós Contra

Site independente - Garantia de encontrar uma amostra suficiente e efetiva para seus critérios,

- Incentivos geralmente já estão incluídos,

- Pode ser fácil manter pesquisas grandes.

- Respondentes podem ser “profissionais de pesquisa”,

- Pode ser caro

Usuários Registrados - Gratuito- Acostumados a receber e-mails

deste remetente- Investiu no site, então é mais

propenso a responder a pesquisa

- Pode precisar de um incentivo- Pode não aceitar pesquisas que

levem mais de 15 min para responder

- Alguns podem ficar bravos com o contato e reclamar (minoria)

- Pode não gerar uma amostra suficiente

Interceptações - Gratuito- Coleta respostas no contexto

de uso

- Pode levar bastante tempo para coletar respondentes suficientes,

- Podem não aceitar pesquisas que levam mais de 10 min para responder

- Pode utilizar o canal para reclamar do produto/serviço.

Aceitação da pesquisa se baseia em: esforço percebido, recompensa e confiança

Como será feito o convite

• Determine o script que será utilizado para convidar os participantes

• Lembre-se sempre de passar: confiança, a quantidade de esforço necessário e a recompensa

• Recompensa: non-cash

Incentivos

• A população é grande, como por exemplo uma pesquisa nacional,

• Uma resposta já gera informações suficientes para serem utilizadas (entrevista),

• O respondente pode levar o tempo que quiser para responder a questão,

• O propósito da entrevista é gerar dados de interesses gerais para os públicos,

• A pesquisa não contém questões controversas ou não consideradas intrusivas.

Quando não usar incentivos

Quando usar incentivos

• Quando a população de interesse é pequena,

• Compensar o participante quando há riscos envolvidos (p.e. questionar sobre atividades ilegais),

• Incentivar boa vontade quando houver alguma evidência de não cooperação,

• Intrusões ou solicitações não convencionais (entrevistas longas, manter um diário,...)

• Questões sensíveis são questionadas,• Há um “gatekeeper”• Envolve um período de pesquisa• O alvo são pessoas que geralmente são

alvos de pesquisas (CEOs,...)• O participante tem algum custo

envolvido,• Se há alguma organização que

geralmente paga para o público responder pesquisas (médicos,...)

Fonte: Conselho da Associação dos Profissionais de Estatísticas Federaishttp://www.copafs.org/seminars/use_of_incentives_five_questions.aspx

Incentivos

• Afeta diretamente:– Pode alterar a composição da amostra de

respondentes,– Pode mudar a estimativa dos resultados

comparativamente às respostas pagas X respostais reias (incluindo potencial efeito em respostas nulas ou como eles respondem.

– Ambos podem ser positivos ou negativos• Afeta indiretamente:

– Reduz os esforços de recrutamento,– Influencia as expectativas dos participantes,– Encoraja a falsificação entre alguns participantes.

Incentivos

• Quanto?• Quando? Pré-pagas X Pós-pagas• Como? Cash ou Cash-equivalent• Incentivos diferenciais pelo público-

alvo?• Uso de condicionais para recebimento

dos incentivos (%)

14/04/2023 78

Análise

Análise

• Estatística descritiva:– Sumarizar os dados (frequência, média,

derivação, etc..)• Estatística inferencial:

– Projeta conclusões sobre uma população a partir de uma amostra,

– Assume uma probabilidade,– Permite a estimativa de erros.

Um pouquinho de estatística básica....

• Probabilidade– Jogue uma moeda: probabilidade de cara X

coroa ?– Chance de seus resultados serem uma

casualidade– Vezes que a moeda for jogada (tamanho da

amostra) importa• Erro

– Diferença entre o que a população quer dizer, e o que sua amostra quer dizer.

– Quanto maior for sua amostra, o erro diminui, e a confiança aumenta

Mais um pouquinho de estatística básica...

• Estimativa de erro– Nível e intervalos de confiança

• Ex: Nós estamos 95% confiantes que a nossa amostra estatística (80% de preferência por incluir uma funcionalidade de busca) é entre + ou – 5% do parâmetro da população.

• Auxilia a determinar o mínimo da amostra

• Correlação– Pesquisas são boas para medir fortes

associações entre variáveis• Ex: A correlação entre Usable e Enjoyable foi .83.

Margem de erro

Mais um pouquinho ainda!

• Desvio padrão

Mais um pouquinho ainda!

• Tabulação cruzada

http://www.custominsight.com/articles/crosstab-sample.asp

- Formule hipóteses

- Procure pelo que NÃO está lá

- Procure pelo obvio

- Mantenha a mente aberta

- Confie nos dados

- Observe o “n”

Vc quer saber mais né?

14/04/2023 85

Reportando os resultados

Reportando os resultados• Resumo executivo *• Pesquisas anteriores, hipóteses e objetivos• Metodologia utilizada• Resultados• Discussão• Recomendação• Anexos: Formulário, Dados, Detalhamento

da Análise

Reportando os resultados

• Dicas:– Faça um relatório de resultados conciso,– Utilize gráficos para enfatizar os pontos

principais,– Inclua screenshots,– Reporte tanto resultados positivos quanto

negativos,– Evite jargões,– Distribua um PDF,– Armazene em um lugar acessível para futuras

consultas.

Checlist para lançamento

• Confirme a origem da amostra,

• Faça um teste de QA no formulário,

• Valide com os interessados,

• Decida sobre os incentivos e organize a logística,

• Crie um template de email

• Receba uma aprovação oficial

• Faça um teste de QA no email

• Disponibilize um email / telefone para suporte

• Launch!

Av. Brig. Faria Lima, 1.384, 4º andarCEP 01452-002 . São Paulo/SP

Telefone: 11 3914.9559 www.uol.com.br

14/04/2023 89

Obrigado ;-)Equipe de Concepção & Interface de Produtos – P&D