aula 5 – metodologia de pesquisa em ciência da computação...
TRANSCRIPT
Aula 5 – Metodologia de Pesquisa em Ciência da Computação
Método de Pesquisa
Profa. Elaine Faria UFU - 2017
Agradecimentos
• Este material • Consiste de adaptações dos slides da profa. Maria
Camila Barioni, que gentilmente cedeu seus slides
• É baseado no livro Raul Sidnei Wazlawick : Metodologia de Pesquisa em Ciência da Computação, Elsevier - Campus, 200
Preparação de Trabalho de Pesquisa
• Escolhendo o Objetivo de Pesquisa • A Revisão Bibliográfica• O Objetivo• O Método de Pesquisa• Justificativa• Resultados Esperados• Limitações do Trabalho
3
Preparação de Trabalho de Pesquisa
Escolhendo o Objetivo de Pesquisa A Revisão Bibliográfica O Objetivo O Método de Pesquisa Justificativa Resultados Esperados Limitações do Trabalho
4
O MÉTODO DE PESQUISAPreparação de um Trabalho de Pesquisa
5
Método de Pesquisa• Metodologia é o estudo dos métodos• O método consiste na seqüência de passos
necessários para demonstrar que o objetivo proposto foi atingido, ou seja, se os passos definidos no método forem executados, os resultados obtidos deverão ser convincentes
6
Wikipedia - Metodologia• “A Metodologia é o estudo dos métodos. (...)
Tem como finalidade captar e analisar as características dos vários métodos disponíveis, avaliar suas capacidades, potencialidades, limitações ou distorções e criticar os pressupostos ou as implicações de sua utilização.”
7
Wikipédia - Método• “O método científico é um conjunto de
regras básicas para desenvolver uma experiência a fim de produzir novo conhecimento, bem como corrigir e integrar conhecimentos pré-existentes. Na maioria das disciplinas científicas consiste em juntar evidências observáveis, empíricas (ou seja, baseadas apenas na experiência) e mensuráveis e as analisar com o uso da lógica.”
8
Método• Deve ser estabelecido depois que o objetivo
tiver sido definido
• Revisão bibliográfica não deve fazer parte do método
• Pois é um passo do trabalho necessário para a definição do objetivo de pesquisa
9
Método• O método deve então indicar, dependendo do
tipo de trabalho:• se protótipos serão desenvolvidos• se modelos teóricos serão construídos• quais experimentos eventualmente serão
realizados• como os dados serão organizados e comparados
10
Método• A definição do método de pesquisa deve ser
executada logo após a definição do objetivo• Para a definição do conjunto de passos que
constitui o método são necessários alguns conhecimentos sobre o método científico
11
Dados versus Conceitos• O método de pesquisa não consiste apenas
em coletar dados para suportar a hipótese de trabalho
• É necessário elaborar um discurso ponderado e esclarecedor a partir desses dados
• O aspecto mais importante de uma monografia é o pensamento crítico e não apenas a coleta de informações
12
Pesquisa Experimental e Não-Experimental
• A pesquisa experimental implica em que o pesquisador sistematicamente provocará alterações no ambiente a ser pesquisado de forma a observar se cada intervenção produz os resultados esperados
• A pesquisa não experimental consiste no estudo de fenômenos sem a intervenção sistemática do pesquisador
13
Objetividade• O pensamento humano permite a tirada de
conclusões que nem sempre são objetivas, como no caso das opiniões
• Segundo Kerlinger (1980), “a condição principal para satisfazer o critério de objetividade é, idealmente, que quaisquer observadores com um mínimo de competência concordem com seus resultados”
14
Objetividade• Experimentos e observações devem ser
tratados de maneira objetiva• Por exemplo, um pesquisador poderia dizer que
um sistema é “fácil de usar” se um determinado conjunto de tarefas predefinido puder ser executado por um usuário com um determinado grau de treinamento dentro de um período de tempo predeterminado
• Deve-se também observar a qualidade da própria definição
15
Objetividade• Em resumo:
• Deve-se definir de maneira objetiva o fenômeno que vai observar
• Deve-se convencer os demais que a definição é intuitiva e útil para chegar a algum resultado
16
Empirismo• Segundo Kerlinger (1980), “empírico significa guiado
pela evidência obtida em pesquisa científica sistemática e controlada”
• A computação, enquanto ciência, fundamenta suas pesquisas no empirismo e não no princípio da autoridade
• O empirismo é importante para a ciência porque é uma maneira sensata de olhar o mundo. Não basta acreditar em sua intuição ou nas palavras dos mestres. É preciso verificar objetivamente se o fenômeno descrito realmente é verdadeiro
17
Empirismo• Duvidar das conclusões de outros cientistas e
duvidar do próprio senso comum, muitas vezes, é a chave para grandes descobertas
18
Variáveis • Uma variável, é um nome que se dá a um
fenômeno que pode ser medido e que varia conforme a medição
• Se não variasse seria uma constante e não teria maior interesse para a pesquisa
19
Variáveis discretas e contínuas• O domínio de uma variável pode ser discreto
ou contínuo• A ideia de contínuo vem do fato de que entre
dois valores sempre existe um terceiro• Já as variáveis discretas assumem seus
valores em conjuntos cujos elementos podem ser ordenados ou em conjuntos finitos (categóricas)
20
Discretização• Regras de transformação de valores contínuos
para discretos• Ex.: Médias numéricas em conceitos {A, B, C,
E}• De 0,0 a 4,9 Conceito E • De 5,0 a 6,9 Conceito C• De 7,0 a 8,9 Conceito B• De 9,0 a 10,0 Conceito A
21
Variável Medida• Uma variável medida é aquela cujo fenômeno
vai ser observado pelo pesquisador• Por exemplo: quantas vezes um usuário de
uma ferramenta vai olhar no manual para obter informações para desempenhar a tarefa que lhe foi proposta
• Essa variável tem como domínio o conjunto dos números naturais e seus valores não são determinados pelo observador, mas simplesmente medidos
22
Variável Manipulada• A variável manipulada é aquela que o
experimentador vai deliberadamente modificar para realizar seu experimento
• Por este motivo, esse tipo de variável também é chamado de variável experimental
• Exemplo de variável manipulada• Número de passos da tarefa repassada aos
usuários
23
Mas porque pesquisadores manipulam uma ou mais variáveis enquanto observam outras?
• É porque eles querem encontrar dependências entre essas variáveis
• A princípio pode-se testar a dependência entre quaisquer variáveis manipuladas e observadas
• Mas nem sempre esse teste fará sentido
• Antes de analisar uma dependência experimentalmente o pesquisador usualmente desenvolve uma teoria ou hipótese
24
Variáveis Dependentes e Independentes
• A variável independente é aquela que, se supõe, influencia outra
• A variável dependente é a influenciada
• Dependência pode ser medida por correlação
25
Para chegar na correlação precisaremos de um pouco de matemática
26
Média• Na pesquisa científica, frequentemente o
pesquisador defronta-se com o problema de analisar conjuntos de dados
• Por exemplo, ao avaliar um determinado sistema, o pesquisador contabiliza o tempo de interação de cada pessoa dentre um conjunto previamente definido
• Usualmente a média é considerada uma medida importante na avaliação de conjuntos de valores
27
Média• Por exemplo, se quatro pessoas foram
analisadas e os tempos medidos em minutos foram 10, 12, 14, 9, então se pode dizer que o tempo médio observado foi de 11,25 minutos
28
Variância• Considere-se os três conjuntos de valores
abaixo:• {10, 12, 14, 9}• {1, 20, 2, 22}• {11, 11, 11, 12}
• É possível notar certa semelhança entre eles?
• Aparentemente são conjuntos bem diferentes
• Mas todos têm a mesma média: 11,25
29
Variância• Essa observação do distanciamento dos
elementos em relação à média é chamada de variância
• Então, além da média, o pesquisador deve ficar atento também à variância do conjunto de valores, já que esta complementa a caracterização do conjunto
30
Cálculo da variância• Subtraia a média do conjunto de cada
elemento:• {-1,25, 0,75, 2,75, -2,25}• {-10,25, 8,75, -9,25, 10,75}• {-0,25, -0,25, -0,25, 0,75}
• O resultado corresponde à intuição• O terceiro conjunto tem valores absolutos
pequenos referentes à diferença entre os valores originais e a média
31
• Para obter um valor escalar que corresponda à medida da distância dos valores em relação à média do conjunto
• Eleve os valores ao quadrado:• {1,5625, 0,5625, 7,5625, 5,0625}• {105,0625, 76,5625, 85,5625, 115,5625}• {0,0625, 0,0625, 0,0625, 0,5625}
Cálculo da variância
32
• Some os resultados:• 14,75 • 382,75 • 0,75
Cálculo da variância
33
• Para evitar que o valor cresça com o tamanho do conjunto de dados: divida pelo número de elementos do conjunto menos 1:
• 4,9166...• 27,5833... • 0,25
Cálculo da variância
34
Fórmula da Variância
, onde n é o número de elementos do conjunto, x representa a média aritmética do conjunto e xi representa cada um dos elementos do conjunto no somatório
35
Desvio-Padrão• O desvio-padrão é uma medida também
bastante utilizada para analisar conjuntos e é definido simplesmente como a raiz quadrada da variância
36
Dependência • Variáveis manipuladas realmente influenciam
as variáveis experimentais?
• Existe dependência entre elas?
• A covariância pode dizer!
37
Covariância (exemplo)• No caso de conjuntos que variam muito, como
do tempo que se leva para programar casos de uso
• considerar que não se tem um único conjunto mas sim um certo número de subconjuntos, cada um dos quais com características distintas cada um com sua própria média e variância
38
Covariância (exemplo)• Exemplo dos casos de uso
• Classificar casos de uso em simples, médios e complexos para obter conjuntos de medidas com variância menor e, portanto, mais previsíveis
• Porém, essa subclassificação gera incerteza• Não se sabe se a forma de determinar que um caso de
uso é simples, médio ou complexo realmente classifica os casos de uso em subconjuntos nos quais os valores de tempo de desenvolvimento tenham variância mais baixa
• Solução: aplicar experimentação científica para avaliar a adequação da técnica de classificação
39
Covariância (exemplo)• O valor de pontos de caso de uso estimado por
um método Y produz uma estimativa melhor do que um outro método Y’?
• Onde “melhor” significa com “alta dependência em relação ao conjunto de tempos X”
40
Covariância (exemplo)• Para testar a hipótese é necessário comparar
dois conjuntos de valores• o valor dado a um caso de uso pelo método de
classificação • o valor do tempo que efetivamente se leva para
programar o caso de uso
41
Exemplo de covariância alta e direta (método Y)
Caso de Uso
Tempo conhecido (horas) - X
Pontos de caso de uso - Y
UC1 1 1UC2 18 2UC3 4 1UC4 67 3UC5 22 2UC6 12 2UC7 2 1UC8 7 1UC9 18 2UC10 55 3
42
Exemplo de covariância alta e direta (método Y)
Caso de Uso
Tempo conhecido (horas) - X
Pontos de caso de uso - Y
UC1 1 1UC2 18 2UC3 4 1UC4 67 3UC5 22 2UC6 12 2UC7 2 1UC8 7 1UC9 18 2UC10 55 3
•Covariância alta: pois os menores valores da coluna X, coincidem com os menores valores da coluna Y, e os maiores valores da coluna X coincidem com os maiores valores da coluna Y•Covariância direta: pois quanto maior o valor da coluna X, maior o valor da coluna Y
43
Exemplo de covariância baixa (método Y’)
C a s o d e uso
Tempo conhec ido (horas) - X
Pontos de caso de uso – Y’
UC1 1 1UC2 18 2UC3 4 3UC4 67 1UC5 22 2UC6 12 3UC7 2 1UC8 7 2UC9 18 3UC10 55 1
44
Covariância• É calculada a partir dos desvios da média em
cada conjunto• Se no primeiro conjunto um valor se desvia muito
para cima da sua média, espera-se que no segundo o valor correspondente também se desvie muito para cima da sua própria média
• No final • Se todos os desvios para cima ou para baixo são
semelhantes covariância alta e positiva• Se os desvios forem sempre invertidos covariância alta
e negativa• Se em alguns casos os desvios coincidem e em outros
não covariância próxima de zero e, portanto, baixa
45
Covariância
46
Covariância de YCaso de uso Tempo conhecido (horas) - X Pontos de caso de uso - Y (xi - ) (yi - ) (xi - )(yi - )
UC1 1 1 -19,6 -0,815,68
UC2 18 2 -2,6 0,2-0,52
UC3 4 1 -16,6 -0,813,28
UC4 67 3 46,4 1,255,68
UC5 22 2 1,4 0,20,28
UC6 12 2 -8,6 0,2-1,72
UC7 2 1 -18,6 -0,814,88
UC8 7 1 -13,6 -0,810,88
UC9 18 2 -2,6 0,2-0,52
UC10 55 3 34,4 1,241,28
149,2 / 9 = 16,57777... 47
Covariância de Y’Caso de uso Tempo conhecido (horas) - X Pontos de caso de uso – Y’ (xi - ) (y’i - ) (xi - )(y’i - )
UC1 1 1 -19,6-0,9 17,64
UC2 18 2 -2,60,1 -0,26
UC3 4 3 -16,61,1 -18,26
UC4 67 1 46,4-0,9 -41,76
UC5 22 2 1,40,1 0,14
UC6 12 3 -8,61,1 -9,46
UC7 2 1 -18,6-0,9 16,74
UC8 7 2 -13,60,1 -1,36
UC9 18 3 -2,61,1 -2,86
UC10 55 1 34,4-0,9 -30,96
-70,4 / 9 = -7,822222...48
Correlação• O valor absoluto da covariância não diz muita
coisa sobre um conjunto estar influenciando o outro ou não
• Por isso, usa-se mais correlação• É uma medida de variância normalizada
(entre -1 e 1)
49
Correlação• O valor absoluto da covariância não diz muita
coisa sobre um conjunto estar influenciando o outro ou não
• Por isso, usa-se mais correlação• É uma medida de variância normalizada
(entre -1 e 1)
• Perto de -1 significa correlação negativa muito forte
• Perto de 1 significa correlação positiva muito forte
• Perto de 0 significa ausência de correlação
50
Voltando ao exemplo• Correlação de Y e X: 0,928041193.• Correlação de Y’ e X: -0,39445403.
• Existe correlação entre Y e X?• Existe correlação entre Y’ e X?
• É necessário saber se o tamanho da amostra é suficiente para considerar a correlação como efetivamente significativa ou se o valor foi obtido apenas por coincidência
51
Valores mínimos de correlação para ser considerada significativa com 95% de certeza.
n mínimo n mínimo n mínimo
3 .99692 13 .5529 27 .38094 .95000 14 .5324 32 .34945 .8783 15 .5139 37 .32466 .8114 16 .4973 42 .30447 .7545 17 .4821 47 .28758 .7067 18 .4683 52 .27329 .6664 19 .4555 62 .2500
10 .6319 20 .4438 72 .231911 .6021 21 .4329 82 .217212 .5760 22 .4227 92 .2050
52
No exemplo• n = 10• Mínimo: 0,6319
• Corr(X,Y) = 0,928041193 OK• Corr(X,Y’) = -0,39445403 .....
53
A Hipótese de Pesquisa• Um aspecto que diferencia o trabalho
científico do trabalho técnico é a existência de uma hipótese de pesquisa
• A hipótese é uma afirmação da qual não se sabe a princípio se é verdadeira ou falsa
• O trabalho de pesquisa consiste justamente em tentar provar a veracidade ou falsidade da hipótese
54
Hipótese• Pergunta que surge: “e se não se conseguir
provar que a hipótese era válida?”
• Reposta: vai depender de quão relevante era a hipótese original
• Uma hipótese bem justificada no início do trabalho aumenta as chances de sucesso
1. Torna-se mais provável que ela seja verdadeira2. Se ela for falsa, o trabalho terá o mérito de ter
derrubado algum mito
55
Hipótese• Três formas de coletar evidências para comprovar a
validade de uma hipótese:1. Construir uma teoria, que a partir de fatos aceitos e
deduções válidas prove que a hipótese é verdadeira
2. Realizar certo número de experimentos controlados, que estatisticamente comprovem a validade da hipótese normalmente se aceita que hipóteses sejam comprovadas com 95% de certeza
3. Realizar estudos de caso, comparativos, argumentações, colher opiniões, etc. podem ser evidências da validade de uma hipótese
56
Hipótese• Um problema de pesquisa, então, usualmente vai perguntar
• como é que duas ou mais variáveis se relacionam • se existe correlação positiva ou negativa entre os valores das
variáveis
• A existência dessas correlações, porém, ainda não prova causas
• Uma teoria consistente que explique causa e efeito precisa também ser elaborada, além da validação empírica
• Isso acontece porque algumas vezes duas variáveis até se correlacionam com alto índice, mas as causas envolvidas podem não ser tão diretas
57
Justificativa
• Justificativa do tema (parte do problema)
• Justificativa da hipótese (segurança do pesquisador)
58
Resultados Esperados• Os resultados esperados, usualmente, são
situações que o autor de um trabalho espera que ocorram, caso seus objetivos sejam atingidos
• Os resultados esperados, normalmente fogem ao escopo do trabalho
• O autor da pesquisa não tentará obter os resultados esperados ao final da pesquisa
• Eles são posteriores
59
Limitações do Trabalho• As limitações são aspectos do trabalho dos quais o autor
tem consciência e reconhece a importância, mas não tem condições de abordar no tempo disponível
• É importante, em trabalhos de pesquisa, que as limitações conhecidas sejam claramente identificadas pelo autor desde o início
• Isso evitará que o próprio autor muitas vezes se perca em divagações ou buscando aspectos que extrapolam os objetivos iniciais
• Isso evita também que o leitor crie expectativas demasiadamente amplas sobre o trabalho, que serão depois frustradas
60
Referências• Raul Sidnei Wazlawick : Metodologia de Pesquisa em
Ciência da Computação, Elsevier - Campus, 2009• Capítulo 3
61
PGC001 Metodologia de Pesquisa em Computação - 1° sem/2015 62
Atividade AvaliativaTema: Preparação do Trabalho de Pesquisa-Revisão Bibliográfica
Principais ConceitosPrincipais Trabalhos Relacionados
Material a ser entregueVersão preliminar do Capítulo - Referencial Teórico da dissertação/tese
Usar modelo PPGCO - latexAprofundar no assunto de acordo com a sua maturidade sobre o tema
Alunos ingressantes na pós focam nos conceitosAlunos com projetos em andamento focam nos conceitos e nos trabalhos relacionados (pelo menos 2 trabalhos apresentados em profundidade)
PGC001 Metodologia de Pesquisa em Computação - 1° sem/2015 63
Preparação para avaliaçãoApresentação (15 minutos + perguntas no fim da aula)
Enviar por emailO capítulo produzido - versão pdfOs slides da apresentação - versão pdf