![Page 1: Revisão Sistemática e Metaanálise Aula 10 - EPI uffepi.uff.br/wp-content/uploads/2014/08/aula-revisao-sistematica-I... · Revisão de estudos através de uma estratégia que limita](https://reader031.vdocuments.net/reader031/viewer/2022031410/5c64b6fb09d3f2ad6e8b92e7/html5/thumbnails/1.jpg)
Revisão Sistemática e Metaanálise
Aula 10 2016
![Page 2: Revisão Sistemática e Metaanálise Aula 10 - EPI uffepi.uff.br/wp-content/uploads/2014/08/aula-revisao-sistematica-I... · Revisão de estudos através de uma estratégia que limita](https://reader031.vdocuments.net/reader031/viewer/2022031410/5c64b6fb09d3f2ad6e8b92e7/html5/thumbnails/2.jpg)
Revisão tradicional x revisão sistemática
• Abrangente (vários enfoques)
• superficial
• Busca bibliográfica segundo critério do autor
• Seleção dos artigos segundo critério do autor
• Extração dos dados de forma não explicitada
• Sumarização heterogênea
• Análise não quantitativa
• Focada (hipótese) aprofundada
• Busca bibliográfica segundo critérios definidos
• Seleção dos artigos segundo critérios de inclusão/exclusão e critérios de qualidade
• Extração dos dados de forma padronizada
• Sumarização dos dados em forma de tabelas e gráficos
• Análise (medida sumário)**
![Page 3: Revisão Sistemática e Metaanálise Aula 10 - EPI uffepi.uff.br/wp-content/uploads/2014/08/aula-revisao-sistematica-I... · Revisão de estudos através de uma estratégia que limita](https://reader031.vdocuments.net/reader031/viewer/2022031410/5c64b6fb09d3f2ad6e8b92e7/html5/thumbnails/3.jpg)
Revisão Sistemática
Revisão de estudos através de uma estratégia que limita o viés na reunião sistemática, com avaliação crítica e síntese de todos os estudos relevantes sobre um tópico específico.
Cook et al, 1995. J Clin Epidemiol 48(1):167-71
![Page 4: Revisão Sistemática e Metaanálise Aula 10 - EPI uffepi.uff.br/wp-content/uploads/2014/08/aula-revisao-sistematica-I... · Revisão de estudos através de uma estratégia que limita](https://reader031.vdocuments.net/reader031/viewer/2022031410/5c64b6fb09d3f2ad6e8b92e7/html5/thumbnails/4.jpg)
Metaanálise**
•Análise que combina e integra os resultados de estudos independentes, considerados homogêneos.
•Tem como propósito explicar possíveis inconsistências entre eles e calcular uma medida-sumário de seus resultados.
![Page 5: Revisão Sistemática e Metaanálise Aula 10 - EPI uffepi.uff.br/wp-content/uploads/2014/08/aula-revisao-sistematica-I... · Revisão de estudos através de uma estratégia que limita](https://reader031.vdocuments.net/reader031/viewer/2022031410/5c64b6fb09d3f2ad6e8b92e7/html5/thumbnails/5.jpg)
Revisão Sistemática
e Metaanálise
a) Formular a pergunta:
Hipótese testada?
Exposição e desfechos definidos?
Etapas
![Page 6: Revisão Sistemática e Metaanálise Aula 10 - EPI uffepi.uff.br/wp-content/uploads/2014/08/aula-revisao-sistematica-I... · Revisão de estudos através de uma estratégia que limita](https://reader031.vdocuments.net/reader031/viewer/2022031410/5c64b6fb09d3f2ad6e8b92e7/html5/thumbnails/6.jpg)
Etapas
b) Definir critérios de inclusão e de exclusão de estudos
(de acordo com a questão clínica da hipótese da revisão)
Desenho: ensaios clínicos, estudos observacionais
Participantes: sexo, idade, características clínicas
Exposição: dose, duração
Desfecho: morte, cura, melhora, prevenção
Revisão Sistemática
e Metaanálise
![Page 7: Revisão Sistemática e Metaanálise Aula 10 - EPI uffepi.uff.br/wp-content/uploads/2014/08/aula-revisao-sistematica-I... · Revisão de estudos através de uma estratégia que limita](https://reader031.vdocuments.net/reader031/viewer/2022031410/5c64b6fb09d3f2ad6e8b92e7/html5/thumbnails/7.jpg)
Etapas
c) Identificação de estudos
Bases eletrônicas (através de palavras-chave): Medline - medicina e saúde Lilacs - saúde (América Latina e Caribe) Embase, Scisearch – entre outros. Cochrane - medicina baseada em evidência
Outras fontes
Especialistas, congressos, simpósios
Busca manual de artigos (Referências bibliográficas de artigos)
Revisão Sistemática
e Metaanálise
![Page 8: Revisão Sistemática e Metaanálise Aula 10 - EPI uffepi.uff.br/wp-content/uploads/2014/08/aula-revisao-sistematica-I... · Revisão de estudos através de uma estratégia que limita](https://reader031.vdocuments.net/reader031/viewer/2022031410/5c64b6fb09d3f2ad6e8b92e7/html5/thumbnails/8.jpg)
Etapas
d) Seleção de estudos
segundo critérios de inclusão/exclusão
pela avaliação da qualidade do estudo
Apresentação de fluxograma
Revisão Sistemática
e Metaanálise
![Page 9: Revisão Sistemática e Metaanálise Aula 10 - EPI uffepi.uff.br/wp-content/uploads/2014/08/aula-revisao-sistematica-I... · Revisão de estudos através de uma estratégia que limita](https://reader031.vdocuments.net/reader031/viewer/2022031410/5c64b6fb09d3f2ad6e8b92e7/html5/thumbnails/9.jpg)
PRISMA – proposta de fluxograma
![Page 10: Revisão Sistemática e Metaanálise Aula 10 - EPI uffepi.uff.br/wp-content/uploads/2014/08/aula-revisao-sistematica-I... · Revisão de estudos através de uma estratégia que limita](https://reader031.vdocuments.net/reader031/viewer/2022031410/5c64b6fb09d3f2ad6e8b92e7/html5/thumbnails/10.jpg)
Artigo 2: fluxograma
![Page 11: Revisão Sistemática e Metaanálise Aula 10 - EPI uffepi.uff.br/wp-content/uploads/2014/08/aula-revisao-sistematica-I... · Revisão de estudos através de uma estratégia que limita](https://reader031.vdocuments.net/reader031/viewer/2022031410/5c64b6fb09d3f2ad6e8b92e7/html5/thumbnails/11.jpg)
Artigo 3: fluxograma
![Page 12: Revisão Sistemática e Metaanálise Aula 10 - EPI uffepi.uff.br/wp-content/uploads/2014/08/aula-revisao-sistematica-I... · Revisão de estudos através de uma estratégia que limita](https://reader031.vdocuments.net/reader031/viewer/2022031410/5c64b6fb09d3f2ad6e8b92e7/html5/thumbnails/12.jpg)
Etapas
d.1. Avaliação da qualidade dos estudos.
Diferentes instrumentos:
Checklists
Guidelines
Escores
Revisão Sistemática
e Metaanálise
![Page 13: Revisão Sistemática e Metaanálise Aula 10 - EPI uffepi.uff.br/wp-content/uploads/2014/08/aula-revisao-sistematica-I... · Revisão de estudos através de uma estratégia que limita](https://reader031.vdocuments.net/reader031/viewer/2022031410/5c64b6fb09d3f2ad6e8b92e7/html5/thumbnails/13.jpg)
0/-1
Jadad Score Calculation para ensaios clínicos randomizados
Item
Score
O ESTUDO FOI RANDOMIZADO ?
0/1
O MÉTODO DE RANDOMIZAÇÃO FOI ADEQUADO? há descrição da geração aleatória? Foi adequado?
0/1
O ESTUDO FOI DUPLO-CEGO?
0/1
O MÉTODO DE CEGAMENTO FOI ADEQUADO (uso de placebo, técnicas de mascaramento)
0/1
HÁ UM FLUXOGRAMA DO SEGUIMENTO E PERDAS?
0/1
SE O MÉTODO DE RANDOMIZAÇÃO, FOI INADEQUADO,DEDUZA UM PONTO.
0/-1
DEDUZA UM PONTO SE O MASCARAMENTO FOI INADEQUADO.
![Page 14: Revisão Sistemática e Metaanálise Aula 10 - EPI uffepi.uff.br/wp-content/uploads/2014/08/aula-revisao-sistematica-I... · Revisão de estudos através de uma estratégia que limita](https://reader031.vdocuments.net/reader031/viewer/2022031410/5c64b6fb09d3f2ad6e8b92e7/html5/thumbnails/14.jpg)
http://www.equator-network.org/reporting-guidelines/consort/
![Page 15: Revisão Sistemática e Metaanálise Aula 10 - EPI uffepi.uff.br/wp-content/uploads/2014/08/aula-revisao-sistematica-I... · Revisão de estudos através de uma estratégia que limita](https://reader031.vdocuments.net/reader031/viewer/2022031410/5c64b6fb09d3f2ad6e8b92e7/html5/thumbnails/15.jpg)
![Page 16: Revisão Sistemática e Metaanálise Aula 10 - EPI uffepi.uff.br/wp-content/uploads/2014/08/aula-revisao-sistematica-I... · Revisão de estudos através de uma estratégia que limita](https://reader031.vdocuments.net/reader031/viewer/2022031410/5c64b6fb09d3f2ad6e8b92e7/html5/thumbnails/16.jpg)
![Page 17: Revisão Sistemática e Metaanálise Aula 10 - EPI uffepi.uff.br/wp-content/uploads/2014/08/aula-revisao-sistematica-I... · Revisão de estudos através de uma estratégia que limita](https://reader031.vdocuments.net/reader031/viewer/2022031410/5c64b6fb09d3f2ad6e8b92e7/html5/thumbnails/17.jpg)
Artigo 2: Avaliação de qualidade: STROBE
http://www.strobe-statement.org/index.php?id=strobe-home
![Page 18: Revisão Sistemática e Metaanálise Aula 10 - EPI uffepi.uff.br/wp-content/uploads/2014/08/aula-revisao-sistematica-I... · Revisão de estudos através de uma estratégia que limita](https://reader031.vdocuments.net/reader031/viewer/2022031410/5c64b6fb09d3f2ad6e8b92e7/html5/thumbnails/18.jpg)
Artigo 3: Avaliação de qualidade: COCHRANE
![Page 19: Revisão Sistemática e Metaanálise Aula 10 - EPI uffepi.uff.br/wp-content/uploads/2014/08/aula-revisao-sistematica-I... · Revisão de estudos através de uma estratégia que limita](https://reader031.vdocuments.net/reader031/viewer/2022031410/5c64b6fb09d3f2ad6e8b92e7/html5/thumbnails/19.jpg)
Etapas
e) Extração da informação
formulário para extração de dados
mínimo de 2 investigadores
Revisão Sistemática
e Metaanálise
![Page 20: Revisão Sistemática e Metaanálise Aula 10 - EPI uffepi.uff.br/wp-content/uploads/2014/08/aula-revisao-sistematica-I... · Revisão de estudos através de uma estratégia que limita](https://reader031.vdocuments.net/reader031/viewer/2022031410/5c64b6fb09d3f2ad6e8b92e7/html5/thumbnails/20.jpg)
Etapas
f) Análise
Construção de tabelas com todos os artigos avaliados e principais resultados
Meta-análise **
gráficos
explorar fontes de heterogeneidade
escolha da medida de associação (RR, OR) ou efeito
cálculo de medida-sumário
Revisão Sistemática
e Metaanálise
![Page 21: Revisão Sistemática e Metaanálise Aula 10 - EPI uffepi.uff.br/wp-content/uploads/2014/08/aula-revisao-sistematica-I... · Revisão de estudos através de uma estratégia que limita](https://reader031.vdocuments.net/reader031/viewer/2022031410/5c64b6fb09d3f2ad6e8b92e7/html5/thumbnails/21.jpg)
Artigo 2: TABELA DESCRITIVA DOS ARTIGOS
![Page 22: Revisão Sistemática e Metaanálise Aula 10 - EPI uffepi.uff.br/wp-content/uploads/2014/08/aula-revisao-sistematica-I... · Revisão de estudos através de uma estratégia que limita](https://reader031.vdocuments.net/reader031/viewer/2022031410/5c64b6fb09d3f2ad6e8b92e7/html5/thumbnails/22.jpg)
Artigo 3: TABELAS DESCRITIVAS DOS ARTIGOS
![Page 23: Revisão Sistemática e Metaanálise Aula 10 - EPI uffepi.uff.br/wp-content/uploads/2014/08/aula-revisao-sistematica-I... · Revisão de estudos através de uma estratégia que limita](https://reader031.vdocuments.net/reader031/viewer/2022031410/5c64b6fb09d3f2ad6e8b92e7/html5/thumbnails/23.jpg)
Etapas
g) Interpretação dos resultados
força da evidência
relevância para pacientes: benefícios x riscos
Revisão Sistemática
e Metaanálise
![Page 24: Revisão Sistemática e Metaanálise Aula 10 - EPI uffepi.uff.br/wp-content/uploads/2014/08/aula-revisao-sistematica-I... · Revisão de estudos através de uma estratégia que limita](https://reader031.vdocuments.net/reader031/viewer/2022031410/5c64b6fb09d3f2ad6e8b92e7/html5/thumbnails/24.jpg)
Possibilidade de síntese
da evidência
Estudos “descritivos”
(prevalência ou incidência de desfechos
relevantes)
Estudos “analíticos”
Fatores de risco
Estudos de teste diagnóstico
Ensaios clínios randomizados
Revisão Sistemática
e Metaanálise
![Page 25: Revisão Sistemática e Metaanálise Aula 10 - EPI uffepi.uff.br/wp-content/uploads/2014/08/aula-revisao-sistematica-I... · Revisão de estudos através de uma estratégia que limita](https://reader031.vdocuments.net/reader031/viewer/2022031410/5c64b6fb09d3f2ad6e8b92e7/html5/thumbnails/25.jpg)
Gonçalves VSS et al. Prevalência de hipertensão arterial entre adolescentes: ......Rev Saude Publ 2016;50:27.
OBJETIVO: Estimar a prevalência de hipertensão arterial entre adolescentes escolares brasileiros.
MÉTODOS: Foi realizada revisão sistemática de estudos transversais de base escolar. Os artigos foram pesquisados nas bases de dados Medline, Embase, Scopus, Lilacs, SciELO, Web of Science, Banco de teses da Capes e Tripdatabase. Além disso, foram examinadas as listas de referências bibliográficas dos estudos relevantes para identificar artigos potencialmente elegíveis. Não foram aplicadas restrições da data de publicação, idioma ou status de publicação. Os estudos foram selecionados por duas avaliadoras independentes que também extraíram os dados e avaliaram a qualidade metodológica seguindo oito critérios relacionados à amostragem, mensuração da pressão arterial e apresentação dos resultados. Calculou-se a metanálise utilizando modelo de efeitos randômicos e foram realizadas análises para investigação de heterogeneidade. RESULTADOS: Foram recuperados 1.577 artigos na busca, e 22 foram incluídos na revisão. Os artigos incluídos corresponderam a 14.115 adolescentes, sendo 51,2% (n = 7.230) do sexo feminino. Houve variedade de técnicas, equipamentos e referências utilizados. A prevalência de hipertensão foi 8,0% (IC95% 5,0–11,0; I2 = 97,6%), sendo no sexo masculino 9,3% (IC95% 5,6–13,6; I2 = 96,4%) e no feminino, 6,5% (IC95% 4,2–9,1; I2 = 94.2%).
![Page 26: Revisão Sistemática e Metaanálise Aula 10 - EPI uffepi.uff.br/wp-content/uploads/2014/08/aula-revisao-sistematica-I... · Revisão de estudos através de uma estratégia que limita](https://reader031.vdocuments.net/reader031/viewer/2022031410/5c64b6fb09d3f2ad6e8b92e7/html5/thumbnails/26.jpg)
![Page 27: Revisão Sistemática e Metaanálise Aula 10 - EPI uffepi.uff.br/wp-content/uploads/2014/08/aula-revisao-sistematica-I... · Revisão de estudos através de uma estratégia que limita](https://reader031.vdocuments.net/reader031/viewer/2022031410/5c64b6fb09d3f2ad6e8b92e7/html5/thumbnails/27.jpg)
Artigo 3: GRÁFICO FLORESTA
![Page 28: Revisão Sistemática e Metaanálise Aula 10 - EPI uffepi.uff.br/wp-content/uploads/2014/08/aula-revisao-sistematica-I... · Revisão de estudos através de uma estratégia que limita](https://reader031.vdocuments.net/reader031/viewer/2022031410/5c64b6fb09d3f2ad6e8b92e7/html5/thumbnails/28.jpg)
![Page 29: Revisão Sistemática e Metaanálise Aula 10 - EPI uffepi.uff.br/wp-content/uploads/2014/08/aula-revisao-sistematica-I... · Revisão de estudos através de uma estratégia que limita](https://reader031.vdocuments.net/reader031/viewer/2022031410/5c64b6fb09d3f2ad6e8b92e7/html5/thumbnails/29.jpg)
Artigo 4: Forest plot
![Page 30: Revisão Sistemática e Metaanálise Aula 10 - EPI uffepi.uff.br/wp-content/uploads/2014/08/aula-revisao-sistematica-I... · Revisão de estudos através de uma estratégia que limita](https://reader031.vdocuments.net/reader031/viewer/2022031410/5c64b6fb09d3f2ad6e8b92e7/html5/thumbnails/30.jpg)
METAANÁLISE
Combina estudos homogêneos,
Aumenta o número de observações,
Aumenta o poder estatístico de detectar os efeitos.
O efeito da intervenção / tratamento é calculado como uma média ponderada dos efeitos de cada estudo.
Os pesos são o inverso da variância do efeito do tratamento/intervenção de cada estudo (que está associado com o tamanho da amostra).
![Page 31: Revisão Sistemática e Metaanálise Aula 10 - EPI uffepi.uff.br/wp-content/uploads/2014/08/aula-revisao-sistematica-I... · Revisão de estudos através de uma estratégia que limita](https://reader031.vdocuments.net/reader031/viewer/2022031410/5c64b6fb09d3f2ad6e8b92e7/html5/thumbnails/31.jpg)
Heterogeneidade clínica
Estudos diferem quanto às características dos
participantes (idade, severidade), intervenção (dose), duração do acompanhamento, variável de desfecho.
![Page 32: Revisão Sistemática e Metaanálise Aula 10 - EPI uffepi.uff.br/wp-content/uploads/2014/08/aula-revisao-sistematica-I... · Revisão de estudos através de uma estratégia que limita](https://reader031.vdocuments.net/reader031/viewer/2022031410/5c64b6fb09d3f2ad6e8b92e7/html5/thumbnails/32.jpg)
Heterogeneidade metodológica e estatística
Os desenhos de estudo são diferentes
Heterogeneidade estatística. Variação entre os
resultados dos estudos é maior do que a esperada ao acaso.
Intervalos de confiança de alguns estudos não englobam os riscos relativos observados por outros estudos
![Page 33: Revisão Sistemática e Metaanálise Aula 10 - EPI uffepi.uff.br/wp-content/uploads/2014/08/aula-revisao-sistematica-I... · Revisão de estudos através de uma estratégia que limita](https://reader031.vdocuments.net/reader031/viewer/2022031410/5c64b6fb09d3f2ad6e8b92e7/html5/thumbnails/33.jpg)
Testando a heterogeneidade
Qui-quadrado para heterogeneidade Se p-valor > 0,10, não rejeito a hipótese nula de igualdade Se p-valor < 0,10, rejeito igualdade e confirmo
heterogeneidade entre os estudos
Teste I2 – percentual de heterogeneidade que excede acaso
0-25% - baixa 26-50% - moderada > 50% - alta
![Page 34: Revisão Sistemática e Metaanálise Aula 10 - EPI uffepi.uff.br/wp-content/uploads/2014/08/aula-revisao-sistematica-I... · Revisão de estudos através de uma estratégia que limita](https://reader031.vdocuments.net/reader031/viewer/2022031410/5c64b6fb09d3f2ad6e8b92e7/html5/thumbnails/34.jpg)
Manejo da Heterogeneidade
A presença da heterogeneidade não é um problema para a meta-análise, mas uma oportunidade para investigar por que o efeito da intervenção / tratamento varia em diferentes circunstâncias.
Possibilidades:
• Não combinar resultados - explicar causas da heterogeneidade – análise de sub-grupos
• Combinar estudos usando efeitos aleatórios - conhecer um efeito médio.
• META-REGRESSÃO - análise estatística que relaciona o tamanho do efeito às características do estudo, por exemplo, média de idade, proporção de mulheres, dose do medicamento
![Page 35: Revisão Sistemática e Metaanálise Aula 10 - EPI uffepi.uff.br/wp-content/uploads/2014/08/aula-revisao-sistematica-I... · Revisão de estudos através de uma estratégia que limita](https://reader031.vdocuments.net/reader031/viewer/2022031410/5c64b6fb09d3f2ad6e8b92e7/html5/thumbnails/35.jpg)
Análise de subgrupo
Apresentar os resultados para subgrupos previamente determinados (hipótese):
De pacientes
De intervenções
De desfechos
![Page 36: Revisão Sistemática e Metaanálise Aula 10 - EPI uffepi.uff.br/wp-content/uploads/2014/08/aula-revisao-sistematica-I... · Revisão de estudos através de uma estratégia que limita](https://reader031.vdocuments.net/reader031/viewer/2022031410/5c64b6fb09d3f2ad6e8b92e7/html5/thumbnails/36.jpg)
Validade interna: Vieses
1. Viés de Publicação
dados não são publicados em função do resultado obtido=>predomínio de publicações com resultados positivos.
Pode ser avaliado graficamente (gráfico de funil)
Estar presente na discussão!
2. Viés de Idioma
Os estudos são identificados, mas excluídos em função da língua. >parte de incluídos - inglês.
Revisão Sistemática
e Metaanálise
![Page 37: Revisão Sistemática e Metaanálise Aula 10 - EPI uffepi.uff.br/wp-content/uploads/2014/08/aula-revisao-sistematica-I... · Revisão de estudos através de uma estratégia que limita](https://reader031.vdocuments.net/reader031/viewer/2022031410/5c64b6fb09d3f2ad6e8b92e7/html5/thumbnails/37.jpg)
Viés de idioma
Egger et al (Lancet, 1997):
Comparação entre artigos publicados em diferentes línguas mostraram que 63% dos artigos publicados em inglês tinha achados estatisticamente significativos (p>0,05) contra 35% dos publicados em alemão.
Revisão Sistemática
e Metaanálise
![Page 38: Revisão Sistemática e Metaanálise Aula 10 - EPI uffepi.uff.br/wp-content/uploads/2014/08/aula-revisao-sistematica-I... · Revisão de estudos através de uma estratégia que limita](https://reader031.vdocuments.net/reader031/viewer/2022031410/5c64b6fb09d3f2ad6e8b92e7/html5/thumbnails/38.jpg)
Vieses de informação
1. Viés de extração
Ocorre quando estudos são avaliados de forma não padronizada, permitindo heterogeneidade na extração dos dados. Pode ser minimizado com a adoção de instrumentos validados.
2. Viés do investigador
Ocorre quando o investigador conhece os autores e pode ficar sugestionado. Pode ser minimizado ocultando-se a identificação do artigo (avaliação mascarada).
Revisão Sistemática
e Metaanálise
![Page 39: Revisão Sistemática e Metaanálise Aula 10 - EPI uffepi.uff.br/wp-content/uploads/2014/08/aula-revisao-sistematica-I... · Revisão de estudos através de uma estratégia que limita](https://reader031.vdocuments.net/reader031/viewer/2022031410/5c64b6fb09d3f2ad6e8b92e7/html5/thumbnails/39.jpg)
Colaboração Cochrane
https://www.facebook.com/Cochrane.org.br/?fref=ts
https://www.facebook.com/Students4BE/?fref=ts
@Students4BE
@Cochrane.org.br @Cochranecollab
http://www.students4bestevidence.net/tutorial-read-forest-
plot/?utm_content=buffer873e0&utm_medium=social&utm_source=f
acebook.com&utm_campaign=buffer - Tutorial: How to read a
forest plot
![Page 40: Revisão Sistemática e Metaanálise Aula 10 - EPI uffepi.uff.br/wp-content/uploads/2014/08/aula-revisao-sistematica-I... · Revisão de estudos através de uma estratégia que limita](https://reader031.vdocuments.net/reader031/viewer/2022031410/5c64b6fb09d3f2ad6e8b92e7/html5/thumbnails/40.jpg)
Trabalho final
Dupla; seguir roteiro da aula
Selecionar uma revisão sistemática com
metaanálise - enviar por email até dia 19/07
para o monitor avaliar (professores disponíveis) [email protected] / [email protected]
Dúvidas e andamento do trabalho em 26/07
(presencial)
Entrega impresso até 2/08