avaliação de desempenho planejamento de experimentos 2 aula 2 marcos josé santana regina helena...
TRANSCRIPT
![Page 1: Avaliação de Desempenho Planejamento de Experimentos 2 Aula 2 Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto de](https://reader036.vdocuments.net/reader036/viewer/2022062512/552fc10b497959413d8c277b/html5/thumbnails/1.jpg)
Avaliação de Desempenho Planejamento de Experimentos 2
Aula 2
Marcos José Santana
Regina Helena Carlucci Santana
Universidade de São PauloInstituto de Ciências Matemáticas e de Computação
Departamento de Sistemas de Computação
![Page 2: Avaliação de Desempenho Planejamento de Experimentos 2 Aula 2 Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto de](https://reader036.vdocuments.net/reader036/viewer/2022062512/552fc10b497959413d8c277b/html5/thumbnails/2.jpg)
Etapas a serem consideradas 1. Estudar o sistema e definir os
objetivos
2. Determinar os serviços oferecidos pelo sistema
3. Selecionar métricas de avaliação
4. Determinar os parâmetros que afetam o desempenho do sistema
5. Determinar o nível de detalhamento da análise
6. Determinar a Técnica de Avaliação apropriada
7. Determinar a carga de trabalho característica
8. Realizar a avaliação e obter os resultados
9. Analisar e interpretar os resultados
10. Apresentar os resultados
Planejamento de
Experimento
Análise dos
Resultados
Técnica de Avaliação
Lembrando.....Lembrando.....
![Page 3: Avaliação de Desempenho Planejamento de Experimentos 2 Aula 2 Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto de](https://reader036.vdocuments.net/reader036/viewer/2022062512/552fc10b497959413d8c277b/html5/thumbnails/3.jpg)
Conteúdo
1. Planejamento de Experimentos
– Motivação– Introdução à Avaliação de Desempenho– Etapas de um Experimento– Planejamento do ExperimentoPlanejamento do Experimento
• Conceitos Básicos• Carga de trabalho
• Modelos para Planejamento de Modelos para Planejamento de ExperimentoExperimento
2. Análise de Resultados
3. Técnicas para Avaliação de Desempenho
![Page 4: Avaliação de Desempenho Planejamento de Experimentos 2 Aula 2 Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto de](https://reader036.vdocuments.net/reader036/viewer/2022062512/552fc10b497959413d8c277b/html5/thumbnails/4.jpg)
Tipos de Planejamento de Experimentos
• Planejamento Simples
• Planejamento Fatorial completo
• Planejamento Fatorial parcial
![Page 5: Avaliação de Desempenho Planejamento de Experimentos 2 Aula 2 Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto de](https://reader036.vdocuments.net/reader036/viewer/2022062512/552fc10b497959413d8c277b/html5/thumbnails/5.jpg)
Tipos de Planejamento de Experimentos
Planejamento Simples
– Iniciar com uma configuração inicial– Fixar todos os fatores e variar um fator por vez– Verificar que fator afeta o desempenho
– Fácil de ser implementado – Não permite verificar a relação entre os fatores– Estatisticamente não eficiente
![Page 6: Avaliação de Desempenho Planejamento de Experimentos 2 Aula 2 Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto de](https://reader036.vdocuments.net/reader036/viewer/2022062512/552fc10b497959413d8c277b/html5/thumbnails/6.jpg)
Tipos de Planejamento de Experimentos
Planejamento Simples
– Para um experimento com K fatores e ni níveis no fator i, tem-se:
– Exemplo do servidor de arquivos
K
iinn
1
)1(1
![Page 7: Avaliação de Desempenho Planejamento de Experimentos 2 Aula 2 Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto de](https://reader036.vdocuments.net/reader036/viewer/2022062512/552fc10b497959413d8c277b/html5/thumbnails/7.jpg)
Fator 1 Microprocessador a ser utilizado 3 níveis: Pentium IV; Athlon XP; Pentium IV com Hyper Thread
Fator 2 Quantidade de Memória 4 níveis: 512 M bytes; 1 G bytes; 2G bytes; 4G bytes
Fator 3 Quantidade de Cache3 níveis: 256 K bytes; 512 K bytes; 1 M bytes
Fator 4 Número de Discos:3 níveis: Dois; Três; Quatro
Planejamento de ExperimentosExemplo do Servidor de arquivos – 4 fatores
n= 1+(3-1)+(4-1)+(3-1)+(3-1) = 10
![Page 8: Avaliação de Desempenho Planejamento de Experimentos 2 Aula 2 Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto de](https://reader036.vdocuments.net/reader036/viewer/2022062512/552fc10b497959413d8c277b/html5/thumbnails/8.jpg)
Tipos de Planejamento de Experimentos
Planejamento Simples
– Não recomendado
– Muito utilizado
![Page 9: Avaliação de Desempenho Planejamento de Experimentos 2 Aula 2 Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto de](https://reader036.vdocuments.net/reader036/viewer/2022062512/552fc10b497959413d8c277b/html5/thumbnails/9.jpg)
Tipos de Planejamento de Experimentos
Planejamento Simples - Não recomendado – Porque?
– Ex. Aquário
![Page 10: Avaliação de Desempenho Planejamento de Experimentos 2 Aula 2 Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto de](https://reader036.vdocuments.net/reader036/viewer/2022062512/552fc10b497959413d8c277b/html5/thumbnails/10.jpg)
Tipos de Planejamento de Experimentos
Planejamento Simples - Não recomendado – Porque?
– Fatores:1. Número de garrafas de cerveja: 10, 100, 1000
2. Espessura do vidro: 2mm, 5mm, 10mm
3. Quantidade de gelo: 0,5 kg, 1Kg, 10Kg
– Variável de Resposta: Tempo necessário para diminuir a temperatura de cerveja em 30 graus
![Page 11: Avaliação de Desempenho Planejamento de Experimentos 2 Aula 2 Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto de](https://reader036.vdocuments.net/reader036/viewer/2022062512/552fc10b497959413d8c277b/html5/thumbnails/11.jpg)
Tipos de Planejamento de Experimentos
Planejamento Simples - Não recomendado – – 1o. Experimento,
• fixo: Esp = 5mm; no. Garrafas = 10• gelo = 0,5 Kg -> Saída = 2 minutos• gelo = 1 Kg -> Saída = 2 minutos• gelo = 10Kg -> Saída = 2minutos
– Mas.... 2o. Experimento, • fixo: Esp = 5mm; no. Garrafas = 100• gelo = 0,5 Kg -> Saída = 30 minutos• gelo = 1 Kg -> Saída = 20 minutos• gelo = 10 Kg -> Saída = 20 minutos
![Page 12: Avaliação de Desempenho Planejamento de Experimentos 2 Aula 2 Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto de](https://reader036.vdocuments.net/reader036/viewer/2022062512/552fc10b497959413d8c277b/html5/thumbnails/12.jpg)
Tipos de Planejamento de Experimentos
Planejamento Simples - Não recomendado – Porque?
–3o. Experimento, • fixo: Esp = 5mm; no. Garrafas = 1000• gelo = 0,5 Kg -> Saída = XX minutos• gelo = 1 Kg -> Saída = 3horas• Gelo = 10Kg -> Saída = 1 hora
![Page 13: Avaliação de Desempenho Planejamento de Experimentos 2 Aula 2 Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto de](https://reader036.vdocuments.net/reader036/viewer/2022062512/552fc10b497959413d8c277b/html5/thumbnails/13.jpg)
Tipos de Planejamento de Experimentos
Planejamento Totalmente Fatorial
– Utiliza todas as combinações considerando todos os fatores e todos os níveis
– Para um experimento com K fatores e ni níveis no fator i, tem-se:
– Para o exemplo da estação de trabalho tem-se: n = 3 (CPU)*4(memória)*3(cache)*3(no. discos) n= 108
K
iinn
1
![Page 14: Avaliação de Desempenho Planejamento de Experimentos 2 Aula 2 Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto de](https://reader036.vdocuments.net/reader036/viewer/2022062512/552fc10b497959413d8c277b/html5/thumbnails/14.jpg)
Tipos de Planejamento de Experimentos
Planejamento Totalmente Fatorial
Vantagens• Todos os fatores são avaliados• Pode-se determinar o efeito de qualquer fator• Interações entre fatores podem ser verificadas
Desvantagens• Grande número de experimentos • Alto custo para avaliação
![Page 15: Avaliação de Desempenho Planejamento de Experimentos 2 Aula 2 Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto de](https://reader036.vdocuments.net/reader036/viewer/2022062512/552fc10b497959413d8c277b/html5/thumbnails/15.jpg)
Planejamento Totalmente FatorialFormas para minimizar custos
1. Reduzir o número de níveis de cada fator• Altamente recomendada• Selecionar dois níveis para cada fator a ser
analisado – número de experimentos reduzido para 2k
• Analisar os resultados e selecionar os fatores primários
• Analisar os fatores primários para um número maior de níveis
![Page 16: Avaliação de Desempenho Planejamento de Experimentos 2 Aula 2 Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto de](https://reader036.vdocuments.net/reader036/viewer/2022062512/552fc10b497959413d8c277b/html5/thumbnails/16.jpg)
Planejamento Totalmente Fatorial
Formas para minimizar custos
2. Reduzir o número de fatores
• Deve ser implementada com cuidado. Por exemplo, utilizando forma 1.
• Se não for utilizada uma metodologia adequada podem estar sendo desconsiderados fatores com grande influência para as variáveis de resposta
![Page 17: Avaliação de Desempenho Planejamento de Experimentos 2 Aula 2 Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto de](https://reader036.vdocuments.net/reader036/viewer/2022062512/552fc10b497959413d8c277b/html5/thumbnails/17.jpg)
Planejamento Totalmente FatorialFormas para minimizar custos
3. Utilização do método do Fatorial Parcial
• Parte dos experimentos são excluídos• Podem ser eliminadas comparações em que se
sabe, a interação não existe ou é insignificante• Por exemplo, no servidor de arquivos tem-se
108 experimentos. Pode-se dizer que o número de discos não tem relacionamento com a quantidade de cache
• Mais rápido• Obtém-se menos informações
![Page 18: Avaliação de Desempenho Planejamento de Experimentos 2 Aula 2 Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto de](https://reader036.vdocuments.net/reader036/viewer/2022062512/552fc10b497959413d8c277b/html5/thumbnails/18.jpg)
Método Fatorial• Pelo método fatorial pode-se ter k fatores com
ni níveis para cada fator i
• Para valores elevados de K e ni o custo da avaliação pode tornar-se inviável, principalmente lembrando-se que diversas execuções de cada experimento devem ser consideradas.
• Forma recomendada: Selecionar poucos fatores e 2 níveis por fator.
• Para entender a abordagem utilizada para a análise inicia-se com 2 fatores contendo 2 níveis em cada um - 22
![Page 19: Avaliação de Desempenho Planejamento de Experimentos 2 Aula 2 Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto de](https://reader036.vdocuments.net/reader036/viewer/2022062512/552fc10b497959413d8c277b/html5/thumbnails/19.jpg)
Projeto Fatorial 22
• Análise através do modelo de regressão• Considere um problema analisando dois fatores
(A e B)• Quatro experimentos são efetuados obtendo-se
os valores y1, y2, y3, y4
• Os quatro experimentos consideram a seguinte seqüência Experimento A B y
1 -1 -1 y1
2 1 -1 y2
3 -1 1 y3
4 1 1 y4
![Page 20: Avaliação de Desempenho Planejamento de Experimentos 2 Aula 2 Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto de](https://reader036.vdocuments.net/reader036/viewer/2022062512/552fc10b497959413d8c277b/html5/thumbnails/20.jpg)
Projeto Fatorial 22
• Modelo para projeto 22 é dado por:
y = q0+ qAxA + qBxB + qABxAB
• Substituindo-se as quatro observações no modelo, obtêm-se os valores de q0, qA, qB, qAB
q0 = ¼ *(y1 + y2 + y3 + y4)
qA = ¼ *(-y1 + y2 - y3 + y4)
qB = ¼ *(-y1 - y2 + y3 + y4)
qAB = ¼ *(y1 - y2 - y3 + y4)
![Page 21: Avaliação de Desempenho Planejamento de Experimentos 2 Aula 2 Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto de](https://reader036.vdocuments.net/reader036/viewer/2022062512/552fc10b497959413d8c277b/html5/thumbnails/21.jpg)
Projeto Fatorial 22
•A partir dos valores de q0, qA, qB, qAB pode-se determinar a soma dos quadrados
•A soma dos quadrados dará a variação total das variáveis de resposta e as variações devido a influência do fator A, do fator B e da interação entre A e B
•Variância Total de y ou
Soma dos Quadrados Total –
ou
22
1
2)(i
i yySST
222222 222 ABBA qqqSST
![Page 22: Avaliação de Desempenho Planejamento de Experimentos 2 Aula 2 Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto de](https://reader036.vdocuments.net/reader036/viewer/2022062512/552fc10b497959413d8c277b/html5/thumbnails/22.jpg)
Projeto Fatorial 22
1. A soma das entradas em cada coluna = 0
Experimento A B y
1 -1 -1 y1
2 1 -1 y2
3 -1 1 y3
4 1 1 y4
2. Soma dos quadrados em cada coluna = 4
3. Produto interno de cada duas colunas = 0
![Page 23: Avaliação de Desempenho Planejamento de Experimentos 2 Aula 2 Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto de](https://reader036.vdocuments.net/reader036/viewer/2022062512/552fc10b497959413d8c277b/html5/thumbnails/23.jpg)
Projeto Fatorial 22
A Média da Amostra é dada por:
Modelo considerado:
y = q0+ qAxA + qBxB + qABxAB
![Page 24: Avaliação de Desempenho Planejamento de Experimentos 2 Aula 2 Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto de](https://reader036.vdocuments.net/reader036/viewer/2022062512/552fc10b497959413d8c277b/html5/thumbnails/24.jpg)
Projeto Fatorial 22
Variação total - SST:
![Page 25: Avaliação de Desempenho Planejamento de Experimentos 2 Aula 2 Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto de](https://reader036.vdocuments.net/reader036/viewer/2022062512/552fc10b497959413d8c277b/html5/thumbnails/25.jpg)
Projeto Fatorial 22
Soma dos Quadrados devido a influência do Fator A
Soma dos Quadrados devido a influência do Fator B
Soma dos Quadrados devido a interação entre os Fatores A e B
222 ABqSSAB
222 BqSSB
222 AqSSAInfluência do Fator A = SSA / SST
Influência do Fator B = SSB / SST
Influência da interação entre os Fatores A e B = SSAB/SST
![Page 26: Avaliação de Desempenho Planejamento de Experimentos 2 Aula 2 Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto de](https://reader036.vdocuments.net/reader036/viewer/2022062512/552fc10b497959413d8c277b/html5/thumbnails/26.jpg)
Projeto Fatorial 22
Interpretações possíveis a partir desses resultados:– Média da variável de resposta – q0
– Qual a variação da variável de resposta devido ao fator A
– Qual a variação da variável de resposta devido ao fator B
– Qual a variação devido a interação entre os fatores A e B
– De que fator a variável de resposta é mais dependente?
– Algum dos fatores observados pode ser desprezado?– A interação entre os fatores observados é
considerável?
![Page 27: Avaliação de Desempenho Planejamento de Experimentos 2 Aula 2 Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto de](https://reader036.vdocuments.net/reader036/viewer/2022062512/552fc10b497959413d8c277b/html5/thumbnails/27.jpg)
Projeto Fatorial 22
Exemplo: Avaliação de duas redes de comunicação em uma máquina paralela com:
• 16 processadores• Escalonamento aleatório• Não existe problema de acesso a memória –
interleaving de memória infinito • Redes utilizam Chaveamento de circuito – conexão
é estabelecida da fonte ao destino e pacotes são enviados (ex. telefone)
• Requisições não atendidas são bloqueadas
![Page 28: Avaliação de Desempenho Planejamento de Experimentos 2 Aula 2 Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto de](https://reader036.vdocuments.net/reader036/viewer/2022062512/552fc10b497959413d8c277b/html5/thumbnails/28.jpg)
Fatores Considerados
Duas formas de acesso a memória – Fator B
• Aleatório – probabilidade uniforme de referenciar cada posição de memória – Nível = -1
• Matriz – simula uma multiplicação de matrizes – Nível = 1
Duas Redes de Interconexão – Fator A
• Omega – Nível = 1• Crossbar – Nível = -1
![Page 29: Avaliação de Desempenho Planejamento de Experimentos 2 Aula 2 Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto de](https://reader036.vdocuments.net/reader036/viewer/2022062512/552fc10b497959413d8c277b/html5/thumbnails/29.jpg)
Tipos de Redes de Interconexão Consideradas
![Page 30: Avaliação de Desempenho Planejamento de Experimentos 2 Aula 2 Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto de](https://reader036.vdocuments.net/reader036/viewer/2022062512/552fc10b497959413d8c277b/html5/thumbnails/30.jpg)
Resultados ObtidosVariáveis de Resposta
– Throughput - T– Ciclos para transmissão - N– Tempo de Resposta – R
Fatores Variáveis de Resposta
A (rede) B(Acesso) T N R
-1(C) -1(A) 0,6041 3 1,655
1(O) -1 (A) 0,7922 2 1,262
-1(C) 1(M) 0,4220 5 2,378
1(O) 1 (M) 0,4717 4 2,190
![Page 31: Avaliação de Desempenho Planejamento de Experimentos 2 Aula 2 Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto de](https://reader036.vdocuments.net/reader036/viewer/2022062512/552fc10b497959413d8c277b/html5/thumbnails/31.jpg)
Fatores Variáveis de Resposta
I A (rede) B(Acesso) AB T N R
1 -1(C) -1(A) 1 0,6041 3 1,655
1 1(O) -1 (A) -1 0,7922 2 1,262
1 -1(C) 1(M) -1 0,4220 5 2,378
1 1(O) 1 (M) 1 0,4717 4 2,190
Parâmetro Média Estimada Variação %
T N R T N R
q0 0,5725 3,5 1,871
qA 0,0595 -0,5 -0,145 17,2 20 10,9
qB -0,1257 1,0 0,413 77,0 80 87,8
qAB -0,0346 0 0,051 5,8 0 1,3
SSA/SST=0.05952 /(0,05952+0,12572+0,03462)
![Page 32: Avaliação de Desempenho Planejamento de Experimentos 2 Aula 2 Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto de](https://reader036.vdocuments.net/reader036/viewer/2022062512/552fc10b497959413d8c277b/html5/thumbnails/32.jpg)
Parâmetro Média Estimada Variação %
T N R T N R
q0 0,5725 3,5 1,871
qA 0,0595 -0,5 -0,145 17,2 20 10,9
qB -0,1257 1,0 0,413 77,0 80 87,8
qAB -0,0346 0 0,051 5,8 0 1,3
•Média das variáveis de Resposta – q0
•Influência de cada fator
•Fator com maior influência
•Grau de interação entre os fatores
![Page 33: Avaliação de Desempenho Planejamento de Experimentos 2 Aula 2 Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto de](https://reader036.vdocuments.net/reader036/viewer/2022062512/552fc10b497959413d8c277b/html5/thumbnails/33.jpg)
Mais Um Exemplo...
Avaliação de Desempenho do Gerenciador de Banco de Dados MySQL
Trabalho desenvolvido por alunos do Curso de Bach em Ciências da Computação
![Page 34: Avaliação de Desempenho Planejamento de Experimentos 2 Aula 2 Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto de](https://reader036.vdocuments.net/reader036/viewer/2022062512/552fc10b497959413d8c277b/html5/thumbnails/34.jpg)
Avaliação do MySQL
• Objetivo: verificar como o número de usuários executando comandos em paralelo e o tamanho do banco de dados influenciam no desempenho do sistema
• 2 Fatores: – Tamanho do Banco: 50.000, 100.000,
200.000– Quantidade de usuários: 5, 10, 20 e 50
• AMD Athlon 64 com 512 MBs de RAM
![Page 35: Avaliação de Desempenho Planejamento de Experimentos 2 Aula 2 Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto de](https://reader036.vdocuments.net/reader036/viewer/2022062512/552fc10b497959413d8c277b/html5/thumbnails/35.jpg)
Avaliação do MySQL
• Procedimento Utilizado:
– Configuração do servidor MySQL– Criação de um Banco de Dados– Programa para inserir nomes na tabela– Programa que realiza n consultas no
banco – Programa que ativa k vezes a consulta
![Page 36: Avaliação de Desempenho Planejamento de Experimentos 2 Aula 2 Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto de](https://reader036.vdocuments.net/reader036/viewer/2022062512/552fc10b497959413d8c277b/html5/thumbnails/36.jpg)
Avaliação do MySQL
Variável de Saída – tempo para executar um conjunto de consultas dividido por n
Para 5, 10 e 20 usuários – n = 20
Para 50 usuários – n = 5
Tem-se k usuários realizando consultas no banco de dados em
paralelo
![Page 37: Avaliação de Desempenho Planejamento de Experimentos 2 Aula 2 Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto de](https://reader036.vdocuments.net/reader036/viewer/2022062512/552fc10b497959413d8c277b/html5/thumbnails/37.jpg)
Avaliação do MySQL
Alguns Resultados....
![Page 38: Avaliação de Desempenho Planejamento de Experimentos 2 Aula 2 Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto de](https://reader036.vdocuments.net/reader036/viewer/2022062512/552fc10b497959413d8c277b/html5/thumbnails/38.jpg)
Avaliação do MySQL
Alguns Resultados....
![Page 39: Avaliação de Desempenho Planejamento de Experimentos 2 Aula 2 Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto de](https://reader036.vdocuments.net/reader036/viewer/2022062512/552fc10b497959413d8c277b/html5/thumbnails/39.jpg)
Avaliação do MySQL
Alguns Resultados....
![Page 40: Avaliação de Desempenho Planejamento de Experimentos 2 Aula 2 Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto de](https://reader036.vdocuments.net/reader036/viewer/2022062512/552fc10b497959413d8c277b/html5/thumbnails/40.jpg)
Avaliação do MySQLAlguns Resultados....
![Page 41: Avaliação de Desempenho Planejamento de Experimentos 2 Aula 2 Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto de](https://reader036.vdocuments.net/reader036/viewer/2022062512/552fc10b497959413d8c277b/html5/thumbnails/41.jpg)
Avaliação do MySQL
Alguns Resultados....
![Page 42: Avaliação de Desempenho Planejamento de Experimentos 2 Aula 2 Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto de](https://reader036.vdocuments.net/reader036/viewer/2022062512/552fc10b497959413d8c277b/html5/thumbnails/42.jpg)
Avaliação do MySQLAlguns Resultados....
![Page 43: Avaliação de Desempenho Planejamento de Experimentos 2 Aula 2 Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto de](https://reader036.vdocuments.net/reader036/viewer/2022062512/552fc10b497959413d8c277b/html5/thumbnails/43.jpg)
Projeto Fatorial 2k
• Utilizado para avaliar experimentos com k fatores com 2 níveis cada
• Análise similar ao 22
Para k = 3
)(2 22222223ABCBCACABCBA qqqqqqqSST
232 AqSSA 232 BqSSB
232 ABCqSSABC 232 ABqSSAB
232 CqSSC
........
![Page 44: Avaliação de Desempenho Planejamento de Experimentos 2 Aula 2 Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto de](https://reader036.vdocuments.net/reader036/viewer/2022062512/552fc10b497959413d8c277b/html5/thumbnails/44.jpg)
Projeto Fatorial 2k
Problema com o Projeto Fatorial 2k
Para k = 2 – 4 experimentosPara k = 3 - 8 experimentosPara k = 4 – 16 experimentos........
Solução – Planejamento Fatorial Parcial - 2k -p
1. Muitos fatores devem ser avaliados
2. Sabe-se que existem fatores que não interagem
3. Deseja-se determinar quais fatores realmente influenciam no resultado
![Page 45: Avaliação de Desempenho Planejamento de Experimentos 2 Aula 2 Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto de](https://reader036.vdocuments.net/reader036/viewer/2022062512/552fc10b497959413d8c277b/html5/thumbnails/45.jpg)
Planejamento Fatorial Parcial - 2k -p
k número total de fatores a serem considerados
p número inteiro - quantas dimensões serão desprezadas
Exemplo:
p=1 reduz os experimentos a metade
p=2 um quarto dos experimentos
k=7 128 experimentos
p=4 8 experimentos
Neste caso não é possível avaliar as interações
k=7 128 experimentos
p=5 16 experimentosAlgumas interações podem ser avaliadas
![Page 46: Avaliação de Desempenho Planejamento de Experimentos 2 Aula 2 Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto de](https://reader036.vdocuments.net/reader036/viewer/2022062512/552fc10b497959413d8c277b/html5/thumbnails/46.jpg)
Projeto Fatorial 22
1. A soma das entradas em cada coluna = 0
Experimento A B y
1 -1 -1 y1
2 1 -1 y2
3 -1 1 y3
4 1 1 y4
2. Soma dos quadrados em cada coluna = 4
3. Produto interno de cada duas colunas = 0
![Page 47: Avaliação de Desempenho Planejamento de Experimentos 2 Aula 2 Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto de](https://reader036.vdocuments.net/reader036/viewer/2022062512/552fc10b497959413d8c277b/html5/thumbnails/47.jpg)
Planejamento Fatorial Parcial - 2k -p
Exemplo (Jain) 27 -4
Devo satisfazer as mesmas condições que 22
Modelo Similar:
![Page 48: Avaliação de Desempenho Planejamento de Experimentos 2 Aula 2 Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto de](https://reader036.vdocuments.net/reader036/viewer/2022062512/552fc10b497959413d8c277b/html5/thumbnails/48.jpg)
Planejamento Fatorial Parcial - 2k -p
Exemplo (Jain) 27 -4
![Page 49: Avaliação de Desempenho Planejamento de Experimentos 2 Aula 2 Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto de](https://reader036.vdocuments.net/reader036/viewer/2022062512/552fc10b497959413d8c277b/html5/thumbnails/49.jpg)
Planejamento Fatorial Parcial - 2k -p
Exemplo (Jain) 27 -4
37,26 4,74 43,40 6,75 0 8,06 0,03
Variação em porcentagem
![Page 50: Avaliação de Desempenho Planejamento de Experimentos 2 Aula 2 Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto de](https://reader036.vdocuments.net/reader036/viewer/2022062512/552fc10b497959413d8c277b/html5/thumbnails/50.jpg)
Planejamento Fatorial Parcial - 2k -p
Pode-se preparar a tabela para considerar qualquer combinação, desde que atendidas as condições
Exemplo (Jain) 24-1
![Page 51: Avaliação de Desempenho Planejamento de Experimentos 2 Aula 2 Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto de](https://reader036.vdocuments.net/reader036/viewer/2022062512/552fc10b497959413d8c277b/html5/thumbnails/51.jpg)
Planejamento Fatorial Parcial - 2k -p
Pode-se preparar a tabela para considerar qualquer combinação, desde que atendidas as condições
Exemplo (Jain) 24-1
Coluna D
Influência do fator D + interação entre A, B e C
![Page 52: Avaliação de Desempenho Planejamento de Experimentos 2 Aula 2 Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto de](https://reader036.vdocuments.net/reader036/viewer/2022062512/552fc10b497959413d8c277b/html5/thumbnails/52.jpg)
Planejamento Fatorial Parcial - 2k -p
Como determinar a soma das influências
Exemplo (Jain) 24-1
I = ABCD
A=BCD
B=ACD
C=ABD
D=ABC
Regras:
I = Identidade – Média
X.I = X
X2 = 1
I = ABCD
AB=CD
BC=AD
AC=BD
![Page 53: Avaliação de Desempenho Planejamento de Experimentos 2 Aula 2 Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto de](https://reader036.vdocuments.net/reader036/viewer/2022062512/552fc10b497959413d8c277b/html5/thumbnails/53.jpg)
Planejamento Fatorial Parcial - 2k -p
Pode-se preparar a tabela para considerar qualquer combinação, desde que atendidas as condições
Exemplo 19.2 (Jain)
Considere um sistema que possa ser utilizado para:
•Processamento de textos,
•Processamento de dados interativo,
•Processamento de dados em background
Fator Descrição nível -1 nível +1
A Preempção não sim
B Quantum p/ cd proc pequeno grande
C Filas (prioridade p/ quantum) uma fila duas filas
D Classes para as tarefas duas filas cinco filas
E Justiça (pref. p/ tarefa antiga) desligadoligado
Analisar cada caso independentemente
![Page 54: Avaliação de Desempenho Planejamento de Experimentos 2 Aula 2 Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto de](https://reader036.vdocuments.net/reader036/viewer/2022062512/552fc10b497959413d8c277b/html5/thumbnails/54.jpg)
Planejamento Fatorial Parcial - 2k -p
Exemplo 19.2 (Jain)Throughput para proc
dados
Throughput para proc dados em
batch
Throughput para dados
interativos
Planeja-
mento
25-1
![Page 55: Avaliação de Desempenho Planejamento de Experimentos 2 Aula 2 Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto de](https://reader036.vdocuments.net/reader036/viewer/2022062512/552fc10b497959413d8c277b/html5/thumbnails/55.jpg)
Planejamento Fatorial Parcial - 2k -p
Exemplo 19.2 (Jain)Throughput para proc
dados
Throughput para dados
interativos
Throughput para proc
dados em batch
![Page 56: Avaliação de Desempenho Planejamento de Experimentos 2 Aula 2 Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto de](https://reader036.vdocuments.net/reader036/viewer/2022062512/552fc10b497959413d8c277b/html5/thumbnails/56.jpg)
Planejamento de Experimento• Planejamento de Experimentos designa toda uma área
de estudos da Estatística que desenvolve técnicas de planejamento e análise de experimentos.
• Existe um grande número de técnicas, com vários níveis de sofisticação e uma grande quantidade de ferramentas visando oferecer as condições necessárias para o planejamento de experimentos.
• Essas técnicas cobrem todas as possibilidades, diversos fatores, diferentes quantidades de níveis , tratamento de replicações, etc.
• Importância dentro de Avaliação de Desempenho – saber como utilizar as técnicas/ferramentas e saber analisar os resultados
![Page 57: Avaliação de Desempenho Planejamento de Experimentos 2 Aula 2 Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto de](https://reader036.vdocuments.net/reader036/viewer/2022062512/552fc10b497959413d8c277b/html5/thumbnails/57.jpg)
Erros Comuns em Experimentos
• Uso de apenas um fator por vez – essa opção simplifica a experimentação mas não permite verificar interações
• Execução de muitos experimentos – em um primeiro passo poucos fatores/níveis devem ser considerados. Com as conclusões iniciais, pode-se considerar outros fatores/níveis
![Page 58: Avaliação de Desempenho Planejamento de Experimentos 2 Aula 2 Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto de](https://reader036.vdocuments.net/reader036/viewer/2022062512/552fc10b497959413d8c277b/html5/thumbnails/58.jpg)
Conteúdo
1. Planejamento de Experimentos
– Motivação– Introdução à Avaliação de Desempenho– Etapas de um Experimento– Planejamento do Experimento
• Conceitos Básicos• Carga de trabalho
• Modelos para Planejamento de Experimento
2. Análise de Resultados
3. Técnicas para Avaliação de Desempenho