modelos de distribuição de erros. variabilidade • ruído – coisa ruim! no caminho entre os...

47
Modelos de distribuição de erros

Upload: internet

Post on 18-Apr-2015

109 views

Category:

Documents


2 download

TRANSCRIPT

Page 1: Modelos de distribuição de erros. Variabilidade • Ruído – coisa ruim! No caminho entre os dados e conclusões. • Tradicionalmente: assume variação normal

Modelos de distribuição de erros

Page 2: Modelos de distribuição de erros. Variabilidade • Ruído – coisa ruim! No caminho entre os dados e conclusões. • Tradicionalmente: assume variação normal

Variabilidade

• Ruído – coisa ruim! No caminho entre os dados e conclusões.

• Tradicionalmente: assume variação normal ou transformada em normal.

• Não deu? Não paramétrica• Porém... Não permite conclusões quantitativas.• Atualmente instrumentos computacionais para

lidar com a variabilidade e ajuste de parâmetros.

Page 3: Modelos de distribuição de erros. Variabilidade • Ruído – coisa ruim! No caminho entre os dados e conclusões. • Tradicionalmente: assume variação normal

Teoria de probabilidades

• Para entender a parte estocástica dos modelos na ecologia : propriedades da teoria probabilística.

• Para definir uma probabilidade: definimos espaço de amostragem, de onde vem todas as possibilidades. A probabilidade de um evento A é a frequência que ele ocorre no espaço todo. Prob A

Page 4: Modelos de distribuição de erros. Variabilidade • Ruído – coisa ruim! No caminho entre os dados e conclusões. • Tradicionalmente: assume variação normal

Probabilidade de ocorrência de A ou B éP(AUB) = P(A)+P(B) – P(A∩B)

A B

Page 5: Modelos de distribuição de erros. Variabilidade • Ruído – coisa ruim! No caminho entre os dados e conclusões. • Tradicionalmente: assume variação normal

• Se A e B são mutuamente exclusivosP(A ou B) = P(A)+P(B)Ex: ser estudante da disciplina e saber de cor a fórmula da distribuição gamaUsamos se queremos saber se uma resposta está dentro de certa variaçãoP(3≤ X ≤5) = P(3)+P(4)+P(5)

A B

Page 6: Modelos de distribuição de erros. Variabilidade • Ruído – coisa ruim! No caminho entre os dados e conclusões. • Tradicionalmente: assume variação normal

• A soma de todas as possibilidades é 1

A B

Page 7: Modelos de distribuição de erros. Variabilidade • Ruído – coisa ruim! No caminho entre os dados e conclusões. • Tradicionalmente: assume variação normal

• Probabilidade condicional de A, dado B P(A|B) A acontecer se B acontecer.P(A∩B)/P(B)Probabilidade condicional de conhecer a formula da normal se for estudante da disciplina.P(conhecedor e estudante)/P(estudante)

Page 8: Modelos de distribuição de erros. Variabilidade • Ruído – coisa ruim! No caminho entre os dados e conclusões. • Tradicionalmente: assume variação normal

• Probabilidade incondicional de A• P(A) = P(A|B) + P(A|não B).

• Se a condicional é igual a incondicional, dizemos que A e B são independentes (proporção dos conhecedores na disciplina é igual à proporção no resto do mundo)

• o que implica:• P(A)=P(A∩B)/P(B)• P(A∩B)=P(A) x P(B)• A probabilidade de ocorrência combinada de eventos

independentes é o produto de suas probabilidades

Page 9: Modelos de distribuição de erros. Variabilidade • Ruído – coisa ruim! No caminho entre os dados e conclusões. • Tradicionalmente: assume variação normal

Exemplo da predação de sementes. Cada fruto da planta com uma semente

• Prob(predador visitar a planta)= V• Prob(predar alguma das N sementes)= 0 a N • (N+1 possibilidades)• Se ele visitou e a probabilidade de predar é a

mesma (uniforme) para cada número predado (0 a N):

• (predar x sementes|predador visitar) = 1/(N+1)• (soma 1)

Page 10: Modelos de distribuição de erros. Variabilidade • Ruído – coisa ruim! No caminho entre os dados e conclusões. • Tradicionalmente: assume variação normal

0,1,2....N (N+1) possibilidades

Se visitou, a probabilidade de pegar um numero x de sementes é 1/(N+1)

Page 11: Modelos de distribuição de erros. Variabilidade • Ruído – coisa ruim! No caminho entre os dados e conclusões. • Tradicionalmente: assume variação normal

Zero sementes predadas x= 0

Não visitou: 1-V

Visitou V e não comeu : 1/(N+1)

Probabilidade incondicional conjunta

Page 12: Modelos de distribuição de erros. Variabilidade • Ruído – coisa ruim! No caminho entre os dados e conclusões. • Tradicionalmente: assume variação normal

Alguma semente predada x>0

Visitou V

E comeu 1/(N+1)

V/(N+1)

Probabilidade incondicional conjunta

Page 13: Modelos de distribuição de erros. Variabilidade • Ruído – coisa ruim! No caminho entre os dados e conclusões. • Tradicionalmente: assume variação normal

Como resultado esperamos:

Page 14: Modelos de distribuição de erros. Variabilidade • Ruído – coisa ruim! No caminho entre os dados e conclusões. • Tradicionalmente: assume variação normal

Complicando

Se ele tiver uma probabilidade de escolher se pega ou não cada uma das sementes do experimento depois de experimentar (probabilidade não uniforme de cada valor de x).

Page 15: Modelos de distribuição de erros. Variabilidade • Ruído – coisa ruim! No caminho entre os dados e conclusões. • Tradicionalmente: assume variação normal

Probabilidade de x serem pegas: px N-x não são pegas com probabilidade (1-p)N-x

Prob(x)=Predar uma (p) E outra (p) E outra (p)... (xis vezes) p.p.p.... = px

A outras (N-x) terão probabilidade 1-p de não serem predadas(1-p).(1-p).(1-p)... (N-x vezes)

Probabilidade proporcional a px . (1-p)N-x

Page 16: Modelos de distribuição de erros. Variabilidade • Ruído – coisa ruim! No caminho entre os dados e conclusões. • Tradicionalmente: assume variação normal

Complicando um pouco mais

• Se ele experimenta e decide, temos que levar em conta todas as combinações de experimentações e predações

Page 17: Modelos de distribuição de erros. Variabilidade • Ruído – coisa ruim! No caminho entre os dados e conclusões. • Tradicionalmente: assume variação normal

x=2, N=5

X

X

Opção 1

XXX

X

Opção 2

XX

Opção 3

Opção 4....

Todas as combinações de x predações em N possibilidades: = N!/x!(N-x)!

Page 18: Modelos de distribuição de erros. Variabilidade • Ruído – coisa ruim! No caminho entre os dados e conclusões. • Tradicionalmente: assume variação normal

• Se as sementes são idênticas probabilidades iguais p - Distribuição binomial:

• Probabilidade condicional de x predados: todas as combinações de x predações em N possibilidades vezes as probabilidades de suas ocorrências.

• N!/x!(N-x)! . px . (1-p)N-x

Page 19: Modelos de distribuição de erros. Variabilidade • Ruído – coisa ruim! No caminho entre os dados e conclusões. • Tradicionalmente: assume variação normal

Para x=0 e x>0

Page 20: Modelos de distribuição de erros. Variabilidade • Ruído – coisa ruim! No caminho entre os dados e conclusões. • Tradicionalmente: assume variação normal
Page 21: Modelos de distribuição de erros. Variabilidade • Ruído – coisa ruim! No caminho entre os dados e conclusões. • Tradicionalmente: assume variação normal

Distribuições de probabilidades• - Conjunto ordenado de uma sequencia de

probabilidades • Distribuição de probabilidades descrita por uma

função de distribuição – • Formula que diz a probabilidade de encontrarmos

um valor em experimento ou em uma variável aleatória X.

• f(x) = Prob(X=x)• Função de distribuição acumulada: Probabilidade

de valores serem menores ou iguais a x • F(x) = Prob(X ≥x)

Page 22: Modelos de distribuição de erros. Variabilidade • Ruído – coisa ruim! No caminho entre os dados e conclusões. • Tradicionalmente: assume variação normal

Exemplo de uma função discreta: binomial

• Probabilidade de 3 sucessos em séries de 5 tentativas, com probabilidade individual p=0.7

• Densidade probabilística• f(x)=N!/(x!(N-x)! . px . (1-p)N-x • f(3)=5!/(3!(5-3)!.0,73.(1-0,7)5-3=0,3087 (dbinom)• Probabilidade acumulada• F(3) = f(0)+f(1)+f(2)+f(3) = 0,47178 (pbinom)

Page 23: Modelos de distribuição de erros. Variabilidade • Ruído – coisa ruim! No caminho entre os dados e conclusões. • Tradicionalmente: assume variação normal
Page 24: Modelos de distribuição de erros. Variabilidade • Ruído – coisa ruim! No caminho entre os dados e conclusões. • Tradicionalmente: assume variação normal
Page 25: Modelos de distribuição de erros. Variabilidade • Ruído – coisa ruim! No caminho entre os dados e conclusões. • Tradicionalmente: assume variação normal

Distribuições contínuas, ex: normal com média 14,4 e desvio 1

Área sobre a curva de distribuição

Área obtida por integração da função até o ponto

Page 26: Modelos de distribuição de erros. Variabilidade • Ruído – coisa ruim! No caminho entre os dados e conclusões. • Tradicionalmente: assume variação normal

Média – expectativa de uma distribuição, expectativa da variável aleatória X

• Se dados estão tabulados, posso usar as frequencias f(x) de cada valor, multiplicado pelo mesmo

Page 27: Modelos de distribuição de erros. Variabilidade • Ruído – coisa ruim! No caminho entre os dados e conclusões. • Tradicionalmente: assume variação normal

Somo os produtos das probabilidades pelos valores

Page 28: Modelos de distribuição de erros. Variabilidade • Ruído – coisa ruim! No caminho entre os dados e conclusões. • Tradicionalmente: assume variação normal

• No caso de distribuições contínuas, podemos usar em subdivisões ∆x no lugar dos valores:

∆x

Tomando ∆x tendendo a zero (função contínua) teremos a área exata:

Page 29: Modelos de distribuição de erros. Variabilidade • Ruído – coisa ruim! No caminho entre os dados e conclusões. • Tradicionalmente: assume variação normal

Expectativas de funções da variável aleatória X: momentos.

Expectativa de X2

2º momento: Componente da variância

Page 30: Modelos de distribuição de erros. Variabilidade • Ruído – coisa ruim! No caminho entre os dados e conclusões. • Tradicionalmente: assume variação normal

Momentos maiores

• 3º momento – E(x-E(x))3 – assimetria em torno da mediana

• 4º momento - E(x-E(x))4 – medida de curtose

Page 31: Modelos de distribuição de erros. Variabilidade • Ruído – coisa ruim! No caminho entre os dados e conclusões. • Tradicionalmente: assume variação normal

• Difícil de comparar variância com média, pois estão em unidades diferentes. Raiz da variância – desvio, mesma unidade da média.

• Coeficiente de variação:• Relação entre o desvio padrão e a média –

medida de dispersão em torno da média.

Page 32: Modelos de distribuição de erros. Variabilidade • Ruído – coisa ruim! No caminho entre os dados e conclusões. • Tradicionalmente: assume variação normal

Distribuições úteis

• 1. Discretas

Page 33: Modelos de distribuição de erros. Variabilidade • Ruído – coisa ruim! No caminho entre os dados e conclusões. • Tradicionalmente: assume variação normal

Distribuição binomial

• N tentativas em cada amostra com chance de sucesso p. Probabilidade de x sucessos

Page 34: Modelos de distribuição de erros. Variabilidade • Ruído – coisa ruim! No caminho entre os dados e conclusões. • Tradicionalmente: assume variação normal

Distribuição de Poisson• Distribuição de acertos, encontros, contagens, etc em um

dado tempo, espaço, armadilha, unidade de esforço amostral.

• Quando a distribuição é aleatória, média = variância, frequência descrita por distribuição de Poisson.

Page 35: Modelos de distribuição de erros. Variabilidade • Ruído – coisa ruim! No caminho entre os dados e conclusões. • Tradicionalmente: assume variação normal

Binomial negativa

• Muitas maneiras de descrever, uma interessante – séries de distribuições de poisson, com média variando no espaço/tempo. (na verdade, a média dos Poisson seguindo uma distribuição gama).

• Boa para modelar dados com agregação, onde a média de acertos, contagens, etc é muito menor que a variância.

• Parâmetro de agregação K., quanto maior K menos agregado e mais próximo de uma poisson.

Page 36: Modelos de distribuição de erros. Variabilidade • Ruído – coisa ruim! No caminho entre os dados e conclusões. • Tradicionalmente: assume variação normal

Definição

• Séries de tentativas binárias independentes, com probabilidade de sucesso p. Número de obtenho antes de um sucesso.

Page 37: Modelos de distribuição de erros. Variabilidade • Ruído – coisa ruim! No caminho entre os dados e conclusões. • Tradicionalmente: assume variação normal
Page 38: Modelos de distribuição de erros. Variabilidade • Ruído – coisa ruim! No caminho entre os dados e conclusões. • Tradicionalmente: assume variação normal
Page 39: Modelos de distribuição de erros. Variabilidade • Ruído – coisa ruim! No caminho entre os dados e conclusões. • Tradicionalmente: assume variação normal
Page 40: Modelos de distribuição de erros. Variabilidade • Ruído – coisa ruim! No caminho entre os dados e conclusões. • Tradicionalmente: assume variação normal

• 2. Distribuições Contínuas

Page 41: Modelos de distribuição de erros. Variabilidade • Ruído – coisa ruim! No caminho entre os dados e conclusões. • Tradicionalmente: assume variação normal

Normal

• Teorema do limite central. Muitas distribuições (binomial, poisson, gama) se aproximam da normal em algum limite.

• Média e variância indepedendentes (diferente de poisson e binomial).

Page 42: Modelos de distribuição de erros. Variabilidade • Ruído – coisa ruim! No caminho entre os dados e conclusões. • Tradicionalmente: assume variação normal
Page 43: Modelos de distribuição de erros. Variabilidade • Ruído – coisa ruim! No caminho entre os dados e conclusões. • Tradicionalmente: assume variação normal

Gama

• Definição: numero de tentativas até que certo numero de eventos ocorra.

• Gama (forma = 3, escala=2), numero de tentativas até que ocorram 3 eventos, quando a média de sucesso de cada tentativa é um sucesso a cada 2 tentativas.

• Definida para números positivos.• Para forma elevados, se torna simétrica e

próxima à normal.

Page 44: Modelos de distribuição de erros. Variabilidade • Ruído – coisa ruim! No caminho entre os dados e conclusões. • Tradicionalmente: assume variação normal

• Parâmetro 1/escala ajusta a média e a variância.

• Admite variâncias grandes, assimetrias, necessariamente positiva, pode ser pensada como uma binomial negativa continua.

• Uma parametrização escala = var/media• Forma= média2/variância

Page 45: Modelos de distribuição de erros. Variabilidade • Ruído – coisa ruim! No caminho entre os dados e conclusões. • Tradicionalmente: assume variação normal
Page 46: Modelos de distribuição de erros. Variabilidade • Ruído – coisa ruim! No caminho entre os dados e conclusões. • Tradicionalmente: assume variação normal

Quais distribuições descrevem melhor os dados:

• Experimento de remoção de ovos, com um ovo em cada réplica.

• Medida de abundância de uma espécie capturada em armadilhas de queda, alocadas aleatoriamente, quando a distribuição da espécie é aleatória no espaço amostrado.

• Idem, porém a distribuição da espécie é agregada no espaço e as armadilhas aleatoriamente dispostas

Page 47: Modelos de distribuição de erros. Variabilidade • Ruído – coisa ruim! No caminho entre os dados e conclusões. • Tradicionalmente: assume variação normal

• Medidas de nitrogenio no solo em torno das armadilhas, quando sua média é 25 mg/dm3solo e desvio igual a 18 mg/dm3solo.

• Medidas de potássio quando a média é 25 mg/dm3solo e o desvio é igual a 97 mg/dm3solo