geometria dos mínimos quadrados
DESCRIPTION
Geometria dos mínimos quadrados. Renato Assunção DCC-UFMG. Produção numa unidade da Itambé. Y = óleo consumido no mes X1 = qte de acido graxo consumido X2 = glicerina fabricada X3 = numero de dias do mês X4 = numero de dias operacionais X5 = Dias abaixo de 32 graus - PowerPoint PPT PresentationTRANSCRIPT
Geometria dos mínimos Geometria dos mínimos quadradosquadrados
Renato Assunção
DCC-UFMG
Produção numa unidade da ItambéProdução numa unidade da Itambé
Y = óleo consumido no mesX1 = qte de acido graxo consumidoX2 = glicerina fabricadaX3 = numero de dias do mêsX4 = numero de dias operacionais X5 = Dias abaixo de 32 grausX6 = temperatura media do mes
Usando apenas Y=oleo e x=tempUsando apenas Y=oleo e x=temp
Gráfico de óleo x temperaturaGráfico de óleo x temperatura
Y = Óleo consumido
X = temperatura
Clara relação linear
Dados americanos aqui
Modelo de regressãoModelo de regressão
Cada valor Yi de oleo consumido e’ igual `a soma de dois componentes:– Um componente que e’ uma reta
desconhecida– Um erro (desconhecido) em relacao a esta
reta
Yi = β0 + β1 xi + εi
Onde xi e’ a temperatura no dia i
εi e’ o erro no dia i
Dos pontos para um sistema linearDos pontos para um sistema linear
DefiniçõesDefinições
Y e’ vetor em R25
X e’ matriz 25 x 2
Queremos Y ≈ Xβ
Ou então
Y = Xβ + ε onde ε e’ pequenoMas o que significa ter ε pequeno: e’ um vetor...
Operações matriciaisOperações matriciais
Operações matriciaisOperações matriciais
Em geral, temos:
OBS: SEMPRE INVERSIVEL SE OS x’s não forem todos iguais
Mais uma operaçãoMais uma operação
Retas demais, infinitas retasRetas demais, infinitas retas
Queremos uma reta que fique bem proxima de todos os pontos.
Uma reta que fica proxima de UM ÚNICO PONTO (digamos o i-esimo ponto) e’ uma reta em que
εi = Yi – ( β0 + β1 xi ) ≈ 0
Mas queremos que isto seja verdade para TODOS OS PONTOS.
Caminhando...Caminhando...Isto e’, queremos que εi = Yi – ( β0 + β1 xi ) ≈ 0 para todo i
Podemos então pedir que a soma de todos os | εi | ≈ 0.
Isto e’, pedir que Σi | εi | ≈ 0 (e’ sempre > 0).Uma solução: achar a reta que minimiza
Mínimos quadradosMínimos quadrados
Na verdade preferimos trabalhar com a soma dos QUADRADOS e não com a soma dos VALORES ABSLOUTOS
Encontre β0 e β1 que minimizem
A razão e’ que a função quadrática e’ derivável no seu ponto de mínimo
Quadrado ou valor absoluto?Quadrado ou valor absoluto?
Media amostral de vetor e’ o valor
A media amostral de x e’ o numero μ que minimiza
Quadrado ou valor absoluto?Quadrado ou valor absoluto?
Mediana amostral de vetor– Ordene os numeros.– Se n for impar, pegue o valor do meio.– Se n for par, pegue a media dos dois
centraisA mediana amostral de x e’ o numero
μ que minimiza
De equações para matrizDe equações para matriz
Pode-se mostrar que a solução de mínimos quadrados
Pode ser escrita de forma matricial como o vetor β = (XtX)-1 XtY
Esta forma pode ser generalizada e gera interpretação geométrica
Sejam eObserve que
E’ uma combinação linear das duas colunas x e 1 da matriz X
Matriz = maiúsculo e coluna =minúsculo
Procurando por ...Procurando por ...
Nosso problema então e’ encontrar a combinação linear das duas colunas da matriz X que minimiza a distancia entre os vetores Y e Xβ
E isto vale sempre, mesmo que tenhamos varios fatores preditivos!!
Vamos ver nosso exemplo com mais variáveis
Regressão múltiplaRegressão múltipla
Xb e’ uma combinação linear das colunas de X
Queremos minimizarQueremos minimizar
Espaço vetorial das colunas de X
O que queremos?O que queremos?
Queremos o vetor do espaco C(X) das colunas de X que seja o mais proximo de Y
Distancia = distancia euclidiana|Y – Xb|2 deve ser minimoEste vetor Xb que minimiza e’ a
projecao ortogonal de Y em C(X)E’ o único vetor Xb tal que Y-Xb e’
ortogonal a Xb
Espaço C(X) das colunas de X
Ddddddddddddddddddddd kkkkkkkkkkk
Equações normaisEquações normais
Assim, temos = 0 e portanto
E’ a solução.
β = (XtX)-1 XtY