inferencia bayesiana

Download Inferencia Bayesiana

Post on 30-Jul-2015

229 views

Category:

Documents

1 download

Embed Size (px)

DESCRIPTION

ana pequeña introduccion al a inferencia bayesiana - escrito por-Eduardo Guti´errez Pe˜naIIMAS, UNAMhttp://www.dpye.iimas.unam.mx/eduardo

TRANSCRIPT

IntroduccionalaInferenciaBayesianaEduardoGutierrezPe naIIMAS,UNAMhttp://www.dpye.iimas.unam.mx/eduardo1Temario1. Introduccion(QueeslaEstadstica?YlaInferenciaBayesiana?)2. Elprocesodeaprendizaje(TeoremadeBayes)3. Especicaciondeladistribucioninicial(distribucionesconjugadas,distribucionesno-informativas)4. Problemasmultiparametricos5. Res umenesdelainformacioncontenidaenladistribucionnal(estimacion,contrastedehipotesis)6. Prediccion7. Teoraasintotica(Normalidaddeladistribucionnal)8. Otrostemas(modelosjerarquicos,metodoscomputacionales,...)21. Introducci onQueeslaEstadstica?ESTADISTICAAnalisis de DatosInferenciaProbabilidadEncuestasExperimentosCensosPronosticosObjeto: estudiodefen omenosinciertos(aleatorios)3?OBSERVADORFENOMENOFen omenoaleatorio: aquelquenosepuedepredecirconcerteza4Elestudiosellevaacaboapartirdelposibleconocimientoprevioydeobservacionesqueserealizansobreelfen omenoMarcoConceptualAtributos deinteresVariables(X,Y,Z,...)Datos(x,y,z,...)FenomenoDescripcion5El procesodeobservaci on- Variable: codicaci onnumericadeunatributo- Dato: registro(numerico),productodelaobservaci ondeunatributoatravesdeunavariable.EstadsticaConjuntodetecnicasparadescribirunfen omeno,apartirdeunconjuntodedatosquepresentanvariabilidadConjuntodemetodosparaalcanzarconclusionesacercadeunaovariascaractersticasdeinteresdeunapoblaci onapartirdeinformaci onparcialprovistaporunamuestradedichapoblaci on[Incertidumbre...]6TodalaEstadsticaesdescriptiva!*CasoA:secuentacontodoslosdatosposiblesdelfen omenobajoestudio(e.g.censos)Descripcion: exactaAnalisisexploratoriodedatosCasoB:secuentasolamenteconunapartedetodoslosdatosposibles(e.g.encuestas)Descripci on: aproximadaInferenciaEstadstica7FenomenoMuestraInferencia(Descripcion aproximada)x, x,..., x1 2 nPero... c omoseleccionarlamuestra?c omomedirelgradodeaproximaci on?8Soluci on: selecci onprobabilsticadelamuestra(i.e.porsorteo)x X Pr[X= x]Dato Variable(aleatoria) ModelodeprobabilidadAs,Describirelfen omeno describirelmodelo9InferenciaparametricaynoparametricaEnocasionesresultaconvenientesuponerquePr[X= x] = f(x|),dondef(|)tieneformaconocida,peroelvalordeesdesconocidoAs,Describirelfen omeno caracterizarelvalordeEnotroscasoslapropiaformafuncionaldePr[X= x]sesuponedesconocida10LaEstadsticaclasicaPlanteamientosm ascomunes- Estimaci onpuntual:- Estimaci onporintervalo: (, )- Pruebadehipotesis: H0: 0vsH1: 1Tecnicas: univariadas/multivariadas,regresion/seriesdetiempo,...Criterios: suciencia,insesgamiento,varianzamnima,consistencia,eciencia,potencia,conanza,signicancia,...Comoycu andoaplicarcadareceta?11Veamosunejemplo...Problema: estimarlaproporci ondearbolesdeunaespeciedeterminadaquesufrendeciertaenfermedadenunbosque.Seselecciona unamuestraaleatoriadearboles,demaneraquecadaarbolenlamuestrasufradelaenfermedadconprobabilidad(independientemente delosotrosarbolesenlamuestra),dondedenotalaproporci ondearbolesenfermosenlapoblaci on,i.e.enelbosque.LavariablealeatoriaXdenotaeln umerodearbolesenfermosenlamuestra.ElvalorobservadoX= xesusadoparahacer inferencias acercadelpar ametropoblacional.12Dichasinferenciaspuedentomarlaformade unestimadorpuntual : = 0.1 unintervalodeconanza: (0.08,0.12)con95%deconanza unapruebadehip otesis: rechazarH0: < 0.07con = 0.05 unpron ostico: predecirqueel15%delosarbolesdelbosquesever anafectadosparaela nopr oximo unadecisi on: identicaryeliminartodoslosarbolesinfectados13Estasinferenciassellevanacaboespecicandounmodeloprobabilstico,f(x|),quedeterminalasprobabilidadesdelosposiblesvaloresdeXparaunvalordadode,e.g.X Bin(, n),demaneraqueelproblemadeinferenciaestadsticasereduceahacerinferenciassobreconbaseenelvalorobservadoX= x.Principiodem aximaverosimilitud: valoresdequeasignanunaprobabilidadaltaalvalorobservadoxsonm asverosmilesqueaquellosvaloresdequeasignanaxunaprobabilidadpeque na.[Comentario: inferenciaestadsticayselecci ondemodelos]14Notemoslosiguiente:Elpar ametroesdesconocido,peroseconsideraconstante,noaleatorio.Deahqueenlaterminologaclasicasehabledeverosimilitud,conanza,niveldesignicancia,etc.,ynodeprobabilidad.Sinembargo,escom unquelagenteinterpreteintuitivamenteaunintervalodeconanzadel95%para,digamos(0.08, 0.12),comosiPr(0.08 < < 0.12) = 0.95.Demanerasimilar,noesraroquelagenteinterpreteelniveldesignicanciadescriptivo(p-value)comolaprobabilidaddequelahip otesisnulaseaverdadera.15ElenfoqueBayesianoIdea: dise narunaTeoraEstadstica,basadaenunapeque naseriedeprincipiosb asicos(axiomas),quenospermitaestructurar lasoluci onacualquierproblemadeinferencia.Lava: laTeoradelaDecisionParaqueotroenfoque?ParaqueunaTeoraEstadstica?- ParadarlealaEstadsticaunaestructuracoherente- Porqueconotrosenfoquespuedenpresentarsecasosenlosque:(i)nohayunasoluci onrazonable;(ii)sepresentanparadojas16Teoradeladecisi onEnelcontextodelaEstadstica,loselementosdeunproblemadedecisi onenambientedeincertidumbresonlossiguientes:1. Elespaciodeaccionespotencialesdisponibles: A2. Elespacioparametral,quecontienelosposiblesestadosdelanaturaleza: 3. Elespaciodelasconsecuencias: C= AParapoderresolverunproblemadedecisi on,esnecesariocuanticartantolaincertidumbresobrecomolasconsecuenciasenC.Losaxiomasimplicanquela unicaformaracionaldecuanticarlaincertidumbreesatravesdeunamedidadeprobabilidad,f(),yquelasconsecuenciasdebencuanticarsepormediodeunafunciondeperdida,L(a, )17Elresultadofundamentaldelateoraesquedebeelegirseaquellaacci onqueminimicelaperdidaesperadaL(a) =_L(a, )f() d.Porsupuesto,enproblemasestadsticossecuentaconinformaci onadicionalenlaformadeunamuestraX1, . . . , Xn f(x|).C omoincorporarestainformaci on?ElTeoremadeBayesnospermitecombinarlasdosfuentesdeinformaci on,f()yx = (x1, . . . , xn),ydeestamaneraproducirladistribuci onnalf(|x)18TeoremadeBayesEnterminosdefuncionesdedensidad,elTeoremadeBayestomalaformaf(|x) =f()f(x|)_f()f(x|)d.Eldenominador,f(x) =_f()f(x|)d,nodependede,porloqueescom unescribirf(|x) f()f(x|).Esestecaso,lamejoracci onser aaquellaqueminimicelaperdidaesperadanalLx(a) =_L(a, )f(|x) d.19QueeslainferenciaBayesiana?Enciertosentido,ladiferenciafundamentalrespectoalenfoqueclasicoesqueenelenfoqueBayesianoel(valordel)par ametroestratadocomoaleatorio.Lasinferenciassebasanenf(|x)enlugardef(x|);esdecir,enladistribuci ondeprobabilidad(delvalordesconocido)delpar ametrodadoslosdatosobservados,envezdeladistribuci ondelosdatosdadoelvalordelpar ametro.Loanteriordalugarainferenciasm asnaturales,peroparaelloesnecesariouningredientem as: unadistribuci oninicial,f(),quedescribelainformaci onquesetienesobre(elvalorde)antesdeobservarlosdatos.20Ladistribuci oninicialAlhacerinferenciassobredeunpar ametro,generalmentesecuentaconalg untipodeinformaci on(juicios,creencias)acercadesuvalor,inclusoantesdeobservarlosdatos.Consideremoslassiguientestressituaciones:1. Unamujerarmaquepuededetectar,conuns olosorbodeunatazadecafe,silalechefueagregadaantesodespuesdelcafe.Lamujerdetectacorrectamenteelordenendieztazas.2. Unexpertoenm usicaarmaquepuededistinguirentreunap aginadeunaobradeHaydenyunadeMozart. Elexpertoclasicacorrectamentediezp aginas.3. Unamigoebrioarmaquepuedepredecirelresultadodellanzamientodeunamonedahonesta. Elamigopredicecorrectamenteelresultadodediezlanzamientos.21Encadaunodelostrescasos,elmodeloesX Bin(, 10)yseobservax = 10,demaneraqueserechazalahipotesisH0: 0.5enfavordeH1: > 0.5.Porlotanto,enterminosdelosdatosobservados,nosveramosobligadosahacerlasmismasinferenciasenlostrescasos.Sinembargo,dadanuestrainformacioninicial,muyprobablementepermaneceramosescepticosacercadelacapacidaddelamigoebrio,ligeramenteimpresionadosporlabebedoradecafeypocosorprendidosporelexpertoenm usica.Elejemploanteriormuestraquelasinferenciasdeberanbasarsetantoenlosdatoscomoenlainformacioninicial.LateoraBayesianaproporcionaelmecanismoparacombinarestasdosfuentesdeinformaciondeunamaneranatural.[Comentario: distintasdistribucionesinicialespuedendarlugarainferenciasdistintas: esestounaventajaounadesventajadelenfoqueBayesiano?]22Caractersticasdel enfoqueBayesianoLossiguientestresaspectosfundamentalescaracterizanalenfoqueBayesiano:Informaci oninicial: cadaproblemaes unicoytienesupropiocontexto,delcualsederivalainformaci oninicialsobreelpar ametro(ocualquierotracaracterstica)deinteres.Probabilidadsubjetiva: sereconoceexplcitamentequetodaasignaciondeprobabilidadesessubjetiva(i.e.,dependendelestadodeinformaci ondelindividuoquelasasigna). Nopretendeserunenfoqueobjetivo.Coherenciainterna: alconsideraracomoaleatorio,losmetodosBayesianosdeinferenciasedesarrollandemaneranaturalapartirdelateoradelaprobabilidadyporlotantonopresentancontradiccionesinternas.23Comoconsecuencia,yadiferenciadelosmetodosclasicos,noesnecesariodesarrollarcriteriosadhoc(porejemplo: insesgamiento,eciencia)parajuzgarsiunprocedimientodeterminadoesbuenoenalg unsentido.Elprecioadicionalquehayquepagareslaespecicaci ondeunadistribuci ondeprobabilidadsobrequedescribalainformaci onquesetienesobresuvalor.Cabemencionarquelosprocedimientosclasicostambiensebasan(implcitamente)enapreciacionessubjetivas(PorqueunmodelonormalynounmodeloStudent?,Porque = 0.05?)*ElteoremadeBayeseslaclavedelprocesodeaprendizaje.242. El ProcesodeAprendizajeIntroducci onLoscuatropasosaseguirdentrodelenfoqueBayesiano:1. Especicaci ondeunmodelo(verosimilitud),f(x|)2. Especicaci ondeunadistribuci oninicial,f()3. C alculo de la distribuci on nal,f(|x),vael Teoremade Bayes4. Resumendelainformaci oncontenidaenf(|x)parahacerinferenciassobrelascantidadesdeinteres(par ametros,observacionesfuturas,...)25VerosimilitudElproblemadeelegirunmodeloparadescribirelprocesoquegenerolosdatosesesencialmenteelmismoquedesdeelpuntodevistaclasico.Elmodeloelegidodependeradelproblemaenturnoydelpropositodelanalisis.Enocasiones,laformaenlaqueseobtuvieronlosdatospuedesugerirmodelosapropiadoscomopuntosdepartida(e.g.,muestrobinomial,conteosPoisson).Confrecuencia,elmodeloreejaunahipotesiscuyaplausibilidadesvericadaposteriormenteenelcontextodelosdatos(e.g.,Y yXserelacionanlinealmenteentres).Todoslosmodelossonincorrectos,peroexistenalgunosmodelosmas utilesqueotros (GeorgeE.P.Box).26Distribuci oninicialEsteeselpuntofundamentaldelenf

Recommended

View more >