apuntes de clase

APUNTES DE CLASE CEDE

Centro de Estudiossobre Desarrollo Económico

Facultad de Economía

Carrera 1a No. 18A - 10 Bloque CApartado Aéreo: 4976 - Bogotá

Conmutadores:339 4949 - 339 4999

Extensión: 2400, 2049, 2474Fax: 332 4492

E-mail: [email protected]á, Colombia


Conmutadores:339 4949 - 339 4999

Extensión: 2400, 2049, 2474Fax: 332 4492


C E D E

EL de laFacultad de Economía de la Universidad de los Andes se fundó en 1958, con el objetivode realizar investigaciones económicas tanto teóricas como empíricas.

Actualmente, las áreas de interés para el CEDE son: Macroeconomía y Sector Finan-ciero, Evaluación Socioeconómica de Proyectos, Economía Ambiental, EconomíaAgrícola, Demografía, Educación, Salud, Economía Laboral, Economía Regional yUrbana, Economía Internacional, Economía Experimental, Finanzas Públicas, Econo-mía, Conflicto y Violencia, y Economía Institucional.

El CEDE tiene dentro de sus objetivos difundir los trabajos realizados por susinvestigadores en las áreas mencionadas, así como otros trabajos de interésacadémico y científico. Para el logro de tal propósito, se publica semestralmente larevista , así como libros y la serie . Esta últimadifunde entre la comunidad académica y la profesión los resultados de las principalesinvestigaciones desarrolladas en el CEDE. Por supuesto, las opiniones expresadas enellos son responsabilidad exclusiva de los autores.

CENTRO DE ESTUDIOS SOBRE DESARROLLO ECONÓMICO-CEDE-

Desarrollo y Sociedad Documentos CEDE

UNIVERSIDAD DE LOS ANDESUNIVERSIDAD DE LOS ANDES

C E D ECentro de Estudiossobre Desarrollo EconómicoFacultad de EconomíaUniversidad de los Andes

MÉTODOS MATEMÁTICOS EN MACROECONOMÍA

Mét

odos

ma

tem

áti

cos

enm

acr

oeco

nom

ía

Álvaro J. Riascos Villegas

Álv

aro

J.R

iasc

osV

illeg

as

SEPTIEMBRE DE

2006

1

SEPTIEMBREDE

20061 APUNTES DE CLASE CEDEISSN 1909-4442

9 771909 444004 10

ISSN 1909-4442

1

Ap

un

tes

de

clase

CE

DE

Serie Apuntes de clase Cede ISSN: 1909-4442 Septiembre de 2006 © 2006, Universidad de los Andes – Facultad de Economía – Cede Carrera 1 No. 18 A – 10, Bloque C Bogotá, D. C., Colombia Teléfonos: 3394949- 3394999, ext. 2400, 2049, 2474. [email protected] http://economia.uniandes.edu.co Ediciones Uniandes Carrera 1 No. 19 – 27, edificio Aulas 6, A. A. 4976 Bogotá, D. C., Colombia Teléfonos: 3394949- 3394999, ext. 2133, Fax: ext. 2158. [email protected] http//ediciones.uniandes.edu.co Edición, diseño de cubierta, preprensa y prensa digital Proceditor Ltda. Calle 1 No. 27 A – 05. Bogotá, D. C. – Colombia Teléfonos: 2204275, 220 4276, Fax: ext. 102 [email protected] Impreso en Colombia – Printed in Colombia El contenido de la presente publicación se encuentra protegido por las normas internacionales y nacionales vigentes sobre propiedad intelectual, por tanto su utilización, reproducción, comunicación pública, trans-formación, distribución, alquiler, préstamo público e importación, total o parcial, en todo o en parte, en formato impreso, digital o en cualquier formato conocido o por conocer, se encuentran prohibidos, y sólo serán lícitos en la medida en que se cuente con la autorización previa y expresa por escrito del autor o titular. Las limitaciones y excepciones al Derecho de Autor, sólo serán aplicables en la medida en que se den dentro de los denominados Usos Honrados (Fair use), estén previa y expresamente establecidas; no causen un grave e injustificado perjuicio a los intereses legítimos del autor o titular, y no atenten contra la normal explotación de la obra.

Prefacio

Esta monografía es una introducción informal a los métodos matemáticosmás utilizados en el estudio de economías a lo largo del tiempo. Específicamente,esta se centra en los métodos de programación dinámica y el método de Lagrangepara resolver problemas de optimización dinámica con o sin incertidumbre y entiempo discreto. Aquí no hay nada original excepto por el esfuerzo que se hahecho para hacer de esta monografía un puente agradable de recorrer entre lostratamientos básicos de estas técnicas usualmente relegados a los apéndices delos libros de macroeconomía utilizados en un curso del pregrado y los librosmás avanzados que se estudian a nivel de doctorado. Mi deuda con los libros yartículos clásicos en el tema es evidente en muchos de los capítulos y sólo pordescuido no están referenciados todos los libros y artículos sobre los que mebase para escribir esta monografía. A los autores les pido disculpas y prometocorregir esto en futuras versiones.Muchas personas me han ayudado directa o indirectamente a mejorar esta

monografía. En especial, agradezco los innumerables alumnos que padecieronlas primeras versiones de estas notas en diferentes cursos de macroeconomíaavanzada o de métodos matemáticos en macroeconomía. Me refiero a alumnosen la Universidad Javeriana, Universidad de los Andes, Universidad del Valle ydel Instituto de Matemáticas Puras y Aplicadas de Río de Janeiro. De maneramás específica, agradezco a Katherine Aguirre, Andrés Arias, Olga Lucia Briñez,Marcela Eslava, Juanita Gonzalez, Franz Hamann, Luisa Estefanía Valdéz, NiniJohanna Serna y Mauricio Villamizar. Cualquier error es mi responsabilidad.Finalmente quiero agradecer al Banco de la República por la disponibilidad

de tiempo y el ambiente propicio durante el tiempo que estuve en el depar-tamento de investigaciones económicas donde fue escrita gran parte de estamonografía.

iii

iv PREFACE

Capítulo 1

Economía Dinámica

En términos generales la actividad económica no puede modelarse como unproceso estático en el tiempo y en condiciones de certidumbre. En la vida real,este proceso es dinámico e incierto y por lo tanto es natural preguntarse hastaque punto la teoría del equilibrio general, como la formularon Arrow y Debreupermite describir la toma de decisiones económicas más realistas.Es bien sabido que el modelo básico de equilibrio general (Arrow-Debreu en

infinitas dimensiones) es lo suficientemente general como para abarcar en térmi-nos ideales esta situación. En este modelo el espacio de consumo puede tomarsede tal manera que incluya decisiones intertemporales o contingentes a la real-ización de eventos aleatorios. Basta indexar los diferentes bienes al momentoo evento en el cual son consumidos como cualquier otra característica que losdefine. De hecho, desde el punto de vista teórico este abordaje es muy impor-tante. Sin embargo, también es evidente que este modelo no explota de maneraexplícita la dimensión temporal del problema ni tampoco reconoce la imposibil-idad, bastante real en la práctica, de diversificación del riesgo que resulta de larealización de los eventos aleatorios.1

En este capítulo introduciremos de manera informal los métodos matemáti-cos que serán utilizados en el resto del libro. En la sección 1.1 estudiaremosel prototipo de modelo que aparece en el estudio de economías dinámicas, elmodelo básico de crecimiento económico, que utilizaremos para introducir lasdos técnicas principales para resolver modelos dinámicos. El primero pertenecea los métodos de la Programación Dinámica, sección 1.2 y el segundo a los deControl Óptimo (i.e. el método de Lagrange o, más generalmente, el método delHamiltoniano), sección 1.3. La característica fundamental del primer método,como quedará claro más adelante, es que explota la naturaleza recursiva delproblema. Es decir, el hecho de que la estructura del problema de decisión esla misma en todos los períodos. El segundo método, explota la geometría delproblema.

1Existen principalmente dos modelos para el estudio de las economías a lo largo del tiempocon o sin incertidumbre. El modelo de agentes con vidas infinitamente largas y el modelo degeneraciones traslapadas. En este libro nos dedicaremos únicamente al primero.

1

2 CAPÍTULO 1. ECONOMÍA DINÁMICA

El modelo básico de crecimiento es un problema en el cual las decisiones nodependen para nada de eventos aleatorios y en el cual éstas son tomadas por unagente representativo (o planificador central) sujeto a una secuencia de restric-ciones de recursos. Más adelante permitiremos que las decisiones dependan deeventos aleatorios y explicaremos cómo extender los métodos de la ProgramaciónDinámica y Control Óptimo al caso estocástico.

1.1. El Modelo Básico de CrecimientoEl problema que queremos estudiar es el del crecimiento de una economía

cuando sus agentes deben determinar de manera óptima cuánto consumen ycuánto ahorran en cada instante del tiempo. La parte ahorrada en cada momen-to se puede invertir en acumulación de capital para el período siguiente, permi-tiéndole aumentar su producción y por lo tanto sus posibilidades de consumo.Un modelo sencillo de crecimiento en un ambiente determinístico (el modelobásico de crecimiento) pero que a la vez ilustra plenamente los métodos de laProgramación Dinámica podría especificarse de la siguiente manera (Ramsey[1928], Cass [1965] y Koopmans [1965]).Supongamos que existen una gran cantidad de agentes idénticos, con vidas

infinitamente largas y que en cada período del tiempo deben decidir cómo uti-lizar el único bien de consumo que se produce en esta economía. Sea yt lacantidad producida de este bien durante el período t utilizando como únicoinsumo la cantidad de capital kt. Suponemos que todas las variables son percapita y que la población no crece.Las posibilidades de producción de esta economía las representamos a través

de una función de producción neoclásica f (ver Apéndices), de tal manera queyt = f(kt). Hacemos las hipótesis habituales sobre f : f es una función contin-ua, estrictamente creciente, estrictamente cóncava y f(0) = 0. Además supon-dremos que Lim

k→0f 0(k)→∞ (condición de Inada), y Lim

k→∞f 0(k)→ 0.

En el período t el producto se divide entre el consumo en este período ct, yla inversión bruta it. Es decir:

ct + it = f(kt), ct, kt ≥ 0 para todo t (1.1)

Asumimos que el capital se deprecia a una razón constante δ ∈ [0, 1]; luegola dinámica del capital es:

kt+1 = (1− δ)kt + it (1.2)

Además, suponemos que cada agente tiene una misma cantidad de capitalinicial k0 ≥ 0.Finalmente, los agentes tienen preferencias U sobre todas las secuencias de

consumo; asumimos que dichas preferencias son de la siguiente forma:

U(c0, c1, ...) =∞Xt=0

βtu(ct), β ∈ (0, 1) (1.3)

1.2. PROGRAMACIÓN DINÁMICA 3

Donde u(ct) representa la utilidad del consumo en el mismo instante t, y βes un factor que descuenta la utilidad de consumo en el futuro. Implícitamente,hemos supuesto que los agentes le dan más importancia al presente. Otra posibleinterpretación de β es que representa la probabilidad de no morir de un período aotro. Así mismo, podríamos considerar el mismo problema con un beta diferentecada período (βt ∈ (0, 1)), pero por simplicidad no consideramos ese caso.La pregunta que queremos responder en esta economía es: ¿Dado un k0 ≥ 0,

cómo deben consumir los agentes a través del tiempo (c0, c1, ...) de tal formaque maximicen su utilidad 1.3, sujeto a la restricción de recursos 1.1 y a laecuación 1.2 que describe la evolución de la única variable de estado de es-ta economía, kt?. Esta terminología relacionada con variables de estado, seráclara más adelante. Suponemos que u satisface las mismas propiedades que f yque además, es acotada (esta última garantiza que 1.3 tiene sentido para todasecuencia (c0, c1, ...)). Formalmente el problema es:

max∞Xt=0

βtu(ct), β ∈ (0, 1)

kt+1 = (1− δ)kt + it

ct + it = f(kt), ct, kt ≥ 0 para todo t.

Este problema lo llamamos el Problema Secuencial.

1.2. Programación Dinámica

Supongamos que dado k0 nosotros conseguimos resolver el problema anteriory el valor máximo de la función objetivo lo denotamos por v(k0) (v se llamala función valor). Imaginemos ahora el problema del agente representativo unperíodo más tarde. Dada una cantidad de capital inicial k1, el agente represen-tativo debe resolver un problema con la misma estructura del anterior y su valormáximo debe ser v(k1), de esta manera, si interpretamos el coeficiente β comoun factor que trae a valor presente las utilidades futuras del agente , entoncesβv(k1) no es más que el valor presente de la utilidad máxima que puede con-seguir el agente representativo desde el período uno en adelante, dado que en elperíodo uno tenía una cantidad inicial de capital k1. Si k0 es el capital inicialen el primer período, entonces:

u(f(k0) + (1− δ)k0 − k1) + βv(k1),

es la utilidad presente dados k1 y k0, y el objetivo del agente representativo esentonces escoger k1. Luego, su problema se reduce a:

maxk1u(f(k0) + (1− δ)k0 − k1) + βv(k1)

s.a : 0 ≤ k1 ≤ f(k0) + (1− δ)k0


o equivalentemente,

maxc0u(c0) + βv((1− δ)k0 + f(k0)− c0)

s.a : 0 ≤ c0 ≤ f(k0) + (1− δ)k0

Luego, v debe satisfacer:

v(k0) = maxc0u(c0) + βv((1− δ)k0 + f(k0)− c0)

s.a : 0 ≤ c0 ≤ f(k0) + (1− δ)k0

Obsérvese que en la expresión anterior no hay nada especial con el argumentoen los períodos 0 y 1 que no pueda ser usado en los períodos n y n + 1 paracualquier n. Luego debe ser que para todo período n se cumple la ecuaciónfuncional:

v(kn) = maxcn

u(cn) + βv((1− δ)kn + f(kn)− cn) (1.4)

s.a : 0 ≤ cn ≤ f(kn) + (1− δ)kn

Así, si conociéramos la función v, entonces la secuencia óptima cn quedaríacaracterizada como las soluciones al último problema para cada uno de los perío-dos. La formulación anterior, en términos de una ecuación funcional, pone enevidencia el carácter recursivo del problema. La ecuación 1.4 la llamaremos laecuación de Bellman. Olvidándonos de los subíndices, vemos que si k es el mon-to de capital en un cierto período, entonces el consumo óptimo c en el mismoperíodo es la solución al problema:

v(k) = maxc

u(c) + βv((1− δ)k + f(k)− c)) (1.5)

s.a : 0 ≤ c ≤ f(k) + (1− δ)k

Este problema lo llamamos el Problema Funcional asociado al ProblemaSecuencial con el que iniciamos esta sección. Visto de esta forma, el problemase reduce a encontrar una función real v tal que satisfaga el problema 1.5. Unaforma de ver este problema es la siguiente: sea T una aplicación del conjunto defunciones continuas y limitadas sobre R, definida por la siguiente regla: dada g,

T [g] (k) = maxcu(c) + βg((1− δ)k + f(k)− c)

s.a : 0 ≤ c ≤ f(k) + (1− δ)k

Más adelante veremos que el operador T está bien definido (ésta es una apli-cación sencilla del Teorema del Máximo). Ahora, el problema 1.5 es equivalentea encontrar un punto fijo del operador T , luego debemos demostrar la existenciadel punto fijo y en lo posible dar un método para encontrarlo.2 La idea consiste

2Una función v es punto fijo de T si T [v] = v.


en dar una estructura especial al conjunto de las funciones continuas y aco-tadas (una métrica que lo haga un espacio métrico completo3) y probar que eloperador T es una contracción4.De esta manera podemos aplicar el Teorema del Punto Fijo para Contrac-

ciones y así obtener tanto la existencia de una función v que resuelva el problema(4), como un método para encontrarla dado por este mismo teorema.Sin entrar en mayores detalles por ahora, utilizaremos el Teorema del Punto

Fijo para contracciones para resolver el ejemplo siguiente. Informalmente esteteorema nos dice que si T es una contracción, entonces existe una única v, puntofijo de T y además, dado cualquier v0 en el dominio T se tiene:

lımn→∞

Tn(v0) = v

El método de programación dinámica afirma que, bajo ciertas condiciones,v (k0) es el valor máximo del problema secuencial cuando el capital inicial es k0.Adicionalmente, si h es la función definida sobre los stocks de capital k tal quec = h(k) es el consumo que resuelve el problema de maximización:

maxc

u(c) + βv((1− δ)k + f(k)− c))

s.a : 0 ≤ c ≤ f(k) + (1− δ)k

para todo k, entonces la secuencia kt, ct definida por kt+1 = f(kt) − h(kt) +(1 − δ)kt, ct = h(kt) es una secuencia que resuelve el problema secuencial. Lafunción h la llamamos la función de política. El siguiente caso particular delmodelo básico de crecimiento ilustra las ideas principales.

Ejemplo 1 (Brock y Mirman [1972]). Sea u(ct) = log(ct), f(kt) = kαt dondeα ∈ (0, 1) y δ = 1 (la función u no satisface todas las hipótesis impuestas an-teriormente (en particular, no es acotada); sin embargo, más adelante veremoscomo adaptar la teoría a este caso) entonces el problema de crecimiento discu-tido hasta ahora se reduce a:

maxct

∞Xt=0

βt log (ct)

s.a : kt+1 = kαt − ct, ct, kt ≥ 0

El problema funcional asociado es:

v(k) = maxclog(c) + βv(kα − c)

s.a : 0 ≤ c ≤ kα

3Una métrica es una función d del espacio X ×X en los números Reales. La función tomados elementos de dicho espacio y les asigna un valor real llamado distancia. Toda métrica debecumplir con tres condiciones: d(x, x) = 0, d(x, y) = d(y, x) ≥ 0 y la desigualdad del triángulo.Un espacio métrico es aquel al que se le ha asignado una métrica.Por otra parte, un espacio métrico completo es aquel en el que toda sucesión de Cauchy

converge (Ver Apéndice).4Un operador T en un espacio métrico hX, di en los Reales, se dice que es una contracción

si existe β ∈ (0, 1) tal que: d(T (x) , T (y)) 6 β · d(x, y) para todo x, y ∈ X.


Para resolver este problema utilizaremos el método dado por el Teorema delPunto Fijo para contracciones. Sea v0 = 0, entonces:

v1(k) = maxclog(c)

s.a : 0 ≤ c ≤ kα

este problema tiene la solución de esquina c = kα, luego v1(k) = α log(k). Paracalcular v2 resolvemos el problema:

v2(k) = maxclog(c) + βα log(kα − c)

s.a : 0 ≤ c ≤ kα

que lo reseulve c = kα

1+βα , luego

v2(k) = α(1 + βα) log(k) + βα log

µβα

1 + βα

¶− log(1 + βα).

Ahora de igual forma podemos deducir que:

v3(k) = α(1 + βα+ β2α2) log(k) + β2α log

µβα

1 + βα

¶+

(βα+ β2α2) log

µβα+ β2α2

1 + βα+ β2α2

¶− log(1 + βα+ β2α2)− β log(1 + βα)

luego en general vemos que vn(k) = An +

µαn−1Pi=0

(βα)i¶log(k), donde An es

una constante que debemos determinar. Se sigue que v(k) = A + α1−βα log(k)

donde A es una constante que podemos encontrar simplemente observando quev debe satisfacer:

v(k) = maxclog(c) + βv(kα − c)

s.a : 0 ≤ c ≤ kα

Es decir,

A+α

1− βαlog(k) = max

clog(c) + β(A+

α

1− βαlog(kα − c))

s.a : 0 ≤ c ≤ kα

Se puede mostrar que la solución a este problema es c = (1 − βα)kα y v(k) =1

1−β (log(1− βα) + βα1−βα log(βα)) +

α1−βα log(k). De esta forma tenemos que la

variable de estado evoluciona según esta formula: kt+1 = βαkαt y la escogenciaóptima para la variable de control, dada la variable de estado, es: ct = (1 −βα)kαt .Como mencionamos anteriormente, la función que expresa la escogencia óp-

tima de las variables de control en términos de las variables de estado se lla-ma la función de política. Por lo tanto, en este caso la función de política esct = (1− βα)kat


Una vez resuelto el problema de la existencia, el siguiente paso es describirde la manera más precisa posible las propiedades de la función valor v y de latrayectoria óptima kt asociada a la trayectoria óptima del consumo. Si bienalgunas características de la solución van a depender de la forma particular delas funciones de producción y utilidad, otras características muy importantes secumplen de manera más general como por ejemplo, la unicidad de la soluciónóptima y la estabilidad de las trayectorias.Supongamos que el problema secuencial (excepto por el valor del capital

inicial) tiene una solución de estado estacionario. Esto es, una solución en laque todas las variables crecen a una tasa constante e igual a cero, por ejemplokt = k∗ para todo t. El problema de estabilidad consiste en saber si, comenzandocon un valor inicial de capital k0 diferente al valor k∗, la solución óptima alproblema secuencial converge con el tiempo a la solución de estado estacionario.Es decir, si kt → k∗ cuando t→∞.En el ejemplo anterior tenemos que existen dos soluciones de estado esta-

cionario. Una corresponde a k∗ = 0 y la otra a k∗ = (βα)1

1−α . En el primer caso,es fácil ver que no se cumple la propiedad de estabilidad mientras que en el se-gundo, como α ∈ (0, 1) si se cumple la propiedad de estabilidad. Posteriormenteestudiaremos esta propiedad para un problema más general.

Ejemplo 2 (Long y Plosser [1983]) Consideremos el modelo básico de crec-imiento con oferta laboral. Sea nt ∈ (0, 1) la cantidad de trabajo que ofrece elagente representativo y lt la cantidad de tiempo que dedica al ocio. Supongamosque lt + nt = 1. Sea u(ct, lt) = θ log(ct) + (1 − θ) log(lt); f(kt, nt) = kαt n

1−αt y

δ = 1. Así, el problema secuencial es:

Max∞Xt=0

βt(θ log(ct) + (1− θ) log(1− nt))

s.a :

kt+1 = kαt n1−αt − ct


v(k) = maxc,nθ log(c) + (1− θ) log(1− n) + βv(kαn1−α − c) (1.6)

s.a :

0 6 c 6 kαn1−α

0 6 n 6 1Aplicando la misma metodología del ejemplo anterior, suponemos que v0 = 0.Es claro que la solución está en el extremo para el consumo y es interior parael empleo. Luego podemos escribir el lagrangiano asociado como (obsérvese queeste es un problema de optimización estático):

L = θ log(kαn1−α) + (1− θ) log(1− n)

Las condiciones de primer orden implican que:

n =θ(1− α)

1− θα


Reemplazando en la restricción obtenemos:

c = kα∙θ(1− α)

1− θα

¸1−αy por lo tanto la función v1(k) es:

v1(k) = θ log

Ãkα∙θ(1− α)

1− θα

¸1−α!+ (1− θ) log

µ1− θ(1− α)

1− θα

¶=

= αθ log k +A1

donde A1 es una constante. Teniendo v1(k) podemos calcular v2(k):

v2(k) = maxc,nθ log(c) + (1− θ) log(1− n) + βαθ log(kαn1−α − c) + βA1(1.7)

s.a :

0 6 c 6 kαn1−α

0 6 n 6 1

Ahora, podemos derivar las condiciones de primer orden con respecto a c y n :

[c] :θ

c− βθα

kαn1−α − c= 0

[n] : − 1− θ

1− n+

βθα

kαn1−α − c(1− α)(kαn−α) = 0

Con un poco de álgebra encontramos encontramos:

n =θ(1 + αβ)(1− α)

1− αθ + βθα(1− α)

c =kα

1 + αβ

∙θ(1 + αβ)(1− α)

1− αθ + βθα(1− α)

¸1−αReemplazando en la ecuación 1.7 obtenemos:

v2(k) = αθ(1 + αβ) log k +A2,

donde A2 es una constante. Si continuamos iterando es posible encontrar unpatrón en las iteraciones:

vn(k) = αθ(1 + αβ + ...+ αn−1βn−1) log k +An

por lo tant,o un buen candidato a ser punto fijo es:

v =αθ

1− αβlog k +A

1.3. EL MÉTODO DE LAGRANGE 9

Ahora, debemos verificar que efectivamente este candidato es el correcto; reem-plazando en la ecuación 1.6 y de nuevo escribiendo las condiciones de primerorden obtenemos:

[c] :θ

c=

βαθ

(1− αβ) (kαn1−α − c)

[n] :1− θ

1− n=

βαθ(1− α)kαn−α

(1− αβ) (kαn1−α − c)

Simplificando encontramos estos candidatos a las funciones de política:

n =θ(1− α)

1− α (θ + β − θβ)(1.8)

c = (1− αβ)kαµ

θ(1− α)

1− α (θ + β − θβ)

¶1−α(1.9)

Finalmente, reemplazando en la ecuación 1.6 obtenemos:

αθ

1− αβlog k +A = θ log

"(1− αβ)kα

µθ(1− α)

1− α (θ + β − θβ)

¶1−α#

+(1− θ) log

∙1− θ(1− α)

1− α (θ + β − θβ)

¸+

β

µαθ

1− αβ

¶log[kα

µθ(1− α)

1− α (θ + β − θβ)

¶1−α−(1− αβ)kα

∙θ(1− α)

1− α (θ + β − θβ)

¸1−α] + βA

No es dificil convencerse de que existe una constante A que resuelve esta ecuación.Las ecuaciones 1.8 y 1.9 efectivamente son las funciones de política que es-tábamos buscando y describen las trayectorias óptimas del consumo c y deltrabajo n. Obsérvece que el nivel de empleo es independiente del estado de laeconomia k. Esto refleja el hecho de que la función de utilidad es logarítmica enel trabajo y por lo tanto, el efecto ingreso y sustitución se cancelan.Sustituyendo el consumo y el trabajo óptimos en la ecuación de acumulación

del capital, encontramos la trayectoria óptima del capital:

kt+1 = αβ

∙θ(1− α)

1− α (θ + β − θβ)

¸1−αkαt

La inversión será:It = kt+1 − (1− δ)kt = kt+1

1.3. El Método de LagrangeUn método mucho más antiguo que el de la programación dinámica y que se

utilizaba bastante para resolver problemas con una estructura similar al proble-ma secuencial que hemos estado estudiando, es el conocido como las Ecuaciones


de Euler o más generalmente como el Método de Lagrange (este a su vez, es uncaso particular de la teoría del control óptimo)5 . Una vez más utilizaremos elmodelo básico de crecimiento para ilustrar las ideas principales de este método.Obsérvese que el problema de optimización en el modelo básico de crecimientose puede escribir de forma equivalente como:

maxct

∞Xt=0

βtu (f(kt)− kt+1 + (1− δ)kt)

s.a :

0 ≤ kt+1 ≤ f (kt) + (1− δ)kt

k0 dado.

Para simplificar un poco la notación introduciremos las siguientes definiciones.Sea r(kt, kt+1) = u (f(kt)− kt+1 + (1− δ)kt) y Γ(kt) = k ∈ R : 0 ≤ k ≤ f (kt) + (1− δ)ktentonces el problema del modelo básico de crecimiento es equivalente a:

maxct,kt

∞Xt=0

βtr(kt, kt+1)

s.a :

kt+1 ∈ Γ (kt)

k0 dado.

Ahora, supongamos que k∗t es una secuencia que resuelve el problema.Intuitivamente, el valor óptimo k∗t+1 debe ser solución al problema:

maxkt+1∈Γ(k∗t )

©r(k∗t , kt+1) + βr(kt+1, k

∗t+2)

ªEs decir, si la solución es interior, es necesario que la secuencia satisfaga lo

que se conoce como las ecuaciones de Euler :

∂r¡k∗t , k

∗t+1

¢∂kt+1

+ β∂r¡k∗t+1, k

∗t+2

¢∂kt+1

= 0, t = 0, ...

que es una ecuación en diferencias finitas de segundo orden. Obsérvese que solotenemos una condición inicial k0, luego debe faltar algo más para caracterizarcompletamente la solución, de lo contrario, existirian infinitas soluciones, unapara cada k1. La condición que está faltando es la condición de transversalidad :

limt→∞

βt∂r¡k∗t , k

∗t+1

¢∂kt

k∗t ≤ 0 (1.10)

5Las Ecuaciones de Euler, como su nombre lo indica, se deben al matemático suizo LeonardEuler (1707-1783). Euler ha sido uno de los científicos más prolíficos e importantes de lahistoria. Su trabajo en ésta área lo hizo en un contexto continuo, dando inicio a lo que se conocecomo el cálculo de variaciones. La Teoría del Control Óptimo fue desarrollada principalmentepor matemáticos rusos en la primera mitad de este siglo, principalmente por Pontryagin ysus colaboradores. La programación dinámica se debe al matemático norteamericano RichardBellman quien introdujo el método en una monografía publicada en el año 1957 (Bellman[1957]).

1.4. EJERCICIOS Y SOLUCIONES 11

En los próximos capítulos discutiremos una interpretación de esta condición.Intuitivamente, a lo largo de la trayectoria óptima el valor presente de la utilidadmarginal de una unidad adicional de capital en el infinito no debe ser positiva.

Ejemplo 3 (Brock y Mirman [1972] una vez más). Aplicando las ecuacionesde Euler al ejemplo de Brock y Mirman obtenemos:

− 1

k∗αt − k∗t+1+ β

αk∗α−1t+1

k∗αt+1 − k∗t+2= 0 (1.11)

Es fácil obtener la solución de estado estacionario a partir de esta ecuaciónen diferencias finitas. Sin embargo, no es obvio cómo utilizar la condición detransversalidad, ecuación 1.10, para resolver esta ecuación por fuera del estadoestacionario. De hecho, más adelante dedicaremos un buen esfuerzo a explotar lacondición de transversalidad. Por el momento, basta con observar que la anteriorecuación se puede reducir a una ecuación de primer orden. Sea xt =

k∗t+1k∗αt

,entonces el sistema es equivalente a:µ

1− xt+11− xt

¶xt = αβ

y la condicion de transversalidad se puede reescribir como:

limt→∞

βtα

1− xt= 0.

Ahora basta con observar que una solución particular de estas dos ecuacioneses xt = αβ, es decir, kt+1 = αβkαt que genera una dinámica que satisfacesimultaneamente las ecuaciones de Euler y la condición de transversalidad.

En este capítulo hemos hecho un tour por las ideas más importantes quesurgen en el estudio de las economías a lo largo del tiempo y a las cuales nosdedicaremos a estudiar de una manera más formal en los próximos capítulos.

1.4. Ejercicios y SolucionesEjercicio 1 Supongamos que estamos interesados en la solución de estado esta-cionario del ejemplo 1. Sea r la tasa de interés real de la economía y supongaque el factor de descuento β es igual a 1

1+r . Probar que el nivel de consumo enel estado estacionario es una función decreciente de la tasa de interés.

Solución 1 Para mostrar que el consumo en estado estacionario es una funcióndecreciente de la tasa de interés, utilizaremos la regla de la cadena:

∂c∗

∂r=∂c∗

∂β

∂β

∂r

Del ejemplo 1 sabemos que:

k∗ = (βα)1

1−α ⇒ c∗ = (1− βα)(βα)1

1−α


Derivando c∗ con respecto a β obtenemos:

∂c∗

∂β=

α(βα)α

1−α

β(1− α)(1− β) > 0

Derivando β con respecto a r obtenemos:

∂β

∂r= −(1 + r)−2 < 0

De estas dos ecuaciones se desprende que el nivel de consumo del estado esta-cionario es una función decreciente de la tasa de interés.

Ejercicio 2 Mostrar formalmente que en el ejemplo de Brock y Mirman.

1. Se cumple la propiedad de estabilidad para k∗ > 0 pero no para k∗ = 0.

2. Si el capital inicial esta por debajo del capital de estado estacionario, latasa de crecimiento del capital es una función decreciente del nivel decapital. Esta es una ilustración de la hipótesis de convergencia en la teoríadel crecimiento

3. Supongamos que f(kt) = Akαt donde A es una constante. Mostrar quela dinámica óptima del capital es kt+1 = βαAkαt y la función de políticaes ct = (1 − βα)Akαt . Utilizando dos valores diferentes de A ilustrar lahipótesis de convergencia condicional: controlando por diferentes parámet-ros fundamentales (A diferentes) mostrar que los países que están rela-tivamente más lejos de su estado estacionario crecen más rápido que losque están relativamente más cerca.

Ejercicio 3 El problema de comerse un pastel (tomado de Stockey — Lucas[1989]). Supongamos que tenemos una cantidad x0 de pastel. Cada período cor-tamos un poco y nos lo comemos. La utilidad instantánea de comerse un pedazoes igual al logaritmo del tamaño del pedazo.

1. Escribir el problema como un problema de programación dinámica.

2. Encontrar la función valor y la función de política (sugerencia: la funciónvalor es logarítmica).

Solución 2 (Ejercicio 3) Llamemos xt la cantidad de pastel que queda en elperiodo t. El pedazo de pastel que nos comemos puede definirse como la diferenciaentre el pastel que tenemos en t y el que queda en t+ 1. Así, el problema puedeser formulado de la siguiente forma:

maxxt

∞Xt=0

βt ln(xt − xt+1)

0 ≤ xt+1 ≤ xt

x0 dado.


Para usar una notación similar a la del capítulo, podemos replantear el prob-lema secuencial de la siguiente manera:

max∞Xt=0

βt ln(ct)

0 ≤ ct ≤ xt y xt+1 = xt − ct

Donde ct es la cantidad de pastel que nos comemos en t.El problema funcional es:

v(xt) = maxln(ct) +βv(xt − ct)0 ≤ ct ≤ xt

Utilizando la sugerencia para resolver el problema (o alternativamente, hac-er algúnas iteraciones para convencerse de que esta es un buen candidato),suponemos que la función valor es de la forma:

v(xt) = A ln(xt) +B donde A y B constantes.

Las condiciones de primer orden del problema funcional implican:

xt+1 =β

(1 + βA)xt

Substituyendo en la ecuación funcional:

A ln(xt)+B = v(xt) = ln(xt)+ln

µ1− βA

1 + βA

¶+β

∙A ln

µβA

1 + βA

¶+A ln(xt) +B

¸Utilizando el método de coeficientes indeterminados, podemos verificar que A yB son constantes:

A =1

1− β

B = ln

µ1− βA

1 + βA

¶+ β

∙A ln

µβA

1 + βA

¶+B

¸=

ln (1− β)

1− β+

β ln (β)

(1− β)2

Luego:xt+1 = βxt

Bibliografía

[1] Bellman, R. (1957). Dynamic Programming. Princeton University Press.

[2] Brock, W.A. Mirman, L. (1972). Optimal Economic Growth and Uncertain-ty: The No Discounting Case. International Economic Review, Vol 14, No.3, pp. 560 - 573.

[3] Cass, D. 1965. Optimum Growth in an Aggregative Model of Capital Accu-mulation. Review of Economic Studies. 32:3, 233-240.

[4] Koopmans, T. 1965. On the concept of optimal growth, en: The EconometricApproach to Development Planning (Rand-McNally).

[5] Long, John B, Jr and Plosser, Charles I, 1983. Real Business Cycles Journalof Political Economy, Vol. 91 (1) pp. 39-69.

[6] Ramsey, Frank P. 1928. A mthematical theory of saving. Economic Journal38:543-559.

[7] Stokey, N. And Robert Lucas, Jr. with Edward Prescott. 1989. RecursiveMethods in Economic Dynamics. Harvard University Press.

15

16 BIBLIOGRAFÍA

Capítulo 2

Programación Dinámica: Elcaso determinístico

El objetivo en esta parte será formalizar los métodos presentados en el capí-tulo anterior para un problema lo suficientemente general como para incluiralgunos modelos bastante importantes que se encuentran en la literatura, comopor ejemplo, los modelos de crecimiento y los modelos de ciclos reales.1

El problema típico (o problema secuencial) que queremos resolver tiene laforma:

suput

∞Xt=0

βtr(xt, ut)

s.a : xt+1 = g (xt, ut) ,

ut ∈ Γ(xt), t = 0, 1, 2, ...

x0 ∈ X dado,

donde xt ∈ Rn, ut ∈ Rm, X ⊂ Rn, r y g son funciones de X × Rm en R yX respectivamente; y Γ es una correspondencia de X en Rm (ver Apéndice).La función r la llamamos función de retorno (instantáneo) y usualmente serála utilidad instantánea del agente representativo. Las variables xt se llamanvariables de estado que típicamente son el monto de capital o la cantidad deactivos que tiene el agente representativo en el instante t. La función g describela evolución de las variables de estado dada una escogencia de las variables utque llamamos variables de control. Finalmente, la correspondencia Γ describelas posibilidades de escogencia de las variables de control que tiene el agentecuando la economía se encuentra en un estado xt. La idea de todo esto es lasiguiente: las variables xt caracterizan el estado de la economía, es decir, elambiente económico frente al cual un agente debe tomar una decisión. Como yahabíamos señalado, xt puede ser el monto de capital (como en el modelo básicode crecimiento) que existe en la economía, lo cual determina las posibilidades de

1Esta parte está basada en el capítulo 4 de Stokey-Lucas [1989].

17

18CAPÍTULO 2. PROGRAMACIÓNDINÁMICA: EL CASODETERMINÍSTICO

producción de las firmas y consecuentemente, el nivel de consumo o inversión,en este caso las variables de control, que los agentes pueden escoger. Esto secaptura a través de la restricción ut ∈ Γ(xt). De esta forma, dado x0 (el estadoinicial de la economía) el agente observa las posibilidades que tiene para escogerel control inicial u0 sabiendo que éste le determinará el estado de la economía(x1 = g (x0, u0)) y las posibilidades de escogencia del control un período mastarde (u1 ∈ Γ(x1)); y así sucesivamente. Bajo estas restricciones el agente debeprocurar escojer los controles con el fin de maximizar el valor presente de losretornos futuros.Obsérvese que el ejemplo de Brock y Mirman de las notas anteriores es un

caso particular de este tipo de problemas. Ahí xt = kt, ut = ct, r(ct) = log (ct) ,g(kt, ct) = kαt − ct, Γ(kt) = ct : 0 ≤ ct ≤ kαt y X = R++. De igual forma, esfácil ver que el modelo básico de crecimiento considerado del capítulo anterior,también es un caso particular del problema secuencial que estamos estudiandoen esta parte.A todo problema secuencial (PS) como el de arriba, le asociamos un problema

funcional (PF):

v(x) = supur(x, u) + βv(g(x, u))

s.a : u ∈ Γ(x).

La función h que nos da el valor de u que resuelve el problema anterior paracada x, la llamamos función de política ( o correspondencia de política según seael caso).Nuestro objetivo es ahora encontrar las condiciones bajo las cuales se cumple

el Principio de Optimalidad de Bellman: Sea v la función que resuelve el prob-lema funcional entonces, bajo ciertas condiciones, v(x0) es el valor máximoque puede alcanzar el problema secuencial y si (x∗t , u∗t ) es tal que: v(x∗t ) =r(x∗t , u

∗t )+βv(g(x

∗t , u∗t )) para t = 0, 1, 2, ..., donde u

∗t ∈ Γ(x∗t ), x∗t+1 = g (x∗t , u

∗t ) ,

x∗0 = x0 entonces, (x∗t , u∗t ) resuelve el problema secuencial. Más aún, probare-mos un converso para cada una de las afirmaciones anteriores.Comencemos por hacer algunas hipótesis básicas para que el problema se-

cuencial tenga sentido.

Definición 1 Una secuencia de estados y controles (xt, ut)t=0,1..., en X×Rm

es una dinámica factible desde x0 para el problema secuencial, si ut ∈ Γ(xt) yxt+1 = g (xt, ut) para t = 0, 1, 2, ..., . En este caso decimos que la secuencia decontroles ut es un plan factible desde x0. El conjunto de todas las dinámicasfactibles desde x0 lo denotamos por Π(x0). Frecuentemente, y abusando un pocodel lenguaje, diremos que xtt=0,... es una dinámica factible desde x0.

Las siguientes hipótesis aunque, no las más generales, serán suficientes paradesarrollar las ideas principales.

Condición 1 Γ(x) es diferente de vacio para todo x ∈ X (i.e., Γ(x) 6= φ paratodo x).

19

Condición 2 β ≥ 0 y para todo x0 ∈ X, existeMx0 ∈ R tal que∞Pt=0

βtr(xt, ut) ≤

Mx0 para toda dinámica factible xtt=0,1...desde x0.

Anotación 1 La forma más común para garantizar la condición anterior esutilizando lo que en la literatura se conoce como condición de no-ponzi. Másadelante volveremos sobre este punto.

Esta condición asume, implícitamente, que para toda dinámica factible desdex0 la suma infinita existe. Además, en las condiciones anteriores pemitimos quepara ciertas dinámicas fáctibles la suma sea −∞. Sin embargo:

Condición 3 β ≥ 0 y para todo x0 ∈ X, existe una dinámica factible (xt, ut)t=0,1,...desde x0 y unmx0 ∈ R tal que la secuencia de sumas parciales Snn=0,1,.. , Sn =nPt=0

βtr(xt, ut) satisface mx0 ≤ Sn para todo n.2

Es claro que si r es acotada y β ∈ [0, 1) entonces las condiciones 2 y 3 secumplen. En los ejercicios se dan otras condiciones bajo las cuales la condición2 se cumplen.Bajo las condiciones anteriores podemos definir la función ev : X → R dondeev(x0) = sup

(xt,ut)∈Π(x0)

∞Pt=0

βtr(xt, ut). Es decir, ev(x0) es el valor supremo del (PS).Llamamos a la función ev la función valor del problema. La primera relaciónimportante entre el (PS) y el (PF) nos la da la siguiente proposición.

Proposición 1 Bajo las condiciones 1, 2 y 3, ev resuelve el PF.Proof. Sea ε > 0 , u0 ∈ Γ(x0) y x1 = g(x0, u0). Como ev(x1) es el valorsupremo del (PS) con valor inicial x1, entonces existe una dinámica factible

desde x1, (x1, u1), (x2, u2), ... tal que,∞Pt=1

βt−1r(xt, ut) ≥ ev(x1) − ε. Ahora

(x0, u0), (x1, u1), ... ∈ Γ(x0) luego ev(x0) ≥ ∞Pt=0

βtr(xt, ut) ≥ r(x0, u0) + βev(x1) − βε = r(x0, u0) + β ev(g(x0, u0)) − βε. Como esto es verdad para todoε > 0 y u0 es cualquier elemento Γ(x0) entonces tenemos que ev(x0) ≥ r(x0, u0)+β ev(g(x0, u0)) para todo u0 ∈ Γ(x0) es decir, ev(x0) ≥ sup

u0∈Γ(x0)r(x0, u0) + β

ev(g(x0, u0)). Olvidándonos de los subíndices tenemos ev(x) ≥ supu∈Γ(x)

r(x, u) +

β ev(g(x, u)). Ahora, para probar la desigualdad contraria, argumentamos dela misma forma: Sea ε > 0, entonces existe una dinámica factible desde x0,

(x0, u0), (x1, u1), ... tal que ev(x0) ≤ ∞Pt=0

βtr(xt, ut)+ε ≤ r(x0, u0)+β ev(x1)+ε.De nuevo como ε es arbitrario tenemos ev(x0) ≤ r(x0, u0)+β ev(x1) luego ev(x0) ≤

2Hacer este supuesto utilizando todas las dinámicas factibles es más restrictivo y no secumpliría para la función de utilidad logarítmica ni para la función de utilidad CES conparámetro σ < 1.


supu0∈Γ(x0)

r(x0, u0)+β ev(g(x0, u0)). Nuevamente, olvidándonos de los subíndices,obtenemos la desigualdad que nos faltaba.La siguiente proposición nos da un converso parcial de la anterior y las

condiciones bajo las cuales se cumple una de las afirmaciones del Principio deOptimalidad.

Proposición 2 Bajo las condiciones 1, 2 y 3, si v resuelve el PF y lımt→∞

βtv (xt) =

0 para todo x0 ∈ X y dinámica factible xt desde x0 (condición de transver-salidad fuerte), entonces ev = v. Es decir, v resuelve el PS.

Proof.Vamos a probar dos cosas. Primero probaremos que v (x0) ≥∞Pt=0

βtr(xt, ut)

para toda dinámica factible desde x0 y segundo que para todo > 0, existe una

dinámica factible (xt, ut)t=0,1,..desde x0 tal que v (x0) ≤∞Pt=0

βtr(xt, ut) + ε.

Estas dos afirmaciones implican que v es la función valor del problema. Parademostrar la primera, como v es solución del (PF) entonces para toda dinámicafactible (xt, ut) ∈ Π(x0) tenemos: v (x0) ≥ r (x0, u0) + βv(x1) ≥ r (x0, u0) +βr(x1, u1) + β2v(x1) ≥ ....

≥kPt=0

βtr(ut, xt) + βk+1v (xk+1) (aqui utilizamos lımt→∞

βtv (xt) ≥ 0). Usando

la condición 2 y haciendo k → ∞ obtenemos v (x0) ≥∞Pt=0

βtr(xt, ut). Para

demostrar la segunda afirmación, sea ε > 0 arbitrario y δn una secuencia denúmeros reales tal que

∞Pt=0

δtβt ≤ ε. Como v resuelve el (PF) entonces existe u0

tal que v(x0) ≤ r(x0, u0)+βv(g(x0, u0))+δ0. Sea x1 = g(x0, u0) y por la mismarazón que arriba, existe u1 ∈ Γ(x1) tal que: v(x1) ≤ r(x1, u1) + βv(x2) + δ1.Luego, v(x0) ≤ r(x0, u0) + βr(x1, u1) + β2v(x2) + δ0 + βδ1. Continuando deesta manera podemos encontrar una dinámica factible (xt, ut) ∈ Π(x0) quesatisfaga: v(x0) ≤

∞Pt=0

βtr(xt, ut) +∞Pt=0

δtβt + lım

t→∞βtv (xt) (aqui utilizamos lım

t→∞

βtv (xt) ≤ 0) ≤∞Pt=0

βtr(xt, ut) + ε.

Esta proposición muestra que el problema funcional tiene una única soluciónque satisface la condición de transversalidad.3 4

3Para variaciones de esta última proposición cuando la condición de transversalidad no secumple, ver Stockey-Lucas[1989], ejercicio 4.3.

4En la literatura de optimización dinámica el término condición de transversalidad gen-eralmente se refiere a una condición necesaria (o suficiente) que se debe cumplir en la solucióndel problema. Usaremos esta terminología.En la literatura de la Teoría del Equilibrio con Mercados Incompletos con horizonte infinito

el término generalmente se refiere a restricciones asintóticas sobre el nivel de endeudamientoen el que pueden entrar los agentes (Ver Magill y Quinzii [1994]). En este último sentido separece más a una conndición de no-ponzi.

21

Anotación 2 Intuitivamente lımt→∞

βtv (xt) > 0 implica que se están subutilizan-

do los recursos cuando la dinámica factible es xt. Si lımt→∞

βtv (xt) < 0 ocurre

lo contrario. Esta interpretación sugiere que la condición de transversalidad esmuy fuerte y por lo tanto no debe ser una condición necesaria (Ver ejercicio 8).Intuitivamente, uno pensaría que esta condición es, a lo sumo, necesaria a lolargo de una dinámica que resuelve el PS.

Nuestro objetivo ahora es caracterizar los planes óptimos. Es decir, aquel-los planes factibles (si es que alguno existe) que permiten alcanzar el supremodel PS. Obsérvese que un plan factible determina unívocamente una dinámicafactible.

Proposición 3 Supongamos que se cumplen las condiciones 1, 2 y 3. Sea (x∗t , u∗t )una dinámica factible desde x∗0 que permite alcanzar el supremo del PS, en-tonces:

ev(x∗t ) = r (x∗t , u∗t ) + βev ¡x∗t+1¢ , t = 0, 1, 2, ... (2.1)

Anotación 3 Obsérvese que aquí podemos cambiar ev por v.Proof. Como (x∗t , u∗t ) alcanza el supremo del (PS) entonces:

∞Pt=0

βtr(x∗t , u∗t ) =

r (x∗0, u∗0) + β

∞Pt=0

βtr(x∗t+1, u∗t+1) ≥ r (x∗0, u

∗0) + β

∞Pt=0

βtr(xt+1, ut+1) para toda

dinámica (x∗1, u1), (x2, u2), ... ∈ Γ (x∗1) , luego∞Pt=0

βtr(x∗t+1, u∗t+1) ≥

∞Pt=0

βtr(xt+1, ut+1),

para toda dinámica (x∗1, u1), (x2, u2), ... ∈ Γ (x∗1) .Ahora como (x∗1, u∗1), (x∗2, u∗2), ... ∈Γ (x∗1) entonces ev (x∗1) = ∞P

t=0βtr(x∗t+1, u

∗t+1). Volviendo a la primera ecuación ten-

emos entonces:∞Pt=0

βtr(x∗t , u∗t ) = r (x∗0, u

∗0) + βev (x∗1) pero la primera sumatoria

es igual a ev (x∗0) por la definición de (x∗t , u∗t ) . Esto demuestra la afirmaciónpara t = 0. Para los otros períodos basta utilizar inducción.Finalmente tenemos un converso para esta proposición que nos da las condi-

ciones bajo las cuales se cumple la otra afirmación del Principio de Optimalidad.

Proposición 4 Bajo las condiciones 1, 2 y 3, si (x∗t , u∗t ) es una dinámi-ca factible desde x∗0 que satisface (1) y tal que lımβ

tev(x∗t ) ≤ 0, (condición detransversalidad débil) entonces (x∗t , u∗t ) resuelve el PS.

Proof. Como (x∗t , u∗t ) es una dinámica factible desde x∗0 entonces∞Pt=0

βtr (x∗t , u∗t ) ≤ev(x∗0). Ahora, sustituyendo k veces en (1) el valor de ev(x∗t ) en términos deev ¡x∗t+1¢ llegamos a: ev(x∗0) = kP

t=0βtr (x∗t , u

∗t )+β

k+1ev ¡x∗k+1¢ y usando que lımsupβtev(x∗t ) ≤


0 podemos concluir que∞Pt=0

βtr (x∗t , u∗t ) ≥ ev(x∗0) luego por la desigualdad anteri-

or, tenemos∞Pt=0

βtr (x∗t , u∗t ) = ev(x∗0).

Anotación 4 Intuitivamente, si a lo largo de una dinámica factible que satis-face (1) no se subutilizan recursos, entonces esta debe ser una dinámica factibleóptima para el problema secuencial. El ejercicio 9 ilustra el caso de un problemadinámico para el cual existe un plan factible que satisface (1) pero que no es unplan óptimo para el problema secuencial.

Como consecuencia inmediata de las cuatro proposiciones anteriores tenemosel siguiente teorema que resume las relaciones entre el (PS) y el (PF).

Teorema 1 Equivalencia del (PS) y el (PF): Bajo las condiciones 1, 2 y 3 y sila condición de transversalidad se satisface, el (PS) y el (PF) tienen las mismassoluciones en términos de valor y dinámicas óptimas.

Anotación 5 En ocasiones la escogencia inteligente del espacio de estados Xpuede dar paso a la aplicación rigurosa del método que hemos explicado. Ver elejemplo 4.

Hasta este punto hemos estudiado la relación entre el problema funcionaly el problema secuencial, pero aún no hemos dado un método para resolverninguno de los dos excepto por el método que introdujimos informalmente en elcapítulo anterior para resolver el problema funcional. La programación dinámicano tendría tanto valor si no fuera porque para el (PF) existen varios métodos desolución. Nos concentraremos aquí en el método más importante desde el puntode vista teórico y práctico para resolver el problema funcional, pues éste sirvepara demostrar la existencia de soluciones (al igual que sus propiedades másimportantes) y a la vez, motiva algunos métodos numéricos importantes pararesolver el (PF).Para esto necesitamos pedir un poco más sobre la correspondencia Γ y la

función de retorno r que lo que se pide en las condiciones 1, 2 y 3.

Condición 4 Γ es una correspondencia de valores compactos (i.e.,Γ(x) escompacto para todo x), continua y Γ(x) 6= φ para todo x.

Condición 5 β ∈ (0, 1) y la función retorno es acotada y continua sobre elgrafo de Γ.5

Anotación 6 Bajo estas condiciones el supremo se realiza como un máximo.

Es claro que los supuestos 4 y 5 implican 1, 2 y 3. Además β ∈ (0, 1), luegobajo estas condiciones se cumple el Teorema de Equivalencia (Teorema 1).El método que expondremos para resolver el problema funcional nace, como

se observó en las notas pasadas, de la identificación del (PF) con un problema de

5El grafo de Γ es el conjunto: (x, y) ∈ X × Rm : y ∈ Γ(x)

23

punto fijo. Informalmente, al (PF) le asociamos un operador T de cierto espaciode funciones sobre X en sí mismo. Este se define de la siguiente manera: Dadauna función f en este espacio de funciones (más adelante explicaremos cúal es),T [f ] es la función que evaluada en x ∈ X nos da:

T [f ] (x) = supur(x, u) + βv(f(x, u))

s.a : u ∈ Γ(x).

Así el PF se reduce a calcular un punto fijo del operador T. Ahora, bajo elsupuesto 5 es claro que ev, y por lo tanto v por la primera proposición, es unafunción acotada sobre el conjunto X, y puesto que el operador T está definido através de un problema de maximización, entonces sería natural buscar un puntofijo en el espacio de las funciones reales, continuas y acotadas sobreX; Ca(X). Siencontramos un punto fijo del operador T en Ca(X) y por lo tanto una solucióndel PF, entonces, por el Teorema de Equivalencia, esta solución debe ser elvalor supremo del PS. Una vez tenemos la función valor podemos proceder aencontrar el plan óptimo, resolviendo paso a paso el problema de maximizaciónque aparece en el PF, es decir, encontrando la función política h. Otra formade encontrar el plan óptimo sería resolviendo el sistema de ecuaciones (1) . Laesperanza en estos procedimientos radica en el siguiente teorema, muy usado enmatemáticas.

Teorema 2 (Punto Fijo para Contraccciones): Supongamos que se cumplen 4y 5 y sea Ca(X) el espacio de las funciones reales, continuas y acotadas sobreX con la norma del supremo k·k. Entonces el operador T definido sobre Ca(X)es una aplicación de este espacio en sí mismo, T : Ca(X) → Ca(X); tiene unúnico punto fijo v y además para cualquier v0 ∈ Ca(X) se tiene:kTn [v0]− vk ≤ βn kv0 − vk , n = 0, 1, 2, ...En particular lım

n→∞Tn [v0] = v en la métrica del supremo. Adicionalmente,

la correspondencia de política h es de valores compactos y hemicontinua superi-ormente.

Proof. Ver Stokey-Lucas [1989] página 79.Usaremos estos resultados para resolver el siguiente modelo de crecimiento

con inversión en capital humano.

Ejemplo 4 (Crecimiento con inversión en capital humano).6 En este modelode crecimiento supondremos que los únicos factores de producción en cada perío-do son el capital humano ht y el tiempo que el agente representativo dedica altrabajo nt. Más concretamente, la función de producción de esta economía de-pende únicamente del capital humano efectivo en cada período: htnt. Es decir,yt = f(htnt), donde f es la función f (x) = xα, α ∈ (0, 1). Cambiando sim-plemente las unidades con las que medimos este tiempo, podemos suponer quent ∈ [0, 1]. Ahora, la evolución del capital humano en esta economía depende

6Tomado de Stokey-Lucas página 111. A su vez, este modelo tiene origen en el clásicoartículo de Lucas [1988] y en Usawa [1964].


0 1

PHI

1+delta

1-delta

Figura 1

Figura 2.1:

del tiempo dedicado a trabajar, siendo la acumulación del capital humano menorentre más tiempo se dedique al trabajo y mayor entre menos tiempo se dediquea éste. Esto refleja el hecho que, para acumular capital humano y aumentar laproductividad, el agente debe dedicar tiempo a esta tarea, por ejemplo estudiandoo capacitándose, dejando entonces de trabajar un poco.7 Una forma de capturaresta dinámica es la siguiente: Sea ht+1 = htΨ (nt) donde Ψ es una función de[0, 1] en R+, con estas características: Ψ es continua, estrictamente cóncava,estrictamente decreciente y tal que Ψ(0) = 1 + λ, Ψ(1) = 1− δ, donde λ, δ ≥ 0(figura 1).

7Por eso decimos que este es un modelo de crecimiento con inversión en capital humano, adiferencia de otros en los que entre más se trabaja más se aprende al adquirir mayor experi-encia, etc. Ver ejemplo siguiente (Aprendiendo Haciendo).

25

La idea de esta función es la siguiente: si el agente decide no trabajar, en-tonces su capital humano se apreciará a una tasa λ, reflejando esto el hechode que al no trabajar el agente puede dedicar todo su tiempo a estudiar o ca-pacitarse con el fin de incrementar su capital. En el otro extremo, si el agentedecide dedicar todo su tiempo al trabajo, entonces no tendrá tiempo para ca-pacitarse y su capital humano se depreciará a una tasa δ. La concavidad de lafunción implica que, entre más tiempo el agente dedique a acumular capital hu-mano, menos acumulará de éste en el margen. El agente representativo en estaeconomía puede consumir todo lo que produce y su variable decisión en cadaperíodo es cuánto tiempo debe dedicarse al trabajo. Sea β ∈ (0, 1) y supongamosque tiene una utilidad instantánea de consumo: u(c) = cσ

σ , donde σ ∈ (0, 1) . Elproblema del agente representativo es entonces:

supnt

∞Xt=0

βtu (f(htnt))

s.a : ht+1 = htΨ (nt)

h0 dado.

En este ejemplo, la variable de control es nt, la variable de estado es ht, la fun-ción de retorno es uf, ht+1 = g (ht, nt) = htΨ (nt) , Γ (ht) = nt : 0 ≤ nt ≤ 1y X = R+. Ahora, es fácil probar que se satisfacen las condiciones del Teoremade Equivalencia (Teorema 1). Basta con notar que el capital humano se acumulao desacumula a una tasa máxima λ y δ respectivamente, y que por lo tanto:

∞Xt=0

βtu (f(htnt)) ≤∞Xt=0

(β(1 + λ)ασ)t (h0nt)

ασ

σ

para toda dinámica factible desde h0.Ahora, la desigualdad de la derecha es un número finito siempre que β (1 + λ) <

1. Pasemos ahora al problema funcional:

v(ht) = maxnt

u (f(htnt)) + βv(htΨ (nt))

s.a : 0 ≤ nt ≤ 1

Ahora aplicaremos el Teorema del Punto Fijo para encontrar la función val-

or. Sea v0 = 0, entonces v1(h) = max0≤n≤1

n(nh)ασ

σ

o⇒ n = 1⇒ v1(h) =

hασ

σ , por

lo tanto,

v2(h) = max0≤n≤1

½(nh)ασ

σ+ β

(hΨ(n))ασ

σ

¾= hασ max

0≤n≤1

½nασ

σ+ β

(Ψ(n))ασ

σ

¾Luego, el valor de n que resuelve este problema no depende de h. Esto implica quev2(h) = A2

hασ

σ , donde A2 es una constante positiva. De igual forma vn(h) =

Anhασ

σ , donde An es una constante positiva. Es natural entonces, proponer


como candidato a función valor, una función de la forma v(h) = Ahασ

σ . Laconstante A puede encontrarse observando que v debe satisfacer la ecuaciónfuncional. Es decir,

Ahασ

σ= max

n

½(hn)ασ

σ+ βA

hασΨ (n)ασ

σ

¾s.a : 0 ≤ n ≤ 1

No es difícil demostrar que la función de política es una constante n∗ ∈ (0, 1].Es decir, no interesa cual sea el nivel de capital humano h, el agente siempreescoge trabajar n∗. Por lo tanto la tasa de crecimiento del capital humano esconstante, pues, ht+1 = htΨ (nt) = htΨ (n

∗), luego ht+1ht

= constante. El valorexacto de esta constante depende de la forma explícita de Ψ.

Anotación 7 Si Ψ (n) = γnθ, donde θ < 0 (obsérvese que esta función nosatisface las condiciones de arriba8) es fácil mostrar que la función de políticaes:

nt = (−βAθγασ)1

ασ(1−θ) ,

donde:

A = βγασ³−θ + (−θβγασ)θ

´ 1−θ

.

Preguntas: ¿Es ésta una solución?¿ Por qué existe esta solución?

Ejemplo 5 (Aprendiendo haciendo). Consideremos otro caso de crecimientoendógeno e inversión en capital humano, utilizando exactamente la misma no-tación del ejemplo anterior. Ahora, la única diferencia es la forma como vamosa definir la función de acumulación de capital humano. En el caso anterior,había un costo de invertir en dicho capital. El agente debía sacrificar partede su tiempo educándose (por lo cual dejaba de trabajar) para incrementar sucapital humano. En este caso, por el contrario, el capital humano se acumulagracias a la experiencia y el trabajo en el proceso de producción. Es decir, elcapital humano se aumenta en la medida que trabajamos. La motivación detrásde esta especificación tiene origen en el papel que la experiencia juega en laproductividad del trabajo.9

Tenemos el mismo problema del agente representativo expuesto arriba:

supnt

∞Xt=0

βtu (f(htnt))

s.a :

ht+1 = htΨ (nt) , h0 dado.

La diferentes interpretaciones sobre la forma como se acumula capital humanoestán ligadas a la forma funcional de Ψ. Definimos Ψ (nt) = γnθt , donde γ > 0

8Nótese que Ψ0 (nt) = γθnθ−1t < 0 (los retornos a la inversión en capital humano 1− nt,

son crecientes) y Ψ00 (nt) = γθ(θ − 1)nθ−2t > 0 (los retornos marginales a la inversión encapital humano 1− nt, son crecientes).

9La idea de Aprendiendo Haciendo ( “Learning by Doing”) se debe a Arrow[1962].

27

y θ ∈ (−∞, 1) . Ahora si θ ≥ 0 entonces la acumulación de capital humano esun producto del trabajo. Este es el caso de “aprendiendo haciendo”.10

La variable de control es nt, la variable de estado es ht, la función de retornoes u f, ht+1 = g (ht, nt) = htΨ (nt) , Γ (ht) = nt : 0 ≤ nt ≤ 1 y X = R+.El problema funcional asociado es:

v(ht) = supnt

u (f(htnt)) + βv(htΨ (nt))

s.a : 0 ≤ nt ≤ 1

Tenemos la misma forma funcional de la función de utilidad u(c) = cσ

σ , y de lafunción de producción f(nh) = (nh)α.

Sea v0(h) = 0, entonces es muy fácil ver que vn(ht) =hασtσ

nPi=0(βγασ)i, y

la función de política en cada iteración es nt = 1. Luego la función valor denuestro problema es:

v(ht) =hασtσ

1

1− βγασ

Es fácil ver que en efecto la función de política es: nt = 1. Luego la dinámicadel capital es: ht+1 = γht. Si γ > 1 entonces tenemos crecimiento endógeno.

Anotación 8 Obsérvese que en los últimos dos ejemplos no existe una soluciónde estado estacionario en las variables en niveles.

Ejemplo 6 Hercowitz-Sampson (1986). Consideremos el modelo básico de crec-imiento con:

U(c, l) = log(c− a(1− l)γ)

yt = kαt n1−αt

kt+1 = kt

µitkt

¶1−δ= kδt i

1−δt , a > 0; γ > 1

Primero, vamos a demostrar que la función de utilidad es cóncava. Para esto,debemos calcular la matriz Hessiana de dicha función y determinar si es semi-definida negativa.11 Derivamos primero respecto a cada una de las variables:

∂U

∂c= U1(c, l) =

1

c− a(1− l)γ

∂U

∂l= U2(c, l) =

γa(1− l)γ−1

c− a(1− l)γ

10Nótese que Ψ0 (nt) = γθnθ−1t > 0 (los retornos a la experiencia es creciente) y Ψ00 (nt) =

γθ(θ − 1)nθ−2t < 0 (los retornos marginales a la experiencia son decrecientes).11Una de las características de una matriz semidefinida negativa es que sus menores prin-

cipales son menores o iguales a 0. Los menores principales se obtienen quitando la i-ésimafila y la i-ésima columna de la matriz y tomando el determinante de la matriz resultante. Eneste caso, sólo necesitamos encontrar los menores principales de orden 1 (quitando la primeracolumna y fila o quitando la segunda columna y fila) y el determinante de la matriz.


Las derivadas parciales de segundo orden nos determinan la siguiente matrizHessiana:

H =

∙U11(c, l) U12(c, l)U21(c, l) U22(c, l)

¸=

⎡⎣ −1(c−a(1−l)γ)2

−aγ(1−l)γ−1(c−a(1−l)γ)2

−aγ(1−l)γ−1(c−a(1−l)γ)2

−γ(γ−1)a(1−l)γ−2(c−a(1−l)γ) − [γa(1−l)

γ−1]2

(c−a(1−l)γ)2

⎤⎦Calculamos ahora el determinante de la matriz H:

|H| =γ(γ − 1)a(1− l)γ−2

(c− a(1− l)γ)3+

£aγ(1− l)γ−1

¤2(c− a(1− l)γ)4

− [aγ(1− l)γ−1]2

(c− a(1− l)γ)4=

=γ(γ − 1)a(1− l)γ−2

(c− a(1− l)γ)3> 0

Los menores principales de orden 1 son:

|H1| = U11(c, l) =−1

(c− a(1− l)γ)2< 0

|H1| = U22(c, l) = −£γa(1− l)γ−1

¤2(c− a(1− l)γ)2

µ(γ − 1)(c− a(1− l)γ)

aγ(1− l)γ+ 1

¶< 0

Ahora vamos a demostrar que la función valor tiene la siguiente forma:

v(kt) = D0 +D1 ln kt,

con Di constantes. Reemplazando en la ecuación de Bellman, tenemos:

D0 +D1 ln k = maxnlog (c− anγ) + β

³Do +D1 ln

³kδ¡kαn1−α − c

¢1−δ´´o0 ≤ c ≤ y

0 ≤ n ≤ 1

Las condiciones de primer orden son:

1

c− anγ− β

(1− δ)D1

(kαn1−α − c)= 0

−aγnγ−1c− anγ

+ β(1− δ)D1 (1− α) kαn−α

(kαn1−α − c)= 0

Manipulando algebraicamente encontramos la primera condición de primer or-den obtenemos:

1

c− anγ= β

(1− δ)D1

kαn1−α − c

kαn1−α − c = β (1− δ)D1c− β (1− δ)D1anγ

kαn1−α + β (1− δ)D1anγ = β (1− δ)D1c+ c

c =kαn1−α + β (1− δ)D1an

γ

β (1− δ)D1 + 1,

29

y para la segunda condición:

⇒ aγnγ−1

c− anγ= β

(1− δ)D1 (1− α) kαn−α

(kαn1−α − c)

⇒¡kαn1−α − c

¢aγnγ−1 =

β (1− δ)D1 (1− α) kαn−α (c− anγ)

⇒ aγkαnγ−α − aγnγ−1c =

β (1− δ)D1 (1− α) kαn−αc− β (1− δ)D1 (1− α) akαnγ−α

⇒ (aγkα + β (1− δ)D1 (1− α) akα)nγ−α =¡β (1− δ)D1 (1− α) kαn−α + aγnγ−1

¢ kαn1−α − β (1− δ)D1anγ

β ( 1− δ)D1 + 1

⇒ (β ( 1− δ)D1 + 1) (aγkα + β (1− δ)D1 (1− α) akα)nγ−α =

β (1− δ)D1 (1− α) k2αn1−2α + β2 (1− δ)2D21 (1− α) akαnγ−α +

aγnγ−αkα − a2γn2γ−1β (1− δ)D1

⇒ (β ( 1− δ)D1 + 1) (aγkα + β (1− δ)D1 (1− α) akα)nγ−α =

β (1− δ)D1 (1− α) k2αn1−2α +

³β2 (1− δ)

2D21 (1− α) + γ

´akαnγ−α −

a2β (1− δ)D1γn2γ−1

⇒ (γ + (1− α)) akα = (1− α) k2αn1−γ−α − a2γn−(1−γ−α)

0 = (1− α) k2αn2(1−γ−α) − (γ + (1− α)) akαn1−γ−α − a2γ

Tenemos así

n1−γ−αkα =(γ + (1− α)) a±

q((γ + (1− α)) a)2 − 4 (1− α) a2γ

2 (1− α)

=(γ + (1− α)) a±

qγ2a2 + 2γ (1− α) a2 + (1− α)2 a2 − 4 (1− α) a2γ

2 (1− α)

=γa+ (1− α) a± γa− (1− α) a

2 (1− α)

=γa

1− α

Concluímos que:

n =

µγa

1− αk−α

¶ 11−γ−α

=

µγa

1− α

¶ 11−γ−α

kα

−1+γ+α = Π2kΨ2

c = Π1kΨ1


Sustituyendo estas expresiones en la ecuación de Bellman

D0 +D1 ln k = max

(ln£Π1k

Ψ1 − aΠγ2kγΨ2

¤+

βhD0 +D1 ln

³kδ¡Π1−α2 kαk(1−α)Ψ2 −Π1kΨ1

¢1−δ´i )= ln [Π1 − aΠγ2 ] +Ψ1 ln k + βD0 +

β (1− δ)D1 ln³³Π1−α2 k(1−α)

Ψ1γ +α −Π1kΨ1

´´+ βδD1 ln (k)

= ln [Π1 − aΠγ2 ] +Ψ1 ln k + βD0 +

β (1− δ)D1 ln¡¡Π1−α2 −Π1

¢¢+ β (1− δ)D1Ψ1 ln k + βδD1 ln (k)

= ln [Π1 − aΠγ2 ] + βD0 + β (1− δ)D1 ln¡¡Π1−α2 −Π1

¢¢+

(Ψ1 + βD1 ((1− δ)Ψ1 + δ)) ln k

Concluímos

D0 = ln [Π1 − aΠγ2 ] + βD0 + β (1− δ)D1 ln¡¡Π1−α2 −Π1

¢¢D1 = Ψ1 + βD1 ((1− δ)Ψ1 + δ)

De aquí

D1 − βD1 ((1− δ)Ψ1 + δ) = Ψ1

D1 =Ψ1

1− β ((1− δ)Ψ1 + δ)

Por lo tanto

D0 =ln [Π1 − aΠγ2 ] (1− β ((1− δ)Ψ1 + δ)) + β (1− δ)Ψ1 ln

¡¡Π1−α2 −Π1

¢¢(1− β) (1− β ((1− δ)Ψ1 + δ))

Con algo de álgebra finalmente obtenemos:

D0 +D1 ln kt = βD0 + βD1(1− δ) ln(Π1−α2 −Π1) ++ ln(Π1 − aΠγ2) + (Ψ1 + βD1(δ +Ψ1(1− δ))) ln kt

Viendo esta expresión, las constantes D deben cumplir las siguientes condi-ciones:

D0 = βD0 + βD1(1− δ) ln(Π1−α2 −Π1) + ln(Π1 − aΠγ2)

D1 = Ψ1 + βD1(δ +Ψ1(1− δ))

Al resolver este sistema de dos ecuaciones y dos incógnitas, obtenemos:

D0 =βΨ1(1− δ)2 ln

¡Π1−α2 −Π1

¢(1− βδ − βΨ1(1− δ)) (1− β)

D1 =Ψ1

1− βδ − βΨ1(1− δ)

31

Efectivamente la función propuesta cumple con las características necesariaspara ser una función valor.Ahora podemos determinar la dinámica óptima del capital con las ecuaciones

(2). Sustituyéndolas en la ecuación de acumulación del capital, encontramos:12

kt+1 = kδt (kαt n

1−αt − ct)

1−δ = kδt (kαt

³Π2k

Ψ2t

´1−α−Π1kΨ1t )1−δ

y simplificando,

kt+1 = (Π1−α2 −Π1)1−δkδ+Ψ1(1−δ)t = Π3k

Ψ3t

El próximo ejemplo es bastante importante y estudiado en la literatura.Como ya lo habíamos mencionado antes, para la mayoría de los problemas deeconomía dinámica es imposible encontrar explícitamente una fórmula para lafunción de política y por eso debemos recurrir a métodos numéricos. Un méto-do bastante importante consiste en reducir el problema original, mediante unaaproximación, a un problema como el que se discute a continuación.

Ejemplo 7 (Control Óptimo Lineal). La característica fundamental de esteproblema es que la función objetivo es cuadrática y la dinámica de la variablede estado está dada por una función lineal. Bajo estas condiciones mostraremosque el control óptimo es una función lineal de las variables de estado, razón porla cual el problema lleva este nombre. Concretamente, el problema que queremosresolver es:

sup∞Xt=0

βt(x0tQxt + u0tRut + 2x0tWut)

s.a :

xt+1 = Axt +But, x0 dado,

y donde R y Q son matrices simétricas; definida negativa, y semidefinida neg-ativa respectivamente.1314 Aqui x0 denota el vector transpuesto de x. Existenotras condiciones adicionales para garantizar que este problema tiene solucióny que ésta se puede obtener con el método iterativo. Para simplificar las cosassupondremos que estamos en estos casos. El lector puede consultar Ljungqvist ySargent [2004] o Bertsekas y Shreve[1978].Sea ν0 = 0, luego ν1 (x) = sup

ux0Qx+ u0Ru+ 2x0Wu . Las condiciones de

primer orden son:15 2u0R + 2x0W = 0 ⇒ u = −R−1W 0x ⇒ ν1 (x) = x0(Q −12Recuerde que y − c = i13Recuerde que una matriz A es simétrica si A0 = A. Una matriz simétrica A (m × m)

es semidefinida negativa si x0Ax 6 0 para todo m-vector x 6= 0. En el caso de las matricesdefinidas negativas la desigualdad anterior es estricta. Ver Lutkepohl [1993].14Obsérvese que restricciones de la forma xt+1 = Axt +A1xt−1 + ...+Apxt−p +But+B1ut−1 + ...+Bqut−q pueden escribirse en la forma que aquí consideramos.15Para encontrar las condiciones de primer orden hemos utilizado las siguientes reglas para la

diferenciación de matrices (ver Lutkepohl: “Introduction to Multiple Time Series Analysis”.):

Sean y , x dos vectores de dimensión m y A una matriz m×m, entonces ∂y0x∂x

= ∂x0y∂x

= y0 y∂x0Ax∂x

= x0(A+A0)


WR−1W 0)x. Esta primera iteración nos sugiere que la función valor de esteproblema es probablemente una forma cuadrática.16 Supongamos entonces queνj (x) = x0Pjx para una matriz Pj simétrica. Entonces:

νj+1 (x) = supux0Qx+ u0Ru+ 2x0Wu+ β(Ax+Bu)0Pj(Ax+Bu)

Las condiciones de primer orden son: 2u0R+2x0W +βB0PjAx+β(x0A0PjB)+2βu0B0PjB = 0 ⇒ u = −(R + βB0PjB)

−1(βB0PjA +W 0)x, siempre que R +βB0PjB sea invertible. Substituyendo en la ecuación funcional y con algo deálgebra llegamos a (dejamos esto como ejercicio):

ν j+1 (x) = x0[(Q+βA0PjA− (βA0PjB+W )(R+βB0PjB)−1(βB0PjA+W 0)]x,

en particular:

Pj+1 = Q+ βA0PjA− (βA0PjB +W )(R+ βB0PjB)−1(βB0PjA+W 0).

La anterior ecuación se denomina la ecuación de Riccati Iterando esta ecuaciónllegamos a una matriz P que caracteriza la función valor del problema y lafunción de política:

ut = −(R+ βB0PB)−1(βB0PA+W 0)xt

Como puede observarse de esta ecuación, el control óptimo es una función linealde las variables de estado.

2.1. Ejercicios y SolucionesEjercicio 4 Escribir el modelo básico de crecimiento y el ejemplo de Long yPlosser en la notación de este capitulo.

Solución 3 Para el modelo básico de crecimiento.

max∞Xt=0

βt log(ct) = max∞Xt=0

βtr(xt, ut)

xt+1 = kt+1 = kαt + (1− δ)kt − ct = g(xt, ut)

donde X = R++, xt = kt, ut = ct, y Γ(xt) = c ∈ R : 0 6 c 6 kαt + (1− δ)kt

Ejercicio 5 Estudiar la estabilidad de la solución en el ejemplo de Hercowitz-Sampson.

Ejercicio 6 En este ejercicio se dan otra condiciones bajo las cuales se cumplela condición 2 (Ver De La Croix - Michel [2002], págima 326). Supongamos quepara todo u ∈ U las funciones g(·, u) y r(·, u) son no decrecientes y adicional-mente para todo x ∈ X

16 Si A es simétrica (m × m) y x es un m-vector, la función x0Ax es llamada una formacuadrática en x.


1. g(x) = supu∈Γ(x)

g(x, u) ∈ X

2. r(x) = supu∈Γ(x)

r(x, u) ∈ R

3. Para todo x0 ∈ X existen bx0 y βx0 ∈ R, βx0 > β tal que para todasecuencia xtt=0,1,... , xt+1 = g(xt) tenemos β

tx0r(xt) ≤ bx0 para todo t.

Probar que bajo las condiciones de este ejercicio se cumple la condición 2.

Solución 4 (10) Si xt ≤ xt en t, lo cual se cumple en particular para t = 0ya que x0 = x0, tenemos por inducción que se cumple para cualquier t, luego:xt+1 = g (xt, ut) ≤ g (xt) ≤ g (xt) = xt+1. Por otro lado r (xt, ut) ≤ r (xt) ≤

r (xt). Como consecuencia, tenemos que la sucesión ST =TXt=0

βt [r (xt, ut)− r (xt)]

es no-creciente, ya que cada término en la sumatoria es negativo o nulo. (ST −ST−1 = βT [r (xT , uT )− r (xT )] ≤ 0). La sucesión ST tiene por lo tanto unlímite en R ∪ −∞. Tambien podemos sin pérdida de generalidad suponer quer (xt) ≥ 0 (es sufienciente con reemplazar r (xt) por max 0, r (xt). utilizando

(3) tenemos BT =TXt=0

βtr (xt) ≤TXt=0

δt

δt0bx0 =

11−δ/δ0 bx0 . La sucesión creciente

BT tiene entonces un límite finito, de lo cual deducimos que la sucesión de

sumas finitasTXt=0

βtr (xt, ut) tiene un límite en R ∪ −∞.

Ejercicio 7 Utilizando las condiciones del ejercicio anterior, demostrar la Proposi-ción 3 sin imponer la condición de transversalidad (Ver De La Croix - Michel[2002]).

Solución 5 (11) Siguiendo el ejercicio 10 tenemos que la sucesión de sumases finita.y pertenece a R ∪ −∞. Mas aún están acotadas por arriba por unaconstante ∞X

t=0

βtr (xt, ut) ≤∞Xt=0

βtr (xt) ≤bx0

1− δ/δ0

Para toda trayectoria factible que empiece en xo tenemos∞Xt=0

βtr (xt, ut) = r (x0, u0) + β∞Xt=0

βtr (xt+1, ut+1)

Ahora tomamos la cota superior dado u0 sobre el conjunto de las trayectoriasfactibles para las cuales x1 = g (x0, u0),

r (x0, u0) + sup∞Xt=1

βtr (xt, ut) = r (x0, u0) + βev (g (x0, u0))Luego tomamos la cota superior sobre u0 ∈ Π (x0) y obtenemosev (x∗t ) = r (x∗t , u

∗t ) + βev ¡x∗t+1¢


Ejercicio 8 Sobre la proposición (2) . Considere el siguiente problema de max-imización:

max∞Xt=0

ct

0 ≤ ct ≤ xt − xt+1, xt ≥ 0, x0 6= 0 dado.

Obsérvese que en este problema hemos colocado β = 1.

1. Mostrar que para cualquier x0 dado, el valor máximo del problema anteriores x0. Es decir ev(x) = x. Ahora, supóngase que utilizáramos el problemafuncional para encontrar esta función. El problema funcional asociado es:

v(x) = supcc+ v(x− c)

s.a : 0 ≤ c ≤ x

2. Verificar que para cualquier constante k, la función v(x) = x+ k es solu-ción del problema funcional pero no satisface la condición de transversal-idad (Ayuda: considere la dinámica factible (x0, 0) ∈ Π(x0), entonceslımt→∞

βtv (xt) = v(x0) = x0 + k 6= 0). Luego, aquí tenemos un caso en elque no se aplica la proposición (2) y más aún, este ejemplo muestra quela condición de transversalidad no es una propiedad necesaria.

Solución 6 El problema es:

max∞Xt=0

ct

s.a :

0 ≤ ct ≤ xt − xt+1

x0 6= 0 dado.

1. Es claro que el consumo óptimo se da cuando ct = xt−xt+1, luego∞Pt=0

ct =

∞Pt=0

xt − xt+1 = x0 − x1 + x1 − x2 + ... = x0 − xn ≤ x0 ⇒ ev(x0) ≤ x0. De

otra parte, el plan factible x0, 0, 0, ..., tiene utilidad x0. Luego ev(x) = xpara todo x.

2. Para probar que v(x) = x+k es una función que resuelve el problema fun-cional asociado al problema secuencial basta con substituir y verificar quese cumple la ecuación funcional para cualquier valor constante de k. Fi-nalmente, es claro que no se cumple la condición de transversalidad de laproposición 2. Para ver esto, obsérvese que para que ésta se cumpliera de-beríamos de tener: lım

t→∞βtv(xt) = 0 para toda dinámica factible (xn, cn).

En particular, para la dinámica factible (x0, x0) , (0, 0) , (0, 0) , ... ten-emos:

lımt→∞

βtv(xt) = xt + k = 0 + k 6= 0


Ejercicio 9 Con relación al ejercicio anterior, mostrar que la dinámica factible(x0, 0) no es óptimo pero sí satisface la ecuación (1) . (Ayuda: Obsérveseque la utilidad que le da al agente ese plan es nula, mientras que la máximautilidad posible es x0). Además, muestre por qué no se cumplen las hipótesis dela proposición 4.

Anotación 9 Se sigue de los dos ejercicios anteriores que nuestras condicionesson más debiles que las del ejercicio 6. No es difícil convencerse que la condiciónde transversalidad en De La Croix - Michele [2002] es una consecuencia de lacondición (3) en el el ejercicio 6.

Solución 7 (Ejercicio 9)Es fácil ver que la dinámica factible (x0, 0) , (x0, 0) , (x0, 0) , ...no es óptima desde el punto de vista del problema secuencial, pues da unautilidad de cero. De otra parte, es fácil ver que esta dinámica factible satis-face el Principio de Optimalidad de Bellman (equación 2.1) para v(x) = x.Además, no se cumple la condición de transversalidad de la proposición 5, pueslımt→∞ βtv(xt) = xt = x0 6= 0.

Ejercicio 10 Completar el paso que se dejó como ejercicio en el ejemplo sobreControl Óptimo Lineal.

Solución 8 (14) Tenemos:

vj+1 (x) = supu

©x0Qx+ u0Ru+ 2x0Wu+ β (Ax+Bu)

0Pj (Ax+Bu)

ªy las condiciones de primer orden implican que

u = − (R+ βB0PjB)−1(βB0PjA+W 0)x

Reemplazando tenemos:

vj+1 (x) = x0Qx+³− (R+ βB0PjB)

−1(βB0PjA+W 0)x

´0R³− (R+ βB0PjB)

−1(βB0PjA+W 0)x

´+

2x0W³− (R+ βB0PjB)

−1(βB0PjA+W 0)x

´+

β³Ax+B

³− (R+ βB0PjB)

−1(βB0PjA+W 0)x

´´0×

Pj

³Ax+B

³− (R+ βB0PjB)

−1(βB0PjA+W 0)x

´´


Simplificando obtenemos

vj+1 (x) = x0Qx+µx0 (βB0PjA+W 0)

0³(R+ βB0PjB)

−1´0¶

×

R³(R+ βB0PjB)

−1(βB0PjA+W 0)x

´+

2x0W³− (R+ βB0PjB)

−1(βB0PjA+W 0)x

´+

β

µx0A0 +

µx0 (βB0PjA+W 0)

0³− (R+ βB0PjB)

−1´0¶

B0¶×

Pj

³Ax+B

³− (R+ βB0PjB)

−1(βB0PjA+W 0)x

´´lo cual implica que,

vj+1 (x) = x0hQ+ βA0PjA− (βA0PjB +W ) (R+ βB0PjB)

−1(βB0PjA+W 0)

ix

Ejercicio 11 Considere el siguiente problema de maximización con “persisten-cia de hábitos”17

∞Xt=o

βt(ln ct + γ ln ct−1)

s.s : ct + kt+1 6 Akαt ,

donde: 0 < β < 1; A > 0; 0 < α < 1; k0 > 0 dado, y c−1 dado.

1. Escribir la ecuación de Bellman

2. Demuestre que la solución a dicha ecuación tiene esta forma:

v(k, c−1) = E + F ln k +G ln c−1

y demostrar que la política óptima tiene la forma:

ln kt+1 = I +H ln kt

Donde E,F,G,H, I son constantes. Dé fórmulas explícitas para estas con-stantes en términos de los parámetros del problema. Para esto, es necesarioque encuentre la función de política.

1. La ecuación de Bellman es:

v(k, c−1) = max06c6Akα

ln c+ γ ln c−1 + βv(Akα − c)

17Tomado de Sargent [1987].


2. Para verificar que la sugerencia es en efecto resuelve el problema funcional,simplemente substituimos en la ecuación funcional:

E+F ln k+G ln c−1 = maxcln c+ γ ln c−1 + β (E + F ln(Akα − c) +G ln c)


[c] :1

c− βF

Akα − c+

βG

C= o

Finalmente encontramos que:

c =(1 + βG)Akα

(1 + βG+ βF )

Al sustituir esta fórmula en la ecuación de Bellman tenemos:

E + F ln k +G ln c−1 = ln

∙(1 + βG)Akα

(1 + βG+ βF )

¸+ γ ln c−1 + βE +

+F ln(Akα − (1 + βG)Akα

(1 + βG+ βF )) +G ln

∙(1 + βG)Akα

(1 + βG+ βF )

¸Desarrollando algebráicamente encontramos:

E + F ln k +G ln c−1 = (1 + βG) ln

µ(1 + βG)A

(1 + βG+ βF )

¶+ βF ln

µβFA

(1 + βG+ βF )

¶+

+βE + α(1 + βG+ βF ) ln k + γ ln c−1

Las constantes serán:

E = (1 + βG) ln

∙(1 + βG)A

1 + βG+ βF

¸+ βF ln

∙βFA

1 + βG+ βF

¸+ βE

F = α(1 + βG+ βF )

G = γ

Si sustituimos la fórmula de F y simplificamos encontramos los valoresfinales de E y F:

E =1

1− β

∙(1 + βγ) ln(A(1− αβ)) +

βα(1 + βγ)

1− αβln(αβA)

¸F = α

1 + βγ

1− αβ

G = γ

Estas expresiones me permiten garantizar que efectivamente la funciónarriba mencionada es la función valor. Para encontrar la función de políticasolo tenemos que sustituir los valores de F y G para obtener:

c =(1 + βG)Akα

1 + βγ + βα 1+βγ1−αβ


La manipulación algebráica nos da esta función de política:

c = (1− αβ)Akα

Este valor de c nos permite encontrar la expresión apropiada para el cap-ital, basándonos en la función de acumulación arriba mencionada:

kt+1 = Akαt − (1− αβ)Akα

Con facilidad, se puede ver que:

ln kt+1 = ln(αβA) + α ln kt

Así,

I = ln(αβA)

H = α

Con lo cual la política óptima del capital es la expresada en el enunciadodel problema. Para terminar un par de preguntas: Es la solución válidaaún para γ < 0 (i.e., formación de hábitos)? Cómo debemos interpretarestas soluciones?

Bibliografía

[1] Arrow, K. 1962. ”The Economic Implications of Learning by Doing”. Reviewof Economic Studies. Junio: 155-173.

[2] Bertsekas, D. Shreve, S. 1978. Stochastic Optimal Control: The DiscreteTime Case. New York, Academic Press.

[3] Chan-Lau, J. 1997. ”Business Cycle properties of Endogenous Growth Mod-els”. Tesis Doctoral. Universidad de Columbia.

[4] De La Croix, D. Michel, P. 2002. ATheory of Economic Growth. CambridgeUniversity Press.

[5] Hercovitz, Z: Sampson, M. 1991. Output Growth, the real wage, and employ-ment fluctuations. American Economic Review, Vol 81, No. 5 pp. 1215-1237.

[6] Ljungvist, L. y T. Sargent. 2004. Recursive Macroeconomic Theory. MITPress.

[7] Lucas, R. 1988. ”On the mechanics of Economic Development ”. JMT 22,páginas 3-42.

[8] Lutkepohl, H. 1993. Introduction to Multiple Time Series Analysis. Springer-Verlag.

[9] Magill, M y MQuinzii. 1994. Infinite Horizon Incomplete Markets. Econo-metrica. Vol 62, No. 4, 853-880.

[10] Sargent, T. 1987. Dynamic Macroeconomic Theory. Harvard UniversityPress.

[11] Stockey, N. Lucas, R y Prescott, E. 1989. Recursive Methods in EconomicDynamics. Harvard University Press.

[12] Usawa, H. 1964. ”Optimal growth in a two sector of capital accumulation”. Review of Economic Studies 31:1-25.

39

40 BIBLIOGRAFÍA

Capítulo 3

Más ProgramaciónDinámica y el Método deLagrange

En esta parte, nos dedicaremos a estudiar algunas propiedades importantesde la función valor las cuales nos permitirán usar los métodos del cálculo difer-encial para resolver problemas de economía dinámica. Primero comenzaremoscon algunas propiedades geométricas como la monotonicidad y concavidad dela función valor, y luego pasaremos a la propiedad más importante que se re-fiere a la diferenciabilidad de ésta. Como se podrá apreciar más adelante, esteresultado es por sí solo bastante importante, pero además, aclara las relacionesexistentes entre el método de programación dinámica y los métodos basados enel lagrangiano. Para poder hacer esto, es necesario imponer más restriccionessobre el problema que las impuestas hasta el momento.

3.1. Algunas Propiedades de la Función ValorLa primera propiedad que probaremos es que bajo ciertas condiciones la

función valor es estrictamente creciente. Para esto necesitamos las hipótesis:

Condición 6 Para cada u ∈ Rm, las funciones r(·, u) : X −→ R , g(·, u) :X −→ X son estrictamente creciente y creciente, respectivamente.

Condición 7 Γ es monótona: Es decir, si x0 ≥ x⇒ Γ(x0) ⊇ Γ(x).

Proposición 5 (La función valor es estrictamente monótona): Suponga que secumplen las condiciones 4, 5, 6 y 7. Entonces la función valor es estrictamentecreciente.

Proof. Sea Ca (X) el espacio de las funciones reales, continuas y acotadas conla norma del supremo y Cc (X) ⊂ Ca (X) el espacio de las funciones reales,

41

42CAPÍTULO 3. MÁS PROGRAMACIÓNDINÁMICAY ELMÉTODODE LAGRANGE

continuas,acotadas y crecientes. Es fácil ver que este es un subespacio cerra-do de Ca (X), por lo tanto, es tambien un espacio completo en la norma delsupremo. Por el Teorema de Equivalencia, la función valor queda caracterizadacomo la única solución del problema funcional en Ca(X). Ahora, lo primero quevamos a probar es que si f ∈ Ca(X) es creciente, entonces T (f) es una funciónestrictamente creciente:Sea x0 ≥ x ⇒ g(x0, u) ≥ g(x, u) para toda u, por la condición 6 y porque f

es creciente⇒ f(g(x0, u)) ≥ f(g(x, u)) ⇒ r(x0, u) + βf(g(x0, u)) > r(x, u) + βf(g(x, u))

por la condición 6⇒ max

u∈Γ(x)r(x, u) + βf(g(x0, u)) > max

u∈Γ(x)r(x, u) + βf(g(x, u))⇒

maxu∈Γ(x0)

r(x, u) + βf(g(x0, u)) > maxu∈Γ(x)

r(x, u) + βf(g(x, u)) por la condi-ción 7⇒ Tf(x0) > Tf(x).Ahora, como Cc (X) es un subespacio cerrado de Ca (X) entonces la función

valor v esta en Cc (X) y como T [v] = v entonces v es estrictamente creciente.

Anotación 10 La proposición anterior no se aplica al ejemplo de Brock y Mir-man por dos razones. Primero, si X = R+ la función retorno instantáneo no esacotada en el grafo de Γ y segundo, esta función no es estrictamente crecienteen x (pues de hecho, no depende de x). El primer problema es fácil de resolvermediante una escogencia inteligente del espacio de estados (más adelante volver-emos sobre este punto). Para la segunda, obsérvese que sí r(·, u) : X −→ R esapenas creciente, entonces la conclusión del teorema se puede modificar por: lafunción valor es creciente (y no necesariamente estrictamente creciente).

Estudiaremos ahora la concavidad de la función valor. El resultado principales, bajo ciertas condiciones, la función valor es estrictamente cóncava y la corre-spondencia de política es una función contínua. En particular, resulta que bajoestas mismas condiciones, existe un único plan óptimo que resuelve el problemasecuencial.

Condición 8 Sea X un conjunto convexo.

Condición 9 Supongamos que las funciones r y g son estrictamente cóncava ycóncava, respectivamente.

Condición 10 La correspondencia Γ es convexa:

1. Γ (x) es un conjunto convexo para todo x ∈ X.

2. Dado λ ∈ [0, 1], x, x0 ∈ X y x 6= x0, entonces si u ∈ Γ (x) y u0 ∈ Γ (x0)implica que λu+ (1− λ)u0 ∈ Γ(λx+ (1− λ)x0).

Proposición 6 (La función valor es estrictamente cóncava): Bajo las condi-ciones 4, 5, 8, 9 y 10, la función valor es estrictamente cóncava y la correspon-dencia de política es una función continua.

3.1. ALGUNAS PROPIEDADES DE LA FUNCIÓN VALOR 43

Proof. Por el Teorema de Equivalencia, la función valor queda caracterizadapor la solución al problema funcional. Lo primero que probaremos es que sif ∈ Ca(X) es cóncava y creciente , entonces T (f) es estrictamente cóncava ycreciente: Dados λ ∈ [0, 1], x, x0 ∈ X y x 6= x0, sean u y u0 tales que resuelvenel problema de máximización definido por Tf(x) y Tf(x0) respectivamente.Entonces como λu+ (1− λ)u0 ∈ Γ(x+ (1− λ)x0) por la condición 10, tenemosque:

Tf(λx + (1 − λ)x0) ≥ r(λx + (1 − λ)x0, λu + (1 − λ)u0) + βf(g(λx + (1 −λ)x0, λu+ (1− λ)u0)) >

λr(x, u)+(1−λ)r(x0, u0)+λβf(g(x, u))+(1−λ)βf(g(x0, x)), por la condición9 y porque f es cóncava y creciente.Ahora, como u y u0 resuelven el problema de máximización definido por

Tf(x) y Tf(x0), se sigue que esta última expresión es igual a:λTf(x) + (1− λ)Tf(x0).Basta ahora argumentar de la misma forma que en la proposición anterior

para concluir con la prueba de la primera afirmación: el espacio de las funcionescontinuas, cóncavas, crecientes y acotadas, es un subespacio cerrado de Ca(X).Finalmente, como la función valor es estrictamente cóncava, entonces la solu-

ción al problema de maximización que define la función de política tiene siem-pre una única solución, pues la función objetivo es estrictamente cóncava porla primera parte de esta proposición y por la condición 9 y la máximizaciónse hace sobre un conjunto convexo por la primera parte de la condición 10. Lacontinuidad se sigue de que una función h.c.s es en efecto una función continua(ver Apéndice).Con este resultado estamos casi listos para el Teorema de Diferenciabilidad,

que se sigue como una consecuencia inmediata del Teorema de Benveniste -Scheinkman.1 Por último necesitamos:

Condición 11 Las funciones r y g son continuamente diferenciables en el in-terior del grafo de Γ.

Condición 12 2 Sea (x∗, u∗) en el interior del grafo de Γ tal que existe unafunción diferenciable τ , definida en una vecindad abierta V de x∗ tal que τ :V → U y para todo x ∈ V, τ (x) ∈ Γ (x) y g (x, τ (x)) = g(x∗, u∗).

Ejemplo 8 Recordemos el ejemplo de Brock y Mirman. Ahí xt = kt, ut = ct,r(ct) = log (ct) , g(kt, ct) = kαt − ct, Γ(kt) = ct : 0 ≤ ct ≤ kαt y X = R++. Esfácil ver que dado un stock de capital y un consumo en el interior del grafo deΓ la condición 12 se cumple.

El siguiente teorema, además de darnos un resultado sobre la existencia dela derivada de la función valor, nos da una fórmula muy útil para ésta. Unaforma de acordarse de la fórmula es: escriba el problema funcional y derive aambos lados con respecto a las variables de estado quitando la función máximo.

1Ver Benveniste y Sheinkman [1979].2Ver De la Croix - Michel [2002], página 334. En realidad, es suficiente con que r y g sean

diferenciables en un punto particular. Ver Teorema 3.


Teorema 3 (Diferenciabilidad de la Función Valor): Bajo las condiciones 4, 5,8, 9, 10, 11 y 12; si x0 ∈ int(X) y h(x0) ∈ int(Γ(x0)), entonces la función valores continuamente diferenciable en x0 y su derivada está dada por:

∂v (x0)

∂xi=

∂r (x0, h(x0))

∂xi+ β

nXj=1

∂v(g(x0, h(x0)))

∂xj

∂gj(x0, h(x0))

∂xi,

para todo i = 1, ...n.

Proof. Esta es una version del Teorema de Benveniste-Scheinkman. Ver De laCroix y Michel [2002], página 334.

3.2. El Método de LagrangeConsideremos de nuevo el problema secuencial general y definamos el La-

grangiano (truncado) asociado £t : X × U ×Rn ×Rn → R

£t(xt, ut, λt, λt+1) = r(xt, ut) + βλt+1 · g (xt, ut)− λt · xt

donde (xt, ut, λt, λt+1) ∈ X × U ×Rn ×Rn.

Definición 2 Dada una dinámica factible (xt, ut)t=0,1,...desde x0, decimosque la secuencia de precios (sombra) λtt=0,1,... en Rn, soportan la dinámicafactible (xt, ut)t=0,1,... si para todo t = 0, 1..., la secuencia (xt, ut, λt, λt+1)t=0,1,...maximiza £t sobre el conjunto Π (x0)×Rn ×Rn ⊂ X × U ×Rn ×Rn.

Teorema 4 . Sea (x∗t , u∗t ) una dinámica factible desde x0 con x∗t ∈ int(X)para todo t. Entonces bajo las condiciones 8, 9 y 10; (x∗t , u∗t ) resuelve el prob-lema secuencial si y solo si:

1. Existe una secuencia de precios λtt=0,1,... en Rn que soportan la dinámi-ca (x∗t , u∗t )t=0,1,...y

2. Para toda dinámica factible (xt, ut)t=0,1,...desde x0 tal que∞Pt=0

βtr(xt, ut) <

∞, se cumple la siguiente condición de transversalidad.

lımt→∞

βtλt · (xt − x∗t ) ≥ 0

Proof. Ver Michel [1990] o De la Croix et. al [2002], página 336.

Anotación 11 En la próxima sección estableceremos una relación muy impor-tante entre los precios que soportan una dinámica factible y el valor marginal(en términos de la función valor) de una unidad adicional de x0 a lo largo dela dinámica óptima. Esto nos permitira dar una interpretación muy clara de lacondición de transversalidad en el método de Lagrange.

3.2. EL MÉTODO DE LAGRANGE 45

Corolario 1 Bajo las condiciones del teorema 4, sí xt ≥ 0 y λt ≥ 0 para todot, una condicion suficiente para que se satisfaga la condición de transversalidades:

lımt→∞

βtλt · x∗t = 0

Proof. La demostración es parecida al caso de las ecuaciones de Euler pero sinutilizar diferenciabilidad (Ver Teorema 4.15 página 98 Stockey y Lucas [1989]).

Obsérvese que el Teorema 4 reduce el problema (PS) a un problema muchomás sencillo. En el primero, el objetivo era encontar secuencias infinitas quemaximizaran una función objetivo con infinitos argumentos, mientras que elMétodo de Lagrange, reduce el problema a encontrar una secuencia infinita queresuelva infinitos problemas de optimización pero donde cada problema consisteen maximizar una función objetivo con finitos argumentos. Esto debería dellamarnos la atención sobre las herramientas existentes para resolver problemasde optimización estáticos. El siguiente teorema pone de manifiesto la potenciadel método de Lagrange.

Teorema 5 Bajo las mismas condiciones del Teorema 4, y las condiciones 11y 12; si (x∗t , u∗t ) es tal que (x∗t , u∗t ) ∈ int(Π (x0)× U) para todo t entonces lasecuencia de precios λtt=0,1,... en R soporta la dinámica (x∗t , u∗t )t=0,1,...siy solo si se cumplen las siguientes condiciones de primer orden para todo t =0, 1, ....,

1.∂£t(x

∗t , u∗t , λ∗t , λ∗t+1)

∂x=

∂r(x∗t , u∗t )

∂x+ βλt+1

∂g (x∗t , u∗t )

∂x− λt = 0

2.∂£t(x

∗, u∗, λ∗)

∂u=

∂r(x∗t , u∗t )

∂u+ βλt+1

∂g (x∗t , u∗t )

∂u= 0

3.x∗t+1 − g (x∗t , u

∗t ) = 0

Anotación 12 En ocasiones, por analogía con el caso estático, escribimos elLagrangiano del (PS) como:

£ =∞Xt=0

βtr(xt, ut) +∞Xt=0

Λt+1(g (xt, ut)− xt+1)− Λ0(x0).

Si informalmente procedemos a maximizar £ con respecto a estados y controles(asumiendo soluciones interiores y diferenciabilidad) y definimos λt = Λt

βt, en-

tonces obtenemos las mismas ecuaciones de primer orden que en el anteriorteorema. Esta es una manera heurística de obtener las ecuaciones que caracter-izan la solución del (PS) cuando utilizamos el método de Lagrange.


Ejemplo 9 (Ecuaciones de Euler): En el capítulo 2 estudiamos de manerainformal un caso particular del método de Lagrange que se conoce como lasecuaciones de Euler. El problema típico al que éste se refiere es de la forma:

suput

∞Xt=0

βtr(xt, xt+1) (3.1)

s.a :

xt+1 ∈ Γ(xt), t = 0, 1, 2, ...

x0 ∈ X dado.

Que en nuestra notación se podría escribir de la forma:

suput

∞Xt=0

βtr(xt, ut) (3.2)

s.a

xt+1 = ut

ut ∈ Γ(xt), t = 0, 1, 2, ...

x0 ∈ X, dado.

Utilizando el Teorema 5, las condiciones de primer orden son:

∂r(x∗t , u∗t )

∂x= λt (3.3)

∂r(x∗t , u∗t )

∂u+ βλt+1 = 0 (3.4)

Substituyendo la ecuación 3.3 en la ecuación 3.4 obtenemos las ecuaciones deEuler:

∂r¡x∗t , x

∗t+1

¢∂xt+1

+ β∂r¡x∗t+1, x

∗t+2

¢∂xt+1

= 0, t = 0, ...

Ahora si xt ≥ 0 y la función de retorno instantáneo es creciente en xtentonces λt ≥ 0 por la ecuación 3.3 y la condición de tranversalidad del métodode lagrange es por el corolario 1:

lımt→∞

βt∂r(x∗t , u

∗t )

∂x· x∗t = 0 (3.5)

Anotación 13 Obsérvese que las condiciones derivadas en el capítulo 1 parael modelo básico de crecimiento son un caso particular de las anteriores.

Anotación 14 Por el corolario 1 la condición de transversalidad 3.5 es sólouna condición suficiente.

3.3. LA RELACIÓN ENTRE ELMÉTODODE PROGRAMACIÓNDINÁMICAY ELDE LAGRANGE47

3.3. La Relación entre el Método de Progra-mación Dinámica y el de Lagrange

Tomemos ahora el problema desde el punto de vista de la programacióndinámica. Sea v la función valor del problema y (x∗t , u∗t )t=0,1... una dinámicafactible desde x0 (es decir, informalmente, una secuencia para la cual la ecuaciónde Bellman se cumple). Entonces esta dinámica es una solución al problemasecuencial si se cumplen las siguientes condiciones:

∂r (x∗t , u∗t )

∂u+ β

∂v(g(x∗t , u∗t ))

∂x

∂g(x∗t , u∗t )

∂u= 0

Ahora, por el Teorema de Diferenciabilidad sabemos que si se cumple en-tonces:

∂v (x∗t )

∂x=

∂r (x∗t , u∗t )

∂x+ β

∂v(g(x∗t , u∗t ))

∂x

∂g(x∗t , u∗t )

∂x

Sea λt =∂v(x∗t )∂x (el precio sombra de la variable de estado), entonces las tres

ecuaciones anteriores son equivalentes a las tres ecuaciones del Teorema 5.

Anotación 15 Obsérvese que las condiciones de transversalidad del método deprogramación dinámica y el de Lagrange son ligeramente diferentes.

Anotación 16 En el caso de las ecuaciones de Euler: λt =∂r(x∗t ,u

∗t )

∂x =∂v(x∗t )∂x .

3.4. Algunas Propiedades de las Dinámicas Óp-timas

Como vimos en el capítulo 2, una pregunta fundamental sobre las trayectoriasóptimas es sí estas son estables. Más especificamente, nos preguntamos si lastrayectorias son globalmente estables o apenas localmente estables. El siguienteteorema muestra que por lo menos para el modelo básico de crecimiento, bajociertas hipótesis, las trayectorias son estables globalmente. El ejemplo que lesigue nos recuerda que la estabilidad global no es un resultado general.

Teorema 6 Teorema de estabilidad (Turnpike). Vamos a considerar el modelobásico de crecimiento:

max∞Xt=0

βtu(ct)

s.a :

kt+1 = f(kt) + (1− δ)kt − ct

0 6 ct 6 f(kt)

k0 dado.

Donde δ, β ∈ (0, 1). Utilizaremos las siguientes hipótesis:


1. f : [0,∞)→ R+ continua, estrictamente creciente, estrictamente cóncavay C1en (0,0).

2. u : [0,∞)→ R+ continua, estrictamente creciente, estrictamente cóncavay C1en (0,0).

3. f(0) = 0, lımk→0

f(k) =∞, lımk→∞

f(k) = 0 y lımk→0

u0(k) =∞

Las hipótesis anteriores garantizan que existe un único k, tal que f(k) = k.A su vez, esto implica que existe un stock de capital máximo, kmax =k + (1 − δ)k a lo largo de cualquier dinámica factible. Por lo tanto, elconjunto de las dinámicas factibles es un conjunto acotado y la funciónde utilidad u, y de producción f, son funciones acotadas sobre el conjuntode dinámicas factibles (recordemos que estas funciones son por hipótesis,continuas).

De lo anterior se sigue que el problema secuencial y el problema funcionalson equivalentes y por lo tanto, la función valor ev del problema secuenciales la única solución al problema funcional:

v(k) = max06c6f(k)

u(c) + βv(f(k) + (1− δ)k − c)

Nuestra tarea ahora es caracterizar de la manera más precisa posible ladinámica óptima de este problema: kt+1 = eg(kt) = ef(kt)− h(kt), donde hes la función de política.

Supongamos que h(k) es diferente de 0 y f(k) cuando k ∈ (0, kmax]. Estoes intuitivamente obvio pues la utilidad marginal del consumo es infinitaen cero luego h(k) 6= 0, y porque el factor de descuento intertemporalβ 6= 0, luego h(k) 6= f(k) (no es óptimo consumirse todo el producto enun período). Sin embargo, la demostración formal de esto requiere un pocode trabajo.

Bajo estas hipótesis, estamos listos para demostrar el Teorema de Estabil-idad Global (o Turnpike) para el modelo básico de crecimiento.

Sea k∗t+1 = eg(k∗t ) la dinámica óptima para el problema anterior con k∗0 =k0. Entonces:

a) eg es estrictamente creciente;b) Existen dos puntos estacionarios (i.e. k∗ = eg(k∗)), k∗ = 0 y k∗ =

f 0−1( 1β + δ − 1).c) Si k0 ∈ (0, kmax] entonces lım

t→∞k∗t = k∗.

Puesto que la solución al problema funcional es interior entonces por elTeorema de Diferenciabilidad de la función valor las siguientes condicionesson necesarias en el óptimo:

u0(h(k)) = βv0(eg(k)), condición de primer orden

3.4. ALGUNAS PROPIEDADES DE LAS DINÁMICAS ÓPTIMAS 49

v0(k) = βv0(eg(k))(f 0(k) + (1− δ)), teorema diferenciabilidad

Para mostrar que g es estrictamente creciente (primera afirmación), uti-lizaremos la anterior condición de primer orden que se puede reescribircomo:

u0(f(k) + (1− δ)k − eg(k)) = βv0(eg(k))La prueba es por contradicción. Supongamos que k1 < k2 y eg(k1) ≥ eg(k2),entonces es fácil ver que si la ecuación anterior se cumple en k1, enotncesno se puede cumplir en k2, por la concavidad estricta de u y ν.

La segunda afirmación tiene dos partes. Que cero es un punto estacionarioes obvio. Si k∗ 6= 0, entonces k∗ debe satisfacer:

u0(f(k) + (1− δ)k − eg(k)) = βv0(eg(k)),luego,

f 0(k∗) = (1

β+ δ − 1)

y queda demostrada la segunda afirmación.

Por último, para demostrar la estabilidad global recordemos que si ν escóncava entonces:

v0(eg(k))((f 0(k) + (1− δ))− 1β )

k − g(k)< 0 para todo k 6= g(k)

Luego, como f es cóncava, f 0(k) + (1 − δ) ≶ 1β ⇔ k ≷ k∗ ⇒ k ≷ g(k)

siempre que k ≷ k∗ Esto quiere decir que si k0 < k∗ entonces k0 <k∗1 < k∗2 ... < k∗. Luego la secuencia tiene que converger a k∗ porque esel único punto estacionario diferente de cero. Un argumento parecido seaplica cuando k0 > k∗.

La estabilidad global es usualmente muy difícil de probar. La estabilidadlocal es en general mucho más fácil de probar. Presentamos ahora un ejemplode inestabilidad, tomado de Stokey-Lucas; en él, se han modificado algunas delas (estrictas) condiciones impuestas para garantizar la estabilidad global delproblema.

Ejemplo 10 (Inestabilidad global de las dinámicas óptimas). El modelo es elsiguiente. El individuo posee una dotación de trabajo en cada período, pero éstano entra en su función de utilidad. Hay dos bienes para producir: un bien decapital y un bien de consumo. Asumamos que los bienes de consumo se producencon capital y trabajo, mientras que los de capital sólo se producen con trabajo;además, supongamos que:

ct = ntf (kt/nt)

kt+1 = 1− nt

0 6 nt 6 1


Donde nt es el trabajo necesario para producir bienes de consumo. Notemos queel acervo de capital debe encontrarse en el rango [0,1]. Vamos hacer las mismashipótesis anteriores con relación a f y u. Y finalmente supongamos que:

lımn→0

nf(k/n) = 0,∀k ∈ [0, 1]

Eliminando c con la primera ecuación en la función de utilidad y eliminando ncon la segunda ecuación llegamos al siguiente problema funcional:

v(k) = maxy∈[0,1]

½u

∙(1− y)f

µk

1− y

¶¸+ βv(y)

¾Sea eg la función que nos da la dinámica óptima. La condición de primer ordeny el teorema de diferenciabilidad de la función valor implican que:

u0∙(1− eg(k))f µ k

1− eg(k)¶¸×½f

∙k

1− eg(k)¸− k

1− eg(k)f 0∙

k

1− eg(k)¸¾

= βv0[eg(k)](1)

v0(k) = u0∙(1− eg(k))f µ k

1− eg(k)¶¸

f 0µ

k

1− eg(k)¶

(2)

Para encontrar los puntos estacionarios sustituimos k∗ = eg(k∗) en las ecua-ciones anteriores y eliminamos v0 :

f

µk∗

1− k∗

¶−µ

k∗

1− k∗+ β

¶f 0µ

k∗

1− k∗

¶= 0

No es difícil demostrar que existe un único k∗ ∈ (0, 1) que resuelve la ecuaciónanterior.Ahora, a diferencia del ejemplo anterior, la función eg(k) no es creciente.

Dado que cuando k = 0, todo el trabajo se utiliza en la producción de capital,por lo cual eg(0) = 1. Así eg no puede ser creciente cerca a cero. Esto nos llevaa oscilaciones del sistema. La estabilidad del sistema depende de la pendiente egen k∗.

En el siguiente teorema mostraremos que bajo ciertas condiciones mínimases posible obtener cualquier función suave eg, que describa la dinámica óptimade las variables de estado, de un problema de programación dinámica como elque hemos estudiado hasta este momento.Considere el problema general en donde estudiamos las ecuaciones de Euler.

Teorema 7 (Boldrin y Montrucchio). Sea X un conjunto compacto en R yeg : X → X cualquier función C2. Sea Γ(x) = X ∀x ∈ X. Entonces existe unafunción de retorno r y un factor de descuento β tal que (X,Γ, r, β) satisfacen laspropiedades usuales y eg define la dinámica óptima para el problema secuencialasociado a (X,Γ, r, β).

En otras palabras, cualquier función suave, por extraña que sea, es la dinámi-ca optima de alguna economía. El siguiente ejemplo ilustra el anterior teorema.


Ejemplo 11 (Tomada de Stockey y Lucas, página 139). Considere la siguienteecuación en diferencias: xt+1 = eg(xt) = 4xt − 4x2t . Es fácil ver que eg : [0, 1]→[0, 1], y además satisface todas las condiciones del teorema anterior. La siguientegráfica deja claro cuáles son las dinámicas óptimas de este problema.El Teorema de Boldrin y Montrucchio tiene varias implicaciones intere-

santes. De una parte, el Teorema dice que el problema típico que nos hemospropuesto resolver (i.e. el problema secuencial), donde cada uno de los funda-mentales del problema (i.e. β, r, g y Γ) satisfacen las hipótesis naturales sobreuna economía, no parecen imponer mayores restricciones sobre las dinámicas ob-servadas en el mundo real (i.e. la función de política h o la dinámica óptima eg).Este es una especie de “análogo” al Teorema de Sonnenschein-Mantel-Debreuen la teoría del consumidor. Es decir, la forma de modelar propuesta hasta elmomento es tan general, que puede tener como implicación cualquier cosa, yen ese sentido, puede no ser una teoría refutable. En el caso del Teorema deSonnenschein-Mantel-Debreu son diversas las soluciones que se han encontradoque conllevan a resultados positivos.3

Por otra parte, el Teorema de Boldrin y Montrucchio implica que es posiblecrear ciclos endógenos como los observados en las economía reales. El ejemp-lo 11 ilustra de una manera muy estilizada esta afirmación. Esta idea, de queera posible obtener ciclos endógenos a partir de modelos económicos razonables,motivo una gran cantidad de investigaciones sobre el tema. Según el mismoBoldrin,4 con los años el entusiasmo disminuyó debido a que, según las investi-gaciones, para obtener ciclos como los observados en el mundo real eran nece-sarios parámetros poco realistas para la economía artificial como por ejemplo,un β muy pequeño (i.e. una tasa de interés real muy alta).

3.5. Ejercicios y Soluciones

Ejercicio 12 Con referencia al ejemplo sobre las ecuaciones de Euler, demostrarque las ecuaciones de Euler y la condición de transversalidad son condicionessuficientes para para encontrar un óptimo al problema secuencial.

Solución 9 Tenemos que demostrar que para todo T :

TXt=0

βt(r(x∗t , x∗t+1)− r(xt, xt+1)) ≥ 0

3El lector interesado en este problema, su importancia y el estado del artepuede referirse a la entrevista de www.webpondo.org con Herakles Polemarchakis:www.webpondo.org/interviews_9.htm

4Ver la entrevista de www.webpondo.org con Michele Boldrin:www.webpondo.org/files/opinion/Boldrin %20para %20webpondo%20revised.pdf


Figura 3.1:


Ahora,

TXt=0

βt(r(x∗t , x∗t+1)− r(xt, xt+1))

≥TXt=0

βt(∂r(x∗t , x

∗t+1)

∂xt· (x∗t − xt) +

∂r(x∗t , x∗t+1)

∂xt+1·¡x∗t+1 − xt+1

¢=

T−1Xt=0

βt(∂r(x∗t , x

∗t+1)

∂xt+1+ β

∂r(x∗t , x∗t+2)

∂xt+1) ·¡x∗t+1 − xt+1

¢+

βT∂r(x∗T , x

∗T+1)

∂xt+1

¡x∗T+1 − xT+1

¢= βT

∂r(x∗T , x∗T+1)

∂xt+1

¡x∗T+1 − xT+1

¢= −βT

∂r(x∗T+1, x∗T+2)

∂xt

¡x∗T+1 − xT+1

¢≥ −βT

∂r(x∗T+1, x∗T+2)

∂xtx∗T+1 = 0

Ejercicio 13 Cosidere el problema de la firma (kt denota el acervo de capitalde la firma):

maxkt

∞Xt=0

βt(akt −1

2bk2t −

1

2c(kt+1 − kt)

2)

k0 dado.

1. Dar una interpretación económica del problema (ver Stokey-Lucas[1989],página 95).

2. Utilizar las ecuaciones de Euler para encontrar la trayectoria óptima delcapital. (Ayuda: la función de política es lineal)

Ejercicio 14 Utilizando bien sea el método de la Programación Dinámica o lasEcuaciones de Euler, resolver el ejercicio 1.3 de Sargent.

max∞Xt=0

βtu(ct)

s.a :

At+1 6 Rt(At − ct)

A0 > 0 dado.

donde: 0 < β < 1; R1−αt < 1/β, u(ct) =1

1−αc1−α;α > 0.


Solución 10 El problema determinístico es el siguiente:

max∞Xt=0

βtu(ct)

s.a :

At+1 6 Rt(At − ct)

A0 > 0, dado,

donde: 0 < β < 1, R1−αt < 1/β, u(ct) = 11−αc

1−α;α > 0La función de utilidad considerada en este ejercicio no cumple con todas las

condiciones que hemos impuesto al problema pues es no acotada. La condiciónsobre R, sin embargo, garantiza que la función valor que vamos a suponer másadelante es efectivamente la solución a la ecuación de Bellman.Suponemos que:

v(A) = BA1−α

Sustituyendo en la ecuación de Bellman, encontramos:

BA1−α = maxc>0

½c1−α

1− α+ βB(A− c)1−αR1−α

¾La condición de primer orden es la siguiente:

c−α = βB(1− α)(A− c)−αR1−α

Lo que implica:

c =k−1α

1 + k−1α

A

Donde k = βB(1− α)R1−α

Sustituyendo en la ecuación de Bellman este resultado y después de algunasmanipulaciones, podemos determinar el valor de B:

B =

³1− β1/α

£R1−α

¤´1/α−α1− α

La función de política es:

c =³1− β1/α

£R1−α

¤1/α´A

Ejercicio 15 Algoritmo de Howard (Ver Sargent [1987]): Hasta ahora, la prin-cipal forma como hemos utilizado el método de la programación dinámica ha sidopara encontrar la función valor, mediante iteraciones, y posteriormente, la fun-ción de política. El siguiente algorítmo por el contrario, itera sobre la función depolítica. La idea es comenzar con una función de política inicial; dicha funciónde política se sustituye en la función de retorno. Haciendo la suma, obtenemos


la función valor asociada a esa función de política. Ahora, utilizamos esta fun-ción valor y la sustituimos en la parte derecha de la ecuación de Bellman yencontramos la función de política que resuelve el problema de maximización deBellman. Utilizando esta nueva función de política repetimos el proceso hastaque las nuevas funciones de política sean prácticamente iguales.La intución es muy sencilla, el primer paso consiste en calcular la utilidad

cuando seguimos una funcíon de politica arbitraria fija y que no podemos cam-biar en ningun período. En el segundo paso lo que calculamos es el mejor controlen t = 0 dado que a partir de t = 1 estamos atados de las manos y debemosutilizar la regla arbitraria con la que comenzamos. Al repetir el proceso variasveces, lo que buscamos es que la función de política óptima en t se apróxime ala función de política en t+ 1.

1. Considere el problema de Brock-Mirman:

∞Xt=o

βt ln ct

s.s :

ct + kt = Akα

k0 dado.

donde A > 0, 1 > α > 0.

Suponga que la dinámica óptima del capital es: kt+1 = h0(Akαt ) para una

constante h0 ∈ (0, 1) . Aplicar el algoritmo de Howard para encontrar elh0 que resuelve el anterior problema.

2. Consideremos el ejemplo sobre control optimo lineal. Si comenzamos conuna función de política µ = −F0x donde F0 es un vector 1 × n mostrarque el algorítmo de Howard se reduce a iterar las ecuaciones:

Pj = Q+ F 0jRFj − 2WFj + β(A−BFj)0Pj(A−BFj)

Fj+1 = (R+ βB0PjB)−1(βB0PjA+W 0)

Solución 11 Primera parte. Sustituyendo en la función de retorno ct en tér-minos de la función de política sugerida, tenemos:

J0(k0) =∞Xt=0

βt ln(Akαt − h0Akαt ) = B0 +

α

1− αβln(k0)

Donde B0 es una constante independiente de k0. Obsérvese que el cálculo de B0es irrelante para calcular la función de política que resuelve el problema funcionalcuando utilizamos J0(k0) como la función valor.Ahora queremos resolver el siguiente problema:

maxk0ln(Akα − k0) + βJ0(k

0)


Que es lo mismo que:

maxk0

½ln(Akα − k0) + β

µB0 +

α

1− αβln(k0)

¶¾Escribiendo las condiciones de primer orden de este problema llegamos a ladinámica óptima del modelo de Brock - Mirman. Es decir, el algoritmo convergeen un paso. Para verificar esto utilizando el algoritmo de Howard, calcule unafunción de política más. Sea:

J1(k0) =∞Xt=o

βt ln(Akαt − αβAkαt )

Es fácil demostar que el siguiente problema lo resulelve la misma función depolítica anterior:

maxk0ln(Akα − k0) + βJ1(k

0)

Luego, hemos llegado a una función de política invariante utilizando el algoritmopropuesto.

Bibliografía

[1] Benveniste, L. Scheinkman, J. 1979. ”On the differentiability of the valuefunction in dynamic models of economics”. Econometrica 47: 727-732.

[2] De La Croix, D. Michel, P. 2002. A Theory of Economic Growth. CambridgeUniversity Press.

[3] Michel, P. 1990. Some Clarifications on the Transversality Conditions. Vol58, No. 3, 705-723.


[5] Stokey, N. Lucas, R y Prescott, E. 1989. Recursive Methods in EconomicDynamics. Harvard University Press.

[6] Bellman, R. 1957. Dynamic Programing. Princeton University Press.

57

58 BIBLIOGRAFÍA

Capítulo 4

Economía Dinámica: el casoestocástico

En la teoría desarrollada hasta este momento hemos excluido por razonesde simplicidad el carácter incierto sobre el cual se toman la mayoría de las de-cisiones económicas. Por esto queremos decir que, en la mayoría de los casos,cuando los diferentes agentes económicos se ven en la obligación de tomar unadecisión ellos desconocen por lo menos parcialmente, el ambiente económico. Porejemplo, las decisiones en el campo de la agricultura dependen estrechamentedel comportamiento climático. Siendo éste un factor impredecible, los agentesno tienen otra alternativa que tomar sus decisiones contingentes a la realizaciónde estos eventos aleatorios. Las decisiones en el mercado bursátil son tambiénaltamente inciertas. Comprar o no acciones depende del comportamiento futurode los precios, que desde el punto de vista de los agentes, son bastante impre-decibles. Igualmente en la industria, muchas decisiones de inversión dependende la tasa de interés o la tasa de cambio, variables altamente impredecibles. Poresta razón, debemos buscar otra forma de modelar el comportamiento racionalde los agentes (en el sentido de que estos maximizan una función de utilidadque refleja sus preferencias sobre las diferentes alternativas), y que lleve en con-sideración el carácter contingente (o condicional) con el que los agentes debentomar sus decisiones. Una alternativa es suponer que los agentes maximizan lautilidad esperada de sus decisiones, o por ejemplo, el beneficio esperado en elcaso de una firma. Aquí desarrollamos este punto de vista y comenzaremos conla estructura general de estos problemas.1

El primer punto a discutir, que es de vital importancia para nuestro estudio,es la forma de modelar los eventos aleatorios2 . Sin entrar en detalles, supong-amos que tenemos un espacio de probabilidad (Ω,z, P ), donde Ω representa elconjunto de todos los acontecimientos o sucesos posibles que puedan tener algu-

1Estas notas están basadas en el capítulo (2) de Stokey-Lucas [1989].2Para una introducción a nivel intermedio a la teoría de la probabilidad el lector puede

consultar Carvajal y Riascos [2005].

59

60 CAPÍTULO 4. ECONOMÍA DINÁMICA: EL CASO ESTOCÁSTICO

na relevancia para la actividad económica; z representa los eventos (conjuntosde sucesos) que pueden ocurrir y P es la probabilidad (objetiva) con la que serealizan estos eventos3. Ahora, estos resultados posibles, resumidos en el conjun-to Ω, deben tener una manifestación muy particular en el ambiente económicobajo consideración. Más concretamente, debemos pensar en la forma como esosresultados afectan el marco analítico sobre el que se va trabajar. La forma usualde hacerlo, es a través de variables aleatorias definidas sobre este espacio deprobabilidad. Más específicamente, a través de un proceso estocástico θt , queen cada instante t y para cada realización ω ∈ Ω, nos dice cómo afecta éste,nuestro marco analítico (el lector podrá encontrar una discusión más detalladaen el Apéndice). Para el tipo de problemas que consideraremos, el efecto de estasrealizaciones se manifiesta en la dinámica que siguen las variables de estado. Enlos ejemplos veremos de manera precisa la forma como pueden manifestarse.En general, el problema secuencial en un ambiente estocástico tiene típica-

mente la forma:

supE

" ∞Xt=0

βtr (xt, ut)

#s.a :

xt+1 = g(xt, ut, θt+1)

ut ∈ Γ (xt)

x0 ∈ X, dado,

donde xt ∈ Rn, ut ∈ Rm, X ⊂ Rn, θt ∈ Rl, r es una función de X ×Rm en R,g es una función de X × Rm × Ω en X y Γ es una correspondencia de X × Ωen Rm. Mantenemos la interpretación usual de las funciones, pero es necesarioespecificar la estructura del problema de decisión en cada período. Las variablesx en este problema van a resumir el ambiente económico completo sobre el cualse toman las decisiones. Estas son las variables de estado que pueden ser dedos tipos: estados endógenos y estados exógenos (probablemente aleatorios) yque, cuando sea necesario los distinguiremos de la siguiente forma. Los estadosendógenos los denotaremos por xt ∈ Rns y los estados exógenos los denotaremospor zt ∈ Rne donde n = ns + ne. Las variables θt+1 son variables aleatorias

3Se puede hacer una distinción importante entre riesgo e incertidumbre que tiene origen enlos escritos de Keynes [1921] y Knight [1921]. Fundamentalmente la idea consiste en distinguiruna situación de riesgo, donde la realización de un evento es aleatoria pero con distribuciónconocida como por ejemplo, el resultado de tirar unos dados no sesgados, y una de incertidum-bre, en donde la distribución es desconocida como por ejemplo, el resultado de una carrera decaballos. Keynes y Knight argumentaban que en las mayoría de las decisiones económicos eramucho más importante la segunda forma de incerteza. En este libro no haremos tal distinciónpues siempre invocaremos la hipótesis de expectativas racionales para resolver nuestros mod-elos. Una implicación de ésta es que la probabilidad (subjetiva) que los agentes económicosutilizan para determinar la incerteza de los eventos es, en equilibrio, la misma que la proba-bilidad verdadera (objetiva) con la que estos ocurren. Este es uno de los supuestos básicos dela hipótesis de expectativas racionales.Las consecuencias económicas de distinguir entre estas dos formas de incerteza es una área

activa de investigacíon en teoría económica. Por ejemplo, para ver sus consecuencias en lavaloración de activos, el lector puede consultar Epstein y Wang [1994].

61

exógenas que asumimos son independientes e idénticamente distribuidas y queson la fuente de la incertidumbre de la economía.

Anotación 17 Por el momento supondremos que el estado inicial x0 es unvalor específico de X. Sin embargo, más adelante vamos a generalizar al casoen que la información inicial sobre los estados estada dada en la forma de unadistribución inicial conocida.

Asociado al problema secuencial, tenemos el siguiente problema funcional:

v(xt) = suput∈Γ(xt)

r(xt, ut) + βEt[v(g(xt, ut, θt+1)] ,

donde Et[.] denota el valor esperado dada la información hasta el período t(más concretamente, la información al comenzar el período t). En nuestro caso,esta información corresponde al conocimiento de x0, x1, ..., xt. Obsérvese queel conocimiento en t de las variables de estado hasta t supone implícitamenteel conocimiento de todos los controles u0, u1, ..., ut−1 (hasta t − 1) y de to-das las variables exógenas θ0, θ1, ..., θt (hasta t). Al finalizar el período, ut esconocido. Como puede sospecharse a partir de esta formulación, la teoría de laprogramación dinámica en el caso estocástico se desarrolla de manera análo-ga al caso determinístico. Esto es cierto con relación a la equivalencia entrelos dos problemas bajo ciertas condiciones, al método iterativo e incluso, a losmétodos numéricos. Como el análisis formal de la teoría, es ligeramente máscomplicado que el caso determinístico y requiere de una formación sólida enteoría de la probabilidad en lo que sigue, procederemos de manera informal.En particular, supondremos que el problema funcional siempre tiene solución yque el supremo se realiza como un máximo. Por lo tanto de ahora en adelanteescribiremos el problema con el operador de maximización. Todas las caracterís-ticas mencionadas presentan dificultades técnicas más complejas que en el casodeterminístico pero no dejan de estar estrechamente relacionadas. Con el objetode familiarizar más al lector con los problemas estocásticos, los siguientes ejem-plos se muestran como generalizaciones naturales de los ejemplos tratados en lasnotas anteriores. Por ahora, vale la pena resaltar una primera diferencia impor-tante con las ideas desarrolladas en los capítulos anteriores: el análogo al estadoestacionario de los modelos determinísticos. El primer ejemplo nos servirá comouna introducción al concepto de estado estacionario y la propiedad de estabili-dad en el caso estocástico.El ejemplo típico es, una vez más, el modelo básico de crecimiento. Supong-

amos que la incertidumbre en la economía se refleja en cambios aleatorios en elsector productivo de la economía. Uno puede pensar en el caso de que el sectorproductivo dependa de condiciones climáticas o en el caso en que al interactuarmuchos agentes con información incompleta y asimétrica sobre las condicionesdel mercado, estos tomen decisiones en una dirección u otra, que en el agregadoparezcan aleatorias. Más explícitamente, supongamos que la producción en estaeconomía está sujeta a choques (o perturbaciones) estocásticas que alteran la


producción de acuerdo a la siguiente especificación:

yt = ztf (kt) ,

donde zt es una secuencia de variables aleatorias i.i.d.4 Es decir, independi-entes e idénticamente distribuidas. Así, el problema del agente representativoes:

max∞Xt=0

βtu (ct)

s.a :

kt+1 = ztf (kt)− ct + (1− δ) kt

ct, kt ≥ 0

k0, z0 dados.

En este ejemplo, la variable de estado endógena es kt, la variable de estadoexógena es zt, la variable de control es ct y la fuente de incertidumbre es lamisma variable de estado zt. Luego, para expresar el problema en exactamentela misma forma que el problema secuencial de arriba, introducimos una variableθt = zt y de esta manera la función de transición g la podemos identificar como:

(kt+1, zt+1) = g(kt, zt, ct, θt+1) = (ztf (kt)− ct + (1− δ) kt, θt+1)

yΓ(kt, zt) = ct : 0 ≤ ct ≤ ztk

αt + (1− δ) kt

Anotación 18 Si suponemos, como usualmente se hace en la literatura, quelog(zt) sigue un proceso autorregresivo de primer orden: log(zt) = ρlog(zt−1)+θtentonces la función de transición g la podríamos identificar como:

(kt+1, log(zt+1)) = g(kt, zt, ct, θt+1) = (ztf (kt)− ct + (1− δ) kt, ρ log (zt) + θt+1)

De igual manera que en el caso determinístico, en general, la solución deeste problema requiere de métodos numéricos. Por esta razón, utilizaremos laespecificación de Brock y Mirman para poder resolver explícitamente el modeloe ilustrar las ideas principales.

Ejemplo 12 (Brock y Myrman [1972], el caso estocástico). Supongamos queel capital se deprecia completamente al final de cada período (δ = 1), que lafunción de producción es de la forma f (kt) = ztk

αt donde α ∈ (0, 1) y que la

función de utilidad es logarítmica. Así, nuestro problema se transforma en:

max∞Xt=0

βt log (ct)

s.a :

kt+1 = ztkαt − ct

k0, dado.4Por simplicidad, suponemos que E[log(zt)] = 0

63

Ahora, de manera informal, si utilizáramos el método iterativo para encontrarla función valor, no es difícil sospechar, después de un par de iteraciones, queun buen candidato a ser la función valor es: v(k, z) = a + b log(k) + c log(z),donde a, b y c son constantes que debemos determinar. Nos proponemos ahoraverificar que en efecto ésta es la forma de la función valor. De la ecuaciónfuncional, sabemos que debe cumplirse que:

a+b log(kt)+c log(zt) = sup0≤ct≤ztkαt

log(ct) + βEt[a+ b log(ztkαt − ct) + c log(zt+1)]

Claramente, la solución a este problema debe ser interior. Las condiciones deprimer orden implican que el consumo óptimo es:

ct =ztk

αt

1 + βb

Sustituyendo en la ecuación de Bellman es fácil ver que a = 11−β ln(1 − αβ) +

αβ(1−β)(1−αβ) ln(αβ), b =

α(1−αβ) y c =

1(1−αβ) son constantes que hacen nuestro

candidato a función valor satisfacer la ecuación de Bellman. Luego, la funciónde política es:

ct = (1− βα)ztkαt

y la dinámica óptima del capital esta dada por:

kt+1 = βαztkαt (4.1)

Ahora, como punto de referencia para pensar con relación al problema deestabilidad bajo incertidumbre, nos referiremos al ejemplo anterior. Puesto quela dinámica del capital es un proceso estocástico, no es del todo claro en quésentido es que el capital converge a un capital de “estado estacionario”. Unaposibilidad natural, es que la distribución que caracteriza la dinámica del capitalen cada instante φt, “converja” en algún sentido que debemos especificar, a unadistribución φ, que proponemos como la distribución que caracteriza el estadoestacionario, invariante a la dinámica de éste (esto es ciertamente más generalque suponer que la convergencia es a una distribución concentrada en un punto).Es decir, si el estado inicial de la economía es una realización de la distribuciónφ, el capital óptimo el período siguiente debe estar caracterizado por la mismadistribución φ.Para caracterizar mejor esta última propiedad, debemos saber calcular cómo

evoluciona la distribución del capital según la función que determina su dinámicaóptima y la forma como se va revelando la información. Esto es, la distribucióndel capital en t+ 1 es:

φt+1 (b) = P (kt+1 ≤ b) = P (αβztkαt ≤ b) = P (ztk

αt ≤ b/αβ)

luego, utilizando el teorema de probabilidad total tenemos

φt+1 (b) =

ZP

µzt ≤

b

αβaα| kt = a

¶dφt (a) =

ZG(

b

αβaα)dφt (a) ,


donde G es la distribución del choque tecnológico.Ahora, sea H (a, b) = P (kt+1 ≤ b | kt = a) . La función de transición H la

podemos interpretar como la probabilidad que en t + 1 el capital sea menor oigual a b dado que en t el capital era a. Obsérvese que H (a, b) = G( b

αβaα ), quees una distribución conocida, luego podemos expresar la distribución del capitalen t+ 1 como:

φt+1 (b) =

ZH (a, b) dφt (a) (4.2)

En el lenguaje de la teoría de la probabilidad, decimos que la dinámicaóptima del capital es un Proceso de Markov con función de transición H (a, b) .La ecuación 4.2 es el análogo, en términos de la distribución del stock de capital,de la ecuación 4.1.Usando este lenguaje, la propiedad de estabilidad puede enunciarse como:

Existe una distribución φ, “límite” de las distribuciones φt , tal que:

φ (b) =

ZH (a, b) dφ (a) .

En este caso, decimos que la distribución φ es invariante a la función de tran-sición H. La distribución φ es nuestro análogo estocástico al estado estacionarioen el caso determinístico.

Ejemplo 13 (Brock y Mirman [1972], el caso estocástico una vez más) A difer-encia del ejemplo anterior en donde nos preguntabamos por la distribución in-variante del stock de capital ahora, por simplicidad, calcularemos la distribucióninvariante del logaritmo del stock de capital. Luego supongamos que ln (zt) ∼N¡0, σ2

¢. Vamos a mostrar que ln (kt) ∼ N(µt, σ

2t ) y que la secuencia

©¡µt, σ

2t

¢ªt=0,1...

de

medias y varianzas convergen a constantes µ y σ2 respectivamente. La conjeturanatural, que más tarde formalizaremos, es que la distribución de ln (kt) convergeen algún sentido a una distribución invariante φ ∼ N

¡µ, σ2

¢(obsérvese que φ

sería la distribución invariante del logarítmo del stock de capital. Anteriormenteencontramos que la dinámica óptima del capital es:

kt+1 = βαztkαt

Tomando logarítmos, tenemos:

ln kt+1 = ln(βα) + ln(zt) + α ln(kt),

esto implica que:

ln kt+1 = (1 + α) ln(βα) + ln(zt) + α ln(zt−1) + α2 ln kt−1.

Esto implica que si ln(k0) ∼ N¡µ0, σ

20

¢, entonces ln(kt) ∼ N

¡µt, σ

2t

¢(obsérvece

que esto incluye el caso en que k0 es una constante conocida).

65

Si reemplazamos hacia atrás sucesivamente hasta llegar a la primera obser-vación de k, k0, encontramos la siguiente expresión:

ln kt+1 =

ÃtX

i=0

αi

!ln(βα) +

tXi=0

αi ln(zt−i) + αt+1 ln k0 (4.3)

Tomando el valor esperado de esta ecuación y teniendo en cuenta la distribuciónde zt obtenemos:

E [ln kt+1] =

ÃtX

i=0

αi

!ln(βα) + αt+1 ln k0 (4.4)

Ahora, a partir de la ecuación 4.3, la varianza V de ln kt+1 es:

V [ln kt+1] = V

"ÃtX

i=0

αi

!ln(βα) + αt+1 ln k0 +

tXi=0

αi ln(zt−i)

#

= V

"tX

i=0

αi ln(zt−i)

#y como zt son variables aleatorias i.i.d, entonces cov [ln(zt), ln(zt−i)] = 0 paratodo i 6= 0. Luego

V [ln kt+1] =

ÃtX

i=0

α2i

!σ2 (4.5)

Las ecuaciones 4.3, 4.4 y 4.5 implican que ln(kt) ∼ N(µt, σ2t ) donde

µt =1

1− α

¡1− αt+1

¢ln(βα) + αt+1 ln k0

σ2t =1

1− α2

³1− α2(t+1)

´σ2

Nótese que si α ∈ (0, 1) entonces:

lımt→∞

µt =ln(αβ)

1− α

lımt→∞

σ2t =σ2

1− α2

y ln(kt) sigue un proceso AR(1) estacionario.

Una pregunta fundamental es si el estado estacionario determinístico delcapital del modelo de Brock y Mirman k∗, es igual a la media del estado esta-cionario estocástico, k = E[exp[φ]]. La respuesta es negativa. Para demostarloutlizamos la desigualdad de Jensen (Ver Apéndice). Como la función exponen-cial es estrictamente convexa (y φ no es constante) entonces k = E[expφ] >

exp[E[φ]] = exp(µ) =³αβ

11−α´= k∗.5

5Otra manera de ver esto es utilizando la siguiente propiedad de las distribuciones log-normales. Si X es una variable aleatoria tal que log(X) ∼ N(µ, σ2) entonces E[X] = exp(µ+12σ2)


Anotación 19 Sin embargo, obsérvese que log[k∗] = E[φ].

Ejemplo 14 (Control Óptimo Lineal. Basado en Sargent [1987]). Considere-mos el problema:6

supE

" ∞Xt=0

βt(x0tQxt + u0tRut + 2x0tWut)

#s.a :

xt+1 = Axt +But + εt+1

x0 dado,

donde εt es un proceso estocástico i.i.d con media cero y matriz de varianza-covarianza Σ. El lector puede verificar fácilmente que la función valor de esteproblema es:

v(x, ε) = x0Px+β

1− βtr(PΣ),

donde tr denota la traza de la matriz y P es la misma que teníamos en elproblema determinístico (i.e la solución al problema de Riccati). De otra parte,la función de política es:

ut = −(R+ βB0PB)−1(βB0PA+W 0)xt = −FxtLuego, la dinámica óptima ésta dada por: xt+1 = (A−BF )xt + εt+1.Obsérveseque la función de política es la misma función de política del caso determinístico.Esta propiedad la llaman los economistas el principio de equivalencia determinís-tica y es una característica muy particular de los problemas lineales-cuadráticosy no una propiedad general de los problemas de optimización dinámica estocás-tica. El resultado depende de tres características de este ejemplo: La funciónretorno es cuadrática, la dinámica de transición de las variables de estado eslineal y E[εt+1 | xt] = 0

Ejemplo 15 El costo en bienestar de las fluctuaciones económicas.7

El agente representativo:

E

" ∞Xt=0

βtc1−σt − 11− σ

)

#Supongamos que el consumo sigue el siguiente proceso estocástico:

ct = (1 + λ)(1 + µ)t exp(−12σ2z)zt,

donde ln(zt)˜N(0, σ2z). Luego E[ct] = (1 + λ)(1 + µ)t.8 Obsérvese que el valoresperado del consumo crece a un tasa µ y en ausencia de incertidumbre esta es la

6Basado en Sargent [1987].7Basado en Lucas [1987].8 Se sigue de: E[exp(− 1

2σ2z)zt] =

∞−∞ exp(−1

2σ2z) exp(t)

12√2πσz

exp(− 12( tσz)2)dt, completando cuadrados obtenemos

12√2πσz

∞−∞ exp(− 1

2(t−σ2zσz

)2) = 1.

67

tasa de crecimiento del consumo. La componente exp(−12σ2z)zt es la responsablede las fluctuaciones del consumo. De esta manera tenemos una interpretaciónclara de los parámetros µ y σ2z. Ahora, definamos el bienestar de una economíapara parámetros dados λ, µ y σ2z, como:

W (λ, µ, σ2z) = E

" ∞Xt=0

βtU(ct)

#

El costo en bienestar de pasar de una tasa de crecimiento µ0 a µ es el valor deλµ que resuelve:

W (λu, µ, σ2z) =W (0, µ0, σ

2z)

No es difícil demostrar que para preferencias logarítmicas:9

λu =

µ1 + µ01 + µ

¶ β1−β

− 1

El costo en bienestar de pasar de una economía con volatilidad 0 a σ2z, es elvalor de λ que resuelve:

W (λσ, µ, σ2z) =W (0, µ, 0)

Este valor se puede calcular como:

E

⎡⎣ ∞Pt=0

¡(1 + λσ)(1 + µ)t exp(−12σ2z)zt

¢1−σ− ((1 + µ)t)

1−σ= 0

⎤⎦⇒ (1 + λσ)

1−σ exp(−12σ2z(1− σ))E [exp((1− σ) log zt)] = 1

⇒ (1 + λσ)1−σ exp(−1

2σ2z(1− σ)) exp(

1

2σ2z(1− σ)2) = 1

⇒ (1 + λσ)1−σ exp(−1

2σ2z((1− σ)− (1− σ)2)) = 1

⇒ ((1 + λσ) exp(−1

2σ2zσ))

1−σ = 1

luego:

λσ = exp

µ1

2σσ2z

¶− 1 ' 1

2σσ2z

Para tener una idea de las magnitudes, la siguiente tabla muestra los costos delas fluctuaciones económicas para varios grupos de países y valores del parámetrode aversión al riesgo σ. Los valores de las volatilidades son tomados de lasprimeras notas. Utilizamos la volatilidad de la tasa de crecimiento del productocomo una proxy de la volatilidad de la componente cíclica del consumo.

9Ayuda:∞

t=0tβt = β d

dβ

∞

t=0βt = β

(1−β)2 .


Developing Industrial G7σz(%) 4.13 2.25 2.11

σ1 0.09 0.025 0.025 0.45 0.1 0.110 0.9 0.2 0.2Costo en bienestar en términos de consumo anual (%)

Los mayores valores que se observan corresponden al coeficiente más alto deaversión al riesgo. En este caso, lo que la tabla nos indica es que para los paísesen desarrollo el costo puede estar alrededor del 0.9% y para los industrializadosalrededor del 0.2%. Si bien estas magnitudes no resultan ser despreciables, síson bastante inferiores a los efectos de cambiar de tasa de crecimiento, o a otroscostos como por ejemplo, el costo de un nivel de inflación anticipado entre el10% y 30%. Más adelante calcularemos este costo para el caso colombiano.10

La versión estocástica del método de Lagrange es una aplicación de la fórmulade Benveniste y Scheinkman al caso estocástico. Informalmente:

∂v (xt)

∂xi=

∂r (xt, h(xt))

∂xi+ βEt

"nX

k=1

∂v(g(xt, h(xt), θt+1))

∂xk

∂gk(xt, h(xt), θt+1)

∂xi

#,

y las condiciones de primer orden del problema funcional son:

∂r (xt, h(xt))

∂uj+ βEt

"nX

k=1

∂v(g(xt, h(xt), θt+1))

∂xk

∂gk(xt, h(xt), θt+1)

∂uj

#= 0

Anotación 20 Obsérvese que para todo i, k tal que xi, xk son variables de esta-do endógenas y exógenas respectivamente, ∂gk(xt,h(xt),θt+1)∂xi

= 0 y ∂gk(xt,h(xt),θt+1)∂uj

=

0 para todo j.

En lo que sigue será útil separar las variables de estado endógenas de las vari-ables de estado exógenas. Denotemos por x las variables de estado endógenas ypor z las exógenas. Luego, si denotamos por gx las componentes de g que de-terminan la dinámica de de las variables endógenas, xt+1 = gx(xt, zt, µt, θt+1) ypor gz las componentes de g que determinan la dinámica de de las variables exó-genas, zt+1 = gz(zt, θt+1) entonces por la observación anterior podemos escribirlas anteriores ecuaciones como:

∂v (xt, zt)

∂xi=

∂r (xt, zt, h(xt, zt))

∂xi+βEt

"nsXk=1

∂v(xt+1, zt+1)

∂xk

∂gx,k(xt, zt, h(xt, zt), θt+1)

∂xi

#, i = 1, ...ns

10El cálculo más sencillo que podríamos hacer sobre el costo en bienestar de la inflaciónanticipada sería utilizando las perdida en el surplus del consumidor con base en la demandareal del dinero de pasar a un nivel inflacionario más alto. Esta forma de calcular el costo dela inflación anticipada aparece por primera vez en Bailey, Martin [1956]. The Welfare Cost ofInflationary Finance. JPE, April, 62(2), 93-110.

69

y,

∂r (xt, zt, h(xt, zt))

∂uj+βEt

"nsXk=1

∂v(xt+1, zt+1)

∂xk

∂gx,k(xt, zt, h(xt, zt), θt+1)

∂uj

#= 0, j = 1, ...m

donde (xt+1, zt+1) = (gx(xt, zt, h(xt, zt), θt+1), gz(zt, θt+1)).Sea λi,t =

∂v(x∗t ,zt)∂xi

, i = 1, ...ns entonces estas dos ecuaciones se puedenreescribir como:

∂r(x∗t , zt, u∗t )

∂xi+ βEt

∙λt+1 ·

∂gx (x∗t , zt, u

∗t , θt+1)

∂xi

¸− λi,t = 0, i = 1, ...ns (4.6)

∂r(x∗t , zt, u∗t )

∂uj+ βEt

∙λt+1 ·

∂gx (x∗t , zt, u

∗t , θt+1)

∂uj

¸= 0, j = 1, ...m (4.7)

y la dinámica de las variables de estado endógenas:

x∗t+1 = gx (x∗t , zt, u

∗t , θt+1) (4.8)

Si λt ≥ 0 y xt ≥ 0, la condición de Transversalidad es:

lımt→∞

βtλt · x∗t = 0

Ahora, como tenemos ns variables de estado endógenas, ns multiplicadores deLagrange y m el número de variables de control entonces en total tenemos2ns +m variables endógenas. Por otro lado, tenemos ns condiciones de primerorden para los estados endógenos (4.6), m ecuaciones para los controles (4.7) yns ecuaciones dinámicas para las variables de estados endógenas (4.8) para untotal de constituyen un sistema de 2ns + m ecuaciones. Finalmente, tenemosns condiciones iniciales para las variables de estado endógenas y una condiciónterminal (condición de transversalidad).Cuando ∂gx

∂xi= 0 entonces λi,t =

∂r(x∗t ,zt,u∗t )

∂xiy sustituyendo en la segunda

condición de primer orden obtenemos las ecuaciones de Euler estocásticas.Al igual que en el caso determinístico, una forma de obtener informalmente

estas ecuaciones es mediante la maximización del siguiente lagrangiano:

£ = Et

" ∞Xi=0

βir(xt+i, zt+i, ut+i)

#

+Et

" ∞Xi=0

Λt+i+1(gx(xt+i, zt+i, h(xt+i, zt+i), θt+i+1), gz(zt+i, θt+i+1))− xt+i+1)

#−Λt(xt)

Si definimos λt = Λtβtentonces obtenemos las mismas condiciones de primer

orden.


4.1. Ejercicios y SolucionesEjercicio 16 El problema es el siguiente:

maxE

" ∞Xt=0

βt ln ct

#s.a :

ct + kt+1 6 ztkαt

k0, z0 dado,

y donde zt es i.i.d con ln(zt)˜N [0, σ2].Utilizar el algoritmo de Howard para resolver el problema (Ayuda: Suponga

que la dinámica óptima del capital es de la forma kt+1 = a0 (ztkαt ) donde a0 es

una constante.

Solución 12 Considerando el algorítmo de Howard, primero proponemos unadinámica óptima del capital:

kt+1 = a0 (kαt zt) (1)

donde a0 ∈ [0, 1] es una constante

De acuerdo al algoritmo, tenemos:

J0(k0, z0) = E0

" ∞Xt=0

βt ln (kαt zt − kt+1)

#(2)

Con kt+1 que cumple la ecuación 1. Después de algo de álgebra, la ecuación 2queda de la siguiente manera:

J0(·) = E0

" ∞Xt=0

βt ln(1− a0)

#+E0

" ∞Xt=0

βt ln(zt)

#+E0

" ∞Xt=0

βtα ln(kt)

#

Sabiendo que E0 [ln zt] = 0 ∀t > 0 ; E0 [ln z0] = ln z0; ln(1−a0) es una constantey que β ∈ [0, 1], desarrollando algebráicamente encontramos:

J0(·) =ln(1− a0)

1− β+ ln z0 + αE0

" ∞Xt=0

βt ln(kt)

#(3)

Si actualizamos para t y t-1 la ecuación 1 y además tomamos logaritmos, resulta:

ln(kt) = ln(a0) + α ln(a0) + α2 ln(kt−2) + ln(zt−1) + α ln(zt−2)

Sustituyendo progresivamente tendremos:

ln kt = ln (a0)

Ãt−1Xi=0

αi

!+ αt ln(k0) +

t−1Xi=0

αi ln(zt−1−i)


Como α ∈ (0, 1) :

ln kt = ln

µa0

µ1− αt

1− α

¶¶+ αt ln k0 +

t−1Xi=0

αi ln (zt−1−i)

Reemplazando esta expresión en la ecuación (3),

J0(·) =ln ((1− a0))

1− β+ ln(z0) +

αE0

" ∞Xt=0

βt

Ãln

µa0

µ1− αt

1− α

¶¶+ αt ln(k0) +

t−1Xi=0

αi ln(zt−1−i)

!#Tomando esperanzas y teniendo en cuenta que α y β son menores que uno,podemos simplificar algebráicamente esta expresión hasta encontrar:

J0(·) =ln(1− a0)

1− β+

βα ln(a0)

(1− αβ) (1− β)+

α ln k01− αβ

+

µ2− αβ

1− αβ

¶ln(z0)

Sean: A0 =lnA(1−a0)

1−β + βα ln(Aa0)(1−αβ)(1−β) ; A1 =

2−αβ1−αβ entonces:

J0(·) = A0 +A1 ln z0 +α ln(k0)

1− αβ

Para continuar con el algoritmo de Howard debemos maximizar:

max ln (kαt zt − kt+1) + βEt [J0(kt+1, zt+1)]

= maxkt+1

½ln (kαt zt − kt+1) + βEt

µA0 +A1 ln (zt+1) +

α ln (kt+1)

1− αβ

¶¾La condición de primer orden es:

− 1

kαt zt − kt+1+ βEt

∙α

1− αβ· 1

kt+1

¸= 0

Debido a que zt se conoce en t, podemos eliminar el valor esperado; con algode álgebra obtenemos la dinámica óptima del capital similar a la que habíamospropuesto anteriormente:

kt+1 = βαkαt zt (4)

Nótese que hemos llegado a la dinámica del capital que se encontró en el prob-lema de Brock y Mirman.Es fácil ver que con una iteración más del algoritmo de Howard, volvemos a

encontrar la misma dinámica óptima.

Ejercicio 17 Consideremos la versión estocástica del modelo de Long y Plosser.Es decir, el mismo modelo básico de crecimiento donde las preferencias sonlogarítmicas en consumo y ocio (i.e. u(c, l) = θ ln(c)+ (1− θ) ln(l)), y el capitalse deprecia completamente cada período. Suponga que ln(zt) = ρln(zt−1) + θt,θt ruido blanco y ρ ∈ (0, 1) .


1. Probar que las trayectorias óptimas son de la forma: ct = π1ztkαt , kt+1 =

π2ztkαt , donde π1 y π2 son constantes.

2. Mostrar que el consumo y el producto siguen un proceso autoregresivo deorden 2 (i.e., AR(2)).

Solución 13 El problema secuencial es:

Max E0

" ∞Xt=0

βt (θlnct + (1− θ)ln(1− nt))

#kt+1 = ztk

αt n

1−αt − ct,

k0, z0 dados.


v(k, z) = Maxc,n

θln(c) + (1− θ)ln(1− n) + βEt [v (k0, z0)]

0 6 c 6 zkαn1−α,

0 6 n 6 1k0 = zkαn1−α − c

ln (z0) = ρln (z) + θ0

Iterando:v0 (k, z) = 0v1 (k, z) =Max

c,nθln(c) + (1− θ)ln(1− n)

Como la función logaritmo es una función estrictamente creciente, la solu-ción óptima del consumo, c, está en el extremo, c = kαn1−α.Además, la solución para la cantidad de trabajo, n, es interior; porque ln (1) =

0 y ln (0) = −∞ luego

v1 (k, z) = Max06n61

θln(zkαn1−α) + (1− θ)ln(1− n)

= Max06n61

θln(z) + αθln(k) + (1− α) θln(n) + (1− θ)ln(1− n)


(1− α) θ

n− (1− θ)

1− n= 0

y con un poco de álgebra se tiene:

n =(1− α) θ

1− αθ

c = zkα∙(1− α) θ

1− αθ

¸1−α


luego:

v1 (k, z) = θln (z) + αθln (k) + (1− α) θln

∙(1− α) θ

1− αθ

¸+ (1− θ)ln

∙1− θ

1− αθ

¸Sea A1 = (1− α) θln

h(1−α)θ1−αθ

i+ (1− θ) ln

h1−θ1−αθ

ientonces:

v2 (k, z) = Max0 6 c 6 zkαn1−α

0 6 n 6 1

θln(c)+(1−θ)ln(1−n)+βE [θln(z0) + αθln(k0) +A1]

donde k0 = zkαn1−α−c y como ln(z0) = ρln(z)+θ0 entonces E [ln(z0)] = ρln(z).Teniendo en cuenta que en t se conoce zt, kt, nt, y ct entonces:

v2 (k, z) = Max0 6 c 6 zkαn1−α

0 6 n 6 1

θln (c)+(1−θ)ln(1−n)+βθρln (z)+βαθln£zkαn1−α − c

¤+βA1

Las soluciones son interiores y las condiciones de primer orden son:

[c] :θ

c− βαθ

zkαn1−α − c= 0

[n] :− (1− θ)

1− n+

βαθ

zkαn1−α − c(1− α) zkαn−α = 0

Resolviendo para el consumo y el trabajo obtenemos:

c =zkαn1−α

1 + βα

n =θ (1− α) (1 + αβ)

1− αθ + αθβ(1− α),

por lo tanto:

v2 (k, z) = θ (1 + βρ+ βα) ln(z) + αθ (1 + βα) ln(k) +A2,

donde A2 es una constante. A partir de las dos primeras iteraciones parece obvioque después de n iteraciones la función valor es de la forma:

vn (k, z) = a ln(z) + αθ

"n=1Xi=0

(αβ)i#ln(k) +An

Luego un buen candidato a ser la solución al problema funcional es una funciónde la forma:

v (k, z) = aln(z) +αθ

1− αβln(k) +A


donde a y A son constantes que debemos determinar. Sustituyendo en la ecuaciónfuncional y con un poco de álgebra se obtiene:

A =1

1− βθln

"(1− αβ)

µθ (1− α)

1 + α (θβ − θ − β)

¶1−α#

+1

1− β(1− θ) ln

∙1− θ − αβ + αθβ

1 + α (θβ − θ − β)

¸+

1

1− β

βαθ

(1− αβ)ln

"αβ

µθ (1− α)

1 + α (θβ − θ − β)

¶1−α#

a =θ

(1− βρ) (1− αβ)

y la función de política es:ct = π1ztk

αt ,

donde:

π1 = (1− αβ)

µθ (1− α)

1 + α (θβ − θ − β)

¶1−αLa dinámica óptima del capital es:

kt+1 = ztkαt n

1−αt − ct

luego:kt+1 = π2ztk

αt

donde:

π2 = αβ

∙θ (1− β)

1 + α (θβ − θ − β)

¸1−α

Bibliografía

[1] Carvajal, A. y A. Riascos. 2005. Notas de Clase sobre Probabilidad.http://www.webpondo.org/ariascos/Files/Probabilidad/ln2.pdf

[2] Epstein, L. y T. Wang. 1994. Intertemporal Asset Pricing under KnightianUncertainty. Econometrica, Vol 62, No 3, 283 - 322.

[3] Judge, G. Hill, R. Griffiths, W. Lütkepohl, H. Lee, T. 1988. Introductionto the Theory and Practice of Econometrics. John Wiley & Sons. Segundaedición.

[4] King, R., Charles Plosser y Sergio Rebelo. 1988. Production Growth andBusiness Cycles. I The Basic Neoclassical Model. Journal of Monetary Eco-nomics 21 (1988) 195-232.

[5] Long, John B.; Plosser,C. 1983. Real Business Cycles. Journal of PoliticalEconomy, Vol 91, No 1. pp 39 - 69.

[6] Lucas, R. 1988. ”On the mechanics of Economic Development ”. JMT 22,páginas 3-42.


[8] Stokey, N. Lucas, R y Prescott, E. 1989. Recursive Methods in EconomicDynamics. Harvard University Press.

75

APUNTES DE CLASE CEDE

Centro de Estudiossobre Desarrollo Económico

Facultad de Economía


Conmutadores:339 4949 - 339 4999

Extensión: 2400, 2049, 2474Fax: 332 4492



Conmutadores:339 4949 - 339 4999

Extensión: 2400, 2049, 2474Fax: 332 4492


C E D E

EL de laFacultad de Economía de la Universidad de los Andes se fundó en 1958, con el objetivode realizar investigaciones económicas tanto teóricas como empíricas.

Actualmente, las áreas de interés para el CEDE son: Macroeconomía y Sector Finan-ciero, Evaluación Socioeconómica de Proyectos, Economía Ambiental, EconomíaAgrícola, Demografía, Educación, Salud, Economía Laboral, Economía Regional yUrbana, Economía Internacional, Economía Experimental, Finanzas Públicas, Econo-mía, Conflicto y Violencia, y Economía Institucional.

El CEDE tiene dentro de sus objetivos difundir los trabajos realizados por susinvestigadores en las áreas mencionadas, así como otros trabajos de interésacadémico y científico. Para el logro de tal propósito, se publica semestralmente larevista , así como libros y la serie . Esta últimadifunde entre la comunidad académica y la profesión los resultados de las principalesinvestigaciones desarrolladas en el CEDE. Por supuesto, las opiniones expresadas enellos son responsabilidad exclusiva de los autores.

CENTRO DE ESTUDIOS SOBRE DESARROLLO ECONÓMICO-CEDE-

Desarrollo y Sociedad Documentos CEDE

UNIVERSIDAD DE LOS ANDESUNIVERSIDAD DE LOS ANDES

C E D ECentro de Estudiossobre Desarrollo EconómicoFacultad de EconomíaUniversidad de los Andes

MÉTODOS MATEMÁTICOS EN MACROECONOMÍA

Mét

odos

ma

tem

áti

cos

enm

acr

oeco

nom

ía

Álvaro J. Riascos Villegas

Álv

aro

J.R

iasc

osV

illeg

as

SEPTIEMBRE DE

2006

1

SEPTIEMBREDE

20061 APUNTES DE CLASE CEDEISSN 1909-4442

9 771909 444004 10

ISSN 1909-4442

1

Ap

un

tes

de

clase

CE

DE

apuntes de clase

Documents