clasenl08s0109

Programación No Lineal8Postgrado de Investigación de Operaciones

Prof. Gonzalo Mü[email protected]

Facultad de IngenieríaUniversidad Central de Venezuela

Programación No Lineal – Prof. Gonzalo Müller – Clase 8 – GM – 2

Clase Anterior

� Optimización irrestricta.� Búsqueda lineal: Simultanea, Secuencial. � Intervalo de incertidumbre.� Búsqueda lineal simultanea: Búsqueda uniforme.� Reducción del intervalo de incertidumbre.� Búsqueda lineal Secuencial sin derivadas:

� Búsqueda dicotómica.�Método de sección dorada.� Búsqueda Fibonacci.

� Búsqueda lineal Secuencial con derivadas.� Búsqueda por Bisección.


Optimización irrestricta

�� Minimizando una funciMinimizando una funcióón irrestrictan irrestricta

Sea el siguiente problema de minimización de una función f : EM → E1 irrestricta:

min f(x)


Búsqueda Multidimensional

�� Algoritmo baseAlgoritmo base1. Dado un punto inicial xk.




2. Hallar o fijar una dirección de búsqueda dk.





3. Encontrar un salto ∆k.





3. Encontrar un salto ∆k.

4. Generar un nuevo punto:

xk+1 = xk+ ∆k * dk

Algoritmoxk xk+1



El problema se transforma en el siguiente problema de minimización:

min f(xk+1)




min f(xk+1)

↓

min f(xk+∆k * dk)




min f(xk+1)

↓

min f(xk+∆k * dk) min f(xk+∆k * dk)

s.a.:

∆k ≥0




min f(xk+1)

↓

min f(xk+∆k * dk) min f(xk+∆k * dk) min f(xk+∆k * dk)

s.a.: s.a.:

∆k ≥0 xk+ ∆k * dksea factible



� Sea θ(∆) = f(xk+∆ * dk), entonces:



� Sea θ(∆) = f(xk+∆ * dk), entonces:

min f(xk+1)

↓

min θ(∆) min θ(∆) min θ(∆)

(∆ irrestricto) s.a.: s.a.:

∆≥ 0 xk+ ∆ * dk ∈ S

Si es un problema O(f,S)Si es un problema O(f)


Búsqueda Multidimensional “sin derivadas”

�� MMéétodo de Coordenadas Ctodo de Coordenadas Cííclicasclicas

� Concepto� Las direcciones de búsqueda son los ejes de coordenadas, d1 … dM.

� dk: Todos 0 exceptuando el k-ésimo elemento.

d2T=[0 1]

d1T=[1 0]



� Se realiza la búsqueda lineal en cada una de las direcciones:

min f(x1+∆ * d1) → x2

∆1*d1x1 x2




min f(x1+∆ * d1) → x2 → min f(x2+∆ * d2) → x3

∆1*d1x1 x2

∆2*d2

x3




min f(x1+∆ * d1) → x2 → min f(x2+∆ * d2) → x3 → …→ xM→ min f(xM+∆ * dM)

∆1*d1x1 x2

∆2*d2

x3



� Se repite la búsqueda lineal de forma cíclica hasta satisfacer alguna regla de parada:

min f(x1+∆ * d1) → x2 → min f(x2+∆ * d2) → x3 → …→ xM→ min f(xM+∆ * dM) → xM+1 →

min f(xM+1+∆ * d1) → xM+2 → min f(xM+2+∆ * d2) →… → x2M+1 → min f(x2M+1+∆ * d1) → x2M+2 → min

f(x2M+2+∆ * d2)

∆1*d1x1 x2

∆2*d2

x3 ∆3*d1 x4∆4*d2

x5






f(x2M+2+∆ * d2)

∆1*d1x1 x2

x3 ∆3*d1 x4∆4*d2

x5

1º Ciclo

∆2*d2






f(x2M+2+∆ * d2)

∆1*d1x1 x2

∆2*d2

x3 ∆3*d1 x4∆4*d2

x5

2º Ciclo






f(x2M+2+∆ * d2) →…

∆1*d1x1 x2

∆2*d2

x3 ∆3*d1 x4∆4*d2

x5∆5*d1x6∆6*d2x7

N Ciclos



� Algoritmo:� Requerimientos:Si la función f es diferenciable el método converge a un punto x tal que ∇f(x)= 0.

� Entrada:x1: Punto inicial de la búsqueda.ε: máximo error permisible y ancho del intervalo de incertidumbre final de la búsqueda lineal > 0.… : Parámetros de método de búsqueda lineal seleccionado.



� Algoritmo

║xk+1 – xk║ ≥ ε Fin

yt = xk

xk+1 = yM+1

t = t + 1

V F

k = 0

Comienzo

min f(yt+∆ * dt) → ∆t

t < M

yt+1 = yt+∆t * dt

t = 1

k = k + 1

V

F



� Algoritmo


yt = xk

xk+1 = yM+1

t = t + 1

V F

k = 0

Comienzo


t < M

yt+1 = yt+∆t * dt

t = 1

k = k + 1

V

F

Búsqueda

Nueva solución

Solución



min f(y1+∆ * d1) → y2 → min f(y2+∆ * d2) → x2 →min f(y1+∆ * d1) → y2 → min f(y2+∆ * d2) → x3 →min f(y1+∆ * d1) → y2 → min f(y2+∆ * d2) → x4 → …

∆2*d2∆1*d1x1, y1 y2

∆2*d2

x2, y1 ∆1*d1 y2∆2*d2

x3, y1∆1*d1y2

x4

Ciclo o iteración 1

Ciclo 2

Ciclo 3

El método tiene un alto desempeño al comienzo y uno bajo al final



Ejemplo 8.1: Resolver el siguiente problema por el método de coordenadas cíclicas partiendo de punto xT= [-1 2] con un error máximo de 0.5:

min x12 + x22 – 1



�� MMéétodo de todo de HookeHooke andand JeevesJeeves� Concepto

� El método se basa en dos búsquedas:1º. Búsqueda a lo largo de las direcciones de los ejes de coordenadas, d1 … dM.

� dk: Todos 0 exceptuando el k-ésimo elemento.

� Llamada búsqueda exploratoria.

d2T={0 1}

d1T={1 0}




x1→ min f(y1+∆ * d1) → y2→ min f(y2+∆ * d2) → y3→ … → yM→ min f(yM+∆ * dM) → x2

∆1*d1x1, y1 y2

∆2*d2

x2



2º. Búsqueda a lo largo de las dirección formada por las dos ultimas soluciones xk+1 – xk.

� Llamada búsqueda patrón.∆1*d1x1, y1 y2

∆2*d2

x2y1

∆3*(x2 – x1)



2º. Búsqueda a lo largo de las dirección formada por las dos ultimas soluciones xk+1 – xk.

� Llamada búsqueda patrón.� Esta evita la convergencia prematura que puede ocurrir con coordenadas cíclicas a soluciones no óptimas para funciones no diferenciables.

∆1*d1x1, y1 y2

∆2*d2

x2y1

∆3*(x2 – x1)



� Parámetros

x1: Punto inicial de la búsqueda.

ε: máximo error permisible y ancho del intervalo de incertidumbre final de la búsqueda lineal > 0.

… : Parámetros de método de búsqueda lineal seleccionado.



� Algoritmo


k = k + 1

xk+1 = yM+1

t = t + 1

V F

k = 0

Comienzo


t < M

yt+1 = yt+∆t * dt

t = 1

y1 = x1

V

F

min f(xk+1+∆ * d*) → ∆*

d*= (xk+1 – xk)/ ║xk+1 – xk║

y1 = xk+1+∆* * d*



� Algoritmo

Búsqu

eda

exploratoria

Nueva solución


k = k + 1

xk+1 = yM+1

t = t + 1

V F

k = 0

Comienzo


t < M

yt+1 = yt+∆t * dt

t = 1

y1 = x1

V

F

min f(xk+1+∆ * d*) → ∆*

d*= (xk+1 – xk)/ ║xk+1 – xk║

y1 = xk+1+∆* * d*

Búsqu

eda patrón



Ejemplo 8.2: Resolver el siguiente problema por el método de Hooke and Jeeves partiendo de punto xT = [-1 2] con un error máximo de 0.5:

min x12 + x22 – 1



Aunque estos métodos no hace uso de las derivadas de la función objetivo para el proceso de exploración del espacio de soluciones el método de búsqueda lineal si puede utilizarlas


Búsqueda Multidimensional con derivadas

�� MMéétodo de Pasos Descendentestodo de Pasos Descendentes

� Concepto� Busca desplazarse en la dirección descendente del punto x, es decir aquella dirección d tal que:

f(x + ∆*d) < f(x), ∆ ≈ 0+



�� MMéétodo de Pasos Descendentestodo de Pasos Descendentes

� Concepto� Busca desplazarse en la dirección descendente del punto x, es decir aquella dirección d tal que:

f(x + ∆*d) < f(x), ∆ ≈ 0+

� Si f es diferenciable en x:

d = – ∇f(x)

Llamado también el método del gradiente



� La dirección deber ser unitaria:

d = – ∇f(x)/║∇f(x)║

∇f(x) ≠ 0

−∇f(x0)

x

x0

decrece

Semiespacio de f(x) ≤ f(x0)



� Restricción

La función f debe ser diferenciable y el método converge a un punto x tal que ∇f(x)= 0.

� Parámetros

x1: Punto inicial de la búsqueda.

ε: máximo error permisible > 0.

… : Parámetros de método de búsqueda lineal seleccionado.



� Algoritmo

Fin

Comienzo

║∇f(xk)║ ≥ ε

k = k + 1

V

F

k = 0

dk = –∇f(xk)/║∇f(xk)║

min f(xk+∆ * dk) s.a.: ∆ ≥ 0 → ∆k

xk+1 = xk+∆k * dk

El método tiene un alto desempeño al comienzo y uno bajo al final



Ejemplo 8.3: Resolver el siguiente problema por el método de pasos descendentes partiendo de punto xT= {-1 2} con un error máximo de 0.5:

min x12 + x22 – 1


Resumen

� Minimizando una función Multidimensional irrestricta

� Algoritmo base → búsqueda lineal

� Búsqueda Multidimensional sin derivadas:

�Método de Coordenadas Cíclicas.

�Método de Hooke and Jeeves.

� Búsqueda Multidimensional con derivadas:

�Método de Pasos Descendentes.

clasenl08s0109

Documents