Download - Modul Optimisasi
8/16/2019 Modul Optimisasi
http://slidepdf.com/reader/full/modul-optimisasi 1/35
TUGAS MODUL OPTIMISASI
METODE KONJUGASI LANGSUNG
KELOMPOK 10:
IMAM PRIHATNO (1137010027)
IQBAL IMAMUL MUTTAQIEN (1137010029)
MATEMATIKA 2013 A
JURUSAN MATEMATIKA
FAKULTAS SAINS DAN TEKNOLOGI
UNIVERSITAS ISLAM NEGERI SUNAN GUNUNG DJATI
BANDUNG
201
8/16/2019 Modul Optimisasi
http://slidepdf.com/reader/full/modul-optimisasi 2/35
KATA PENGANTAR
Alhamdulillah puji dan syukur selalu saya panjatkan kepada
Allah SWT., yang telah melimpahkan berkah dan karunianya.
Tidak lupa shalawat serta salam selalu terlimpah curahkan kepada
junjungan Nabi besar kita, Muhammad SAW., kepada
keluarganya, sahabatnya, beserta para tabiin-tabiinya.
Modul ini dibuat untuk menyeslesaikan tugas ptimisasi
mengenai Metode Konjugasi Langsung. Adapun Materi-materidiambil dari hasil pembelajaran penulis terhadap re!erensi-
re!erensi yang penulis dapatkan, baik berupa buku pembelajaran,
internet, dan sumber-sumber lainnya.
"enulis sadari bahwa masih modul yang dibuat masih jauh dari
sempurna. Maka penyusunan ini dibuat semata-mata untuk
membagi ilmu yang penulis dapatkan kepada para pembaca. Serta
saya ucapkan terima kasih kepada teman-teman yang telah
membantu dalam proses pembuatan modul ini dan penulis
harapkan modul yang dibuat ini bias membantu pembaca dalam
pembelajaran yang berkenaan.
#andung, $% April $&'(
"enulis
DAFTAR ISI
8/16/2019 Modul Optimisasi
http://slidepdf.com/reader/full/modul-optimisasi 3/35
)ATA "*N+ANTA.....................................................................i
ATA /S/..................................................................................ii
A. Standar )ompetensi...........................................................'
#. 0raian Materi.....................................................................'
'. Metode )onjugasi 1angsung.......................................'
'.'.................................................................. "endahuluan
....................................................................................2
'.$............................................ Algoritma Arah )onjugasi
..................................................................................'$
'.3....................................... Algoritma +radien )onjugasi
..................................................................................'3
'.4..... Algoritma +radien )onjugasi untuk "ermasalahan
Tak-)uadrat..............................................................'5
6. angkuman......................................................................$5
. Suggested eading...........................................................$(
*. 1atihan.............................................................................$%
ATA /ST/1A7......................................................................iii
A! S"#$%#& K'*"*$+,
8/16/2019 Modul Optimisasi
http://slidepdf.com/reader/full/modul-optimisasi 4/35
1! Mahasiswa mampu mengetahui konsep dari Metode
)onjugasi 1angsung.
2! Mahasiswa mampu mengetahui mengetahui konsep
algoritma-algoritma pada Metode )onjugasi
1angsung.
3! Mahasiswa mampu mengetahui konsep penyelesaian
algoritma-algoritma pada Metode )onjugasi
1angsung baik !ungsi kuadrat maupun nonkuadrat.
-! Mahasiswa mampu mengetahui konsep dasar dari
rumus-rumus pada Algoritma +radien )onjugasi.
B! U&#,#$ M#"*&,
M*"'%* K'$./#+, L#$+/$
1! P*$%#//#$
)elas dari metode konjugasi langsung dapat dilihat sebagai
penengah antara metode +"**+" %*+*$" dan metode Newton.
Metode konjugasi langsung mempunyai si!at-si!at berikut8
a. Memecahkan kuadrat dari n 9ariabel dalam n
langkah.
b. "elaksanaan biasa, algoritma gradient konjugasi, tidak membutuhkan e9aluasi matriks 7essian.
c. Tidak ada matriks in9ersi dan tidak ada penyimpanan
n ×n matriks yang diperlukan.
Metode arah konjugasi lebih baik dari pada metode steepest
descent, tetapi tidak sebaik metode newton. Seperti yang kita
8/16/2019 Modul Optimisasi
http://slidepdf.com/reader/full/modul-optimisasi 5/35
lihat dari metode steepest dan metode newton, !aktor penting
dalam e!isiensi metode pencarian berulang adalah arah pencarian
pada setiap perulangan. 0ntuk !ungsu kuadratik 9ariabel n
f ( x )=1
2 x
T Qx− x
T b , xϵ R
n,Q=Q
T >0 , pencarian arah terbaik,
seperti yang akan kita lihat, arah konjugasi- Q . "ada dasarnya,
dua arah d(1
) dan d (2
) di Rn
dikatakan konjugasi- Q
apabila d(1)T
Q d(2)=0. Secara umum, kita memiliki de!inisi
berikut 8
D*4,$,+, 1!1 Misalkan Q simetris real matriks n x n. Arah
d(0 )
, d(1 )
, d(2 )
, … , d(m )
Q-conjugate apabila untuk semua i ≠ j
, kita punya d(i )T
Q d( j)=0 .
L*# 1!1 Misalkan : de!inite positi9e simetris matriks n ; n.
Apabila arah d(0 )
, d(1 )
, … , d(k )
ϵ Rn
, k ≤ n−1, tak nol dan :-
conjugate, maka bebas linier.
Bukti . Misalkana
0, … , ak menjadi skalar sehingga
a0
d(0 )+a
1d(1)+…+ak d
(k )=0
Setara dengan d( j ) T
Q , 0≤ j ≤ k , sehingga
8/16/2019 Modul Optimisasi
http://slidepdf.com/reader/full/modul-optimisasi 6/35
a j d( j)
Q d( j)=0,
)arena semua hal lainnya d ( j ) T Q d( i)=0,i ≠ j , dimana :-
konjugasi. Tetapi Q=QT >0∧d
( j )≠0 ; oleh karena itu
a j=0, j=0,1, … , k . )arena itu, d(0 ), d
(1 ),… ,d
(k ), k ≤ n−1,
bebas linear.
5'$"' 1!1
Misalkan
Q=[3 0 1
0 4 2
1 2 3]
6atatan Q=QT >0. Matriks : de!inite positi! karena
∆1=3>0, ∆2=det [3 0
0 4]=12>0, ∆3=detQ=20>0.
Tujuannya untuk membuat sebuah himpunan 9ektor :-konjugate
d(0 )
, d(1 )
, d(2 )
.
Misalkan
d(0 )=[ 1, 0, 0 ]T
, d(1)=[d1
(1 )d
2
(1)d
3
(1)]T
, d(2)=[ d
1
(2)d
2
(2)d
3
(2)]T
.
8/16/2019 Modul Optimisasi
http://slidepdf.com/reader/full/modul-optimisasi 7/35
Mengharuskan d(0 )T
Q d(1)=0. )ita punya
d(0 )Qd
(1)=[ 1 0 0 ] [3 0 1
0 4 2
1 2 3] [d1
(1)
d2
(1)
d3
(1)]=3d1
(1)+d3
(1)
.
Misalkan d1
(1)=1, d2
(1)=0, d3
(1)=−3 . <adi d(1)=[ 1 0 −3 ]T
,
dan demikian d(0 )T
Qd(1)=0.
Tentukan 9ektor ketiga d(2)
yang akan :-konjugate dengan
d(0 )
dan d(1)
, kita perlu d(0 )T
Qd(2)=0 dan
d(1 )T
Qd(2 )=0
. )ita punya
d(0 )T
Q d(2)=3 d
1
(2)+d3
(2)=0 ,
d(1 )T
Q d(2 )=−6 d
2
(2)−8 d3
(2)=0 .
<ika kita ambil d(2)=[ 1, 4, −3 ]T
, kemudian himpunan yang
dihasilkan dari 9ektor yang saling konjugat.
Metode ini menemukan 9ektor konjugasi- Q tdak e!isien.
Sebuah prosedur yang sistematis untuk menemukan 9ektor
konjugate dapat diturunkan dengan menggunakan proses +ram-
8/16/2019 Modul Optimisasi
http://slidepdf.com/reader/full/modul-optimisasi 8/35
Scmidt dari trans!ormasi diberikan basis dari Rn
basis
orthonormal dari Rn
.
2! A'&,"# A&# K'$./#+,
)ita akan menunjukkan algoritma arah konjugasi untuk
meminimasi !ungsi kuadrat dari n 9ariabel
f ( x )=12
x⏉Qx− x⏉ b ,
di mana Q=Q⏉>0, x∈ R
n
. 6atat bahwa karena Q>0 ,
!ungsi f mempunyai minimasi global yang dapat ditemukan
dengan memecahkan Qx=b .
A'&,"# A&# K'$./#+, D#+#&! iberikan titik awal
x(0)
dan Q -arah konjugasi d(0 )
, d(1 )
, .. , d(n−1)
, untuk
k ≥ 0 ,
g(k )=∇f ( x (k ) )=Q x
(k )−b ,
α k =−g
( k )d
( k )
d(k )⏉
Qd(k ) ,
x(k +1 )= x
(k )+α k d(k )
.
8/16/2019 Modul Optimisasi
http://slidepdf.com/reader/full/modul-optimisasi 9/35
T*'&*# 1!1 Untuk tiap titik aal x(0)
algoritma arah
konjugasi dasar kon!ergen ke nilai tunggal x¿
"yang
dipecahkan Qx=b # dalam n langah$ yakni, x(n)= x
¿.
%ukti. "erhatikan x¿− x
(0 )∈ R
n
. )arena d(i)
adalah bebas
linier, terdapat konstanta β i , i=0, … , n−1 , sedemikian
sehingga
x¿− x
(0 )= β0
d(0 )+…+ βn−1
d(n−1)
.
Sebelum mengalikan kedua sisi dari persamaan ini dengan
d(k )⏉
Q , 0 ≤ k ≤ n , untuk memperoleh
d(k )
Q ( x¿− x(0) )= βk d
( k )Q d
(k ),
di mana kondisi d(k )⏉
Q d(i)=0, k ≠ i , dengan si!at konjugasi-
Q . engan demikian,
βk =d
(k )
Q ( x¿
− x
( 0)
)d(k )⏉
Qd(k ) .
Sekarang, kita dapat tuliskan
x(k )= x
( 0)+α 0
d(0)+…+α k −1
d(k −1)
.
leh karena itu,
8/16/2019 Modul Optimisasi
http://slidepdf.com/reader/full/modul-optimisasi 10/35
x(k )− x
(0)=α 0 d(0)+…+α k −1d
(k −1 ).
<adi tuliskan
x¿− x
(0 )=( x¿− x(k ) )+( x (k )− x
( 0))
dan sebelum mengalikan persamaan di atas dengan d(k )⏉
Q .
)ita peroleh
x¿− x (k )=−d (k ) g(k )
d(k )⏉
Q ( x¿− x(0) )=d
(k )⏉Q ¿ ,
karena g(k )=Q x
(k )−b dan Q x¿=b demikian,
βk =−d
( k )⏉g
( k )
d(k )⏉
Qd(k )=α k
5'$"' 1!2 Temukan minimasi dari
f ( x1 , x2 )=1
2 x⏉ [4 2
2 2] x− x⏉ [−1
1 ] , x∈ R2
,
menggunakan metode arah konjugasi dengan titil awal
x(0)= [0,0 ]⏉ , dana rah kinjugasi- Q d(0 )=[ 1,0 ]⏉ dan
d1=arah konjugai−Q d
( 0)=[ 1,0 ]⏉ dan d(1)=[−3
8, 3
4 ]⏉
.
)ita mempunyai
8/16/2019 Modul Optimisasi
http://slidepdf.com/reader/full/modul-optimisasi 11/35
g(0 )=−b= [1,−1 ]⏉ ,
dan dengan demikian
α 0=−g
( 0)⏉d
(0 )
d(0 )⏉
Q d(0 )=
[ 1,−1 ][1
0][ 1, 0 ] [4 2
2 2][1
0]=−1
4.
emikian,
x(1)= x(0 )+α 0d
(0 )=[0
0 ]−1
4 [1
0]=[−1
4
0 ] .
0ntuk menemukan x(2)
kita hitung
g(1)=Q x
(1 )−b=[ 4 2
2 2] [−1
4
0 ]−[−1
1 ]=[ 0−3
2 ]
dan
α 1=−g
(1 )⏉d
(1)
d( 1)⏉
Q d(1)=
−[0,−
3
2
] [−3
8
3
4 ][−3
8,
3
4 ] [4 2
2 2][−3
8
3
4 ]=2 .
8/16/2019 Modul Optimisasi
http://slidepdf.com/reader/full/modul-optimisasi 12/35
leh karena itu,
x(2)= x
(1 )+α 1 d(1)=[
−1
4
0 ]+2−3
8
3
4
=[−1
3
2 ] .
)arena f adalah !ungsi kuadrat dalam dua 9ariabel,
x(2)= x
¿.
0ntuk !ungsi kuadrat dari n 9ariabel, metode arah
konjugasi meraih solusi setelah n langkah. Seperti yang akan
kita lihat di bawah, metode juga metode ini juga memiliki sebuah
si!at tertentu yang diinginkan dalam langkah-langkah menengah.
0ntuk melihat hal ini, anggap bahwa kita memulai pada x(0)
dan mencari dalam arah d(0 )
untuk memperoleh
x(1)= x
(0 )−( g( 0)⏉
d(0 )
d( 0)⏉
Q d(0 ))d
(0)
.
)ita tetapkan bahwa
g(1 )⏉
d(0)=0.
0ntuk melihat ini,
g(1 )⏉ d(0)=(Q x (1 )−b)⏉d
(0)
8/16/2019 Modul Optimisasi
http://slidepdf.com/reader/full/modul-optimisasi 13/35
¿ x (0)⏉Qd(0)−( g
(0 )⏉d
(0)
d(0 )⏉
Qd( 0) )d (0 )⏉Qd (0 )−b
⏉d(0)
¿g(0 )⏉
d(0)−g
(0)⏉d
( 0)=0 .
"ersamaan g⏉d(0)=0 mengimplikasikan bahwa α
0
mempunyai si!at yakni α 0=argmin⏀0(α ) , di mana
⏀0 ( α )=f ( x (0 )+α d (0 )) . 0ntuk melihat ini, gunakan aturan
rantai untuk memperoleh
d∅0
dα ( α
0 )=g(1 )⏉
d(0)=0 .
)arena
⏀0
adalah !ungsi kuadrat dari
α
, dan koe!isien
dari α 2
kondisi dalam⏀
0 adalah d(0 )
Q d(0)>0 ,
persamaan di atas mengimplikasikan bahwa
α 0=arg min
α ∈ R
⏀0(α )
.
Menggunakan argument yang sama, kita dapat menunjukkan
bahwa untuk semua k ,
g(k +1)
d(k )=0
an dengan demikian
8/16/2019 Modul Optimisasi
http://slidepdf.com/reader/full/modul-optimisasi 14/35
α k =arg min f ( x (k )+α d( k ) ) .
aktanya, bahkan kondisi terkuat ditetapkan, sebagaimana
diberikan oleh lema berikut.
L*# 1!2 &alam algoritma arah konjugasi,
g(k +1)
d(i)=0
Untuk semuak , 0 ≤ k ≤ n−1,
dan0 ≤ i ≤ k
.
%ukti. 6atat bahwa
Q ( x( k +1 )− x(k ) )=Q x
(k +1)−b−(Q x(k )−b )=g
( k +1)−g(k )
,
karena g(k )=Q x
(k )−b . Sehingga,
g(k +1)=g(k )+α k Q d(k ).
)ita buktikan lema dengan induksi. 7asilnya adalah benar
untuk k =0 karena g(1 )
d(0)=0 , sebagaimana ditunjukkan
sebelumnya. Sekarang akan ditunjukkan bahwa jika hasilnya
benar untuk k −1 =contoh., g(k ) d(i)=0,i ≤ k −1¿ , maka hal
ini benar untuk k =contoh., g(k +1)
d(i)=0,i ≤ k >. Sudah pasti
k >0 dan 0 ≤i<k . engan hipotesis induksi, g(k )
d(i)=0 .
)arena
8/16/2019 Modul Optimisasi
http://slidepdf.com/reader/full/modul-optimisasi 15/35
g(k +1)=g
(k )+α k Q d(k )
,
dan d (k ) Q d(i)=0 dengan konjugasi- Q , kita punya
g(k +1)
d(i)=g
(k )d( i)+α k d
(k )Q d
(i)=0 .
Setelahnya menyisakan untuk ditunjukkan bahwa
g(k +1)⏉
d(k )=0 .
"ada akhirnya,
g(k +1)⏉ d(k )=(Q x (k +1 )−b )⏉d
(k )
¿( x ( k )− g
(k )⏉
d( k )
d(k )⏉
Q d( k )
d ( k ))⏉
Q d( k )−b⏉
d ( k )
¿ (Q x ( k )−b)⏉d(k )−g( k )⏉ d
(k )
¿0 ,
)arena Qx(k )−b=g
(k ).
leh karena itu, dengan induksi, untuk semua 0 ≤ k ≤ n−1
dan 0 ≤i<k ,
g(k +1)
d(i)=0 .
8/16/2019 Modul Optimisasi
http://slidepdf.com/reader/full/modul-optimisasi 16/35
engan lema '.$ kita lihat bahwa g(k +1)
adalah ortogonal
terhadap tiap 9ektor dari subruang yang dibentangkan oleh
d(0 )
, d(1 )
, … , d(k )
G#6#& 1!1 menggambarkan pernyataan ini.
G#6#& 1!1 G#6#&#$ %#&, L*# 1!2!
1ema dapat digunakan untuk menunjukkan si!at optimal yang
menarik dari algoritma arah konjugasi. Secara khusus, kita
tunjukkan bahwa tidak hanya f ( x (k +1) ) memenuhi
f ( x (k +1) )=minα
f ( x (k )+α d(k )) , sebagaimana diindikasikan
sebelumnya, tetapi juga
f ( x (k +1) )= minα 0 , … , α k
f ( x (0 )+∑i=0
k
α i d(i)) .
8/16/2019 Modul Optimisasi
http://slidepdf.com/reader/full/modul-optimisasi 17/35
engan kata lain, jika kita tulis
!k = x
(0)
+"an [ d(0 )
, d
(1 )
, … , d
(k )
] ,
Maka kita dapat ekspresikanf ( x (k +1) )=min
x∈! k
f ( x ). Sebagaimana
k meningkat, subruang span [ d (0 ), d
(1 ), … , d
(k ) ] ?diperluas,@
dan akhirnya akan mengisi keseluruhan dari Rn
=tersedia
9ektor d(0 )
, d(1 )
, … , adalah bebas linier>. leh karena itu, untuk
cukup beberapa k , x¿
akan bergantung dalam !k . 0ntuk
alasan ini, hasil di atas kadang-kadang disebut dengan teorema
perluasan subruang .
0ntuk membuktikan teorema perluasan subruang, de!inisikan
matriks #(k )
dengan
#(k )=[ d (0 )
, … , d( k ) ]
yakni, d(i)
adalah kolom ke- i dari #(k )
. 6atat bahwa
x(0)+ R ( #( k ) )=!k . <uga,
x(k +1 )= x
(0)+∑i=0
k
α i d(i)
¿ x(0)+ #(k )α ,
8/16/2019 Modul Optimisasi
http://slidepdf.com/reader/full/modul-optimisasi 18/35
di mana α =[ α 0
, … , α k ]⏉
. engan demikian,
x(k +1)∈ x ( 0)+ R ( #(k ) )=!k .
Sekarang, perhatikan 9ektor x∈!k . Terdapat 9ektor a
sedemikian sehingga x= x(0)+ #(k )a . Misal
⏀k ( a )= f ( x( 0)+ #( k )
a ) . 6atat bahwa ⏀k adalah !ungsi
kuadrat dan mempunyai minimasi tunggal yang memenuhi
N6. engan aturan rantai,
#∅k (a )=∇ f ( x (0 )+ #( k )a)⏉ #(k )
x(k +1 )⏉
#(k )
¿∇ f ¿
¿g(k +1)⏉
#(k )
.
engan lema '.$, g(k +1)⏉
#(k )=0
⏉. leh karena itu, α
memenuhi N6 untuk !ungsi kuadrat ⏀k , dan dengan
demikian α adalah minimasi dari ⏀k yakni,
x(0)+ #
(k )a
f (¿)=min x∈! k
f ( x)
f ( x ( k +1) )=mina
¿,
8/16/2019 Modul Optimisasi
http://slidepdf.com/reader/full/modul-optimisasi 19/35
yang melengkapi pembuktian dari hasil kita.
Algoritma arah konjugasi sangat e!ekti!. #agaimanapun, untuk
menggunakan algoritma, kita membutuhkan arah konjugasi- Q
khusus. 0ntungnya, terdapat suatu jalan untuk menghasilkan arah
konjugasi- Q sebagaimana kita tunjukkan iterasi. alam
bagian selanjutnya kita akan membahas algoritma yang
menggambungkan generasi dari arah konjugasi- Q
.
3! A'&,"# G&#%,*$ K'$./#+,
Algoritma gradient konjugasi tidak menggunakan arah
konjugasi yang sudah ada, tetapi menghitung arah langsung
sebagai proses algoritma. "ada setiap tahap dari algoritma, arah
dihitung sebagai kombinasi linier dari arah sebelumnya dan
gradien saat ini, sedemikian rupa bahwa semua arah adalah saling
Q -konjugasi-demikian dinamakan algoritma gradient
konjugasi. "erhitungan ini meman!aatkan !akta bahwa untuk
!ungsi kuadrat dari n 9ariabel, kita dapat menemukan !ungsi
minimiBer dengan melakukann
pencarian bersama arah saling
konjugasi.
Seperti sebelumnya, kita perhatikan !ungsi kuadrat
f ( x )=1
2 x
T Qx− xT
b ,x∈ Rn
,
8/16/2019 Modul Optimisasi
http://slidepdf.com/reader/full/modul-optimisasi 20/35
di mana Q=QT >0 . Arah pencarian pertama kita dari titik awal
x(0)
adalah dalam arah dari +"***+" %*+*$" yakni,
d(0 )=−g
(0 ).
emikian,
x(1)= x
(0 )+α 0 d(0 )
,
di mana
α 0=arg min
α 0 ≥ 0
f ( x ( 0)+α d( 0))=
−g( 0) T
d(0 )
d (0) T Q d (0 ) .
"ada tahap selanjutnya, kita mencari dalam suatu arah d(1 )
yakni adalah Q -konjugasi terhadap d (0 ) . )ita pilih d (1 )
sebagai suatu kombinasi linier dari g(1 )
dan d(0 )
. "ada
umumnya, pada langkah (k +1) , kita pilih d(k +1)
untuk
menjadi kombinasi linier dari g(k +1)
dan d(k )
. Secara khusus,
kita pilih
d(k +1)=−g
( k +1)+ βk d(k )
, k =0,1,2, … .
)oe!isien βk , k =1,2, … , adalah dipilih sedemikian rupa
sehingga d(k +1)
adalah Q -konjugasi terhadap
8/16/2019 Modul Optimisasi
http://slidepdf.com/reader/full/modul-optimisasi 21/35
d(0 )
, d(1 )
, … , d(k )
. 7al ini terselesaikan dengan memilih βk
menjadi
βk =g
(k +1)Qd
( k )
d (k )T Qd ( k )
Algoritma gradien konjugasi telah diringkas sebagai berikut8
'. Atur k ≔0 pilih titik awal x(0)
.
$. g(0 )=∇ f ( x (0 )) jika g(0 )=0 berhenti lainnya, atur
d(0 )=−g
(0).
3. α k =−g
(k )T d
(k )
d (k )T Qd ( k ) .
4. x(k +1 )= x
(k )+α k d(k )
.
5. g(k +1)
=∇ f ( x(k +1)
) . <ika g(k +$ )
=0 , berhenti.
(. βk =g
(k +1)T Qd
(k )
d (k )T Qd (k ) .
%. d(k +1)=−g
( k +1)+ βk d(k )
.
C. Atur k ≔k +1 menuju langkah 3.
P&''+,+, 1!1 &alam algoritma gradien konjugasi, arah
d(0 ), d
(1 ),… ,d
(n−1 ) adalah Q -kojugasi.
%ukti. dengan menggunakan cara induksi. "ertama akan
ditunjukkan bahwa d(0 )
Q d(1 )=0 . "ada akhirnya bisa
dituliskan sebagai berikut
8/16/2019 Modul Optimisasi
http://slidepdf.com/reader/full/modul-optimisasi 22/35
d(0 )⏉
Q d(1 )=d
(0 )⏉Q (−g
( 1)+ β0
d( 0) ) .
Substitusikan untuk
β0=g
(1 )⏉Qd
(0 )
d(0 )⏉
Qd(0 )
dalam persamaan di atas, kita lihat bahwa d(0 )⏉
Q d(0)=0 .
Sekarang kita asumsikan bahwa d(0 ), d(1 ), … , d (k ) , k <n−1 ,
adalah arah Q - konjugasi. ari 1ema '&.$ kita peroleh
g(k +1)⏉
d( j)=0, j=0,1,… , k . emikian, g
(k +1) adalah
ortogonal terhadap setiap arah d(0 ), d
(1 ),… ,d
(k ). Sekarang akan
ditunjukkan bahwa
g(k +1)⏉
g( j)=0, j=0,1,… , k .
Sudah dipastikan j∈{0,… ,k } . )ita peroleh
d( j)=−g
( j )+ β j−1d( j−1 )
.
Substitusikan persamaan ini ke dalam lapangan sebelumnya.
g(k +1)
d( j)=0=−g
(k +1)g
( j)+ β j−1g
(k +1 )d( j−1)
.
)arena g(k +1)
d( j−1)=0 , maka berlaku juga g
(k +1)g( j)=0 .
8/16/2019 Modul Optimisasi
http://slidepdf.com/reader/full/modul-optimisasi 23/35
Sekarang kita sudah siap untuk membuktikan bahwa
d(k +1)⏉
Q d( j )=0, j=0,… , k
. )ita peroleh
d (k +1)⏉ Q d( j )=(−g( k +1)+ βk d
(k ))⏉
Q d( j )
.
<ika j<k , maka d(k )
Q d( j)=0 , dengan virtue dari hipotesis
induksi. )arenanya, kita peroleh
d (k +1)⏉
Q d( j )=−g (k +1)⏉
Q d( j) .
Tetapi g( j+1)=g
( j )+α j Q d( j )
. karena g(k +1)⏉
g(i)=0,i=0, … , k ,
d(k +1)⏉
Q d( j )=−g
(k +1)⏉ ( g( j+1)−g
( j ))α j
=0 .
emikian,
d(k +1)
Q d( j )=0, j=0,… , k −1 .
Menyisakan persamaan yang masih harus ditunjukkan yakni
d(k +1)
Q d(k )=0 . )ita peroleh
d (k +1)⏉ Q d(k )=(−g (k +1)+ βk d
( k ) )⏉
Qd(k )
.
Menggunakan ekspresi dari βk , kita dapatkan
d(k +1)
Q d(k )=0 yang menyelesaikan pembuktian.
8/16/2019 Modul Optimisasi
http://slidepdf.com/reader/full/modul-optimisasi 24/35
5'$"' 1!3 "erhatikan !ungsi kuadrat
f ( x1 , x2 , x3 )=3
2 x1
2
+2 x2
2
+3
2 x3
2
+ x1 x3+2 x2 x3−3 x1− x3 .
)ita temukan pemerkecil menggunakan algortima gradien
konjugasi, menggunakan titik awal x(0)= [0,0,0 ]⏉ .
)ita bisa menjadikan f sebagai
f ( x )=1
2 x⏉
Qx− x⏉
b ,
di mana
Q=
[
3 0 1
0 4 2
1 2 3
], b=
[
3
0
1
].
)ita peroleh
g ( x )=∇ f ( x )=Qx−b=[ 3 x1+ x
3−3, 4 x
2+2 x
3, x
1+2 x
2−1 ]⏉ .
emikian,
g(0 )=[−3,0,−1 ]⏉ ,
d(0 )=−g
(0),
α 0=−g
( 0)⏉d
( 0)
g (0 )⏉Q d (0 ) =
10
36=0.2778
8/16/2019 Modul Optimisasi
http://slidepdf.com/reader/full/modul-optimisasi 25/35
dan
x
(1)
= x
(0 )
+α 0 d
(0 )
=[ 0.8333, 0,0.2778 ]
⏉
.
1angkah selanjutnya
g(1)=∇ f ( x( 1) )= [−0.2222, 0.5556,0.6667 ]⏉ ,
β0=
g(1)⏉
Q d(0 )
d (1)⏉Q d (0 )=0.08025 .
)ita sekarang dapat menghitung
d(1 )=−g
(1)+ β0
d(0)= [0.4630,−0.5556,−0.5864 ]⏉ .
emikian,
α 1= −g
( 1)
d(1)
d( 1)⏉Q d (1)=0.2187
dan
x(2)= x
(1 )+α 1
d(1 )=[ 0.9346,−0.1215, 0.1419]⏉ .
0ntuk menunjukkan iterasi ke tiga, kita hitung
g(2 )=∇ f ( x (2) )= [−0.04673,−0.1869,0.1402 ]⏉ ,
β1=g
(2)Qd
(1)
d(1)⏉
Qd(1)=0.07075 ,
8/16/2019 Modul Optimisasi
http://slidepdf.com/reader/full/modul-optimisasi 26/35
d(2 )=−g
(2)+ β1
d( 1)=[ 0.07948, 0.1476,−0.1817 ]⏉ .
emikian,
α 2=
−g( 2)⏉
d(2 )
d (2)⏉ Q d (2) =0.8231
dan
x(3)= x
( 2)+α 2
d(2 )=[ 1.000,0.000, 0.000 ]⏉
.
6atat bahwa
g(3 )=∇ f ( x (3) )=0 ,
Seperti yang diperkirakan, karena f adalah !ungsi kuadrat dari
tiga 9ariabel. emikian, x¿= x (3 ) .
-! A'&,"# G&#%,*$ K'$./#+, /$"/8 P*&#+###$
T#8K/#%&#"!
)ita telah ditunjukkan bahwa algoritma gradien konjugat
adalah suatu metode langsung konjugat, dan karena itu minimasi
suatu !ungsi kuadrat de!init positi! dari n 9ariabel dalam n
langkah. Algoritma dapat diperluas menjadi !ungsi umum non
linier dengan mena!sirkan f ( x )=1
2 x⏉
Qx− x⏉
b sebagai
8/16/2019 Modul Optimisasi
http://slidepdf.com/reader/full/modul-optimisasi 27/35
pendekatan deret Taylor kedua dari !ungsi objekti!. Mendekati
solusi !ungsi seperti berperilaku kurang lebih sebagai kuadrat,
seperti yang disarankan oleh deret Taylor. 0ntuk kuadrat, matriks
Q , 7essian dari kuadrat, adalah konstan. #agaimanapun,
untuk !ungsi umum non linier 7essian adalah mahal. engan
demikian, implementasi yang e!isien dari algoritma gradien
konjugat yang menghilangkan e9aluasi 7essian pada tiap langkah
yang diinginkan.
Mengamati bahwa Q muncul hanya dalam perhitungan
skalar α k dan βk . )arena
x(k )
minα ≥0
f (¿+α d(k ))
α k =arg¿
,
rumus bentuk tertutup untuk α k dalam algoritma dapat diganti
oleh prosedur pencarian garis numerik. leh karena itu, kita
hanya perlu ber!okus diri dengan rumus untuk βk . 0ntungnya
penghapusan dari Q dari rumus adalah mungkin dan hasil
dalam algoritma yang bergantung hanya pada !ungsi dan nilai
gradien pada tiap iterasi. )ita sekarang membahas modi!ikasi
algoritma gradien konjugat untuk !ungsi kuadrat untuk kasus di
mana 7essian tidak diketahui, tetapi yang mana nilai !ungsi
objekti! dan gradient tersedia. Modi!ikasi semuanya berdasarkan
8/16/2019 Modul Optimisasi
http://slidepdf.com/reader/full/modul-optimisasi 28/35
manipulasi aljabar rumus βk sedemikian sehingga Q
dihilangkan. )ita membahas tiga modi!ikasi terkenal.
R//+ H*+"*$*+S",*4*! Sebut kembali bahwa
βk = g
(k +1)⏉Q d (k )
d(k )⏉
Q d(k ) .
umus 7estenes-Stie!el adalah berdasarkan pada pergantian
kondisi Q d(k )
oleh kondisi ( g(k +1)−g
( k )
α k ) . )edua kondisi
adalah sama dalam kasus kuadrat, seperti kita tunjukkan
sekarang. Sekarang, x(k +1 )= x
(k )+α k d(k )
. Sebelum pengalian
kedua sisi dengan Q , pengurangan b dari kedua sisi, dan
mengenali bahwa g(k )=Q x
(k )−b , kita dapatkan
g(k +1)=g
(k )+α k Q d(k )
, yang mana kita dapat tulis ulang
Q d(k )=(
g(k +1)−g
( k )
α k
). Substitusikan ke dalam persamaan asal
untuk βk yang diketahui 'umus (estenes-)tie*el.
βk =g
(k +1) [ g(k +1)−g
( k )]
d( k )⏉ [g
( k +1 )−g(k )] .
8/16/2019 Modul Optimisasi
http://slidepdf.com/reader/full/modul-optimisasi 29/35
R//+ P'#8R,6,*&*! imulai dari rumus 7estenes-Stie!el,
kita kalikan keluar penyebut untuk mendapatkan
βk = g
( k +1 ) [g(k +1 )−g
(k ) ]
d(k )⏉
g(k +1 )−d
(k )⏉g
(k ) .
engan lema '.$, d(k )⏉
g(k +1 )=0 . <uga, karena
d(k )=−g
(k )+ βk −1d(k +1)
, dan sebelum pengalian oleh g(k )
,
kita dapatkan
g(k )
d(k )=−g
(k )g
( k )+ βk −1g
( k )d
(k −1 )=−g(k )
g(k )
,
sekali lagi kita gunakan 1ema '.$. emikian, kita dapatkan
umus "olak-ibieDre
βk =g (k +1)
⏉
[ g(k +1)−g( k )]g
( k )⏉g
( k ) .
R//+ F*"*&R**;*+! imulai dengan umus "olak-
ibieDre, kita kalikan keluar pembilang untuk mendapatkan
g(k +1)
g(k +1)−g
( k +1 )g
( k )
βk =¿ ¿
g(k )⏉ g (k ) .
)ita gunakan !akta bahwa g(k +1)⏉
g(k )=0 , yang kita peroleh
dengan menggunakan persamaan
g(k +1)⏉
d(k )=−g
(k +1)⏉g
(k )+ βk −1g
(k +1)⏉d
(k −1 )
8/16/2019 Modul Optimisasi
http://slidepdf.com/reader/full/modul-optimisasi 30/35
dan mengaplikasian 1ema '.$. 7al ini menyebabkan terhadap
umus letcher-ee9es
g( k +1 )
g( k )
βk =¿ ¿g
(k )⏉g
( k ).
umus di atas memberikan kita algoritma gradien konjugat
yang tidak memerlukan pengetahuan eksplisitdari matriks
7essian Q . Semua yang kita butuhkan adalah !ungsi objekti!
dan nilai gradien pada tiap iterasi. 0ntuk kasus kuadrat tiga
ekspresi untuk βk persis sama. Namun, hal ini bukan kasus
untuk !ungsi objekti! umum nonlinier.
)ita membutuhkan beberapa sedikit modi!ikasi untuk
menerapkan algoritma untuk !ungsi nonlinier. "ertama, seperti
yang disebutkan dalam bahasan tentang algoritma steepest
descent, kriteria penghentian ∇ f ( x (k +1 ) )=0 adalah tidak
praktis. Maka dibutuhkan sebuah kriteria penghentian praktis
yang cocok.
0ntuk permasalahan nonkuadrat, algoritma biasanya tidak
akan kon9ergen dalam n langkah, dan sebagai
keberlangsungan algoritma. ?konjugasi- Q @ dari 9ektor arah
akan cenderung memburuk. engan demikian, praktik umum
adalah untuk inisialisasi ulang 9ektor arah untuk gradient
8/16/2019 Modul Optimisasi
http://slidepdf.com/reader/full/modul-optimisasi 31/35
negati9e setelah setiap beberapa iterai =misal, n atau n+1 >
dan berlanjut hingga algoritma memenuhi kriteria penghentian.
Masalah paling penting dalam permasalahan minimasi !ungsi
non kuadrat adalah pencarian garis. Tujuan dari pencarian garis
adalah untuk meminimasi ∅k ( α )= f ( x (k )+α d(k ) ) dengan
perhatian terhadap α ≥ 0 . "endekatan khas adalah untuk
kurung atau kotak dalam peminimasi dan kemudian diperkirakan.
)etepatan dari pencarian garis adalah !aktor penting dalam
menunjukkan algoritma gradient konjugasi. <ika pencarian garis
diketahui tidak akurat, rumus 7estenes-Stie!el untuk βk
dianjurkan.
Secara umum, pilihan rumus untuk βk untuk digunakan
tergantung pada !ungsi objekti!. Sebagai contoh, rumus "olak-
ibieDre diketahui untuk menunjukkan jauh lebih baik daripada
rumus letcher-ee9es dalam beberapa kasus tetapi tidak untuk
yang lain. aktanya, terdapat kasus dalam g(k )
, k =1,2,… ,
adalah dibatasi jauh dari nol ketika rumus "olak-ibieDre
digunakan. alam pembelajarannya oleh "owell dalam analisis
kon9ergensi global menyarankan rumus letcher-ee9es untuk
βk adalah superior. "owell lanjut menyarankan rumus lain
untuk βk 8
8/16/2019 Modul Optimisasi
http://slidepdf.com/reader/full/modul-optimisasi 32/35
βk =max {0, g
( k +1 )⏉ [ g( k +$ )−g
( k ) ]g
(k )⏉g
(k ) } .
Algoritma gradien konjugasi berkaitan terhadap Metode
Krylo! subruang . Metode-iterasi-)rylo9-subruang, dimulai oleh
Magnus 7estenes, *duard Stie!el, dan 6ornelius 1ancBos, telah
dinyatakan satu dari '& algoritma dengan pengaruh besar dalam
pengembangan dan latihan sains dan teknik pada abad kedua
puluh. 0ntuk mengendalikan perspekti! pada algoritma gradient
konjugasi, diperoleh dari proportional-plus-deri9ati9e =">
pengendali arsitektur.
5! R#$8/#$
D! S/*+"*% R*#%,$
E! L#",#$
8/16/2019 Modul Optimisasi
http://slidepdf.com/reader/full/modul-optimisasi 33/35
' Tentukan nilai´ % ={ x1 , x2 } yang meminimalkan
& { x1, x2 }=−12 x1+4 x12+4 x2
2−4 x1 x2 dengan
menggunakan metode arah konjugasi.
$ Min f ( x )=2 x1
2+ x2
2+ x1− x2+2 x1 x2 .
engan +radien )onjugasi dimulai dari titik =&,&>.
3 Selesaikan model matematika berikut denga metode
+radien )onjugasi = 3 iterasi > dimulai dari titik =&,&>
Min x
1
2
+2 x
2
2
+2 x
1
x2−
x1+
2 x2+
4.
4 iberikan !ungsi tujuan sebagai berikut 8
& = % 2+2'
2+ %'
6arilah nilai minimum dari !ungsi ini dan nilai % dan
' pada nilai minimum, mulai dari % =2 dan
' =2 .
5 Tampilkan ulang !ungsi
f ( x1 , x2 )=5
2 x1
2+ x2
2−3 x1 x2− x2−7
alam bentuk f ( x )=1
2 %
T Qx− x
T b+( . )emudian
gunakan algoritma gradient konjugasi untuk membangun
9ektor d(1) konjugasi- Q dengan d(0 )=∇ f ( x(0)) ,
dimana x(0)=0 .
( Misalkan f ( x ) , x= [ x1, x
2 ]T ∈ R
2
, diberikan
f ( x )=5
2 x
1
2+1
2 x
2
2+2 x1 x
2−3 x1− x
2 .
8/16/2019 Modul Optimisasi
http://slidepdf.com/reader/full/modul-optimisasi 34/35
a Nyatakan f ( x) dalam bentuk
f ( x )=1
2 x
T Qx− x
T b .
b Tentukan minimasi f menggunakan algoritma
conjugate gradient. imulai dari titik awal
x(0)= [0,0 ]T
.
% Misalkan system linear
)x= *
diberikan oleh8
)x=[4 1
1 3] [ x1
x2]=[1
2]an
x0=[2
0 ]6arilah nilai x
1 dan x2 menggunakan metode
gradient konjugasi.
DAFTAR ISTILAH
Metode )onjugasi 1angsung8
Algoritma +radien )onjugasi8
Steepest escent8
"roses +ram-Schmidt8
Teorema "erluasan Subruang8