PARALLEL PARALLEL METAHEURISTICSMETAHEURISTICSSO SÁNH VÀ ĐÁNH GIÁSO SÁNH VÀ ĐÁNH GIÁPhạm Thái Sơn

Tổng quanTổng quanBài toán tối ưu tổ hợp

◦Tìm lời giải tốt nhất trong các lời giải có thể ◦Không gian tìm kiếm của bài toán là rời rạc

Nhiều bài toán tối ưu tổ hợp thuộc lớp NP khó

Các kỹ thuật heuristic ◦Metaheuristic

Các giải thuật metaheuristicCác giải thuật metaheuristicGiải thuật di truyền (GA)Giải thụật luyện thép (SA)Giải thuật đàn kiến (ACO)Giải thuật lai (Hybrid)

Parallel metaheuristicParallel metaheuristicĐộ phức tạp tính toán caoCác giải thuật Metaheuristic

thường chậm

Song song hóa

Giải thuật di truyền (GA)Giải thuật di truyền (GA)vận dụng các nguyên lý của tiến

hóa ◦di truyền◦đột biến◦chọn lọc tự nhiên◦trao đổi chéo

Giải thuật di truyền (GA)Giải thuật di truyền (GA)Generate(P(0));Evaluate(P(0));t := 0;While not Termination-Criterion(P( t

)) do◦ P’(t) := Selection(P(t));◦ P”(t) := Recombination(P’(t));◦ P”’(t) := Mutation(P”(t));◦ Evaluate(P’( t )) ;◦ P(t + 1) := Replace(P(t), P”’(t));◦ t := t + 1;

End while

Parallel GAParallel GANhiều mô hình

◦Chạy nhiều lần (Independent run)◦Master – Slave◦Đảo di cư

Independent runIndependent run

Master - SlaveMaster - Slave

POPULATION

COMPUTE FITNESS

INITIALIZING POPULATIONSELECTION

RECOMBINATION MUTATION

NEW POPULATION

Individual_1

Individual_2

Individual_N

Individual_N-1

COMPUTE FITNESS

COMPUTE FITNESS

COMPUTE FITNESS

Individual_1chromosomes

Individual_2chromosomes

Individual_N-1chromosomes

Fitness ofIndividual_1

Fitness ofIndividual_N

Fitness ofIndividual_2

Fitness ofIndividual_N-1

Individual_Nchromosomes

MANAGER

WORKER 0 WORKER 1 WORKER N-1 WORKER N

Đảo di cưĐảo di cư

Client process

Clientprocess

Client process

Client process

RE

DU

CE

F

INA

L P

OP

UL

AT

ION

OF

TH

E B

ES

T F

ITN

ES

SM

PI_

Red

uce

Server process

Best Chromosome

MigrationMPI_Sendrecv

Best Chromosome

MigrationMPI_Sendrecv

Best Chromosome

MigrationMPI_Sendrecv

BR

OA

DC

AS

T IN

ITIA

L P

OP

ULA

TIO

N

MP

I_B

cast

BR

OA

DC

AS

T INITIA

L PO

PU

LATIO

N

MP

I_Bcast

Best Chromosome

MigrationMPI_Sendrecv

REDUCE

FINAL POPULATION

OF THE BEST FITNESS

MPI_Reduce

RE

DU

CE

FIN

AL

PO

PU

LA

TIO

N

OF

TH

E B

ES

T F

ITN

ES

S

MP

I_Red

uce

RE

DU

CE

F

INA

L P

OP

UL

AT

ION

O

F T

HE

BE

ST

FIT

NE

SS

MP

I_R

ed

uc

e

Client process

BR

OA

DC

AS

T IN

ITIA

L P

OP

UL

AT

ION

MP

I_B

ca

st

REDUCE

FINAL POPULATION

OF THE BEST FITNESS

MPI_Reduce

BROADCAST INIT

IAL P

OPULATION

MPI_

Bcast

BROADCAST INITIAL POPULATION

MPI_Bcast

Giải thuật luyện thép(SA)Giải thuật luyện thép(SA)BeginWhile (not frozen) do

◦ Init Temperature◦ Eold=Eo

◦ Repeat:◦ For i in Markov chain

Step1 : Generate a new state with Enew

Step2 :- ΔE= Eold – Enew

Step3 : if (ΔE < O ) Eold = Enew

Else Eold = Enew with probability of e- (ΔT) End For

◦ Until (not at equilibrium)◦ T = Tnew

End

Parallel SAParallel SANhiều mô hình

◦Independent run◦Partition data◦Hybrid với GA◦Parallel moves

Parallel movesParallel moves

Hybrid với GAHybrid với GASA sẽ hoạt động tốt hơn nhiều

nếu trạng thái ban đầu tốtSA lấy kết quả ban đầu sau khi

đã chạy GA qua 1 số lần lặp

Giải thuật đàn kiến(ACO)Giải thuật đàn kiến(ACO)

Giải thuật đàn kiến(ACO)Giải thuật đàn kiến(ACO)

Giải thuật đàn kiến(ACO)Giải thuật đàn kiến(ACO) ACO scheme: Initialize pheromone values repeat for ant k c {I, . . . , m}

◦ construct a solution endfor forall pheromone values do

◦ decrease the value by a certain percentage {evaporation}

endfor forall pheromone values corresponding to good

solutions do

◦ increase the value {intensification} endfor until stopping criterion is met

Giải thuật đàn kiến(ACO)Giải thuật đàn kiến(ACO)

Công thức cập nhập mùiCông thức cập nhập mùi

n

kikik

ijijkij

t

ttp

1

.)(

.)()(

m

k

kijijij

1

).1(

Parallel ACOParallel ACOCác con kiến khá độc lập với

nhauChia kiến ra các processor khác

nhau các cụm kiến (Ant colony)

Cập nhập ma trận mùi◦Sau mỗi lần lặp◦Sau một số lần lặp

Kết quả so sánhKết quả so sánhN ACO PACO SA PSA GA PGA

16

(6859)

0.01 0.01 3.55 3.19 (6870)

(6870)

22

(7013)

0.04 0.03 4.18 2.07 7105

[16]

7105

[3]

51

(426)

(427)

[5]

(427)

[2]

(445)

[8]

(445)

[3]

(464)

[25]

(447)

[6]

76

(538)

(539)

[16]

(543)

[4]

(566)

[25]

(566)

[8]

(599)

[37]

(584)

[7]

101

(629)

(650)

[19]

(656)

[5]

(683)

[31]

(680)

[9]

(773)

[59]

(773)

[15]

Kết quả so sánhKết quả so sánh150

(6528)

(6566)

[547]

(6566)

[101]

(6672)

[1131]

(6672)

[213]

(6899)

[1503]

(6899)

[304]

202

(40160)

(40790)

[870]

(40699)

[145]

(42421)

[1743]

(42419)

[297]

(45298)

[2431]

(45124)

[421]

442

(50778)

(52130)

[1300]

[52076]

[202]

[54112]

[2542]

(54081)

[403]

(5579)

[3210]

(5564)

[612]

666

294358

324358

[1567]

314319

[256]

[334526]

[3120]

(333248)

[502]

(353106)

[4810]

(352190)

[833]

1002

259045

(279425)

[5001]

(275928)

[645]

(292951)

[7010]

(290751)

[914]

(332961)

[9125]

(312925)

[1501]

Độ song song hóaĐộ song song hóaN PACO PSA PGA

16 1 1.2 1.3

22 1.1 1.97 5

51 2.5 2.6 4.3

76 4 3.1 5.2

101 3.9 3.5 4

Độ song song hóaĐộ song song hóaN PACO PSA PGA

150 5.5 4.5 4.6

202 6.4 5 5.9

442 6.5 5.3 6.1

666 6.7 5.5 6.2

1002 8.9 6.4 6.7

Kết luận và nhận xétKết luận và nhận xétVề tốc độ:

◦Thuật toán ACO có tốc độ hội tụ nhanh nhất sau đó là SA và GA

Về hệ số song song :◦Thuật toán ACO song song tốt nhất sau đó là

GA và SA◦Tần suất gửi thông tin của SA là cao nhất vì

vậy hệ số song song là thấp nhất