ガウシアンネットワークを用いた 確率モデル遺伝的アルゴリズム
DESCRIPTION
2001 年度 同志社大学大学院 工学研究科 知識工学専攻 修士論文公聴会( 2002 年 2 月 1 日). ガウシアンネットワークを用いた 確率モデル遺伝的アルゴリズム. Probabilistic Model Building Genetic Algorithm using Gaussian Network. 博士前期課程 2000 年度 0737 番 知的システムデザイン研究室. 吉田 純一. 遺伝的アルゴリズム. 評 価. 選 択. 交 叉. 突然変異. 生物の進化の過程を工学的に 応用した最適化手法 遺伝的オペレータ - PowerPoint PPT PresentationTRANSCRIPT
![Page 1: ガウシアンネットワークを用いた 確率モデル遺伝的アルゴリズム](https://reader036.vdocuments.net/reader036/viewer/2022081506/568152e2550346895dc10052/html5/thumbnails/1.jpg)
ガウシアンネットワークを用いた確率モデル遺伝的アルゴリズム
吉田 純一
博士前期課程 2000 年度 0737 番知的システムデザイン研究室
2001 年度 同志社大学大学院 工学研究科 知識工学専攻 修士論文公聴会( 2002 年 2 月 1 日)
Probabilistic Model Building Genetic Algorithm using Gaussian Network
![Page 2: ガウシアンネットワークを用いた 確率モデル遺伝的アルゴリズム](https://reader036.vdocuments.net/reader036/viewer/2022081506/568152e2550346895dc10052/html5/thumbnails/2.jpg)
Intelligent Systems Design Lab. Doshisha University
遺伝的アルゴリズム
生物の進化の過程を工学的に応用した最適化手法
遺伝的オペレータ
交叉・突然変異・選択
評 価
選 択
交 叉
突然変異
![Page 3: ガウシアンネットワークを用いた 確率モデル遺伝的アルゴリズム](https://reader036.vdocuments.net/reader036/viewer/2022081506/568152e2550346895dc10052/html5/thumbnails/3.jpg)
Intelligent Systems Design Lab. Doshisha University
親個体の遺伝子を組み替え新しい個体を生成個体間の情報交換
積み木仮説( Holland 1975 )複数の個体がビルディングブロックを探索.交叉によってこれが組み合わされる
GA による解探索の主役と考えられてきた
GA における交叉の役割
評 価
選 択
突然変異
交 叉
![Page 4: ガウシアンネットワークを用いた 確率モデル遺伝的アルゴリズム](https://reader036.vdocuments.net/reader036/viewer/2022081506/568152e2550346895dc10052/html5/thumbnails/4.jpg)
Intelligent Systems Design Lab. Doshisha University
GA における交叉の問題点
交叉の働きは発見されたビルディングブロックを母集団全体に広めることで,結果として多様性を失わせる.親個体のもつビルディングブロックを破壊することが多い . ( Wu 1997 )
適合度に小さな変化または大きな改悪を生む事が多い.( Nordin 1995 )
確率モデル遺伝的アルゴリズム
新しいアプローチ
![Page 5: ガウシアンネットワークを用いた 確率モデル遺伝的アルゴリズム](https://reader036.vdocuments.net/reader036/viewer/2022081506/568152e2550346895dc10052/html5/thumbnails/5.jpg)
Intelligent Systems Design Lab. Doshisha University
確率モデル遺伝的アルゴリズム
確率モデル
分布の推定
母集団内の良好な個体群の分布にもとづいて確率的に新しい個体を生成
GA の交叉 → 確率モデルにもとづく個体の生成
母集団
(1)良好な個体を母集団 から選択
(2)分布を推定し 確率モデルを構築
(3)新しい個体を生成し 母集団内の個体と置き換え
![Page 6: ガウシアンネットワークを用いた 確率モデル遺伝的アルゴリズム](https://reader036.vdocuments.net/reader036/viewer/2022081506/568152e2550346895dc10052/html5/thumbnails/6.jpg)
Intelligent Systems Design Lab. Doshisha University
確率モデル GA の分類( Pelikan1999 )
設計変数のコード化手法による分類
設計変数間の依存関係の考慮の程度による分類
依存関係を考慮しない( No Interactions )
2 変数間の依存関係を考慮する( Pairwize Interactions )
3 変数以上の依存関係を考慮する( Multivariable Interactions )
ビットストリング型
実数値ベクトル型
00 11 00 0011 11
x1 x2
f (x1, x2)
![Page 7: ガウシアンネットワークを用いた 確率モデル遺伝的アルゴリズム](https://reader036.vdocuments.net/reader036/viewer/2022081506/568152e2550346895dc10052/html5/thumbnails/7.jpg)
Intelligent Systems Design Lab. Doshisha University
確率モデル GA の分類
ビットストリング 実数値ベクトル依存関係を考慮しない
PBIL ( Baluya1994 )UMDA ( Muhelembein1996)c GA ( Lobo1998 )
SHCLVND ( Rudolf1996 )
Real-coded PBIL ( Sevet1997 )
PIPE ( Salustowicz1997 )
PBMGA (筒井 2000 )
2 変数を考慮
MIMIC ( DeBonet1997 )BMDA ( Pelikan1999 )
3 変数以上を考慮
ECGA ( Harik1999 )FDA ( Muhelembein1999 )BOA ( Pelikan1999 )EBNA ( Etxeberria1999 )
EGNA ( Etxeberria1999 )
GOA
ガウシアン最適化アルゴリズムGaussian Optimization Algorithm:GOA
2 変数間の依存関係を考慮した実数値確率モデル GA
![Page 8: ガウシアンネットワークを用いた 確率モデル遺伝的アルゴリズム](https://reader036.vdocuments.net/reader036/viewer/2022081506/568152e2550346895dc10052/html5/thumbnails/8.jpg)
Intelligent Systems Design Lab. Doshisha University
提案手法の特徴
• 実数値ベクトルの染色体
• 確率モデル GA
• 分布の推定にガウス分布
• 確率モデルにガウシアンネットワーク
• ガウシアンネットワークの構造は Q-Learning で学習
ガウシアン最適化アルゴリズムGaussian Optimization Algorithm:GOA
![Page 9: ガウシアンネットワークを用いた 確率モデル遺伝的アルゴリズム](https://reader036.vdocuments.net/reader036/viewer/2022081506/568152e2550346895dc10052/html5/thumbnails/9.jpg)
Intelligent Systems Design Lab. Doshisha University
GOA の概要
ガウシアンネット
分布の推定
母集団
(1)良好な個体を母集団 から選択
(2)分布を推定
( 6 )母集団内の個体と置き換え
Q学習
( 3 )モデルを決定(4)新しい個体を生成
( 5 )良好な個体を生成した ネットワークを学習
![Page 10: ガウシアンネットワークを用いた 確率モデル遺伝的アルゴリズム](https://reader036.vdocuments.net/reader036/viewer/2022081506/568152e2550346895dc10052/html5/thumbnails/10.jpg)
Intelligent Systems Design Lab. Doshisha University
分布の推定
サンプル個体群の統計量を求める
各設計変数の平均値,標準偏差
母集団からサンプル個体を選択サンプル率 sトーナメント選択
サンプル個体群はガウス分布すると仮定
変数間の相関係数 ρ
変数ごとの関わりを考慮する
サンプル個体群
![Page 11: ガウシアンネットワークを用いた 確率モデル遺伝的アルゴリズム](https://reader036.vdocuments.net/reader036/viewer/2022081506/568152e2550346895dc10052/html5/thumbnails/11.jpg)
Intelligent Systems Design Lab. Doshisha University
-2
0
2
-2
0
2
0
0.1
0.2
0.3
0.4
-2
0
2
個体の生成
各変数を独立に決定する場合
2 変数の依存関係を考慮する場合( GOA )
変数ごとに正規乱数を発生
xa と xb の間に依存関係があるとき
2 変量正規分布を利用平均値,標準偏差,相関係数
xa の値をもとに xb の値を決定xa
xb
![Page 12: ガウシアンネットワークを用いた 確率モデル遺伝的アルゴリズム](https://reader036.vdocuments.net/reader036/viewer/2022081506/568152e2550346895dc10052/html5/thumbnails/12.jpg)
Intelligent Systems Design Lab. Doshisha University
個体の生成(2)
xa と xb の間に依存関係があるとき
n 変数を扱うときには
xa xb
xa xb
xa の値をもとに xb の値を決定
xc xn
依存関係を有向グラフで表現各変数の値はガウス分布すると仮定
ガウシアンネットワーク(ベイジアンネットワークの一種)
ガウシアンネットのグラフ構造は Q 学習で決定
![Page 13: ガウシアンネットワークを用いた 確率モデル遺伝的アルゴリズム](https://reader036.vdocuments.net/reader036/viewer/2022081506/568152e2550346895dc10052/html5/thumbnails/13.jpg)
Intelligent Systems Design Lab. Doshisha University
GOA のまとめ
ガウシアンネット
分布の推定
母集団
(1)良好な個体を母集団 から選択
(2)分布を推定
( 6 )母集団内の個体と置き換え
Q学習
( 3 )モデルを決定
(4)新しい個体を生成
( 5 )良好な個体を生成した ネットワークに報酬
![Page 14: ガウシアンネットワークを用いた 確率モデル遺伝的アルゴリズム](https://reader036.vdocuments.net/reader036/viewer/2022081506/568152e2550346895dc10052/html5/thumbnails/14.jpg)
Intelligent Systems Design Lab. Doshisha University
数値実験
ガウシアンネットの有効性の検証
実数値 GA との性能比較
数値実験1:
数値実験2:
![Page 15: ガウシアンネットワークを用いた 確率モデル遺伝的アルゴリズム](https://reader036.vdocuments.net/reader036/viewer/2022081506/568152e2550346895dc10052/html5/thumbnails/15.jpg)
Intelligent Systems Design Lab. Doshisha University
対象問題
変数間に依存関係なし
変数間に依存関係あり
![Page 16: ガウシアンネットワークを用いた 確率モデル遺伝的アルゴリズム](https://reader036.vdocuments.net/reader036/viewer/2022081506/568152e2550346895dc10052/html5/thumbnails/16.jpg)
Intelligent Systems Design Lab. Doshisha University
実験1:ガウシアンネットの有効性
ガウシアンネットワークは変数間の依存関係を表現
設計変数間に依存関係のある問題において効率的な探索が期待される
xa xb xc xn
GOA とガウシアンネットワークを用いない GOA を比較しガウシアンネットの有効性を確認する
母集団サイズ:サンプル率:突然変異率:
2000.10.1
実験に用いたパラメータ
学習率:割引率:
0.30.3
![Page 17: ガウシアンネットワークを用いた 確率モデル遺伝的アルゴリズム](https://reader036.vdocuments.net/reader036/viewer/2022081506/568152e2550346895dc10052/html5/thumbnails/17.jpg)
Intelligent Systems Design Lab. Doshisha University
ガウシアンネットの有効性
Rastrigin (依存関係なし) Ridge (依存関係あり)
設計変数間に依存関係のある問題において有効
![Page 18: ガウシアンネットワークを用いた 確率モデル遺伝的アルゴリズム](https://reader036.vdocuments.net/reader036/viewer/2022081506/568152e2550346895dc10052/html5/thumbnails/18.jpg)
Intelligent Systems Design Lab. Doshisha University
実験 2 :実数値 GA との性能比較
比較に用いた実数値 GA
母集団サイズ:
世代交代モデル:
交叉法:
200
MGG ( sato1997 )
BLX-α ( eshelman1993 ) , UNDX ( ono1997 )
※20 試行の平均値で比較
![Page 19: ガウシアンネットワークを用いた 確率モデル遺伝的アルゴリズム](https://reader036.vdocuments.net/reader036/viewer/2022081506/568152e2550346895dc10052/html5/thumbnails/19.jpg)
Intelligent Systems Design Lab. Doshisha University
実数値 GA との性能比較
GOA は実数値 GA よりも高速に良好な解を得る
10D Ridge10D Rastrigin
Rastrigin (依存関係なし) Ridge (依存関係あり)
![Page 20: ガウシアンネットワークを用いた 確率モデル遺伝的アルゴリズム](https://reader036.vdocuments.net/reader036/viewer/2022081506/568152e2550346895dc10052/html5/thumbnails/20.jpg)
Intelligent Systems Design Lab. Doshisha University
まとめ
設計変数間に依存関係のある問題においてガウシアンネットワークによる依存関係の考慮は有効.
GOA は実数値 GA よりも少ない計算回数で良好な解を得ることができる.
新しい実数値確率モデル GA としてガウシアン最適化アルゴリズムを提案した.
![Page 21: ガウシアンネットワークを用いた 確率モデル遺伝的アルゴリズム](https://reader036.vdocuments.net/reader036/viewer/2022081506/568152e2550346895dc10052/html5/thumbnails/21.jpg)
Intelligent Systems Design Lab. Doshisha University
発表論文リスト
三木光範,廣安知之,吉田純一,金子美華:分散 GA の性能におよぼす交叉法とコーディング法の影響第 59 回情報処理学会全国大会,岩手県立大学( 1999.09 )
吉田純一,大向一輝,廣安知之,三木光範: PC クラスタシステムのベンチマークとツールの紹介第 15 回超並列計算研究会,同志社大学( 1999.11 )
三木光範,廣安知之,吉田純一,大向一輝:並列分散遺伝的アルゴリズムにおける最適な交叉スキーム第 6 回 MPS シンポジウム,同志社大学( 2000.03 )
吉田純一,大向一輝,廣安知之,三木光範:クラスタにおけるジョブ管理ツール DQS の紹介第 18 回超並列計算研究会,日本原子力研究所( 2000.05 )
三木光範,廣安知之,吉田純一,大向一輝:並列分散遺伝的アルゴリズムにおける新しい交叉法電子情報通信学人工知能と知識処理研究会,筑波大学( 2000.05 )
三木光範,廣安知之,畠中一幸,吉田純一:並列分散遺伝的アルゴリズムの有効性日本計算工学会 Transactions of JSCES, Paper No.20000038 ( 2000.08 )
吉田純一,三木光範,廣安知之,坂田善宣:遺伝的アルゴリズムにおける最良組み合わせ交叉第 31 回情報処理学会 MPS 研究会,東北大学( 2000.09 )
三木光範,廣安知之,吉田純一,大向一輝:分散遺伝的アルゴリズムのための新しい交叉法同志社大学理工学研究報告書,第 41 巻,第 3 号, pp.162-170 ( 2000.10 )
三木光範,廣安知之,水田伯典,吉田純一:並列分散遺伝的アルゴリズムを用いた巡回セールスマン問題の解法情報処理学会第 61 回全国大会講演論文集, pp.173-174 ( 2000.11 )
M.Miki, T.Hiroyasu, J.Yoshida, I.Ohmukai : New Crossover Scheme for Parallel Distributed Genetic AlgorithmsIASTED international conference on Parallel and Distributed Computing and Systems (PDCS 2000) , Riviera Hotel and Casino, Las Vegas, Nevada, U.S.A ( 2000.11 )
廣安知之, 三木光範, 谷村勇輔, 吉田純一, 佐野正樹:分散遺伝的アルゴリズムを用いた PC クラスタのベンチマーク 日本機械学会日本機械学会第 13 回計算力学講演会講演論文集,pp.497-498 ( 2000.11 )
三木光範,廣安知之,福永隆宏,吉田純一:実数値遺伝的アルゴリズムの分散効果の検討情報処理学会第 63 回全国大会講演論文集, pp.111-112 ( 2001.09 )
吉田純一,廣安知之,三木光範:汎用分散遺伝的アルゴリズムシステムによるディーゼルエンジンの燃料噴射スケジュール最適化第 8 回 MPS シンポジウム,同志社大学( 2001.10 )
J.Yoshida,T.Hiroyasu, M.Miki : Distributed Genetic Algorithms for Real-World ProblemsSuper Computing 2001 , Colorado convention center, Denver, Colorado,U.S.A ( 2001.11 )
吉田純一,廣安知之,三木光範:ベイジアンネットワークを遺伝的操作に利用した実数値遺伝的アルゴリズム第 14 回自律分散シンポジウム,東京大学( 2002.1 )
![Page 22: ガウシアンネットワークを用いた 確率モデル遺伝的アルゴリズム](https://reader036.vdocuments.net/reader036/viewer/2022081506/568152e2550346895dc10052/html5/thumbnails/22.jpg)
Intelligent Systems Design Lab. Doshisha University
![Page 23: ガウシアンネットワークを用いた 確率モデル遺伝的アルゴリズム](https://reader036.vdocuments.net/reader036/viewer/2022081506/568152e2550346895dc10052/html5/thumbnails/23.jpg)
Intelligent Systems Design Lab. Doshisha University
補足資料
![Page 24: ガウシアンネットワークを用いた 確率モデル遺伝的アルゴリズム](https://reader036.vdocuments.net/reader036/viewer/2022081506/568152e2550346895dc10052/html5/thumbnails/24.jpg)
Intelligent Systems Design Lab. Doshisha University
利点: 耐久性が高い コストが低い
欠点: 環境への悪影響 ( NOxやすすの排出)
燃焼特性によって変化.
GOA の実問題への適用(1)
ディーゼルエンジンにおける燃料噴射率最適化問題
燃料噴射率を変化させて NOxの出力を最小化
※本研究は近畿大, AVL社 との共同研究
![Page 25: ガウシアンネットワークを用いた 確率モデル遺伝的アルゴリズム](https://reader036.vdocuments.net/reader036/viewer/2022081506/568152e2550346895dc10052/html5/thumbnails/25.jpg)
Intelligent Systems Design Lab. Doshisha University
設計変数: 噴射率 (燃料噴射量の時間的推移)
目的: NOxの最小化
ソルバ: HIDECS (ディーゼル燃焼のシミュレータ)
GOA の実問題への適用(2)
GOA は GA よりも高速に良好な解を得ている
![Page 26: ガウシアンネットワークを用いた 確率モデル遺伝的アルゴリズム](https://reader036.vdocuments.net/reader036/viewer/2022081506/568152e2550346895dc10052/html5/thumbnails/26.jpg)
Intelligent Systems Design Lab. Doshisha University
0
50
100
150
200
250
300
1 6
0
50
100
150
200
250
300
1 6
GOA による探索結果 GA による探索結果
NOx排出量: 0.78208 g/kWhour NOx排出量: 0.79045 g/kWhour
GOA の実問題への適用(3)
![Page 27: ガウシアンネットワークを用いた 確率モデル遺伝的アルゴリズム](https://reader036.vdocuments.net/reader036/viewer/2022081506/568152e2550346895dc10052/html5/thumbnails/27.jpg)
Intelligent Systems Design Lab. Doshisha University
Q-Learning
強化学習
Q-Learning
教師なし学習
ある状態でとりうる行動に評価値: Q 値
行動選択の手がかり:報酬
エージェントは試行錯誤を通じて適切な制御規則を獲得
評価値に応じて行動を選択
エージェント
環 境
行動状態観測 報酬
GOA では依存関係は Q-Learning で学習
![Page 28: ガウシアンネットワークを用いた 確率モデル遺伝的アルゴリズム](https://reader036.vdocuments.net/reader036/viewer/2022081506/568152e2550346895dc10052/html5/thumbnails/28.jpg)
Intelligent Systems Design Lab. Doshisha University
1 2 312 3
Q 学習によるネットワークの学習
3 変数の場合
1
2
3
0
2
2
1
1
3
3
3
2
3
1
1
2
ノード:変数,パス:行動
ネットワークを決定
個体を生成
個体を評価良好な個体を生成したネットワークには報酬
ε-greedy 選択( ε=0.5 )
![Page 29: ガウシアンネットワークを用いた 確率モデル遺伝的アルゴリズム](https://reader036.vdocuments.net/reader036/viewer/2022081506/568152e2550346895dc10052/html5/thumbnails/29.jpg)
Intelligent Systems Design Lab. Doshisha University
1
2
3
0
2
2
1
1
3
3
3
2
3
1
1
2
ネットワークの学習
探索が進むと・・・
枝ごとに Q 値に偏りが生じる
太い枝は選択されやすい
太い枝のネットワークは良好な個体を生成する可能性が高い
Q 値を観測することで対象問題の依存関係がわかる?
![Page 30: ガウシアンネットワークを用いた 確率モデル遺伝的アルゴリズム](https://reader036.vdocuments.net/reader036/viewer/2022081506/568152e2550346895dc10052/html5/thumbnails/30.jpg)
Intelligent Systems Design Lab. Doshisha University
ネットワークの学習(1)
4D Rastrigin 関数
設計変数間に依存関係がない
相関係数は小さい
ネットワークを用いなくても性能は変わらない
Q 値に偏りがない学習が進む前に最適解を得る
![Page 31: ガウシアンネットワークを用いた 確率モデル遺伝的アルゴリズム](https://reader036.vdocuments.net/reader036/viewer/2022081506/568152e2550346895dc10052/html5/thumbnails/31.jpg)
Intelligent Systems Design Lab. Doshisha University
ネットワークの学習(2)
4D Ridge 関数
設計変数間に依存関係がある
ネットワークを用いた方が性能がよい
Q 値に偏りがある何らかの学習がなされている
問題の性質を把握は今後の課題
![Page 32: ガウシアンネットワークを用いた 確率モデル遺伝的アルゴリズム](https://reader036.vdocuments.net/reader036/viewer/2022081506/568152e2550346895dc10052/html5/thumbnails/32.jpg)
Intelligent Systems Design Lab. Doshisha University
ネットワークの学習(3)
4D Rosenbrock 関数
設計変数間に依存関係がある
相関係数が大きい
![Page 33: ガウシアンネットワークを用いた 確率モデル遺伝的アルゴリズム](https://reader036.vdocuments.net/reader036/viewer/2022081506/568152e2550346895dc10052/html5/thumbnails/33.jpg)
Intelligent Systems Design Lab. Doshisha University
GOA の流れ図
個体生成
評 価
選 択
分布推定
学 習
モデル構築
![Page 34: ガウシアンネットワークを用いた 確率モデル遺伝的アルゴリズム](https://reader036.vdocuments.net/reader036/viewer/2022081506/568152e2550346895dc10052/html5/thumbnails/34.jpg)
Intelligent Systems Design Lab. Doshisha University
GOA の問題点
サンプル個体群 = 母集団内の優良個体
0 , 0, 4, 00 , 0, 5, 00 , 0, 3, 0
0 , 0, 0.4, 0
0 , 0, 1, 00 , 0, 5, 00 , 0, 3, 0
0 , 0, 0.3, 0
GA では,選択によってエリートの数が増える
GOA では数は増えず,統計量のみが変化する
探索終盤での局所解からの脱出は困難?
個体1個体 2個体3
平均値
X0 X 1 X 2 X 3 X0 X 1 X 2 X 3
GOA ではビルディングブロックの交換はできない
![Page 35: ガウシアンネットワークを用いた 確率モデル遺伝的アルゴリズム](https://reader036.vdocuments.net/reader036/viewer/2022081506/568152e2550346895dc10052/html5/thumbnails/35.jpg)
Intelligent Systems Design Lab. Doshisha University
GOA の問題点
0, 0, 0, 1, 0
0, 0, 0, 0, 1
ビルディングブロックの交換ができない
0, 0, 0, 0, 0
0, 0, 0, 0.5, 0.5
![Page 36: ガウシアンネットワークを用いた 確率モデル遺伝的アルゴリズム](https://reader036.vdocuments.net/reader036/viewer/2022081506/568152e2550346895dc10052/html5/thumbnails/36.jpg)
Intelligent Systems Design Lab. Doshisha University
ベイジアンネットワーク
確率変数の間の定性的な依存関係をグラフ構造で表す
確率変数間の定量的な依存関係を条件付き確率で表す
このとき xb は xa に依存する.xa は xb の親ノード.
))(|()|( bbab XXPXXP
xa xb
ここで は xb の親ノード群)( bX
不確定性を含む事象を表現するために有向グラフを用いる確率モデル
![Page 37: ガウシアンネットワークを用いた 確率モデル遺伝的アルゴリズム](https://reader036.vdocuments.net/reader036/viewer/2022081506/568152e2550346895dc10052/html5/thumbnails/37.jpg)
Intelligent Systems Design Lab. Doshisha University
条件付き確率の例
![Page 38: ガウシアンネットワークを用いた 確率モデル遺伝的アルゴリズム](https://reader036.vdocuments.net/reader036/viewer/2022081506/568152e2550346895dc10052/html5/thumbnails/38.jpg)
Intelligent Systems Design Lab. Doshisha University
ガウシアンネットワーク
連続変数をベイジアンネットワークで扱う場合
離散変数をベイジアンネットワークで扱う場合条件付確率はすべての状態における条件付確率を並べた表( CPT )によって表す.
各変数の条件付確率を特定の連続関数に従うと仮定このときガウス分布すると仮定するもの
ガウシアンネットワーク
a = 1 のとき b = 0 である確率は 10%a = 2 のとき b = 0 である確率は 10% ・・・
![Page 39: ガウシアンネットワークを用いた 確率モデル遺伝的アルゴリズム](https://reader036.vdocuments.net/reader036/viewer/2022081506/568152e2550346895dc10052/html5/thumbnails/39.jpg)
Intelligent Systems Design Lab. Doshisha University
Q-Learning
S1 S2 S3 S4
A A A
BB
B
Q 値
Q-Learning の例
:状態 :行動 :報酬
S1 S2 S3 S4
A
B
![Page 40: ガウシアンネットワークを用いた 確率モデル遺伝的アルゴリズム](https://reader036.vdocuments.net/reader036/viewer/2022081506/568152e2550346895dc10052/html5/thumbnails/40.jpg)
Intelligent Systems Design Lab. Doshisha University
相関係数の影響
-2
0
2
-2
0
2
0
0.1
0.2
0.3
0.4
-2
0
2
-2
0
2
-2
0
2
0
0.1
0.2
0.3
0.4
-2
0
2
-2
0
2
-2
0
2
0
0.2
0.4
0.6
0.8
1
-2
0
2
-3 -2 -1 1 2 3
0.2
0.4
0.6
0.8
1
ρ=0.0 ρ=0.2 ρ=0.4
-3 -2 -1 1 2 3
0.2
0.4
0.6
0.8
1
-3 -2 -1 1 2 3
0.2
0.4
0.6
0.8
1
![Page 41: ガウシアンネットワークを用いた 確率モデル遺伝的アルゴリズム](https://reader036.vdocuments.net/reader036/viewer/2022081506/568152e2550346895dc10052/html5/thumbnails/41.jpg)
Intelligent Systems Design Lab. Doshisha University
GOA の世代交代モデル
S ( t )
O ( t )
P ( t )
P ( t+1 )
P ( t ) +O ( t )
サンプル個体群の選択
子個体の生成
世代交代
本研究で用いた世代交代モデル
GOA では任意の世代交代モデルが利用できる
![Page 42: ガウシアンネットワークを用いた 確率モデル遺伝的アルゴリズム](https://reader036.vdocuments.net/reader036/viewer/2022081506/568152e2550346895dc10052/html5/thumbnails/42.jpg)
Intelligent Systems Design Lab. Doshisha University
交叉点はランダムに決定
→良好なスキーマが組み合わされ るか否かは確率的要素に依存
うまく組み合わされても一方は淘汰される
→ 多様性の減少につながる
- 改良よりも改悪の方が多い( wu 97 )
:3
:2
:5:0
:3:2
1 2
1
2
部分解
交叉の問題点( 1 点交叉の例)
![Page 43: ガウシアンネットワークを用いた 確率モデル遺伝的アルゴリズム](https://reader036.vdocuments.net/reader036/viewer/2022081506/568152e2550346895dc10052/html5/thumbnails/43.jpg)
Intelligent Systems Design Lab. Doshisha University
確率モデル GA研究の動向
ビットストリング型の手法に関する研究が先行
実数値ベクトル型の手法で変数間の依存関係を考慮したものは少ない
ガウシアン最適化アルゴリズム Gaussian Optimization Algorithm: GOA
2 変数間の依存関係を考慮した実数値確率モデル GA
![Page 44: ガウシアンネットワークを用いた 確率モデル遺伝的アルゴリズム](https://reader036.vdocuments.net/reader036/viewer/2022081506/568152e2550346895dc10052/html5/thumbnails/44.jpg)
Intelligent Systems Design Lab. Doshisha University
対象問題
変数間に依存関係なし
変数間に依存関係あり
FGriewank
![Page 45: ガウシアンネットワークを用いた 確率モデル遺伝的アルゴリズム](https://reader036.vdocuments.net/reader036/viewer/2022081506/568152e2550346895dc10052/html5/thumbnails/45.jpg)
Intelligent Systems Design Lab. Doshisha University
ガウシアンネット
分布の推定
母集団
分布の推定
母集団
パラメータ
母集団サイズ:サンプル率:突然変異率:
2000.10.1
学習率:割引率:
0.30.3
GOA とネットワークなし GOA
実験 1 :ガウシアンネットの有効性
※20 試行の平均値で比較
![Page 46: ガウシアンネットワークを用いた 確率モデル遺伝的アルゴリズム](https://reader036.vdocuments.net/reader036/viewer/2022081506/568152e2550346895dc10052/html5/thumbnails/46.jpg)
Intelligent Systems Design Lab. Doshisha University
ガウシアンネットの有効性(1)
設計変数間に依存関係のある問題では有効
![Page 47: ガウシアンネットワークを用いた 確率モデル遺伝的アルゴリズム](https://reader036.vdocuments.net/reader036/viewer/2022081506/568152e2550346895dc10052/html5/thumbnails/47.jpg)
Intelligent Systems Design Lab. Doshisha University
ガウシアンネットの有効性(2)
設計変数間に依存関係のある問題では有効
![Page 48: ガウシアンネットワークを用いた 確率モデル遺伝的アルゴリズム](https://reader036.vdocuments.net/reader036/viewer/2022081506/568152e2550346895dc10052/html5/thumbnails/48.jpg)
Intelligent Systems Design Lab. Doshisha University
実数値 GA との性能比較(1)
GOA は実数値 GA よりも高速に良好な解を得る
![Page 49: ガウシアンネットワークを用いた 確率モデル遺伝的アルゴリズム](https://reader036.vdocuments.net/reader036/viewer/2022081506/568152e2550346895dc10052/html5/thumbnails/49.jpg)
Intelligent Systems Design Lab. Doshisha University
実数値 GA との性能比較(2)
GOA は実数値 GA よりも高速に良好な解を得る
10D Griewank 10D Ridge
![Page 50: ガウシアンネットワークを用いた 確率モデル遺伝的アルゴリズム](https://reader036.vdocuments.net/reader036/viewer/2022081506/568152e2550346895dc10052/html5/thumbnails/50.jpg)
Intelligent Systems Design Lab. Doshisha University
1
2
3
0
2
2
1
1
3
3
3
2
3
1
1
2
実験 3 :ネットワークの学習
探索が進むと・・・
枝ごとに Q 値に偏りが生じる
太い枝からなるネットワーク→ 良好な個体を生成した ネットワーク
Q 値を観測することで対象問題の依存関係がわかる?
対象問題Rastrigin, Ridge ( 4 変数)ノード:変数,パス:行動
![Page 51: ガウシアンネットワークを用いた 確率モデル遺伝的アルゴリズム](https://reader036.vdocuments.net/reader036/viewer/2022081506/568152e2550346895dc10052/html5/thumbnails/51.jpg)
Intelligent Systems Design Lab. Doshisha University
エンジンの実験結果
0.81
0.82
0.83
0.84
0.85
0.86
0.87
0 200 400 600 800 1000 12000
50
100
150
200
250
300
350
400
450
500
1 2 3 4 5 6
![Page 52: ガウシアンネットワークを用いた 確率モデル遺伝的アルゴリズム](https://reader036.vdocuments.net/reader036/viewer/2022081506/568152e2550346895dc10052/html5/thumbnails/52.jpg)
Intelligent Systems Design Lab. Doshisha University
実数値遺伝的アルゴリズム
実数値をそのまま遺伝子型とする
連続関数最適化問題において,ビットストリングを用いる GA より有効である ( Davis 91 )
![Page 53: ガウシアンネットワークを用いた 確率モデル遺伝的アルゴリズム](https://reader036.vdocuments.net/reader036/viewer/2022081506/568152e2550346895dc10052/html5/thumbnails/53.jpg)
Intelligent Systems Design Lab. Doshisha University
実数値 GA における交叉法
BLX-α UNDX
• 2つの親個体の各成分距離を α倍拡張した領域
• 設計変数間に依存関係のある 問題に弱い
• 領域内に子個体はランダムに生成
• 3つの親個体により定義される 正規分布領域
• 領域内に 2つの親の中点を対称に 子個体を生成• 設計変数間に依存関係のある 問題に強い
( Eshelman 1993 ) ( Ono 1997 )
![Page 54: ガウシアンネットワークを用いた 確率モデル遺伝的アルゴリズム](https://reader036.vdocuments.net/reader036/viewer/2022081506/568152e2550346895dc10052/html5/thumbnails/54.jpg)
Intelligent Systems Design Lab. Doshisha University
Rastrigin
GOA は実数値 GA よりも高速に良好な解を得る
![Page 55: ガウシアンネットワークを用いた 確率モデル遺伝的アルゴリズム](https://reader036.vdocuments.net/reader036/viewer/2022081506/568152e2550346895dc10052/html5/thumbnails/55.jpg)
Intelligent Systems Design Lab. Doshisha University
全試行の履歴
多峰性関数においては局所解で停滞することもある
![Page 56: ガウシアンネットワークを用いた 確率モデル遺伝的アルゴリズム](https://reader036.vdocuments.net/reader036/viewer/2022081506/568152e2550346895dc10052/html5/thumbnails/56.jpg)
Intelligent Systems Design Lab. Doshisha University
分布推定アルゴリズム( EDAs )の概要
確率モデル
分布の推定
分布推定アルゴリズム( Muhlenbein1996 )Estimation of distribution algorithms:EDAs
母集団内の良好な個体群の分布にもとづいて確率的に新しい個体を生成する
母集団
(1)良好な個体を母集団 から選択
(2)分布を推定し 確率モデルを構築
(3)新しい個体を生成し 母集団内の個体と置き換え
![Page 57: ガウシアンネットワークを用いた 確率モデル遺伝的アルゴリズム](https://reader036.vdocuments.net/reader036/viewer/2022081506/568152e2550346895dc10052/html5/thumbnails/57.jpg)
Intelligent Systems Design Lab. Doshisha University
GA と EDA の比較
評 価
選 択
交 叉
突然変異個体生成
評 価
選 択
分布推定・
GA EDA
EDA:交叉・突然変異を「分布推定」と「モデルに従った 個体の生成」に置き換えたもの
モデル構築
確率モデル GA ( Probabilistic Model Building GAs)