1

教師がコミティマシンの場合のアンサンブル学習

三好誠司　　 　原 一之　　　　岡田真人 　 神戸市立高専 　 都立工業高専 東大 , 理研 , 科技機さきがけ

2

背　景　（１）• アンサンブル学習

– 精度の低いルールや学習機械を組み合わせて精度の高い予測や分類を行う

• 教師が１個の単純パーセプトロン　で　 生徒が K 個の単純パーセプトロン　の場合の解析　　（三好，原，岡田， 2003-2004 ）

Teacher Students

1 2 K

3

背　景　（２）• 教師が１個の非単調パーセプトロン　で　 生徒が１個の単純パーセプトロン　　の場合の解析 （ Inoue & Nishimori, PRE, 1997) （ Inoue, Nishimori & Kabashima, TANC-97, cond-mat/9708096, 1997)

B1

x1 xN

BN

Teacher Students

J1

sgn( )ul

x1 xN

JN

4

目　的

• アンサンブル学習の特徴– 多数決などで生徒を組み合わせることにより，単一

の生徒では表現できない入出力関係を実現できる

• 教師がコミティマシンで生徒が K 個の単純パーセプトロンの場合のアンサンブル学習をオンライン学習の枠組みで解析

Teacher 　 Bmn Students 　 J1 ,J2 , ・・・ ,JK

1 2 KJ11 J21 JK1

sgn( )u l1 sgn( )u l2 sgn( )u lK

x1 x1 x1xN xN xN

J1N J2N JKN

5

Teacher 　 Bmn Students 　 J1 ,J2 , ・・・ ,JK

1 2 KJ11 J21 JK1

sgn( )u l1 sgn( )u l2 sgn( )u lK

x1 x1 x1xN xN xN

J1N J2N JKN

モデル（１）

• 同じ入力 x が同じ順序で提示される• 一度使った入力 x は廃棄される（オンライン学習）• 独立に学習• 多数決

6

生徒の長さ

• 入力：　 • 教師：　• 生徒：

モデル（２）

7

汎化誤差新たな入力に対して教師と異なる答を出す確

率

Gaussian

8

教師中間層と生徒の類似度

生徒間の類似度

9

l ,R,q を記述する微分方程式

生徒の長さ 教師と生徒の類似度

生徒間の類似度

10

ヘブ学習

パーセプトロン学習

アダトロン学習

11

汎化誤差のダイナミクス（ヘブ学習）

理　論

4030

K=1K=3K=5K=7K=9

M=9M=3

502010

0.5

0.4

0.3

0.2

0

Time

Ge

ne

rali

za

tio

n E

rro

r

4030 5020100

Time

0.5

0.4

0.3

0.2

Ge

ne

rali

za

tio

n E

rro

r

K=1K=3K=5K=7K=9

M=9M=3

計算機シミュレーション(N=1000)

12

4030 5020100

Time

1

0.8

0.6

0.4

0.2

0

Sim

ila

rity

R (M=9)

R (M=3)

q

4030

K=1K=3K=5K=7K=9

M=9M=3

502010

0.5

0.4

0.3

0.2

0

Time

Ge

ne

rali

za

tio

n E

rro

r

汎化誤差のダイナミクス（ヘブ学習）

13

汎化誤差のダイナミクス（パーセプトロン学習）

理　論

4030 502010

0.5

0.4

0.3

0.20

Time

Ge

ne

rali

za

tio

n E

rro

r

K=1K=3K=5K=7K=9

M=9

M=3

4030 5020100

Time

0.5

0.4

0.3

0.2Ge

ne

rali

za

tio

n E

rro

r

K=1K=3K=5K=7K=9

M=9

M=3

計算機シミュレーション(N=1000)

14

4030 5020100

Time

1

0.8

0.6

0.4

0.2

0

Sim

ila

rity

R (M=9)

q (M=9)q (M=3)

R (M=3)

4030 502010

0.5

0.4

0.3

0.20

Time

Ge

ne

rali

za

tio

n E

rro

r

K=1K=3K=5K=7K=9

M=9

M=3

汎化誤差のダイナミクス（パーセプトロン学習）

15

汎化誤差のダイナミクス（アダトロン学習）

理　論 計算機シミュレーション(N=1000)

4030 502010

0.5

0.4

0.3

0

Time

Ge

ne

rali

za

tio

n E

rro

r

K=1K=3K=5K=7K=9

M=9

M=3

4030 5020100

Time

0.5

0.4

0.3

Ge

ne

rali

zati

on

Err

or

K=1K=3K=5K=7K=9

M=9

M=3

16

4030 5020100

Time

1

0.8

0.6

0.4

0.2

0

Sim

ila

rity

R (M=9)

R (M=3)

q

4030 502010

0.5

0.4

0.3

0

Time

Ge

ne

rali

za

tio

n E

rro

r

K=1K=3K=5K=7K=9

M=9

M=3

汎化誤差のダイナミクス（アダトロン学習）

17

まとめ• 教師がコミティマシンの場合のアンサン

ブル学習をオンライン学習の枠組みで解析・議論

• ヘブ学習 → 生徒が教師中間層の中央に漸近• パーセプトロン学習 → アンサンブルの効果が残

る• アダトロン学習 → 過学習が起こる