Gunosy 論文紹介Explaining and Harnessing Adversarial Examples Goodfellow, Shlens & Szegedy @google

Goodfellow+ 2015

• ICLR(International Conference on Learning Representations) 2015 poster session

• Szegedy2014の続き論文

• モントリオール大学Bengioの弟子，Maxoutの人

• Pylearn2の作者

• GoogLeNetチーム(ちなみにCaffeの作者Jiaもいる…)

• 本人のトーク: https://www.youtube.com/watch?v=Pq4A2mPCB0Y

“adversary” = 「妨害」=「意図的ノイズ混入」

Szegedy+ 2014 http://arxiv.org/abs/1312.6199

Nguyen+ 2015 http://arxiv.org/abs/1412.1897

動機

• 妨害でstate of artのNN(ConvNet)は誤認識

• その理由はなぜか

• 妨害を強みに変えられないか

• fast gradient sign method (fgsm)

• 定式:

• 入力データのコスト関数の勾配のsign関数を付加するだけ

x̃ = x+ ✏sign(rx

J(✓, x, y))

• MNISTの3/7を判別するロジスティック回帰問題

• 単一ユニット,活性化関数はロジステック関数

• ウェイト(a)で学習したものを，妨害(b)を乗せてテスト

• fgsmを適用 -> 99%のエラー率 (妨害なしでは1.6%のエラー率)

• 人間の目では判別できるのに，機械では全く判定できなくなる✏ = 0.25

妨害込みで学習する

• コスト関数を妨害込みで：

• 線型モデル(maxout + dropout), MNISTの例

• 妨害あり学習の学習時間はかなりかかる

• 妨害込みテスト：妨害なし学習のエラー率89.4% -> 妨害あり学習のエラー率 17.9%

J̃(✓, x, y) = ↵J(✓, x, y) + (1� ↵)J(✓, x+ ✏sign(rx

J(✓, x, y)), y)

非線形モデルは妨害に強い

• RBF(Radial Basis Function):

• 浅いRBFモデルをMNISTでトレーニング

• MNIST + 妨害 -> 55.4%のエラー率

• しかし，confidenceを取り違えたのは1.2%

• 非線形のRBFは妨害に強い

P (y = 1|x) = exp((x� µ)

T�(x� µ))

• “4”が正解の10MINIST問題

• 線形モデルとしてのmaxoutネット

• 線形モデルでは妨害の影響力が広範囲に渡る

x̃ = x+ ✏sign(rx

J(✓, x, y))

結論

• 妨害でNNが誤認識するのは，NNに線形モデルを採用しているから

• 妨害を含めて学習したNNは妨害に強くなる

• 非線形のRBFは妨害につよい

• 線形モデルでは妨害の影響は広範囲である

Adversarial examples

• Stanford CS231nのAssignment ConvNetを利用: http://cs231n.github.io/

• デモ: [conv - relu - pool] x 3 - affine - relu -

dropout - affine - softmax