DEEP LEARNING JP

[DL Papers]

”Controllable Invariance through Adversarial FeatureLearning” (NIPS2017)

Yusuke Iwasawa, Matsuo Lab

http://deeplearning.jp/

書誌情報

• NIPS2017 accepted

• Qizhe Xie, Zihang Dai, Yulun Du, Eduard Hovy, Graham Neiubig (CMU)

• 概要– 特定の属性に不変な表現を明示的に学習する方法の提案

• 選定理由：– もともと同じような研究してた

「敵対的訓練を利用したドメイン不変な表現の学習」（JSAI2017)

– 公平性・プライバシー系が最近ちょっと流行ってるっぽい

• 関連手法を含めて少しまとめ

• 余談：– 言語処理の研究室（Neiubigさんは元NAIST助教）

– FundもDARPAの言語処理系のもの

– https://www.darpa.mil/program/deep-exploration-and-filtering-of-text 2

アウトライン

1. 研究背景

1. なぜ不変な表現が必要なのか？

2. 不変な表現の学習手法の代表例

1. 統計的な尺度に基づく方法

2. グラフィカルモデルに基づく方法

3. 敵対的訓練を利用した方法

3. 本研究・実験

3

研究背景

• 不変性は機械学習において重要なテーマ

– 例：畳み込みネットワークは移動「不変性」を明示的に組み込むことで汎化性能を↑

• 畳み込みのようにヒューリスティックに不変性を埋め込むのは面倒or難しい

– 例1：回転に対する不変性

– 例2：画像の明るさに対する不変性

• 問い：より一般に，ある因子Sに対して不変になるようにニューラルネットワークを学習するにはどうしたらよいか？

4

不変性が必要な場面

5

1. 汎化性能

• 画像の明るさ（画像認識）• 環境のパラメータ（強化学習）• 言語の違い（言語処理）

2. 社会的制約

• 人種の違い（公平性配慮）• 機微情報の削除

（プライバシー保護）

※問題設定によっては”unbiased“とか”pivotal (pivot)”と呼ばれるがほとんど同じ意味※汎化性能に関しては「ドメイン適応（Domain Adaptation）」「ドメイン汎化（Domain Generalization）」の文脈で良く利用される

公平性配慮の必要性

• 社会システムの意思決定に，機械学習が使われることは

増える or 増えている

• 機械（機械学習システム）は公平か？

=> No（学習データ・アルゴリズムに依存する）

• 社会システムとしての意思決定に機械学習を使う上で重要

6

7

• ニューヨーク大に出来た研究所• 最近発表された？• テーマの一つに”Bias”• この分野の権威の一人Dworkがアドバイザ

https://ainowinstitute.org/

アウトライン

1. 研究背景

1. なぜ不変な表現が必要なのか？

2. 不変な表現の学習手法の代表例

1. 統計的な尺度に基づく方法

2. グラフィカルモデルに基づく方法

3. 敵対的訓練を利用した方法

3. 本研究・実験

8

Problem Definition: Formal Definition

• Assume

– Nuisance Variable: S

– Input: X

– Encoder: E

– Classifier: M

• Objective: min L(E(X), Y) – V(E(X), S)

– L(E(X), Y)：E(X)がYに関してどのくらい情報を持つか

– V(E(X), S)：E(X)がSに関してどのくらい情報を持つか

9

3つの手法

• 統計的な尺度に基づく方法

• グラフィカルモデルに基づく方法

• 敵対的訓練を利用した方法

– “Censoring Representation with an Adversary” [Edward, 2016]

– “Learning to Pivot with Adversarial Networks” [Louppe, 2017]

– “Controllable Invariance through Adversarial Feature Learning”

[Xie, 2017]10

統計的尺度に基づく方法：基本アイディア

11

• P(X|Red) とP(X|Blue)が近くなるように，制約をつければ良い• => P(X|Red)とP(X|Blue)の距離を何らかの方法で定義できれば良い

統計的な尺度に基づく方法 1/2：MMD

12

• Sの事例間類似度 + Tの事例間の類似度 - SとTの間の類似度

• 事例の類似度の計算は適当なカーネルを用いる

Learned Fair Representations (LFR) [Zemel, 2013]

13

LFR：MMDを使った公平表現学習

• Lx: z->xの再構成

• Ly: z->yの予測性能

• Lz: 異なるS間でのMMD

• =>αLx + βLy + γLzを最小化

Sを分類しにくい表現を学習できている

Sの分類性能

統計的な尺度に基づく方法2/2：CMD [Zellinger, 2017]

14

• CMD: Central Mean Discrepancy• モーメントを明示的に近づける（MMDは暗黙的にしか近づけない）• 計算量はO(n+m) ，MMDはO(mm + mn + nn)でよりCMDがより効率的

CMDの結果（上：活性の可視化，下：DAでの定量評価）

15

w/o CMD w CMDよりマッチ

DAで高精度

DDC: MMDを使ったやつ

DANN: 敵対的訓練使ったやつ

グラフィカルモデルに基づく方法：基本的な考え方

• グラフィカルモデル的にSと独立なZを考える

• 右図

– P(X, Z, S) = P(X|Z, S) P(Z) P(S)

– Xを周辺化すると，P(Z, S) = P(Z) P(S)

16

Z S

X

グラフィカルモデルに基づく方法：具体例

17

• 真の分布とモデルによる分布の差（モデルバイアス）によりこれだけでは上手く行かないことが知られている （特に表現力が小さい場合）[神嶌，2015]

• VFAEは，より強力なVAEでモデル化[Louizos, 2016]– ただし，推論分布Q(Z|X, S)によってZがSに依存するのでMMDと組み合わせる

厳密トピック独立潜在意味分析モデル[神嶌,2015]

Variational Fair Auto-Encoder(VFAE)[Louizos, 2016]

VFAEの結果（上：tSNE可視化，下：定量評価）

18

X w/o s and MMD w/ s and w/o MMD w/ s and MMD

Extended Yale B DatasetX：顔画像，Y：ユーザID，S：光が当たってる角度

敵対的訓練に基づく方法：モチベーション

• 統計的尺度に基づく方法の課題

– 2群の距離を測るため，Sが複数の値を取るときに指数関数的に計算量が大きくなる

– 正確な近似にはバッチサイズを大きくする必要がある

• グラフィカルモデルに基づく方法の課題

– 多くの場合推論が上手くいかない（グラフィカルモデル的に不変になるように設計しても不変になってくれない）

– VFAEはMMDを組み込むことで精度を上げている⇒上記と同じ問題を抱える

19

敵対的訓練に基づく方法：基本アイディア

20

Dの予測性が低い=不変性が高いとみなす

Dを騙すようにEを訓練

“Censoring Representation with Adversary” [Edward, 2016]

21

AFL: Adversarial Feature Leanring

• Lx: z->xの再構成

• Ly: z->yの予測性能

• Lz: Dの分類性能

• =>αLx + βLy - γLzを最小化

名前だけ削除するタスク

※このタスクの場合Yはないので２項目は使われていない

アウトライン

1. 研究背景

1. なぜ不変な表現が必要なのか？

2. 不変な表現の学習手法の代表例

1. 統計的な尺度に基づく方法

2. グラフィカルモデルに基づく方法

3. 敵対的訓練を利用した方法

3. 本研究・実験

22

本研究

• 基本的な手法は[Edward, 2016]と同じ（と思う）

• [Edward, 2016]との違い

– Sが2値でない場合にも上手くいくことを示した

– Encを非共有にする方法の有効性を示した

– 再構成誤差は使わない

– （VFAEより良いことを示した）

• 余談：ほとんど同じ研究がNIPS2017にもう一つ通ってる

– “Learning to Pivot with Adversarial Networks” [Louppe, 2017]

– 違いは(1) Encを共有しないこと，(2)どこまで不変にするか，(3)[Louppe, 2017]はToyな問題設定

23

実験１：Fair Classification

評価方法

1. Sをどのくらい予測できないか

2. Yをどのくらい正しく予測できるか

3. SによってYがどのくらい変わるか24

Adult income Dataset

Y：50,000ドル以上貯金があるか

S：年齡 N：45,222

German Dataset

Y：Credit Risk S：性別 N：1,000

Health Dataset

Y：入院するか(たぶん) S：年齡 N：147,473

モデル

1. E，M：単層のニューラルネット

2. D：3層のニューラルネットw/ BN

3. γ（重みパラメータ）：1

実験１：結果１

25

Sの分類精度（低いほど良い）

Yの分類精度（高いほど良い）

実験１：結果２

• Overallは同じか若干下がる

• Biased Categoryは，精度向上

=>Biasの少ない分類になっている

26

実験２：Multi-lingual Machine Translation

27

• ソース言語によらない高精度な翻訳

• モデル

– E：Bidirectional LSTM(256 units)を2層

– M：LSTM(512 units)を2層 + Attention

– D：LSTM(256 units)を1層

– γ：8

実験３：Image Classification

• S：光の当て方

– 正面，右上，左上，右下，左下の5値

• N：190（38人×5），γ：2.0

28

実験３：tSNEによる可視化

29

X Proposed Method

光の当たり方でクラスタ

Less Clustered

まとめ

• 不変性を明示的に（タスクに特化したデザインをあまりせずとも）組み込める方法を提案し様々なタスクで有効性を検証

– Fair Classification

– Multi-Lingual Translation

– Image Classification

• 敵対的訓練の利点

– Cf. MMDなど：Sが複雑でも取り入れやすい

– Cf. VFAE系：高精度

30