discussion aiの脆弱性について
TRANSCRIPT
AIに対する漠然とした懸念
AISECjp
・世界経済フォーラム(WEF)
AIやIoTのような新しいテクノロジは、データの窃盗やビジネスの破壊、産業制御関連への
攻撃を企むサイバー攻撃者に、より大きな攻撃対象の領域を作り出している。
・Interop Tokyo 2016
新しい技術革新が起きたときに、最初はそれを使って何ができるかと夢を追うような議論
がされるが、実際に使われ始めて理解が進むと、セキュリティなどの現実的な議論が始まる。
・人工知能技術戦略会議
(1)生産性、(2)健康、医療・介護、(3)空間の移動、(4)セキュリティという四つのテーマを
産業化ロードマップとして策定。ただし中間まとめ案では、「セキュリティは共通基盤で技
術の進展も激しいので、対象とはしていない」(経産省)
機械学習モデルの窃取
▼参考文献
- Stealing Machine Learning Models via Prediction APIsAISECjp
機械学習モデルへの入出力値を手掛かりに、モデルの計算ロジック
(LRのDecision boundaryなど)を特定し、モデルを複製。
誤分類の誘発
AISECjp
分類器(CNN)への入力画像を(人間には分からないくらいに)
微小に細工することで、CNNの誤分類を誘発。
▼参考文献
- Simple Black-Box Adversarial Perturbations for Deep Networks
original :
perturbed :
(誤分類)
stingray
sea lion
ostrich
goose
jay
junco
water ouzel
redshank
報酬ハッキング
AISECjp
エージェントの学習に使用するポリシー(方策)を操作することで、
最適ではない行動を学習させる。
▼参考文献
- Vulnerability of Deep Reinforcement Learning to Policy Induction Attacks
モデルポイゾニング
AISECjp
大量の悪意のあるデータを分類器に学習させることで、決定境界を
最適値から外す(モデルポイゾニング)。
▼参考文献
-現実世界での機械学習によるアノマリ検知システムの構築と回避
機械学習ライブラリのバグを悪用
AISECjp
OpenCV, numpy, scikit-learnなどのライブラリに存在する脆弱性を
利用することで、DoSや制御の乗っ取りなどを行う。
▼参考文献
- The Pursuit of Exploitable Bugs in Machine Learning
AIのビジネス利用例
AISECjp
様々な分野でビジネス利用が進んでいる
・AIが窓口業務の補助
・利用客の多い場所・時間を予測してタクシーを配車
・Jリーグの年間入場者数の予測
・効率的な働き方のレコメンド
・マルウエア検知・侵入検知への利用
・保険査定業務の自動化
・自動運転自動車の開発
・・・
参考文献
AISECjp
・Stealing Machine Learning Models via Prediction APIs
https://arxiv.org/abs/1609.02943
・Simple Black-Box Adversarial Perturbations for Deep Networks
https://arxiv.org/abs/1612.06299
・Vulnerability of Deep Reinforcement Learning to Policy Induction Attacks
https://arxiv.org/abs/1701.04143
・現実世界での機械学習によるアノマリ検知システムの構築と回避
https://www.slideshare.net/codeblue_jp/by-clarence-chio-code-blue-2015
・ The Pursuit of Exploitable Bugs in Machine Learning
https://arxiv.org/abs/1701.04739