Damage-less watermark extraction using non-linear feature extraction scheme trained on frequency domain

～ Information hiding　 -meta data hiding- 　～

Graduate School of Media and GovernanceKensuke Naoe

Agenda

今までの研究の話電子透かしとはニューラルネットワークについて修士時代の研究

今やっている（やってみた）研究発見したこと

Background コンピュータやインターネットの急激な普及に伴い，マルチメ

ディアコンテンツを容易に作成，配布できるようになった． 注目されてきているのが，ディジタルコンテンツの販売．

iPod ， Gyao ，いまだと YouTube とか？ コピーコントロール技術は敬遠される

電子透かしの創世記 Napstar や Gnutella などの P2P ファイル共有システムが問題 コピーコントロールとよく勘違いされる．

国内でも WinMX や Winny が流行り，著作権という問題が注目されている．

電子透かしの用途不正な複製，改変，配布正当なユーザへの所有権，著作者の真贋，トラッキング

暗号（ PKI，電子署名）や電子透かしを組み合わせたセキュリティ強度の高い著作権処理システム

電子透かしとは「人間の知覚（視覚・聴覚）の特性を利用し，静止画，動画像，オーディオなどのディジタルコンテンツに対して，コンテンツ自体とは別の情報を，人間に知覚出来ないように埋め込む技術をいう」　　　　　　　　　電子透かし技術に関する調査報告書

平成 13年 3月社団法人　電子情報技術産業協会

暗号技術との類似性暗号

コンテンツが暗号化されていることは明らかに認識できる．また，コンテンツを秘匿したい．電子透かし

コンテンツは出来るだけ影響されずにそのままの状態．コンテンツとは別の情報が埋めこめられていることが認識できない．埋め込むデータを秘匿したい．

デジタル署名との類似性別の情報をコンテンツに添付する

デジタル署名コンテンツに添付するのでファイルサイズ（ビット数）が増加し，署名部分だけを削除することが容易

メタデータ多くの場合がデジタル署名と似た性質がある

電子透かしファイルサイズは増加せず，透かしだけの除去も困難

電子透かしに関する勘違い電子透かし技術は暗号・デジタル署名と併用できる

デジタル署名を電子透かし技術で埋め込む電子透かしの入ったコンテンツを暗号化して配布

電子透かしはそれらの技術を補完する技術であって，代替するものではない．

電子透かしの特徴 コンテンツの種類によって埋め込み・抽出手法が異なる．

画像なのか，動画なのか，音声なのかファイルサイズや利用条件

利用形態に応じて，柔軟に対応出来たほうがいい複数の可変要素を持たせるアルゴリズムで対応させる

数学的理論によって強度を保証出来る暗号と違うアルゴリズムを独自の非公開のものにすることが多い

インフォメーションハイディングとは コンテンツに対してデータを秘匿的に埋

め込む技術Robust watermarkFragile watermarkSemi-fragile watermarkSteganography

電子あぶり出し，深層暗号

別のカテゴライズとして不可視・高耐性

著作権保護不可視・低耐性

改ざん防止可視・非可逆

所有権者表示可視・可逆

コンテンツ配布

電子透かしの要件コンテンツ自体への埋め込み耐性コンテンツ品質埋め込み情報容量

電子透かし応用例 著作権主張モデル

不正利用の心理的抑制 不正利用の監視 著作権明示，サンプル画像の配布

原本性確認モデル 写真画像の改ざん検知 デジタル画像の改ざん位置検出 Web ページの真正性確認 情報の復元

メディアリンクモデル 商品の販売促進

現代版ステガノグラフィー

付属情報付加モデル 撮影情報付加 説明付加 字幕付加 吹き替え音声付加 CM付加 立体情報付加 議事録発言付加 個人情報付加

機器制御モデル コピープロテクション 有害コンテンツのフィルタリング メタ電子透かし

埋め込み抽出技術の概要デジタル画像動画像音声 文章

埋め込む情報の形態数字，文字コード，バイナリデータ 図形識別のためのパターンやマーク

電子透かしの仕組み（画像での例）

元の画像 電子透かしが埋め込まれた画像（不可視）

透かしの埋め込み

透かしの復元に必要となる復号鍵の生成

透かしの復元

復号鍵がないと透かしを復元できない

直江健介 直江健介

電子透かしが埋め込まれた画像が改変

透かし情報 透かし情報

著作権管理に用いるためには、透かし情報がいかなる処理を施しても頑健にコンテンツに存在し続ける必要がある＝ロバスト性

直江の研究 Damage-less watermark extraction using

コンテンツに対して埋め込みをまったく行わない Non-linear feature extraction scheme

埋め込まないとなると，ある程度特徴を認識しないと画像は多次元かつ複雑な要素を持っているので，分類するには非線形分離

Trained on frequency domainニューラルによる学習で実現しよう

どこにニューラルの入る余地があるか 周波数変換後の画像の、特定領域の特徴情報を入力とし、透かし情

報を応答とするパターン認識問題として捉える 学習による分類器（鍵）の生成 パターン分類（認識）による透かし情報の復元

画像の特徴情報は複雑かつ似た性質を持つ可能性があるため、非線形分離が必要 階層型ニューラルネットワークの多層パーセプトロンによるパターン分

離 バックプロパゲーション学習

教師付き学習，パターン分離や関数近似が得意 三層以上は非線形分離が可能

Watermark と steganography の両方になりうる

XOR 問題を backpropagation学習で解いてみる

3 層パーセプトロン 3 層構造 フィードフォワード型 ニューロンの入出力関数

シグモイド関数 Backpropagation 学習 x1 xi xM

i

j

k

jkw

ijw

入力層

中間層（隠れ層）出力層

シグモイド関数 多層パーセプトロンのニューロン入出力関数 シグモイド (sigmoid) = S 字

xy

exp1

1

x y

ネットワークの計算 ニューロンの入力値

前層のニューロン出力と結合係数の積和

jxj

yj

y1 yi yN

w1j wij wNj

N

iiijj ywx

1

パーセプトロンの動作1.0

-1.0

2.0

-1.0

1.0

-1.0

2.0

0.5

89.012.2exp1

1

y

62.05.0exp1

1

y

88.00.2exp1

1

y

0.88

0.62

12.262.00.288.00.1

x

50.162.00.188.00.1

x

18.050.1exp1

1

y

0.89

0.18 71.018.00.189.00.1

x

67.071.0exp1

1

y

0.67

結合係数 (Wij) の値によって最終出力が変わる どのように結合係数を決めてやるか？ → 学習させる

Backpropagation 学習多層パーセプトロンの学習則 教師付き学習 教師信号との誤差を逆方向に伝播して結合係数を修正する

入力信号2.0

0.5

出力信号0.67

教師信号1.0

誤差

1.0

-1.0

2.0-1.0

1.0

-1.0

0.9

-0.8

1.9-0.8

1.3

-0.9

提案手法（修士論文）フィルタ処理に特化したロバスト性の高い電子透かしの実現を最大の目標

JPEG 圧縮やフィルタ処理に対応するために特化した

提案手法の手順埋め込み処理1． 画像の周波数変換処理2． 鍵穴ブロックと鍵穴の位置情報埋め込みブロックの選定3． 鍵穴の位置情報の埋め込み4． 鍵の生成5． 画像の再構成復元処理１．　画像の周波数変換処理２．　鍵穴の位置情報の取り出し３．　埋め込み処理４．で作った復号鍵を用いて透かし情報の復元

提案手法の手順（埋め込み処理）

AB

透かし情報

鍵穴の位置情報

鍵穴の位置情報を埋め込んだ画素の位置情報

学習後の結合係数群

１．画像の周波数変換処理（変換、量子化）２．鍵穴ブロックと　　鍵穴の位置情報埋め込みブロックの選定

５．画像へ再構成（量子化＞逆量子化、変換＞逆変換）

３．鍵穴の位置情報の　　埋め込み４．鍵穴ブロックから透かし情報を認識する　　分類器の生成

鍵穴ブロックから鍵を生成（１）8x64

8x64

A

　　１．　鍵穴ブロック Aに着目

B拡大 ８

８

鍵穴ブロック A

鍵穴ブロックから鍵を生成（２）

２．二値化した透かし情報をBack Propagationの教師信号とする　　（教師信号＝透かし情報　　　　　　例：１０１１０１０１）３．学習後の結合係数と鍵穴の　　位置情報を復号鍵とする鍵穴ブロック

A

１．鍵穴ブロックに着目し　　　 対角線の係数を Back Propagationへの入力とする

階層型ニューラルネットワーク

・鍵穴の対角線の係数を入力、透かし情報を教師信号とし学習を行う。学習が収束した時の２対の結合係数 U,Vを鍵として外部で保持する

透かし情報

１　０　１　１　０　１

　０　１

提案手法（復元処理）１．画像の周波数変換処理（変換、量子化）

復号鍵である２対の結合係数群

２．鍵穴の位置情報の取り出し鍵穴の位置情報を埋め込んだ画素の位置情報

透かし情報

３．鍵穴ブロックの特徴情報を適応信号処理の入力とし、復号鍵である結合係数を用いて出力応答として透かし情報を得る

ブロックA

復元処理

1. 画像を周波数変換し、ブロックに分割する2. 復号に必要となる「鍵穴ブロック A」の位置情報を持つ「ブロック Bの位置」に関する位置情報を復号者は知っているためブロック Aを探索可能3.　　「鍵穴ブロック A」の対角線上の係数を適応信号処理の入力信号とし、復号鍵である結合係数群を用いて出力することで透かし情報得ることが出来る

A

B

周波数変換後の画像（ブロック分割）

復号鍵である２対の結合係数群

透かし情報

鍵穴の位置情報を埋め込んだ画素の位置情報

評価実験 実験１　透かし情報の認識率 実験２　フィルタに対する耐性評価

実験１：透かし情報の認識率

0

0.2

0.4

0.6

0.8

1

1 2 3 4 5 6 7 80

0.05

0.1

0.15

0.2

0.25

1 2 3 4 5 6 7 8bit

認識率 認識率

bit

図 1．透かし情報の入っているブロックから復号（ 1byteのデータ）

透かし情報（ビット列）：１０１１０１０１　　の復号実験

図 2．まったく関係ないブロックから復号（ 1byteのデータ）正しく復号できた 正しく復号できない

実験２：フィルタに対する耐性評価

0

0.2

0.4

0.6

0.8

1

1 2 3 4 5 6 7 81byteのデータを抽出

ハイパスフィルター処理後の認識率

図 1．フィルタ処理前の画像

図 2.フィルタ処理後の画像

bit

認識率

透かし情報の入った画像にデジタルフィルタをかけた後に透かし情報を復号できるか

問題点 識別率が悪かった

フィルタ処理を施さない段階においても，正しい入力に対する出力の認識率は隔たりがあり，いいブロックを選択する必要があった すくなくとも正しい入力のときは必ず正しい出力を得たい

学習の収束が遅かった 何を持って学習が収束したかの判断が難しかった

現在の研究 全く埋め込みをせず，特に特別な前処理をしないで学習，識別を目標とする

識別したい個数分を確実に分類できる分類器の生成を目的 ネットワークの構造をどう設計するかが鍵

学習の収束問題 バイアスニューロンを導入することで解決

各種フィルタ処理に対する耐性がどの程度なのかを検討する

実験要件 識別したい識別子は 32 個（とりあえず）

5bitで実現できる それぞれ入力は特徴情報の８画素の値（入力は 8ユニット）

出力が 5ユニット x 1 個のネットワークに 32種の学習 出力が 1ユニット x 5 個のネットワークに 32種の学習 出力が 32ユニット x 5 個のネットワーク　 1 回学習

512 ＊ 512の画像には 8 ＊ 8pixelのサブブロックが 4096 個 ブロック全体の反応としてはノイズが好ましい

5bitとしての例： 1 a 2 b 3 c 4 d 5 e 6 f 7 g 8 h

9 i 10 j 11 k 12 l 13 m 14 n 15 o 16 p

17 q 18 r 19 s 20 t 21 u 22 v 23 w 24 x

25 y 26 z 27 . 28 , 29 ~ 30 @ 31 / 32

個々のブロックの出力イメージとして31 25 12 3217146

11 15 29 22 137271819 24 2 28 119211130 31 3 16 326285 5 23 27 2026206

10 30 17 13 101418154 23 24 4 32127259 29 28 8 2191622

8x64

8x64

1

＝ 4096 個のサブブロック

実験 32 個のパターンを学習

4096 個のブロックは 32のどれかを出力する画像に対して直接改変処理 個々のブロックが改変前に出力していた値と改変後に出力する値が変わっているかどうかを確認入力を位置をランダムで決定した実験を 20 回行い，平均値を求めた

実験１　誤認識率入力の非認識率

0

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20(0.1 )加増改変の閾値 刻み

割合 正しい入力

その他

実験２　全体の誤認識ブロック非認識個数

3805

3810

3815

3820

3825

3830

3835

3840

3845

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20(0.1 )画像改変の閾値 刻み

個数 0.05閾値

0.1閾値

実験３　学習の閾値による違い学習の閾値による違い

0

5

10

15

20

25

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20(0.1 )画像改変の閾値 刻み

非認

識個

数

1系列2系列

実験４　誤認識率　 N=20

N=20誤認識率

00.20.40.60.8

1

1 3 5 7 9 11 13 15 17 19(0.1 )画像の閾値 刻み

割合 正しい入力

その他

まとめ画像に対して何も改変処理を施さない場合は，入力が正しものに関しては対応した正しい値が，それ以外の部分ではノイズになる

素直な使い方をすると攻撃に若干弱いようである Fragile watermarkに使えるかもしかし，ある程度保持し続けるので，すぐには透かしは壊れないので， semi-fragileといえる

全体ブロックの中には画像改変後にも同じ値を持ち続けるものが多数ある逆にこのブロックを利用できないか