部分空間法研究会2010 - cvlab.cs.tsukuba.ac.jpsubspace/ss2010d/subspace2010.pdf ·...

部分空間法研究会2010 Lectures on Subspace 2010 in conjunction with MIRU2010 2010 年 7 月 26 日釧路市観光国際交流センター

http://www.cvlab.cs.tsukuba.ac.jp/~subspace/ss2010d/

-部分空間法のフロンティア-

MIRU2010 サテライトワークショップ

主催部分空間法研究会実行委員会

共催画像の認識・理解シンポジウム (MIRU2010)

テーマ：部分空間法のフロンティア日本発の技術である部分空間法の研究会である当研究会は2006 年より活動を開始し，これまで

MIRU, ACCV, ICCVなどのサテライトワークショップとして研究会を開催してきました．本年はこれまでの活動を増強し，初の国内，国際同年開催となります．国際研究会はニュージーランドで開催される ACCV2010 のサテライトとして開催し，これまで同様優れた研究発表を募ります．国内研究会はこれまで着目していなかったパターン認識分野以外への応用，新しい Component analysis の技術に着目し，応用，技術の両面から部分空間法のフロンティアの発見に資することを目標に企画しました．

2010 年 7 月 26 日

部分空間法研究会Subspace2010実行委員長坂野鋭(NTT CS研)

実行委員会

実行委員長坂野鋭(NTT CS 研) 天野敏之(奈良先端大)，岩村雅一(阪府大)，内田誠一(九大)，大町真一郎(東北大学)，佐藤敦(NEC)，佐藤真一(NII)，佐藤洋一(東大生研)，玉木徹(広島大学)，福井和広(副委員長, 筑波大学)，堀田政二(東京農工大)，牧淳人(東芝欧州研)，山口修(東芝)，Bisser Raytchev(広島大学)，河原智一(東芝)

部分空間法研究会2010

2

プログラム開会の挨拶

坂野鋭(NTTコミュニケーション科学基礎研究所) 【招待講演】宇宙機システム監視と部分空間法

矢入健久(東大先端研) 異常検知・故障診断は，人工衛星に代表される宇宙機システムの安全性・信頼性を向上させる上で非常に重要なテーマである．これらのシステムでは一般に，多数のセンサーによって内部状態が監視され，その履歴データが地上局に蓄積されている．近年，このデータに機械学習やパターン認識の諸技術を応用することによって，高度かつ適用範囲の広い異常検知法が実現できるのではないかと期待されている．本発表では，このような立場から，部分空間法や次元削減法を応用した講演者らの取り組みを紹介する．

【招待講演】部分空間法を用いたリモートセンシング画像の土地被覆分類哈斯巴干(ハスバガン)(国環研), 竹内渉(東大生研), 山形与志樹(国環研)

土地被覆分類はリモートセンシング画像処理の重要な課題である．土地被覆分類では，土地被覆カテゴリ（クラス）を定義し，トレーニングデータとテストデータを選んでから，画像全体を分類する．リモートセンシング画像はその解像度（50cm×50cm～4km×4kmピクセル），次元数（数個～数百バンド），画素ビット（8ビット～32ビット），時系列データ期間などがデータの種類によって異なる．これらのデータセットの特徴を考慮して，今まで様々な土地被覆分類手法が開発されてきた．最近の研究では土地被覆分類の選択肢として部分空間法がある．部分空間法では，まずトレーニングデータを使用し，カテゴリごとにそのカテゴリを表現できる部分空間を作る．次に，画像ピクセルを各部分空間へ射影させて，画像全体を分類する．本研究では部分空間法を用いることで，少ないトレーニングデータから高い分類精度を得られることが分かった．また，画像の次元数が大きいほど，部分空間法が更に有効であることが分かった．リモートセンシングで一番重要なのは，指数関数的に増えるデータ量に対し，必要な情報量を失わないように，いかにして計算コストを節約するかである．研究と応用の両面において，データに対して精度が高くかつ高速分類できる手法が必要とされている．取り扱いが簡便である部分空間法はこのような高次元，高情報量のデータ処理に期待される．【チュートリアル】使ってみよう部分空間法! ‒Eingang- 堀田政二(東京農工大) , 河原智一(東芝), 坂野鋭(NTT)

部分空間法は光学的文字認識装置や顔認識装置などのパターン認識機械で高度に実用的な方法であり，既に多くの製品が市場で実用化されています．部分空間法には理論的な美しい背景もありますが，その圧倒的な魅力は「使える」ということにあります．そこで，さらに多くの方々に部分空間法を使ってもらおう，との願いから 2008年の部分空間法研究会において「使ってみよう部分空間法-部分空間法体験実習-」を実施し好評を博しました．今年は，2008年版の講演をさらにブラッシュアップし，よりわかりやすくいたしました．自由に編集できるプログラム (MATLAB/Octave) を配布しますので，部分空間法をすぐに研究等に応用することができます．是非この機会に部分空間法に触れてみてください．【チュートリアル】使ってみよう部分空間法! ‒Ausgang- 河原智一(東芝), 坂野鋭(NTT), 堀田政二(東京農工大)

この 40年の間に部分空間法は文字認識などの様々な製品に適用され，実用に供されるとともに，多くの改良が行われ，理論的にも発展してきました．この 10年ほどの最も大きなトピックスは相互部分空間法の物体認識などへの適用と再生核による非線形部分空間法の提案です．本チュートリアルでは相互部分空間法と非線形部分空間法の基礎と様々な改良，そしてどの技術がどの様なところで威力を発揮するかについて事例を踏まえながら丁寧に解説いたします．


3

keen

タイプライターテキスト

．．．．．5p

keen


．．．．．7p

keen


keen


．．．．．17p

keen


keen


．．．．．25p

keen


．．．．．34p

【チュートリアル】独立成分分析入門～音の分離を題材として～

澤田宏（NTT）独立成分分析(ICA: Independent Component Analysis)は，線形変換の一種であり，変換後の信号間の独立性を高めるものである．応用としては，音などの信号がどのように混合されたかを知らなくても，元の信号を復元できることが挙げられる．本チュートリアルでは，混ぜる音の数の増加と共に統計的性質がどのように変化していくかを見て，具体的にはその分布が正規分布に近づいていくことを確認する．その後，正規分布から遠ざける線形変換を繰り返し的に求める方法を説明する．また，実際に ICレコーダを用いて複数人の同時発話を録音し，独立成分分析により元の発話を復元するデモンストレーションを行う．【チュートリアル】非負値行列因子分解入門～音響信号処理を題材として～

亀岡弘和(NTT) 自然界には例えば，画素値，度数，パワースペクトルなど非負値で表わされるデータが多い．非負値行列因子分解(NMF: Non-negative Matrix Factorization) とは，このような非負値データから，データを構成している要素を取り出すための多変量解析手法の一種であり，画像からの特徴抽出や音源分離など多岐にわたって応用されている．NMF では主成分分析などと同様，与えられたすべてのデータベクトルを基底ベクトルの線形結合でできるだけ良く近似できるような基底系をうまく構成することが目的であるが，基底ベクトル，結合係数のいずれに対しても非負値制約が置かれている点が特徴である．本チュートリアルでは，NMF の興味深い性質，さまざまな観点からの異なる捉え方，アルゴリズムの導出の仕方などを解説しながら，NMF がどのような問題に実際に応用できるのかを音響信号処理を題材として紹介する．【特別招待講演】音声処理と部分空間法

有木康雄(神戸大学) 電話がかかってきて話をしている場合，誰からの電話なのか，どのような内容で，先方はどんな感情を持っているのか，人はこうした情報を容易に聞き分けることができる．音声信号には，このような話者情報，音韻情報，感性情報といった３つの情報が含まれている．音声処理では，これら３つの情報を音声信号から分離して抽出し，認識することが目的となる．人は，話者が変わっても発話内容や感情を認識できることから，これら３つの情報は独立に抽出・認識・変換できるはずである．しかし，これら３つの情報を独立に処理する方法は，現時点ではまだ確立されていない．これまでの研究では，話者情報，音韻情報，感性情報は，すべて同じスペクトル空間で表現され，SVMやGMM，HMMなど，それぞれの識別器を構成して認識が行われてきた．しかし，同じスペクトル空間では，話者情報，音韻情報，感性情報が混然一体となってしまっているため，充分な認識精度が得られない．そこで，これら３つの情報を分離する試みとして，話者情報を話者部分空間で表現し話者認識を行う方法が研究されてきた．また，音声認識においては，HMMの分散共分散行列をより少ないパラメータで表現するために，混合主成分分析を用いる方法や，HMMの平均ベクトルをより少ないパラメータで表現するために，部分空間を用いる方法などが研究されてきた(Subspace GMM)．音声認識とは異なるが，認識を行うために必要な音響モデルを，スペクトル空間ではなく部分空間において個別の話者に精度よく適応させる方法や，実環境で混入してくる雑音に対して，音声と雑音を部分空間により分離・抽出する方法など，パラメータ削減や主要な特徴の抽出，情報分離などの研究が部分空間を用いて行われてきた．本講演では，音声認識，話者認識，話者適応，特徴抽出における部分空間の適用方法を概観し，話者空間，音韻空間，感性空間の独立制御の可能性について展望する．


4

keen


keen


．．．．．45p

keen


keen


．．．．．53p

keen


．．．．．61p

Subspace 2010: An IntroductionAn Introduction

Hitoshi Sakano

NTT Comm. Sci. Lab.

26th Jul. 2010

これまでのお話

• Subspace2006 in Conjunction with MIRU2006– 東北文化学園大学(仙台)– 特別講演：黒澤さん(東芝)，村瀬先生(名大)– オーラル・ポスターハイブリッド方式(成功)

• Subspace2007 in Conjunction with ACCV2007東大生研(東京)– 東大生研(東京)

• Subspace2008 in Conjunction with MIRU2008– 軽井沢プリンスホテル– 特別講演：小川先生(東京福祉大学)– 部分空間法相談デスク(失敗)

• Subspace2009 in Conjunction with ICCV2009– 京都大学

実行委員会• 坂野鋭

• 天野敏之(NAIST)

• 岩村雅一(阪府大)：MIRU2010エリアチェア

• 内田誠一(九大)：MIRU2010出版委員長

• 大町真一郎(東北大)：MIRU2010エリアチェア

• 河原智一(東芝)

• 佐藤敦（NEC)：米国出張中

• 佐藤真一(NII)：

• 佐藤洋一(東大生研)：MIRU2010広報委員長

• 玉木徹(広島大)：MIRU2010若手プログラム委員長

• 福井和広(副委員長，筑波大)

• 堀田政二（東京農工大）：若手プログラム招待講演者

• 牧淳人(東芝欧州研)：英国勤務

• 山口修(東芝)：MIRU2010財務委員長

• Bisser Raytchev(広島大学)

Brief History

• 60th 複合類似度法（飯島）1，CLAFIC（渡辺）2

• 70th 混合類似度法(飯島)1,学習部分空間法（Kohonen)3などの様々な改良．初の実用OCR, ASPET/71発表4．

• 80th 相互部分空間法（前田）5，変動吸収核（村瀬）6．主として文字認識．

• 90th Eigenface (Turk, SELFICの復活)7, パラメトリック固有空間法（村瀬）8．相互部分空間法の物体認識への適用（山口）9，核非線形部分空間法（津田，前田）10,11，核非線形相互部分空間法（坂野）12，制約相互部分空間法（福井）13

• 21c様々な改良，応用範囲の拡大14，15


5

keen


State of art•X component analysis

•ICA16, PPCA17, 2DPCA18, L1‐PCA19, APCA20, NCA21, RCA22, NMF23

Face, Object RecognitionVisualization, Mining

部分空間法研究会

Various Applications

Recognition by Image set×

×

Aims of our Workshop

Face, Object RecognitionVisualization, Mining

•X component analysis•ICA16, PPCA17, 2DPCA18, L1‐PCA19, APCA20, NCA21, RCA22, NMF23

部分空間法研究会

Various Applications

Recognition by Image setSawadaKameoka

Ariki, Hasi, Yairi

Subspace…. the final frontier

Hotta

Programme• 0900‐0910:Introduction,坂野鋭• 座長：内田誠一• 0910‐1010:宇宙機システム監視と部分空間法, 矢入健久• 1010‐1110:部分空間法を用いたリモートセンシング画像の土地被覆分類，哈斯巴干,竹内渉,山形

与志樹• 1110‐1120:Morning Break• 座長：福井和広• 1120‐1200:使ってみよう部分空間法! –Eingang, 堀田政二，河原智一，坂野鋭• 1200‐1300：Lunch• 1300‐1400：使ってみよう部分空間法! –Ausgang, 河原智一，坂野鋭，堀田政二• 座長：仙田修司• 1400‐1500：独立成分分析入門～音の分離を題材として～, 澤田宏• 1500‐1510：Tea time• 座長：佐藤真一• 1510‐1610：非負値行列因子分解入門～音響信号処理を題材として～: 亀岡弘和• 1610‐1620：Coffee break• 座長：大和淳司• 1620‐1720：音声処理と部分空間法: 有木康雄• 1720‐1730：Closing,坂野鋭

参考文献

1. 飯島泰蔵，パターン認識理論，森北出版，19732. S. Watanabe, N. Pakvasa, ̀ `Subspace method of pattern recognition'', Proc. 1st IJCPR, pp. 25‐32(1973)

3. エルッキオヤ,パターン認識と部分空間法,産業図書,(1986)

4. 飯島泰蔵，文字読取装置ASPET/71，テレビジョン27(3), pp.157‐164, 1973

5. 前田賢一, 渡辺貞一,局所的構造を導入したパターン・マッチング法,電子情報通信学会論文誌D Vol.J68‐D No.3 pp.345‐352 ,19856. 村瀬洋, 木村文隆, 吉村ミツ, 三宅康二,パターン整合法における特性核の改良とその手書き平仮名文字認識への応用,電子情報通信学会論文誌D Vol.J64‐

D No.3 pp.276‐283, 1981. 村瀬洋，体験談：部分空間法による画像認識，in Proc. Subspace2006, pp.144‐149 が関連文献として興味深い．

7. M. Turk and A. Pentland ,“Eigenfaces for recognition”. Journal of Cognitive Neuroscience 3 (1): 71–86. 1991

8. 村瀬洋，S. Nayer, 2次元照合による3次元物体認識―パラメトリック固有空間法―，電子情報通信学会論文誌D Vol.J77‐D2 No.11 pp.2179‐2187 ， 1994

9. 山口,福井,前田,「動画像を用いた顔認識システム」,信学技報PRMU97ー50,(1997)

10. 津田宏治，ヒルベルト空間における部分空間法電子情報通信学会論文誌D Vol.J82‐D2 No.4 pp.592‐599，1999

11. 前田英作，村瀬洋，カーネル非線形部分空間法によるパターン認識，電子情報通信学会論文誌D Vol.J82‐D2 No.4 pp.600‐612，199912. 坂野鋭，武川直樹，中村太一，核非線形相互部分空間法による物体認識，電子情報通信学会論文誌D Vol.J84‐D2 No.8 pp.1549‐1556，2001

13. 福井和広，山口修，カーネル非線形制約相互部分空間法による物体認識，電子情報通信学会論文誌D Vol.J88‐D2 No.8 pp.1349‐1356，2005

14. 藤巻遼平,矢入健久,町田和雄,カーネル特徴空間における正準角を利用した宇宙機異常検知法, 人工知能学会全国大会 2A3‐1，200615. Hasi Bagan, Wataru Takeuchi, Yoshiki Yamagata, Xiaohui Wang, Yoshifumi Yasuoka. Extended Averaged Learning Subspace Method for Hyperspectral Data

Classification. Sensors, Vol. 9, No. 6, pp. 4247‐4270, Jun. 2009.

16. Aapo Hyvaerinen, Juha Karhunen, Erkki Oja, Independent Component Analysis ，Academic press,(2001)17. M. I. Tipping, C. M. Bishop, Probabilistic Principal component analysis, Journal of the Royal Statistical Society, Series B, 61, Part 3, pp. 611–622.

18. J. Yang, D. Zhang, A.F. Frangi and J.Y. Yang, Two‐dimensional PCA: A new approach to appearance‐based face representation and recognition, IEEE Trans. Pattern Anal. Machine Intell. 26 (2004) (1), pp. 131–137.

19. N Kwak, Principal Component Analysis Based on L1‐Norm Maximization, IEEE Trans Pattern Anal Mach Intell. 2008 Sep;30(9):1672‐80.

20. Xudong Jiang, Asymmetric Principal Component and Discriminant Analyses for Pattern Classification, IEEE Trans. PAMI, vol. 31 no. 5, pp. 931‐937,2009

21. Jacob Goldberger, Sam Roweis, Geoff Hinton, Ruslan Salakhutdinov, Neighborhood Components Analysis, In Proc. NIPS 2005

22. Y. Koren and L. Carmel. Robust linear dimensionality reduction. In IEEE Trans. Vis. and Comp.Graph., pages 459–470, 2004.23. DD Lee, HS Seung, Learning the parts of objects by non‐negative matrix factorization, Nature 401, 788‐791 (21 October 1999)

以下は，部分空間法の参考文献(解説)

1. 坂野鋭，パターン認識における主成分分析― 顔画像認識を例として―，統計数理，第49巻第１号，pp．23‐42

2. 黒沢由明，部分空間法の今昔（上） : 歴史と技術的俯瞰 : 誕生から競合学習との出会いまで，情報処理，Vol.49 No.5 ，pp．566‐5723. 福井和広，部分空間法の今昔（いまむかし）（下） : 最近の技術動向：相互部分空間法への拡張とその応用事例，情報処理，Vol.49 No.5., pp．680‐685


6

2010 7 26

•

•

•

•

•

1.

2.

3.

4.

•

1.

•––

•–––

•–

1.–

2.–

3.–

––


7

••• etc

On�Off etc.

a.k.a.,�

Mahalanobis ,�1�class�SVM,�SVDD,�etc.

1.

2.

3.

-20

-10

0

10

20

-20-1001020

0

10

20

30

40� � tttt f wuxx �� ,1

� � ttt g vxy ��

1.

2.

3.

4.

2.�

,� ,� ,� ," ",

23 (JSAI�2009)

Y2

Y1

YD

Y2

Y1

YD

!


8

1.

–

2.

–

3.

–

1. PCA

2. Kernel�PCA

3. Mixture�Probabilistic�PCA

4. Gaussian�Process�Latent�Variable�Model

5. LaplacianEigenmap Latent�Variable�Mode

6. K�means�

PCA

••• MSPC)

–•

– O(D3)•

KPCA

• PCA––

• [Hoffmann�07]– 1�class�SVM� competitive toy�problem

• Preimage [Kwok03]

Y F

[Schölkopf 98]MPPCA

• PCA PPCA

•–– VQPCA�

•

• EM– k�means

� � Ddm

D RRcccR �� yxy ˆ,,,1 ��

[Tipping�&�Bishop�99]


9

GPLVM

• Gaussian�Process

–GP

• PCA–––

PCA,ISOMAP

[Lawrence�04]

dR�x DR�y

LELVM)

• Laplacian Eigenmap [Belkin03]– LEM�:�Graph�Laplacian

– out�of�sample

– LEM

� � � ��

�

��N

nnN

n ny

ny

K

K

1 ,

,f x

yy

yyyx

� � � ��

�

��N

nnN

n nx

nx

KK

1 ,,gˆ y

xxxxxy

[Carreira�Perpinan07]

K�means

•– (ref.)�

–

•

•

A• EPS 14

•1400

• :�700

•

•

•

•

by�


10

B

• EPS 106

•3 2500

• :�2

2000

• 11003600

MPPCA

1.–

2.–

MPPCA

3.–

3.�

• Ryohei Fujimaki,�Takehisa Yairi,�Kazuo�Machida, "An�Approach�to�Spacecraft�Anomaly�Detection�Problem�Using Kernel�Feature�Space",�The�Eleventh�ACM�SIGKDD�International Conference�on�Knowledge�Discovery�and�Data�Mining�(KDD�05),� pp.401�410,�2005

•,� 20

,�2006


11

Sliding�Window{D1,D2..,DM}

D1 D2DM

N

KDD2005 ..

Dj Kernel�PCAScholkopf,�1998

�

�W

i

ji

jki

jk xv

1, )(�

][ 21j

mjjj vvvV ��Dj jv1

jv2

jmv

RS

�

�M

j

jk

jkk vwr

11 RS

111111 wAwU ��

kkTk wUwmax 1�kkk

Tk wAw 0�lkl

Tk wAwsubject�to

)1,,1( �� kl �

• r1 :�

• k rk (k>1)�:�

SQP

2 �

�M

j

jkkr vJ

k1

2,r

• RS�k k=1,..,m

• � :�

•

�

�m

kkk

1�� k k

�

Alarm

anomaly metric

prob

abili

ty d

ensi

ty

{D1,D2..,DM}

System�Block�Diagram

14

14

12

3


12

1 2

�ALC

�

�KFS

1%

4.�

• Yoshinobu KAWAHARA,�Takehisa YAIRI,�and�Kazuo�MACHIDA,� ”Change�Point�Detection�in�Time�Series�Data�based�on�Subspace Identification”,�Proceedings�of�the�7th�IEEE�International�Conference on�Data�Mining�(ICDM),�Omaha,�2007,�pp.559�564

• ,� ,� , "", ,� 23 2 ,�pp.76�85

, ,etc.

P y�P y�

t m t mt m

n

yt y y y yyyy y yt+n 2 t+n 1 t+nt+1t 1t 211

D P , P �D P , P �

P PP � P

1.�

2.

v.s.�

[Kano�et�al.�2004]

[Moskvina�&�Zhigljavsky�2003,�Idé�&�Inoue�2005]

ytyt+1

yt+k-1

…

yt+1yt+2

yt+k

… …Yk,N t U S VT

yt+N 1yt+N

yt+k+N 2

…

Yp = Yk,N t Yf = Yk,N t+1

YM ( t )T yt yt+1 yt+M 1…

�f f U1S11/2 1/2

Hankel

�ff �fp �ppT1/2 1/2

U1S1V1�pp �pf

�pp �pf

Yp

YfYp Yf

T T1N 1

yt

yt yt+1 yt+M 1…T T T T


13

x t+1 = Ax t +Ke ty t = Cx t +e t

=

CCA

CAk 1

… +�kxt , xt+1 , , xt+N 1…

L Yk,M L Ok

ytyt+1

yt+k-1

…

yt+1yt+2

yt+k

… …

yt+N 1yt+N

yt+k+N 2

…

etet+1

et+k-1

…

et+1et+2

et+k

… …

et+N 1et+N

et+k+N 2

…

yk

Hankel

L Yk,M L Ok

Yk,N (t)

Hankel

Ok[Katayama�&�Picci 1996]

�f f U1S11/2 1/2

� �kff OSU �� 2111

21

1.� 1,500

2.� RW 3,500RW

Precession�Angle

3 RW

*)

RW

1.� 1,500

2.� RW 3,500

500 40001000 1500

Martin

2500 3000 35002000

RW

RW

5.�

• Masao�Joko,�Yoshinobu Kawahara,�Takehisa Yairi, "Learning�Non�linear�Dynamical�Systems�by�Alignment�of�Local�Linear Models",�20th�International�Conference�on�Pattern�Recognition�(ICPR),�August,�2010.

• ,� ,� , "",� 24 (JSAI2010)

• 1980

•

• MOESP,�N4SID,�CVA(CCA)

• :� 04

N4SID04

CCA

• CCA Akaike76Larimore83 04

•

Xt

Y-,U- Y+

U+

Xt Xt+1

Yt Yt+1

UtUt-1

Xt

Yt

Ut-1 Ut+1


14

CCA

•

•CCA

• A,C,

��

��

��

�

�

)()()()(

2/12/1

2/12/1

tyUStxtyVStx

kffTb

kppTf �

TTppfpff

kkff

TTTTk

TTTTk

USV

tytyEktytytyty

ktytytyty

��

��

��

�� 2/2/1

)})()()({(])1(,,)1(,)([)(])(,,)2(,)1([)(

��

��

��

��

)()()()()()1(

tvtCxtytwtAxtx

where

1.

2.

��

��

)()()()()()1(

tvtCxtytwtAxtx

1. CCA

2.

��

��

)),(()),(|)(()),(()),(|)1((

oss

os

tss

ts

txCNstxtyptxANstxtxp

��

1.

2.

:�

• t,

• ,

��

��

)|()()|()(

kb

kf

yxpxpyxpxp�

)(txb)(tx f

)(txb)(tx f

1:�

• CCA [Bach&Jordan 06]

[Bach�and�Jordan�06]

),(~|),(~|

),0(~

22

11

��

xFNxyxFNxy

INx

k

k

d

�

x( )

2:�

•

[Verbeek 06]

� � �

��

Nn

n kknkk nynyxpxqDnynypL1

))(),(|(||)(())(),((log' ��

C=5, d=2)

x( )

sC=5,

)

*

-2 -1 0 1 -20

2

-1.5

-1

-0.5

0

0.5

1

1.5

2

c=1c=2c=3c=4

• GPDM[Wang05]�

••

••

* CMU�Graphics�Lab�Motion�Capture�Database�

..


15

2�:� A• EPS 14

6,� 5

p(s)�

6.

•

•

•

•

–– NEC––

• JAXA

•


16

Subspace method in remote sensing data land cover classification

(Hasi Bagan)

Subspace 2010July 26, 2010, Kushiro, Hokkaido

1

5. Polarimetric PALSAR

2


3

19961996288 CASI

2006

200848 191

2009

2010TM, ASTER

(MSM)

4

5

�

�

��

�

Select

x

900Selecttrainingsamples for

h l

GenerateSubspace for each class

TrainingxP i)(

o

90

Projection Map

each class each class)(iL

6


17

TM

50

1 DN

……

… ……………………………X�501 …

..

(6, 50)(50, 6)

(6 6)(6, 6)

7

� �, jiV�

8

n� �jiV

� � )(1 dnnjV ��

n� �, jiV

� � )(,,1, dnnjV ji ��

i j i jjiV , j jd

x

��n

jiT

i Vxxf 2, ][)( �

�j 1

9

Averaged Learning Subspace Method: ALSM

cixxSix

Ti ,,2,1,)(

)(0 ��

�

1

n n

�� TTii )()(

A

��

��injm Bx

Tnn

Ax

Tmm

ik

ik xxxxSS � )(

1)(2

Ai

i

ii

3

10

11


12


18

2006 7-813

(Source: CGER, NIES)14

(Hughes phenomenon )(Hughes phenomenon )(curse of dimensionality)

80

90

y (%

)

60

70

accu

racy

Hughes phenomenon

40

50

60

icat

ion

a g p

30

40

Cla

ssif

i

20

0 5 10 15 20 25 30 35 40

Number of Bands (Features)Number of Bands (Features)

15

1 Principal components analysis (PCA) with conventional1. Principal components analysis (PCA) with conventionalclassification methods

2 S t l l d t l i f ti2. Spectral angle mapper and spectral informationdivergence methodsmathematical morphology-based classification methodsclassification methods

3. Feature selection and feature extraction methods

4. Cluster and hierarchical classification methods

16

17

Case study 1CASI 2 2003CASI-2 2003

18(Hasi Bagan et al, IEEE GRSL., 2008)


19

ALSM

19

CASI-2(Support Vector Machine:SVM)

C1

(Support Vector Machine:SVM)

C2

C3

96% 89%

C4

C5

C6

C7

C8

C9

C10

C11

unclassifiedunclassified

CASI-2 SVM(RGB = 664, 561, and 470 nm) 20

Case study 2

224AVIRIS “Indian Pine” data sets (Purdue University)

T i i d t t d tB d 16 (548 ) Training and test dataBand 16 (548 nm)

C1 C2 C3 C4 C5 C6 C7 C8 C9 C10 C11 C12 C13 C14 C15 C16

21(Hasi Bagan et al, Sensors, 2009)

[0, 1]

s = (s1, s2, …, sn)T 1

Ti dsdsdss )/,,/,/( 21 ��

[ , ]

d = sqrt(s12+ s2

2+…+ sn2)q ( 1 2 n )

[-1, 1]

� � � �5.0

2

��

��

�� n

msmss

��

�n

iis

nm

1

1

� � � �1�

��

��

� �i

iii msmss

�i 1

22

�

),(),()(1

)( �� ijk

jik

ik

ik PPPP �

� �� lis

jli

ili

Tlili

jik ssssP

,

)(,

)(,,,

),( , �

�� ijij

23(Hasi Bagan et al, Sensors, 2009)

�

�

�

D5: [0.27, 0.45]D9: [0.03, 0.81]

�

24


20

50%50%

25

D6, ��0.51

C1 C2 C3 C4 C5 C6 C7 C8 C9 C10 C11 C12 C13 C14 C15 C16

Producer’s accuracy for land-cover class j: j

jjPAj p

pP�

�

U ’ f l d l i pUser’s accuracy for land-cover class i:�

�i

iiUAi p

pP

n

[pij]n n is a confusion matrix, pij is the number of pixels in mapped land cover class i and reference land cover j;

26

��

� �n

jiji pp

1

��

� �n

iijj pp

1

is the number of pixels in mapped land cover class i;

is the true number of pixels in land cover class j.


27

L d t ETM+ 2001

Case study 1

Landsat ETM+ 2001-2002

28

unclassified

urban/build up

forest

urban/build-up

paddy

cropland

grasslandg

golf-course

water

bare soil

86 29

vs.

1 Km2 2005ETM

30


21

Case study 2

31(Hasi Bagan et al, IEEE JSTARS., 2010)

1975 ( : SOM ) 1987

1999 2007

Water Tree Crop Sandy Sparse Grass Urban Bare Wetland 32

(a) 1975, (b) 1987, (c) 1999, and (d) 2007 *: [7]

[7] 4[ ]

33

: (a) Cropland along a river bank, (b) grassland converted to cropland,

(c) and (d) cropland opened in areas of sandy dunes.(c) and (d) cropland opened in areas of sandy dunes.

(a) (b)

34(c) (d)

x

n

��

�n

jji

Ti Vxxf

1

2, ][)(

� ��n

Tj V 2)1()( ][/)(�

��

MSM

� ��

�j

jiT

ij

ii Vxxg1

2,

)1()( ][/)( ��

0 CLAFIC 1 (MSM)

1 7 TM

� = 0 CLAFIC � = 1 (MSM)

1. 7 TM

2.

3.35

��

��injm Bx

Tnn

Ax

Tmm

ik

ik xxxxSS � )(

1)(

injm

� �n ��

�j

jiT

ij

ii Vxxg1

2,

)1()( ][/)(�

��

� �

(Hasi Bagan & Yoshiki Yamagata, PERS., 2010, in press)36


22

Case study 3

[8] Pl t 5SVM

MLC

[8] Plate5

37


38

2010-03-25 ALOS PALSAR L1.1: HH, HV, VH, VV

Banjarmasin

PALSAR L l 1 1PALSAR Level 1.1

2010-03-25 (RGB=HH, VH,VV)39

PALSAR

4 (HH+HV+VH+VV) +3 3C h T33 3Coherency <T3>

<T3>

<T3> 9

No-value Forest Water Urban Crop Veget-1 Veget-2 40


41

11.

Polarimetric PALSAR

2.

42


23

ALOS PALSAR

43

1. Erkki Oji. ( ). 1984.2. . . 1998.3. . . . vol.35,

N 3 34 42 1996No.3, pp.34-42, 1996.4. . . .

vol.45, No.5, 2006.5. Hasi Hasi Bagan, Yoshifumi Yasuoka, Takahiro Endo, Xiaohui Wang, Zhaosheng Feng, “Classification of Airborne

Hyperspectral Data Based on the Average Learning Subspace Method” IEEE Geoscience and Remote Sensing Letters vol 5Hyperspectral Data Based on the Average Learning Subspace Method , IEEE Geoscience and Remote Sensing Letters, vol. 5,No. 3, pp.368-372, Jul. 2008.

6. Hasi Bagan, Wataru Takeuchi, Yoshiki Yamagata, Xiaohui Wang, Yoshifumi Yasuoka. “Extended Averaged Learning Subspace Method for Hyperspectral Data Classification”, Sensors, vol. 9, No. 6, pp. 4247-4270, Jun. 2009.

7. Hasi Bagan, Wataru Takeuchi, Tsuguki Kinoshita, Yuhai Bao, Yoshiki Yamagata. “Land Cover Classification and Changeg , , g , , g gAnalysis in the Horqin Sandy Land From 1975 to 2007”, IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, vol. 3, No. 2, pp.168-177. Jun. 2010.

8. Hasi Bagan, Yoshiki Yamagata, “Improved subspace classification method for multispectral remote sensing image classification”, Photogrammetric Engineering and Remote Sensing, in press.

9. :vol.49, No.5, pp.680-685, 2008

10. D. vol.J84-D2 , No.8, pp.1549-1556, 2001

11 Scholkopf B ; Smola A ; Muller K R “Nonlinear component analysis as a kernel eigenvalue problem” Neural11. Scholkopf, B.; Smola, A.; Muller, K.R. Nonlinear component analysis as a kernel eigenvalue problem , Neural Computation, vol. 10, No. 5, pp. 1299-1319, Jul. 1998.

12. Washizawa, Y.; Yamashita, Y. “Kernel projection classifiers with suppressing features of other classes”, Neural Computation,vol.18, No. 8, pp. 1932–1950, Aug. 2006.

44


24

使ってみよう!部分空間法-Eingang Ausgang-

Introduction

Eingang：堀田政二，河原智一，坂野鋭

Ausgang：河原智一，坂野鋭，堀田政二

チュートリアルの狙い

• Eingang： Entrance と Input の両方の意味で用いられる独逸語．

– 堀田，et al. 「使ってみよう部分空間法 -部分空間法体験実習-」を改良．

– B4, M1くらいを対象．Lagrangeの未定係数法も解説するぞ!という勢い部分空間法を理解してもらうするぞ!という勢い．部分空間法を理解してもらう．

• Ausgang: ExitとOutputの両方の意味で用いられる独逸語

– 河原：相互部分空間法

– 坂野：非線形部分空間法

– 具体的な問題にあたっている研究者が対象．基本的にはこれらの技術の紹介．部分空間法を使ってもらう．

タイムテーブル

• 11：20-12：00：堀田部分空間法入門．

• 12：00-13：00：昼食＊．

• 13：00-13：25：河原相互部分空間法．

13：25 13：50：坂野非線形部分空間法• 13：25-13：50：坂野非線形部分空間法．

• 13：50-14：00：堀田 MATLABスクリプト説明．

＊昼食時間中も講演者は会場におりますので秘密の質問など歓迎です．

謝辞

• 本チュートリアル作成に当たりお世話になった皆様に感謝します．筑波大学の大川泰弘さんには，相互部分空間法，非線型相互部分空間法など多くの貴重なプログラムを提供して間法など多くの貴重なプログラムを提供していただきました．NTT CS研の同僚諸氏からはいくつかの数学的問題についてご教示頂きました．


25

(1)

部分空間法研究会 2010

使ってみよう部分空間法！ - eingang -

堀田政二 (東京農工大学) 河原智一 (東芝) 坂野鋭 (NTT)


2010年 7月 26日

(2)


目的と内容

目的と内容

パターン認識法の一つである部分空間法 (CLAFIC) を理解することを目的とし，そのために必要な以下の内容について解説する：

数学的準備 (ベクトルによる偏微分，ラグランジュ乗数法)

部分空間法 (CLAFICの直感的な理解．相互部分空間法，非線型部分空間法への橋渡し)

MATLAB/Octaveを用いた手書き数字パターン認識の実験

本講演で使用するプログラムは以下のページからダウンロード可能：

http://www.tuat.ac.jp/∼s-hotta/ss2010

(3)


数学的準備線型部分空間

線型部分空間とはなんですか？ 1/3

これは部分空間ですか？ [1]

0

これは空間の一部分で “部分空間”ではない英語では subspace．subは (身分や質が) 下，下位等の意味 ( ⇐⇒super)

もとの空間よりも次元数 (空間に置ける座標軸の本数) が小さい空間 (上の図では 2，1，0次元) (4)




これは部分空間ですか？ [1]

0

これは空間の一部分で “部分空間”ではない英語では subspace．subは (身分や質が) 下，下位等の意味 ( ⇐⇒super)

もとの空間よりも次元数 (空間に置ける座標軸の本数) が小さい空間 (上の図では 2，1，0次元)

(5)




どれが線型部分空間ですか？

0

�

�

�

1©が正解足し算・引き算・スカラー倍が可能な集合 (6)




どれが線型部分空間ですか？

0

�

�

�

1©が正解足し算・引き算・スカラー倍が可能な集合


26

(7)




0

1

�

�

��

��

�� !"#$%��&'

2©と 3©は点同士の足し算，スカラー倍が外に飛び出す2©は集合上の任意の点を独自の原点と定めれば線型部分空間のように扱える (affine subspace, linear manifold, linearvariety) (8)


数学的準備内積とノルム

内積とノルム本講演ではパターンを d次元の縦実ベクトルで表現:

x =

⎛⎜⎝

x1

...xd

⎞⎟⎠ , x� = (x1, ..., xd)

内積の例：x�x =

∑di=1 x2

i =‖x‖2

xのノルム: ‖x‖ =√

x�x

二つのベクトルのなす角度:

cos θ = x�y‖x‖‖y‖

正規化されたパターン同士のユークリッド距離:∥∥∥ x‖x‖ − y

‖y‖∥∥∥2

= 2(1 − cos θ)

��1

n + 1 次元空間における n 次元単位球面

(n ≥ 3 のとき超球面と呼ぶ)

(9)


数学的準備部分空間への正射影

部分空間への正射影r次元線型部分空間を張る d次元正規直交ベクトルを u1, u2, ...,ur とし，それらを並べた d × rの行列 (部分等長行列) をU = (u1|u2| · · · |ur)とする (U�U = I)

0

x~

x

1u

2u

1c

2c

Rr での x̃の座標：c = U�x = (u�

1 x|u�2 x| · · · |u�

r x)�

Rd での x̃の座標：x̃ = Uc = UU�x (xのUによる展開)

UU� は直交射影行列と呼ばれる (10)


数学的準備ベクトルによる偏微分

ベクトルによる偏微分

∂∂x は xに関する偏微分を表し，その第 i成分が ∂

∂xiとなるベクトル

∂

∂x=

(∂

∂x1· · · ∂

∂xd

)�

例 (1)：内積 f = x�x =∑d

i=1 x2i を xで偏微分すると

∂∂xf = ∇f =

(∂f∂x1

· · · ∂f∂xd

)�= (2x1 · · · 2xd)� = 2x

例 (2)：d× dの対称行列をAとしたとき，二次形式 f = x�Axをxで偏微分すると ∂

∂xf = 2Ax

例 (3)：双一次形式 f = x�Ayを xで偏微分すると ∂∂xf = Ay

(11)


数学的準備arg，max，subject to の意味

arg，max，subject toの意味

それぞれどのような意味でしょうか？max f(x)f(x)の最大値max‖x‖=1

f(x)

‖x‖ = 1を満たす xが与える f(x)の最大値argmax

xf(x)

f(x)を最大にする xの集合．この argは偏角ではなく，引数という意味．argmin

xf(x)も同様に定義できる

subject to · · ·· · · のもとで，という意味．s.t. と略記する場合もあるmax

xf(x), s.t. · · ·

xに関する制約条件下での f(x)の最大値 (12)





f(x)


xf(x)




xf(x), s.t. · · ·

xに関する制約条件下での f(x)の最大値


27

(13)





f(x)


xf(x)




xf(x), s.t. · · ·






f(x)


xf(x)




xf(x), s.t. · · ·


(15)





f(x)


xf(x)




xf(x), s.t. · · ·






f(x)


xf(x)




xf(x), s.t. · · ·


(17)





f(x)


xf(x)




xf(x), s.t. · · ·






f(x)


xf(x)




xf(x), s.t. · · ·



28

(19)





f(x)


xf(x)




xf(x), s.t. · · ·






f(x)


xf(x)




xf(x), s.t. · · ·


(21)


数学的準備ラグランジュ未定乗数法

ラグランジュ未定乗数法の解法レシピ制約条件のもとで関数の極値を求める方法の一つ [2, 3]．主成分分析，SVMの導出等，知っていれば多くのパターン認識に関する問題が解ける

問題設定制約条件 g(x) = 0のもとで関数 f(x)の極値を求めよ

ラグランジュ乗数 λを用いてラグランジュ関数を導入

L = f(x) − λg(x)

制約条件のもとで関数が極値をとる点は次式を満たす1：∂

∂xL = ∇f − λ∇g = 0,

∂L

∂λ= 0

上記から d + 1個の方程式が得られる．一方，未知数は x1,...,xd, λの d + 1個なので，方程式の解を求めることができる

1付録 1参照 (22)


数学的準備ラグランジュ未定乗数法

ラグランジュ未定乗数法の例(部分空間法で頻出する例) Aを半正定値対称行列とする．u�u = 1の制約条件のもと，u�Auの最大値を求めよ

maxu

u�Au

s.t. u�u − 1 = 0

ラグランジュ乗数 λを用いてラグランジュ関数を導入

L = u�Au − λ(u�u − 1)

制約条件のもとで関数が極値をとる点は次式を満たす：

∂L/∂u = 0, ∂L/∂λ = 0

∂L/∂u = 2Au − 2λu = 0より，解は以下を満たす：

Au = λu

これは固有値問題2．求める解は最大固有値に対応するAの固有ベクトル(左から u� を掛けてみよう．u�u = 1に注意)

2固有値，固有ベクトルについては付録 2を参照

(23)


部分空間法CLAFIC

部分空間法 - CLAss-Featuring Information Compression -

クラスらしさを部分空間で表現する方法 [4, 5]．部分空間法は主に三つの観点から独立に見出された経緯がある

クラスの特徴を統計的に抽出する [6]

視覚情報に関する理論から [7]

統計学からみて自然な発想 (縮退ガウス分布)

(24)


部分空間法CLAFIC

CLAFICの識別則

問題設定：総数 n個の d次元訓練パターン xi (i = 1, ..., n)が与えられており，それらがC個のクラスのいずれか一つに属するとするクラス jに属する訓練パターンを良く近似できる部分空間を張る正規直交ベクトルを並べた行列をUj とする未知パターン xが与えられたとき，xを良く近似できる部分空間が属するクラスを以下の識別則に基づき出力する：

CLAFICの識別則

maxj=1,...,C

{‖U�j x‖} = ‖U�

k x‖ ⇒ x ∈ class k


29

(25)


部分空間法CLAFIC における識別則の直感的な理解

CLAFICにおける識別則の直感的な理解

x

0

xU Tj

jUx

jd

class j

x

0 x

class j

��

CLAFICにおける原点は各クラス共通未知パターン xを部分空間を使って最も良く近似できるクラスへ分類する⇒ d2

j = ‖x‖2 − ‖U�j x‖2が最小のクラスへ分類する．ただ

し，‖x‖2が全クラス共通なので，結局 ‖U�j x‖2が最大とな

るクラスへ分類すれば良い (26)


部分空間法cos θ 最大化基準から見た CLAFIC - 相互部分空間法への橋渡し -

cos θ最大化基準から見たCLAFIC 1/3

Uを部分空間を張る正規直交ベクトルを並べた d × rの行列とする．ノルムが 1に正規化された未知パターン xとUの線型結合パターンUcとのなす角度の最大値を c�c = 1の制約条件のもとで求めよ:

maxc

x�Uc = cos θ

s.t. c�c − 1 = 0(1)

なお ‖x‖ = 1，‖Uc‖ =√

(Uc)�(Uc) =√

c�Ic = 1，クラスの添え字j を省略していることに注意

1u2u

x

Uc

(27)




式 (1)のラグランジュ関数を導入 L = x�Uc − λ2 (c�c − 1)

∂L/∂c = U�x − λc = 0より，解は以下を満たす：

c =1λU�x (2)

制約条件より

c�c =1λ2

(U�x)�(U�x) =1λ2

‖U�x‖2 = 1

となるから λ = ‖U�x‖であることがわかる求めた λを式 (2)に代入すれば

c =U�x

‖U�x‖となる．これは xをUの張る部分空間へ正射影したパターンをノルム 1に正規化したものに他ならない (28)




求めた c = (U�x)/‖U�x‖を x�Ucに代入すると

cos θ = x�Uc =x�UU�x

‖U�x‖ =‖U�x‖2

‖U�x‖ = ‖U�x‖ = λ

したがって最大の cos θを与える部分空間上のパターンは(U�x)/‖U�x‖ ∈ R

r，または (UU�x)/‖U�x‖ ∈ Rdで与えられ，

その cos θの値は ‖U�x‖である

1u2u

x

xUxUUUc

T

T

=

(29)



相互部分空間法への拡張

未知パターン xを部分空間上のパターンに変更することで，相互部分空間法に容易に拡張できる：Vを部分空間を張る正規直交ベクトルを並べた d × sの行列とする．Vの線型結合パターンVbとUの線型結合パターンUcのなす角度の最大値を b�b = 1，c�c = 1の制約条件のもとで求めよ:

相互部分空間法への拡張

maxb,c

(Vb)�(Uc)

s.t. b�b − 1 = 0, c�c − 1 = 0

これもラグランジュ未定乗数法で解ける．詳しくは午後のチュートリアルを参照

(30)


部分空間法部分空間の求め方

Uをどのように求めるか？ 1/2

部分空間へ正射影したパターンのバラツキが大きい軸から r本を選ぶ (下の例では赤の部分空間)

0


30

(31)



Uをどのように求めるか？ 2/2

n個の訓練パターン x1, ...,xn が与えられた場合，はじめにyi = u�

1 xi のバラツキ (y2i ) が最大となる u1 を求めることを考

える：

maxu1

n∑i=1

(u�1 xi)2 = u�

1

(n∑

i=1

xix�i

)u1

s.t. u�1 u1 − 1 = 0

ラグランジュ未定乗数法から，解は行列D =∑n

i=1 xix�i の最大固

有値 λ1 に対応する固有ベクトルであることがわかる

一般に，バラツキの値が r番目に大きい正規直交ベクトル ur はDの r番目に大きい固有値 λr に対応する固有ベクトルで与えられる

クラスごとに r次元の部分空間を張る固有ベクトルを並べた行列Uj = (u1| · · · |ur)を求め，それらを識別に用いる

(32)



次元数 dが大きい場合 (非線型部分空間法への橋渡し)

訓練パターンを並べた d × nの行列をX = (x1| · · · |xn) とするdが大きい場合，d × dの行列D = XX�をメモリに格納するのは困難固有値，固有ベクトルを計算するのも大変n dのときは n× nの行列N = X�Xの固有ベクトルと固有値からUを計算した方が効率的

※固有ベクトルを求めるだけならばX�Xを nで割る必要はない(固有値が n倍される)

(33)



固有ベクトルの変換公式

行列N = X�X ∈ Rn×nの r個の 0でない固有値を大きなものか

ら順に λ1, ..., λr (D = XX�の固有値と同じ) とし，それぞれに対応する固有ベクトルを v1, ...,vr ∈ R

nとする．i番目に大きい固有値に対応する d次元の固有ベクトル uiは以下で求めることができる [8]：

固有ベクトルの変換公式

ui =±Xvi√

λi

超高次元 (または無限次元) の固有ベクトルもこれで表現できる⇒ 非線型部分空間法で利用できる

(34)


計算機実験

手書き数字パターン認識の実験

実験には http://www.gaussianprocess.org/gpml/data/で公開されている USPS手書き数字データを使用16 × 16ピクセルの手書き数字パターンを 256次元のベクトルにしたもので，未知 ·訓練パターン数はそれぞれ 4649実験で使用するプログラムは makedata.mと clafic.m

(35)


計算機実験makedata.m

データに関する注意と makedata.mの内容

オリジナルの USPSデータは未知パターンと訓練パターンの収集方法が異なるため，前述のウェブサイトで公開されているものは以下のような修正が施されている：

未知パターンと訓練パターンをランダムに混ぜた後，同数の未知パターンと訓練パターン集合に分割画素値が [−1,+1]となるようにスケーリング

ただし，上記のデータは原点が 0である保障がないことと，画像が横向きに保存されていること，ならびにクラスラベルが pair-wiseな形式で保存されていることから，以下のような修正を makedata.mを用いて行う：

画像を縦方向に変換画素値が [0, +1]となるようにスケーリングクラスラベルを 0から 9となるように修正

修正を施したデータは usps.matという名前で保存(36)


計算機実験clafic.m

clafic.mの内容

clafic.mを実行すると以下の結果が表示されるFigure 1：各クラスで求められた固有値の大きい上位 10個に対応した固有ベクトルFigure 2：imgnum番目の未知パターンのUj による展開を画像化したもの (r = 13)

識別率と 1パターンあたりの平均識別時間なお，プログラム先頭の rや imgnumの値を変えると結果がかわるので，いろいろと値を変えてみよう


31

(37)


計算機実験記号の意味

発表資料とプログラムで使われている記号の対応表

意味発表資料プログラムクラス数 c nclass次元数 d d

未知 ·訓練パターン数 n ndata第 i訓練パターン xi trai(:,i)

第 i訓練パターンのラベル trai_label(i)第 i未知パターン x test(:,i)

第 i未知パターンのラベル test_label(i)クラス jの部分等長行列Uj Uj C(j).Uベクトル xと yの内積 x�y x’*y

ベクトル xのノルム ‖x‖ =√

x�x norm(x)

(38)


計算機実験実行結果

Figure 1のキャプチャ画面

各クラスのパターンの変動が観察できる

(39)


計算機実験実行結果

Figure 2のキャプチャ画面

��

��

未知パターンの各Uj による展開 (UjU�j x)

正しいクラスでは未知パターンを良く近似できる

(40)


計算機実験比較実験

実験条件

CPU 1.86GHz，メモリ 2GB，32bitのWindows，MATLAB (R14) を使用

識別法ベイズ決定則単峰ガウス分布 (正則化あり)

マハラノビス距離正則化あり線型判別分析正則化なし最小距離法各クラスの重心との距離で識別最近傍決定則最近傍パターンのラベルを出力

部分空間法 (r = 13) CLAFIC部分空間法 (累積寄与率) CLAFIC

線型 SVM one-against-all非線型 SVM one-against-all, RBF Kernel

(41)



部分空間の次元数の決め方

累積寄与率 λ̄ =∑r

i=1 λi/∑rank(D)

j=1 λj でクラスごとに決定分割学習法：訓練データを二つにわけ，一方を未知パターンとみなして rをクラス共通で決定 (下図参照)

0 20 40 60 80 100

85

90

95

dimensionality of each subspace r

accu

racy

[%]

testvalidation

(42)



実験結果

識別時間は一つの未知パターンを分類するのに必要な平均時間

識別法識別率 (%) 識別時間 (s) 辞書サイズ (KB)ベイズ決定則 96.5 0.003 5140.2

マハラノビス距離 97.1 0.002 5140線型判別分析 92.0 0.002 532最小距離法 85.8 3 × 10−5 20最近傍決定則 97.4 0.01 9298

部分空間法 (r = 13) 96.9 6 × 10−4 260部分空間法 (λ̄ = 0.95) 94.3 5 × 10−4 231

線型 SVM 93.9 136.8 3656非線型 SVM 98.0 222 5352


32

(43)


まとめ部分空間法の特長

部分空間法の特長

特徴抽出と識別を同時に行うことができるクラスの追加・削除が容易高速な識別が可能辞書サイズを部分空間の次元数 rで調整できるパラメータは rのみ (累積寄与率，交差検定で決める)

学習により識別率を向上できる理論的な拡張が容易

複合類似度法，混合類似度法直交部分空間法，学習部分空間法カーネル非線形部分空間法相互部分空間法，相互投影距離法，tangent distancek-subspace clustering，(fuzzy) k-varieties clustering上記の組合せ

(44)


まとめ部分空間法の難点とその回避法

部分空間法の難点とその回避法

次元数が小さい場合 (例えば d = 2) に識別率が低下 [9]

複雑な決定境界を持つパターン分布では識別率が低下カーネル非線形部分空間法local subspace classifier (入力近傍に限定した投影距離法)

※これらは計算時間，メモリ容量およびパラメータ数が大きくなる傾向があるクラス数が増加すると識別率が低下

カーネル非線形部分空間法

(45)


まとめ参考文献

参考文献 I

[1] 数学セミナー編集部, 教えて欲しい数学の疑問 1, 日本評論社，1996.

[2] 金谷健一, これなら分かる最適化数学 -基礎原理から計算手法まで -, 共立出版,2005.

[3] C.M. Bishop, Pattern recognition and machine learning, Springer, 2006.元田浩，栗田多喜夫，樋口知之，松本祐治，村田昇監訳，パターン認識と機械学習 - ベイズ理論による統計的予測，上下巻，シュプリンガー・ジャパン，2008.

[4] S. Watanabe, P.F. Lambert, C.A. Kulikowski, J.L. Buxton, and R. Walker,“Evaluation and selection of variables in pattern recognition,” in Computer andInformation Sciences II, p. 91, Academic Press, 1967.

[5] E. Oja, Subspace methods of pattern recognition, Research Studies Press, 1983.小川英光，佐藤誠訳，パターン認識と部分空間法, 産業図書，1986.

[6] S. Watanabe, Knowing and guessing : A quantitative study of inference andinformation, John Wiley & Sons, New York, 1969.村上陽一郎, 丹治信春訳, 知識と推測 : 科学的認識論, 上下巻, 東京図書, 1987.

[7] 飯島泰蔵，視覚情報の基礎理論 - パターン認識問題の源流 -，コロナ社，1999.

(46)


まとめ参考文献

参考文献 II

[8] 金谷健一, これなら分かる応用数学教室 -最小二乗法からウェーブレットまで-, 共立出版, 2003.

[9] 鷲沢嘉一, “正則化を用いた 2 次識別器,” MIRU 2007.

(47)


付録 1

付録 1: ラグランジュ未定乗数法の直感的な理解

0=)(xg

.const)( =xf

g∇

f∇

二変数の場合の例

制約条件 g(x) = 0と f(x)の等高線の法線ベクトルが極値で平行

∇f = λ∇g (48)


付録 2

付録 2: 固有値，固有ベクトルの直感的な理解

Au = λu (u �= 0)が成り立つとき uをAの固有ベクトル，λを固有値とよぶ

��

��

��

��

��

�

�

�

�

�

��

1x

2x

��

��

��

��

��

�

�

�

�

�

��

1x

2x

例：Aを A =

„1/5 1/41/4 1/5

«，xを任意の座標とする．青い点をAxで変換す

ると，赤い ×へ移動する．移動の軌跡を緑の線で表すと，連続した二本の直線が現れる (この直線上にある点の位置ベクトルの方向が変化してないから)．この二本の直線の方向を与えるものが固有ベクトル，その直線上の移動量が固有値


33

Copyright 2010, Toshiba Corporation.

Ausgang- -

2010

2

••••

3

•–––

•••

4

SM

MSM

CMSM

WMSMKOMSM

KCMSM

KSM

KMS

MCMSM

MWMSM

Nonlinear extension

+Constraint subspace

+Orthogonalization matrix

+Multipleconstraint subspaces

+MultipleWhitenedmatrices

[1] [2] [3]

[4] [5]

[6] [7]

[8][9]

[15] [16][17][10] [11] [12]

[13][14] [13][15]

Nonlinear extension

Nonlinear extension

Nonlinear extension

5

••

––

••

6

• “ ”

•––

[4][5]

••


34

7

•

•

0��

�N

k

tkkN 1

1 φφA

A

0

x

z

0

y)(max

),(max),(max

,1,,

2211,1,,,1,,

22

2121

22

2121

22

2121

ψ

ψφφψφ

tt��

��

��

��

�

��

��

��

Nφφ ,,1 �

ψ

2211 φφφ ��

8

0x

z

0

y

��

�N

k

tkkN 1

1 φφA

��

�M

k

tkkM 1

1 ��A

•

Nφφ ,,1 �

M�� ,,1 �

9

•

–

ψ

φ

)1( �ψ

)1( �φ

θ

10

•– φ, ψ

1/2

221 φφφ 1 ��

2211 ψψψ ��

1φ

2ψ1ψ2φ

2ψ

1ψ

2φ

1φ

θcos

)(max

),(max),(max

1,1

,,,,

22112211

1,1

,,,,

1,1

,,,,

22

21

22

21

2121

22

21

22

21

2121

22

21

22

21

2121

�

��

��

��

��

��

��

��

��

��

��

��

��

��

tt

ψψφφψφ

θ

11

• Lagrange

2/2)(max

1,

��

��

��

tt

)1(21)1(

21

�� ttttLLagrangian:

�

�

�

��

��

0

0

��

��

t

t

L

L

��

��

t

t

Lagrangian α β

��

��

tt

tt

α

β

��

��

ttt

ttt

��

�� tt �� tt

12

•••

–––

•


35

13

• …–

•–

••

14

•

––

” ”

[10][11][12]

tN

kkN

BBPA Λ11

��

��

�d

i

tii

1��P

d�� 1

15

•

–

[13][14]

IWAW �t

A I

tBW 2/1��

tN

kkN

BBPA Λ11

��

16

•– d

– d Gram-Schmidt

•

d�� 1

''1 d��

2ψ

1ψ'2ψ

'1ψ

Gram-Schmidt ''2ψ

''1ψ

''''1 d��

17

•

1/2

A

tN

kkN

BBPA Λ11

��

��

�d

i

tii

1��P

d�� 1

18

•

2/2

)(θcos1)(11

2

1vvPvAvvvv ��

��

��N

kk

N

kk

ttt

NN��

�λ v

)(θ vk k v


36

19

•

20

•

•–

•–

•• x

21

••••

22

•

•–––

•––

23

•

––

24

•

0

x

z

0

y

��

�N

k

tkkN 1

1 ��A


37

25

FERET

2.26

1.26

0.84

0.00

0.50

1.00

1.50

2.00

2.50

MSM CMSM WMSM

93.6

95.9

97.4

91 92 93 94 95 96 97 98

MSM CMSM WMSM

(%) (%)

26

• FERET

27

[1] S. Watanabe, N. Pakvasa, “Subspace method of pattern recognition”, Proc. 1st Int. J. Conf. on Pattern Recognition,1973.

[2] , “ ”, 43, ,1973.[3] , , , “ ”, ,1986.[4] , , “ ”, (D), vol.J68-D, no.3, pp.345-352, 1985.[5] O.Yamaguchi, K. Fukui, K. Maeda, “Face Recognition using Temporal Image Sequence”, Proc. of the third

International Conference on Automatic Face and Gesture Recognition, pp.318-323, 1998. [6] , , “ ”, (D-II), vol.J82-D-II, no.4, pp.600-612, 1999.[7] , “ ”, (D-II), vol.J82-D-II, no.4, pp.592-599, 1999.[8] , , , “ , (D-II),vol.J84-D,no.8,pp.1549-1556,2001.[9] , , , “ ”, (D-II),vol.J88-D-II,no.8,pp.1331-1338,2005[10] , , , , “ -

-”, (D-II), vol.J82-D-II, no.4, pp.613-620, 1999.[11] , , “ ”, (D-II), vol.J87-D-II, no.8, pp.1622-1631, 2004.[12] K. Fukui, O. Yamaguchi, “ Face recognition using multiviewpoint patterns for robot vision”,11th International

Symposium of Robotics Research (ISRR’03), pp.192-201, springer, 2005.[13] T. Kawahara, M. Nishiyama, T. Kozakaya, O. Yamaguchi “Face recognition based on whitening transformation of

distribution of subspaces”, Subspace 2007, pp.97-103, 2007[14] , , “ ”, , vol.109,no.470, PRMU2009-269, pp.

211-216, 2010 3[15] , , ” ”, (D-II), vol.J88-D-II, no.8,

pp.1349-1356, 2005. [16] K. Fukui, B. Stenger, O. Yamaguchi, “A framework for 3D object recognition using the kernel constrained mutual

subspace method”, ACCV06, part-I, pp.315-324, 2006.[17] M. Nishiyama, O. Yamaguchi, and K. Fukui, “Face recognition with the multiple constrained mutual subspace

method”, In Audio- and Video-based Biometric Person Authentication, pages 71–80, 2005.[18] F. Chatelin, “ ,” , , , 1993.

References


38

使ってみよう!部分空間法Ausgang

-非線形部分空間法-非線形部分空間法

河原智一，坂野鋭，堀田政二部分空間法研究会 2010年7月26日

概要

1. 何故，非線形部分空間法を考えるのか？

2. 「非線形主成分分析」．ベタな例．

3. 核と核非線形主成分分析

4. 核非線形部分空間法，核非線形相互部分空間法とその応用

2

概要





3

何故，非線形部分空間法を考えるのか？

• 何だかよくわからないけど「非線形分布」としか呼びようが無いものが実在するから．

そういうものが無いのに考えるのはあま• そういうものが無いのに考えるのはあまり賢い考え方では無い

– 今だから白状しますが，僕も昔そういうことをやっていました．

4

"testpca.txt""trainpca.txt"

非線形分布ってどういうもの?-実験的に-

平均すると

-1000-900

-800-700

-600-500

-400-300

-200-100

0 0

100

200

300

400

500

600

700

800

-1600-1500-1400-1300-1200-1100-1000-900-800

平均すると顔では無い

⇒非線形分布!?•画像のあるところが学習データ，+は未知データ•UMIST顔画像DBの画像を主成分分析[1]

5

概要





6


39

色々な非線形主成分分析

• Gnanadesikanの方法[3]

– 高次多項式への変換を考える．

• 入江の方法[4]

多層パセプトの利用– 多層パーセプトロンの利用

• 90年代まではうまい方法が無かった．

• どう，うまくないのでしょう？

7

Gnanadesikanの方法(1)2次の主成分分析(2次元)

2次の主成分分析(3次元)

3次の主成分分析(2次元)

この様な変換で非線形変換してから普通の主成分分析を行う．

任意の次数の非線形主成分分析が構成出来る．低次元のデータでは良好に動作する(判別分析への応用例が[5])． 8

Gnanadesikanの方法(2)次元数が非常に大きくなる．d 次元のデータに対して2次の非線形主成分分析は

ちなみに３次だと

次行列の対角化を扱うことになる．

原空間が100次元の時，2次の非線形主成分分析は5150次元の問題になる→使いにくい

簡略版を文字認識に適用した例はある[6].9

概要




4. 核非線形部分空間法と核非線形相互部分空間法

5. 核非線形相互部分空間法の応用

10

核，核関数，カーネルマシン

• 最近話題常識の非線形認識手法[7] ．

• 元々は60年代のAizermanらのポテンシャル関数法 [8]シャル関数法．

•非線形機械が便利に使える• 色々難しい話もあるけど，出来るだけ実用的に(難しい話は赤穂[7]，前田[9]などを参照)．

11

核による非線形化のプロセス

• 従来からある線形なアルゴリズムを内積だけの計算に書き換える．

• 内積を適切な核と置き換える

⇒新非線形アルゴリズム完成!

実際，1998-2005年くらいまではこうした論文がたくさん見られた．(簡単に量産出来た)

でも「核」って一体何？

12


40

核とは何か代数方程式

と等価な積分方程式

ここで座標のインデックスを整数から実数に拡張している．

において k(x, x’)を「核」もしくは「積分核」という．-kernel の元々の意味は「種」(www.alc.co.jp ではレベル7)

どうやって利用するんでしょう？ちょっと数学的な準備をします．

13

核とは何か代数方程式

と等価な積分方程式

ここで座標のインデックスを整数から実数に拡張している．

において k(x, x’)を「核」もしくは「積分核」という．-kernel の元々の意味は「種」(www.alc.co.jp ではレベル7)

どうやって利用するんでしょう？ちょっと数学的な準備をします．

14

核の展開

代数方程式積分方程式

を満たす行列(核)は，固有値，固有ベクトル(関数)を用いて

の様に展開出来る．

15

核の展開の解釈変数 x を

の様な高次元(時として無限次元)のベクトルに変換したものと解釈できる．

核はこの様な高次元空間の内積と考えて良い．⇒内積の代わりにある核を使うことはその核に対応する非常に高次元の

非線形変換を行ったことと等しい⇒便利 16

ポテンシャル関数法-最初のカーネルマシン-

• m個の学習パターンを全て記憶し

• を識別関数として用いる．• kとしては

• 等が用いられる• 類似度 = 内積 → 核と考えると素直に理解できる．

17

ポテンシャル関数法の動作(1)

-1000-900

-800-700

-600-500 200

300

400

500

600

700

800

-1600-1500-1400-1300-1200-1100-1000-900-800

"testpca.txt""trainpca.txt"

複雑な識別面を作ったり，サンプルをぼかして対雑音性能を上げたりできる

-500-400

-300-200

-100 0 0

100

18•画像のあるところが学習データ.+,×は未知データ•UMIST顔画像DBを利用[1]


41

ポテンシャル関数法の動作(2)

カーネルパラメータ σ により様々な形に密度関数を近似できる．σが小さいほどデータの情報を重視した近似になる．

19

ちょっと改良してみよう

m個の学習パターンを全て記憶

例えば

ここを改良する手もある

例えば，

こうしてみる．αを変えることで色々な情報処理が出来るじゃあ，どういう風にαを変えるの？⇒Support Vector Machine, Kernel PCA

20

核による非線形化のプロセス(再掲)

• 従来からある線形なアルゴリズムを内積だけの計算に書き換える．

• 内積を適切な核と置き換える

⇒新非線形アルゴリズム完成!

• このプロセスに従って Kernel PCAを作ってみましょう．

21

従来からある線形の主成分分析(1)簡単のため，データの重心が原点と一致している場合を考える

m個のデータがある場合のn次元データ行列

を考える．普通の主成分分析は分散共分散行列XtXの固有値問題

22

として与えられる．これは n×n 行列の対角化で求解できる．m≪n の場合の解法としてよく知られている通り，

従来からある線形の主成分分析(2)グラム行列XXtの固有値問題を考えると，固有ベクトルα，

固有値λは

の解として与えられる．

23

という関係で結ばれている[10]．

の解として与えられる．V と αは

従来からある線形の主成分分析(3)従って，主成分分析のアルゴリズムはグラム行列

の対角化と得られた固有ベクトルを

で写像して分散共分散行列の固有ベクトルを計算する．という風に構成出来る．

Xを成分で書いて両辺に写像すべきデータをかけると

となって全て内積で書けた

24


42

Pseudo code

主成分分析

• C=D’*D;

• [evec,eval]=eig(C)

核非線形主成分分析

• for i=1:dn– for j=1:dn

• K(I,j)=exp((D(I,:)-D(j :))^2/sigma ;D(j,:)) 2/sigma ;

– end

• end

• [evec,eval]=eig(K/dn)

• for i=1:dn– evecs(:,i)=evec(:,i)/sqr

t(eval(i));

• end25

核を使うとMATLAB等の機能が使えなくて実装は大

変になることが多い

内積を適切な核と置き換える

グラム行列は

写像は

となってKernel Principal Component analysis

完成!26

概要





27

核非線形部分空間法

最初の Kernel Based Subspace method[11]

xが正規化されていると考えると

そのものを識別規則として用いることができる．

28

核非線型相互部分空間法

核な部分空間法が出来たのなら相互部分空間法も出来るはず, という単純な発想[12].

辞書側入力側

従って，基底の内積は

基底の内積が計算出来たので，後は普通の相互部分空間法29

物体認識実験の例-ETH80 animals-

•2自由度で回転する剛体画像のDB[13].•（多分）湾曲構造•文献[14]と同じ実験条件．•ただしカーネルパラメタ，辞書側次元数，入力側次元数，使う正準角の数は色々変えて

30


43

ETH80 animalsのクラス

31

ETH80物体認識実験結果

堀田先生配布のMSM.m と KMSM.m を用いて実験．Kernelizeしたことで劇的に認識率が向上する．

認核非線形相互部分空間法(KMSM.m)

90%

部分空間次元数認

識率

（%）

32

相互部分空間法(MSM.m)

70%

50%

ETH80物体認識実験結果

• 今回の実験は簡単のため，入力側，辞書側次元数を同じにしているが色々パラメータを振ったり，前処理をMATLABToolboxに変えたりすると認識率が変わる

• 配布プログラムでいろいろ試してください（最後に堀田先生から説明があります）

• これまで最高 99.7% 詳細はPRMU/CVIM9月研究会にて発表予定．

33

最後に注意事項

• 核非線形(相互)部分空間法は非線形分布を相手にした時に高い認識率を達成する．– 柔物体，音声，ジェスチャ認識，宇宙機の異常検出などにも応用例がある[15-18] .

• しかし(当然?)，相手が線形の時には無力．– 正面顔，高度な特徴抽出した文字認識問題などでは認識率が上がらない(下がる場合もある)．

• 処理量は大．実装も面倒．

34

Thank you for your attention!

Let’s use Subspace Method!!

35

参考文献• [1] D. B. Graham and N. S. Allinson, ”Characterizing Virtual Eigensignatures for General Purpose Face Recognition, ”in

H.Wechsler, et al. ed. ”Face Recognition From Theory to Applications ”, Springer Verlag, (1998)• [2]村瀬洋，S. Nayer, 2次元照合による3次元物体認識―パラメトリック固有空間法―，電子情報通信学会論文誌 D, Vol.J77-D2,

No.11, pp.2179-2187 ， 1994• [3] R. ニャナデシカン，統計的多変量データ解析，日科技連， 1979• [4] 入江文平川人光男 ,多層パーセプトロンによる内部表現の獲得, 電子情報通信学会論文誌 D Vol.J73-D2 No.8 pp.1173-

1178, 1990．論文中では「特徴抽出」という言い方をしているがやっていることは間違いなく非線形主成分分析である．• [5]佐藤新，坂野鋭，松永務, 非線形構造に着目した識別ルール抽出法, 信学技報PRMU2003-34,(2003.6.20) • [6]坂野鋭, 横塚志行, 木田博巳, 非線形主成分分析による投影距離法, 画像の認識と理解シンポジウム MIRU'92, (1992),電子情報

通信学会，情報処理学会• [7]赤穂昭太郎：カーネル多変量解析－非線形データ解析の新しい展開, 岩波書店(2008).• [8] Aizerman, M. A., Braverman, E. M. and Rozonoer, L. I.: 学習とパタ－ン認識: パタ－ン認識と学習制御: 機械学習理論におけ

るポテンシャル関数法（原著露語）(1970),（共立出版（1978））.るポテンャル関数法（原著露語）( ),（共立出版（））• [9]藤吉弘亘，山下隆義，岡田和典，前田英作，ノジク・ヴァンソン，石川尋代，ドゥソルビエ・フランソワ, コンピュータビジョン

最先端ガイド2 ―Mean-Shift, Kernel Method, Local Image Features, GPU―, アドコムメディア，(2010)• [10] C. M. ビショップ , パターン認識と機械学習下 - ベイズ理論による統計的予測，シュプリンガー・ジャパン，（2008）• [11]前田英作, 村瀬洋, カーネル非線形部分空間法によるパターン認識, 信学論，Vol.J82-D2 No.4 pp.600-612, (1999)• [12]坂野鋭, 武川直樹,中村太一, 核非線形相互部分空間法による物体認識, 電子情報通信学会論文誌D-II J84-D-II,pp. 1549-

1556,(2001)• [13]Bastian Leibe and Bernt Schiele, Analyzing Appearance and Contour Based Methods for Object Categorization. in Proc.

CVPR03, (2003)• [14]福井和広, 山口修, "カーネル非線形制約相互部分空間法による物体認識", 電子情報通信学会論文誌 (D-II), vol.J88-D-II, no.8,

pp.1349-1356, (2005).• [15]市野将嗣,坂野鋭,小松尚久，核非線形相互部分空間法による話者認識, 電子情報通信学会論文誌D-II，J88-D-II，(2005) • [16]市野将嗣，坂野鋭，小松尚久, 話者認識における核非線形相互部分空間法の適用と有効性に関する一考察, 画像の認識・理解シン

ポジウム(MIRU2008)サテライトワークショップ部分空間法研究会Subspace2008, 2008年7月• [17] B. Zhang, et. al, Combination of selforganization map and kernel mutual subspace method for video surveillance,

Advanced Video and Signal Based Surveillance, 2007. p. 123• [18]藤巻,矢入, 町田,カーネル特徴空間における正準角を利用した宇宙機異常検知法,第20回人工知能学会全国大会，２A3-1, 2006

36


44

1

2010

[2010 7 26 ]

NTT

2

1.

�

2.

3.�

4.� FastICA� by Natural Gradient�

3

(ICA: Independent Component Analysis)

••

+

+

+

+

4

• ?• •

•

5

• I s HJ x T

• W y

• W x Iy

6

•» 1980 :

•» 1990 :

•» ICA: 1999 1 1

•» :

• BSS: Blind Source Separation» :


45

7

•

•

•

8

•

• ?» :» :» :

•» :» :

9

[1,2,3]

• 8

•

•

•

•

EDIROLby Roland R-09

24bit WAVE/MP3 Recorder

10

1.

2. 10

3.

11

1.

�

2.

3.�


12


46

13

s

14

s

15 16

(Central Limit Theorem) [4]

•

01

17

•

•»

•»»

18

•

•

»

»


47

19

1.4191.4071.3941.3321.194

16821N

20

•»» 0

•

::

N=1

21 22

•

1.4191.4191.4191.4191.419

1.4741.4571.4201.3561.286

1.4191.4071.3941.3321.194

16821N

23

1.

�

2.

3.�


24

s1

s2


48

25 26

FastICA [1]

FastICA

27

•

•

28

0.73

0.911.24

0.16

29

•

»

»

30

z


49

31

2

G

32

FastICA [1]

• U•

» :•

G

33

G• FastICA

• G

•0.1

= 0 G

34

FastICA•

»» G :» 1 :» 5

•»» 1

35

FastICA•

»

» FastICA

•»

•

W36

[2,3]

• W

•

• y

• W


50

37

• T

» : W FastICA• W

G38

Natural Gradient [4,5]

• W

• Natural gradient

»» Equivariance Property

• H singular

• ICA

39

Natural Gradient• :• :•

40

•»»

•»»» ICA = BSS

Non-gaussianity

Non-stationarity

41

• x» 1) 2) 1/4

•

•W

42

[6]

•

• D

•» Matlab

[E, D] = eig(Ra, Rq);• E

W


51

43

1/4 1/4

44

1/2 1/2

45

•»

•» 3

» Joint Diagonalization

46

•»

•»»» : FastICA Natural gradient

•»

• : ICA

47

BSS� H. Sawada, R. Mukai, S. Araki, S. Makino, "Polar Coordinate based

Nonlinear Function for Frequency Domain Blind Source Separation," IEICE Trans. Fundamentals, vol.E86-A, no.3, pp. 590-596 (2003)

� H. Sawada, R. Mukai, S. Araki, S. Makino, "A Robust and Precise Method for Solving the Permutation Problem of Frequency-Domain Blind Source Separation," IEEE Trans. Speech and Audio Processing,vol.12, no. 5, pp. 530-538 (2004)

� H. Sawada, S. Araki, S. Makino, "Frequency-Domain Blind Source Separation," in Blind Speech Separation, S. Makino, Te-Won Lee, and H. Sawada, Eds, Springer (2007)

� H. Sawada, S. Araki, S. Makino, "MLSP 2007 Data Analysis Competition: Frequency-Domain Blind Source Separation for Convolutive Mixtures of Speech/Audio Signals," Proc. IEEEInternational Workshop on Machine Learning for Signal Processing(MLSP), pp. 45-50 (2007)

48

[1] A. Hyvärinen, J. Karhunen and E. Oja, Independent Component Analysis, Wiley-Interscience (2001)

[2] A. Bell and T. Sejnowski, “An information-maximization approach to blind separation and blind deconvolution,” Neural Computation,7(6):1129-1159 (1995)

[3] J.-F. Cardoso, “Infomax and maximum likelihood for blind source separation,” IEEE Signal Processing Letters, 4(4):112-114 (1997)

[4] S. Amari, A. Cichocki and H.H. Yang, “A new learning algorithm for blind signal separation,” In Advances in Neural Information Processing Systems (NIPS), vol. 8, pp. 757-763 (1996)

[5] A. Cichocki and S. Amari, Adaptive Blind Signal and Image Processing, Wiley (2002)

[6] L. Parra and P. Sajda, “Blind source separation via generalized eigenvalue decomposition,” Journal of Machine Learning Research,4:1261-1269 (2003)


52

1

[email protected]

2010 7 262

2. NMF [H. Kameoka et al., 2008]

NMF

NMF

1. NMF

3

(NMF)

•

•– (Blind Signal Separation)

–

4

•–

•–

( )

•–– �

5

•

+ )

6

•

+ )


53

7

PCA NMF

PCA

NMF

[D.P.W Ellis & J. Arroyo, 2004]

HHSNBD

��

8

NMF• [D.D. Lee & H.S. Seung, 1999]

–– [P. Paatero & U. Tapper, 1994]

•

�[P. Smaragdis et al., 2003]

…

•[D.D. Lee & H.S. Seung, 2000]

[D.D. Lee & H.S. Seung, 1999]

9

NMF•

��

� ��

��30

��10

��

��

��

�� !�"#$%��

��!�(&) '(�!

10

1/3• [P. Smaragdis et al., 2003]

J.S. Bach: Fuge #16 in G minor

[P. Smaragdis et al., 2003]

11

2/3

• [P. Smaragdis et al., 2007 ]

[P. Smaragdis et al., 2007]

12

3/3•

[P. Smaragdis & B. Raj, 2007 ]

[P. Smaragdis & B. Raj, 2007]


54

13

NMF• ( ) •

�

•–––

14

• Frobenius NMF

15

• NMF– Frobenius– I KL

•–– Jensen

16

NMF

• Frobenius

• I KL

17

1/2• [J. de Leeuw, 1994]

––

–

[1]

[2] [1]

[2]

18

2/2• Jensen

––


55

19

Frobenius NMF

• Jensen

•

•

20

Frobenius NMF•

OK!

[1]

[2]

21

I NMF

• Jensen

•

•

22

I NMF•

OK!

[1]

[2]

23

• NMF– Frobenius

– I

Poisson

24

NMF

• Bregman [L.M. Bregman, 1967]

) I��

()

[A. Banerjee et al., 2005]


56

25

Bregman

[I.S. Dhillon & S. Sra, 2005]

[H. Kameoka et al., 2006][C. Févotte et al., 2008]

NMF

26

Gauss Gauss

Poisson Gamma

Gamma

BregmanNMF

27

NMF

• [S. Eguchi & Y. Kano, 2001]

) I

�

�

�

Bregman

28

NMF

•

•

–

–

[H. Kameoka et al., 2006]

[M. Nakano et al., 2010]

/ /

29

NMF•


30

NMF•



57

31

NMF pLSA [T. Hofmann, 1999] (probabilistic Latent Semantic Analysis)

•

32

NMF pLSA [T. Hofmann, 1999]

• pLSA

I

(probabilistic Latent Semantic Analysis)

33

NMF Sparse coding [B.A. Olshausen, 1996]

• ( ) •

” ”–exact reconstruction

–approximation

• [B.A. Olshausen, 1996][G. Harpur, 2000]

–Lp

NMF

sparse coding

34

NMF

•–�

•––

��

35

NMF

36

NMF

Y

NMF

rank1

��

��

Y

NMF

rank1

��

“rank1”

�� !"#��$%�& '()*+

NMF�


58

37

•––––

•

NMF

38

•

NMF

subject to

Step 1)

)*�+,-./��0! 1:

Step 2)2341

2341

56789:�;�56789:�;�

39

[ 2]

NMFStep 1)

Step 2)

Step 3)

[ 1]

Step1, Step2

NMF NMF

56789:�;�56789:�;�;�

Lee & Seung NMF [Lee & Seung, 2000] ! 40

NMF

41 42


59

43 44

45

2. NMF [H. Kameoka et al., 2008]

–NMF––NMF

1. NMF�

�

�

�

�

46

[1] D. P. W. Ellis and J. Arroyo, “Eigenrhythms: Drum pattern basis sets for classification and generation,” Proc. ISMIR 2004, pp. 554-559, 2004.

[2] D. D. Lee and H. S. Seung, “Learning the parts of objects with nonnegative matrix factorization,” Nature, vol. 401, pp. 788–791, 1999.

[3] P. Paatero, U. Tapper, “Positive matrix factorization: A non-negative factor model with optimal utilization of error estimates of data values,” Environmetrics 5: 111–126, 1994.

[3] P. Smaragdis and J.C. Brown, “Non-negative matrix factorization for music transcription,” Proc. WASPAA 2003, pp. 177–180, 2003.

[4] D.D. Lee and H.S. Seung, “Algorithms for nonnegative matrix factorization,” Proc. NIPS 2000, pp. 556–562, 2000.

[5] P. Smaragdis, B. Raj, M.V. Shashanka, “Supervised and semi-supervised separation of sounds from single-channel mixtures," Proc. 7th International Conference on Independent Component Analysis and Signal Separation, 2007.

[6] P. Smaragdis and B. Raj, ”Example-driven bandwidth expansion,” Proc. WASPAA 2007, in CD-ROM, 2007.

[7] L.M. Bregman, “The relaxation method of finding the common points of convex sets and its application to the solution of problems in convex programming,” USSR Computational Mathematics and Mathematical Physics 7: pp. 200–217, 1967.

[8] A. Banerjee, S. Merugu, I.S. Dhillon and J. Ghosh, “ Clustering with Bregman divergences,” Journal of Machine Learning Research 6, pp. 1705–1749, 2005.

[9] I.S. Dhillon and S. Sra, “Generalized nonnegative matrix approximations with Bregman divergences ,” Proc. NIPS 2005, pp. 283-290, 2005.

47

[10] J. de Leeuw. Block-relaxation methods in statistics. In H.H. Bock, W. Lenski, and M.M. Richter, editors, Information Systems and Data Analysis, Berlin, 1994. Springer Verlag.

[11] , , , “,” , 2006-MUS-66-13, pp. 77-84, 2006.

[12] C. Févotte, N. Bertin and J.-L. Durrieu, “Nonnegative matrix factorization with the Itakura-Saito divergence with application to music analysis,” Technical Report TELECOM ParisTech 2008D006, 2008.

[13] S. Eguchi and Y. Kano, “Robustifying maximum likelihood estimation,” Technical report, Institute of Statistical Mathematics, Research Memo. 802, 2001.

[14] M. Nakano, H. Kameoka, J. Le Roux, Y. Kitano, N. Ono and S. Sagayama, “Convergence-guaranteed multiplicative algorithms for nonnegative matrix factorization with beta-divergence,” Proc. MLSP2010, to appear.

[15] B.A. Olshausen, and D.J. Field, “Emergence of simple-cell receptive field properties by learning a sparse code for natural images,” Nature, vol. 381, pp. 607–609, 1996.

[16] G. Harpur, R. Prager, “Experiments with low-entropy neural networks,” in R. Baddeley, P. Hancock, P. Földiák (eds.) Information Theory and the Brain, Cambridge University Press, pp. 84-100, 2000.

[17] T. Hofmann, “Probabilistic latent semantic analysis,” Proc. UAI , pp. 289-296, 1999.[18] , , , , “ NMF:

,” 2008 , 2-8-13, pp. 657-660, 2008.


60

��Subspace method in speech processing��

��

��

�� !

"#$%

�� !&

'()*�+,��-,�

'.)/,01-234

�5�

67�'.)/,01-234

'8)9:;/<-=�>��,�67�

=?�

'@)A6��-BCD��E

F;3GH&I+J,��K�LM�IN�4��O

A6

6PQR�+ S�NA6�LTUV� WXY�

� Z[

6PQR�+&S�NA6�LTUV�&WXY�

��5WX\�5]!^ �_`ab6PWX��5^c

�=WX6P

•�_`ab6PWX•6P�de6Pf��6PWX

�6Pgh\ijUV

•6Pf�

( ) ( ) ( ) ( )S G H R� � � ��

6Pklmno

6PQR

( )S

( ) ( ) ( ) ( )S G H R� � � ��

pq ( )R �

t( )S �

( )

trsto�cuPvwx

( )H �

yz6{ ( )G �

t( )

�P6 |P6

t10ms

t�

6P}~,��N��

rsto�� A6

�PvP�Pv4,wx��

� � ( )2 -1 0.17 ( )

mk m

�

� ��

��

��

�p�%

0.17 ( )4

( )340 ( / )

m

Hzff

�

�

��

��

2 -1 340 0 17k

340 ( / sec)v mf��

0.174

340 (2 1) 500 (2 1) ( )k k H

f

f

��

(2 -1) 500 (2 -1) ( )4 0.17

k k Hzf� � ��

� �

1 500k H�� 1 5001

k Hz� �� !

� �2 15003 2500

k Hzk Hz��"�� #��

6PQR,ij��o�s�'Pvwx)

rsto�cu

t��

fH500 1500 2500 �Hz500 1500 2500

��'P�xz) P�xz�

�

tf

��

f10ms100Hz | |

6PQR,��o'��i?) | |6PQR��

| |

fHz500 1500 2500

t

6PQR,ij�� 6P��

��

1500�2500��

500��1500��

Pvwx(��o)


61

6PQR,ij

6P�ij�M��,; Pvwx��,;&Pvwx'��o)4 �

( )H �

¡?4 �

P�xzNPvwx,D¢£¢N��kl ¤?,D¢£¢N��kl¥J�6P�+&/,01HPvwx

¤?

/,01HPvwx,¢�¦BVY�O

Pv§,¨�Pv,�,¨�

( ) ( ) ( ) ( )S G H R� � � ��

6PQR�+Pv,

6PQR,ij Cepstrum(©ª��«)Time

6PQR�+Pv,wxi?�¦BVY

6P ( )s tDFT

�¬M Spectrum

log®¯°

± ±

( ) ( ) ( )S G H� � ��Cepstrum

logIDFT

²³´ ± ±

P�x

log | ( ) | log | ( ) |G H� ��( )G

Cepstrum

�µ®¯°

�©ª�� f

P�xz

1 log | ( ) |F G �

( )G �

�¶

�©ª��«¬

f

f

1

g | ( ) |log | ( ) |F H �

·¸©ª��«¹�®¯°

fH z500 1500 2500

Pvwxlog| ( )|H � ( )H �

·¸©ª��«¹�

6PQR�+Pv,6P ( )s t6PQR,ij MFCC(ºo��©ª��«¹�)

6PQR�+Pv,wxi?�¦BVY

6P

�¬M

( )s t

�®¯°

6PQR,��o®¯°

± ±

( ) ( ) ( )S G H� � ��f± ±

ºo�»o

| ( ) | | ( ) |G H� �1.00 9

fHz500 1500 2500

�ºo�»o¼�½s�

x¾

0.90.80.70.60.50.40.30.20 1

| ( ) |H �

log| ( )|H �²³´ ��(Hz)

0.10.0

0 500 1000 1500 2000 2500 3000 3500 4000

MFCC: (.¸¿ÀÁÂ

g| ( )|

·¸©ª��«¹�

�MFCC: (.¸¿��MFCC: (.¸¿

�5WX\�5]!

'()�LÃ�ÄÅÆ'()�LÃ�ÄÅÆ

(Ç ÈÉÉ ÊÈËÌÍÍÎËÏ ÉÎÐÑÌÒÓ É³ÔÓ²ÕÖ!×ØLÙÚ ÛÜÝ ÜÞÞß

ÈËÌÍÍÎËÏ É³ÔÓ²

1�1�

ÈÉÉ

� 1

3�3�

4�4�

2�2�

�$%

&'��

��(��()*

11 1( ) exp ( ) ( )Tf x x x� � ��

4

( ) ( )f x f x��

)*

/2 1/2( ) exp ( ) ( )(2 ) | | 2k k kdf x x x� �

��

( ) ( )k i i ki

f x f x��

àá::

i

i

��

âàá��o

LãwLãä�

IJ+,å%H;EMÊæÐçÓèÑËÑÎ³ÏéÉËÐÎêÎëËÑÎ³ÏÚìoí�î�ïäY�

:i

i� Ö!¹�ìoí�î�ïäY�

( )k Bf x ��ð¥<

( )k Af x �� ( )k Cf x ��ð¥<

Á¥<ñ¥< Á¥<

òkx

( )f x � � óôõö1

( )( )k r

UBG k

f xf x

��

��

��5]!( ) ( )

( )= kk

f x r f rf r x ��

óôõö

ˆ argmax ( )k rr

r f x� � �

( )f � �

�5WX

( )( )k

k

ff x

�

( )k rf x � �ˆ

2( )

( )k r

UBG k

f xf x

��

��

��

( )=

( )k r

UBG k

ff x

��

÷Ç øùÉ Û÷Ý ÜÞÞú ��n�¼HfY�ûüýþ��

ñ¥< ��sÕ��n�¼N�â�N,��T

T bix

id 1, , 1, ,min min

Ti

ii n i n

w x bd

w� �

��

� �

X�� w b�+,�-./� � �01

ñ¥<ÅÆ 0Tw x b� �X��

1max min

Ti

i nw b

w x bw�

��

��1, ,, i nw b w� �

1, ,min 1

( ) 1

Tii n

T

w x b

y w x b�

� �

� ��

23�4 �

21( ) || ||g w b w�

567��-8/

� �( ) 1

1, 1i i

i

y w x by

� ��

��

��

( , ) || ||2

g w b w�


62

1 n

«�«s� ��Õ

� �2

1

1( , , ) ( ) 12

nT

a i i ii

L w b w y w x b�

� � �� 97: -8/ 97: -./

� �

w b� 97:;-8/< 97:;-./

23=>?@ABC-D/EF�:;GH

�

* * * *n

T�* * * *

1

:

Ti i i s s

iw y x b y w x

x�

� � � 4444 44

IJ+�&'K+

�

:sx IJ+�&'K+

* * * *

( )

( )n

T T

f x

f b b�BCLM7� �

�1

( ) T Ti i i

if x w x b y x x b

�

� � � ��

( )n

f xBCLM7� �

* * * *

1( )

nT T

i i ii

f x w x b y x x b�

� � � ��

( )xABCLM7��ABCNO7��* * * *

( )

( ( )) ( ) ( ) ( )n

T Ti i i

x

f x w x b y x x b� � � ��ABCLM7��ABCNO7��

� � � � �1

*

1( , ) > 0 A

in

i i ii

y K x x b�

� � �� PQ�1i�

( ) ( ) ( )TKR S�7� � �

2

( , ) ( ) ( )( , ) (1 )

Ti i

T p

K x x x xK x y x y p

��

� �

R+S�7��44

��44 TUVW7�

� �

2

2|| - ||( , ) exp -

2x yK x y RBFp

� ��

!

�Ç ÈÉÉéøùÉ Û�Ý ÷��ú

ÈÉÉ ��GMM,âàá��o��t�á��o � ��

1�1�

ÈÉÉ 1

2

��

��

�

� t á��o � ��

��t�á��o ��SVM�� WXY�

3�3�

4�4�

2�2� 3

4

� ��

�� F(s),��(k)�H&

SVM��&WXY�

� ��ð��^c¥��

F�H ��,��t�á�

��ð�

F�H&��,� t á��o��SVM��Y�

( )k Af x � �

ñ¥<

ð¥<( )k Cf x � �

( )k Bf x � �ð¥<

ñ¥<

ò

ñ¥< Á¥<k C

Á¥<

òkx

�5WX\�5]!

'2)�LÃ�Ä�LÃ�1" 3"

'2)�LÃ�Ä�Ç �LÃ�ÄÛ�Ý ÜÞÞ� 2"1x� 2x�

3x� nx�

�LÃ��Ã�

1x2x 3x nx

×Ø� �! 1 2 3, ," " "

$%&'��

$%&'��

n�¼"!#M�$%Y�

$% '

n�¼"!'�«�A) �¥-Ã�&�LÃ�

��Õn ¼"!�+/,01H��

WXÕ��n�¼N�LÃ�,Tn�¼"!�+/,01H��&

�LÃ�,×Ø� �!�'(��

��n�¼N�LÃ�,T�/,01H'(&�«�X�ä1,�'(�� ä1,�

n�¼"!�+/,01H��&�LÃ�,×Ø� �!�'(��

1

1

( , , ) ( , , )

n

n

X x xX x x

��

��

��n�¼Õ

âà)*ôÕ1

1

( , , ) ( , , )

n

n

Y y yY y y

��

��

��n�¼Õ

âà)*ôÕ1 n

12 TX X V U� �� ,i+,L-Õ

1 n

1 12 2, T T TV XU V U X � � � �� X X V U�,i+,L-Õ

T TC XX V V� � �� LãwLãä�Õ

,V XU V U X� �

VX

;&Lã��.4'(/

��n ¼ ,×Ø� �!X��n�¼ ,×Ø� �!O

��,,��á��o

40lY�O1'2lLL3)

T TG X X U U� � �� 24ä�Õ55555555550lY�O ' lLL3)

'()��n�¼ ��LÃ�Hq6��q6á��o �'(�ky� TkV y�

TkV y�7LãwLãä�8 ��,L-��ù �'(& �'(�

�U924ä�È ��,L-�� N �'( ¸:4'(�

'()��n ¼ ��LÃ�Hq6��q6 ��o �'(�ky kV y

�U1

2T T Tk kV y U X y� � ��

924ä�È ��,L-�� N �'(&¸:4'(�

( )x�ABC/�ABCNO7�

( ( ) ( ))Y y y� �� n�¼Õ( ( ) ( ))X x x� �� n�¼Õ

Ûßé;Ý ÜÞÞ;<ÜÞÞÞ< ÷��

1

1

( ( ), , ( )) ( ( ), , ( ))

n

n

Y y yY y y

� ��

��

��

��n ¼Õ

âà)*ôÕ

1

1

( ( ), , ( )) ( ( ), , ( ))

n

n

X x xX x x

� ��

��

��

��n ¼Õ

âà)*ôÕ

12 TX X V U� �� ,i+,L-Õ

� �

1 12 2, T T TV XU V U X � � � ��

T TC XX V V� � �� LãwLãä�Õ

T TG X X U U� � �� 24ä�Õ1111

VX

;&Lã��.4'(/

��n�¼ ,×Ø� �!

'=�>o2lLL3)TH X Y� � �24ä�Õ1111

'()��n�¼ ��LÃ�Hq6��q6á��o �'(�ky� TkV y�

TV y�7LãwLãä�8 ��,L-��ù �'( �'(�kV y7LãwLãä�8 ��,L-��ù �'(& �'(�

�U1 1

2 2T T T T T TV U X U H H X H X Y k � �� ' 4 ,? �)

924ä�È ��,L-�� N �'(&¸:4'(�

T TG H X X X Y24ä�5 N5 ;&@JAJ=�>oä� & 0B'(+J�

2 2T T T T T Tk k k k kV y U X y U H H X y H X Y k� � � � � �\ \' 4 ,? �)


63

y��n�¼ ; @J��E0BCD4��LÃ�HEY�

��n�¼N�LÃ�,T�/,01H'(&�«�X�ä1�

2

k

T

y��n�¼ ;&@J��E0BCD4��LÃ�HEY�

n �2

2

|| ||ˆ arg max || ||

k rTr k

Tr ky V

r V y

V y

� �

��

��n�¼ ,�LÃ� F,q6G ��

2 2

g || ||

|| || || ||

r kr

T

y

V V� � ��n ¼ N�LÃ� N,T ��

# $2 2

2 2

|| || || ||

ˆ arg min || || || ||k r k

Tr k

Tk r kr

y V y

r y V y

V y

� � � �

��n�¼ N�LÃ� N,T ��

11I,T,IN�H6T# $r

�LÃ�1" 3"y� rV

TV �

1

2"

ky rH6T

2|| || Tky F Y Yk k F

� � �� ; ,

? ä �,,Tr kV y

q6G

k kk k F? ä �,,

�LÃ�x x

ñ¥<�LÃ�

1x 2x 3x nx

ð¥<

��Ã�

1x 2x 3x nx 1 3 n

�LÃ

Á¥<y �LÃ�1x

2x 3xnx

ò ky

'()�� n ¼"!�+S�«�,LãwLãä�C��,L-'()��Õn�¼"!�+S�«�,LãwLãä�C��,L-��&�LÃ�,×Ø� �!�'(&��n�¼�q6��q6á��o�'(�q6á��o�'(�OIJ�, !H;&24ä�G��,L- ��UN��'(&��n�¼,�LÃ�F,q6á��o�'(�O

'.)WXÕ��n�¼,q6á��o0B&q6G��N-��«�HLKY�O ��;&H6T��N-��«�HLKY�OHLKY�O ��;&H6T��N-��«�HLKY�O

âà�)B'LãwLãäL)Õ2lLL3& âà�)�-�'M�ä�)Õ8NO¯µ8Ê8²OÍÍé¯ÓËÑÌÒÎÏ´ µÏP³ÒêËÑÎ³Ï 8³êçÒÓÍÍÎ³ÏQRËÑËÏËSÓ<ÜÞúTÚ

( | ) ( )p x p� �

H6TN�U«VW�T

árîX

11 1( | ) ( ) ( )T ��×ØLÙ

( | ) ( )( | )( )

p x pp xP x� �� óôõöÕ1

1/2 1/2( | ) exp ( ) ( )

(2 ) | | 2T

dp x x x� � ��

�� ×ØLÙÕ1

1( ) ( ) ( ) log | | 2log ( )Tg x x x P� � �� X��Õ ( ) ( ) ( ) log | | 2log ( )g x x x P� � �� X��Õ1

P(�),%�ü2

1 1 1

( , ) ( ) log n n n

T Tii i i i

i i ii

x vg x V V v v��

��

� � � � % �� ÊÜÚ5árîXÕ

P(�),%�ü

2 2( , ) ( , )( ) log logk n k n

i ii

x v x vg x � �� &

� � � �� Ê÷Ú XYárîÕ

�¸��,,%�ü

1 1 1 +1( ) log logi

i i k i i ki

g x � &� &� � � � �

� � �� Ê÷Ú5XY rîÕ

��,Zlog|�|,[\2

1

1

( , )( ) ( ) ( )

nT i

i i

x vg x x x ��

�

�

� � ��Ê�Ú5�U«VW�TÕ1

21

1

( , )( ) ( ) ( )

nT i

i i

x vg x x x ��

�

� � ��Ê�Ú5�U«VW�TÕ11i i��

2 2k�¸��,,%�ü

2 2k

1 k+1

( , ) ( , )( )n

i i

i ii

x v x vg x � �� &� �

� �� Ê�Ú5XY�U«VW�TÕ1

2k2

1 k+1

( , )( ) ( ) ( , )

ni

ii ii

x vh x g x x v& �& �

��

� � � � �

2k2 2

1 1

( , ) || || ( , )

ki

ii i i

x vx x v & ��

��

� �� 111

k2 2

1 || || (1 )( , )i

i i

x x v&� ��

� �111

k

�¸��,,%�ü,[\']^^_Ú

2 2 2

1 1( ) || || ( , ) ( , )

k n

i ii i k

g x x x v x v� � ��

� � � �ÊßÚ5H6TÕ1

H6T,�`�MÕ �U«VW�T,¸¿ab

(1)árîX(2)XYárî�¸��,,%�ü

(1)árîX(2)XYárî

��,Z,[\

��,Z,[\

Z[\

�¸��,,��,H½rì��

(4)XY�U«VW�T

(3) �U«VW�T

cd�U«VW�T

%�ü e*

�¸��,,%�ü,

fþijá��oNâàá��oN,T

C¢g�

,%�ü,[\

âàá��oN,T�¸�LÃ�N,T,gh C¢g�

�U«VW�T(5)H6T

gh

ßÇ hIJ�Mi�LÃ�ÄÛÞéÜÜÝ ÜÞ;ß< ÷��Ü< ÷��;

W rV×.j�×.j�

m¸¿�LÃ�'�5�sªk��)

Ï¸¿�LÃ�

'fþ�5) '�5�sªk �)'fþ�5)

222

2 20 0

( , )cos m ax

W V

w vw v

� �, , 0 , 0rw W v V w v w v' ' ( (


64

rV mÊÜÚ5��l�n�¼�+S�5,�LÃ� ' ¸¿)�0lO

ìoí�î

1( , , )r

r rr mV v v

W� ��l S�5 �L 0 O

111

fþ�l�n ¼�+fþ�5,�LÃ� ' ¸¿)�0l

1( , , )nW n

W w w� �5555fþ�l�n�¼�+fþ�5,�LÃ� ' ¸¿)�0lO

111

( ) ( )( )m

r r

X

X �Ê÷ Ú5¸,ä� �'(�O

(3) Xä� ,��,�'(�O

1( ) ( , )( , )r r

ij ij i k k jk

X x x w v v w�

� � �111 111111

2

(3)

cos

XXc c�

� ��

5ä� ,��,�'(�O

111

��, ; ?(×.j ?(×.j�+2max cos

p� ��, ;&?(×.jO1?(×.j�+

? ×.jm4,âà�&.n,�LÃ�,KYoNY�O

� à .j�> �5 XY��,âà×.j�>n�5HWXY�O

IJ�ü�/hIJ�Mi�LÃ�Ä�pq¥J�� ÛÜÜÝ

�5WX\�5]!

'3)�LÃ�Ärõö��n�¼��H&S�5,�LÃ��0l� �LÃ'3)�LÃ�Ärõö

úÇ �LÃ��Û Ü÷Ý ÷��T

�LÃ��0l�&�LÃ�24GMM��Y�O

��n�¼�S�5,�LÃ�Hq6��q6á��o�'(� S�5,GMM�

ñ¥< ð¥<

�'(�OS�5,GMM��so�t*Y�O

�LÃ�

ñ¥<

�LÃ�

ð¥<�u,��v�so��,�5HLKY�O

��Ã��LÃ�

Á¥<

�LÃ�

ò ky

TÇ � w�LÃ��Û Ü�Ý ÷��÷

��n�¼��H S�5,��n�¼��H&S�5,�LÃ��0l�&� w�LÃ�24GMM��Y�O

�z��67?;�LÃ�Hxy�&�z��¥��5 LÃ�2 ��Y�O

��n�¼�S�5,� w�LÃ�Hq6��q6á�

?;&� wÃ�HxyY�Nzv�O

�LÃ�Hq6��q6 ��o�'(�OS�5,GMM��so�t*Y�Oñ¥< ð¥<

�u,��v�so��,�5HLKY�O

� w�LÃ� � w�LÃ�

��Ã� � w�LÃ�

Á¥<

ò ky

;Ç N®O�LÃ�r×ØLÙf�so ÛÜ�Ý ÜÞ;;

�LÃ�

ñ¥<�LÃ�

ð¥<

��Ã�Á¥<

��Ã��LÃ�

¥<

ò ky

ÊÜÚ �LÃ��{8O4;-B N®O40lY�ÊÜÚ5�LÃ��{8O4;-B&N®O40lY�O

Ê÷Ú õömno;|}×ØLÙ4 B&�~ì;f�so��O

N®O

n�¼"! ,(n,2�� NY� ,�n�¼�I,2l}{ iX }{ iXn ¼"! ,(n,2�� NY�� ,�n ¼�I,2�HH6��+-��«�,LTo��N-�2� �'(��l

l}{X }{X

J � �LTo B WJ ) )�LToÕ

i i� H6ô âà� 2Lã

iXCX

( )i iW

iP w) )� �� 1H6ô,âà�«�2Lã

l1X i

kxl 1 ( )( )i i i i i T

i k kk

n z z z z) � �� 15H6ô,

S�«�2Lãi T ik k

ik

z l xx l

�111

�2� H

555555555555555555555555555555555555555 S�«�2Lã

{1 ( )( ) }T i i i i Ti k kl n x x x x l� � T il l� �

H6 �/� k

( )T i i

il P w l� ��( )i T i

WiP w l l) � �� 1

TWl l� �

N®O

n�¼"! ,(n,2�� NY� ,�n�¼�I,2l}{ iX }{ iXn ¼"! ,(n,2�� NY�� ,�n ¼�I,2�HH6��+-��«�,LTo��N-�2� �'(��l

l}{X }{X

J � �LTo T TB WJ ) )� � �LToÕ

iXCX

i T i� Tl l�

T TB Wl l l l� � �

l1X i

kx ( )i T iW

iP w l l) � �� T

Wl l� �

i T ik kz l x�111

( )( )( )i i i TB

iP w z z z z) � �� 1 1 11H6ô,

5555555555555555555555555555555555555555555�«��Lã

{ ( )( )( ) }T i i i T

il P w x x x x l� � 1 1

ikx l�2� H

H6 �/�i

TBl l� �

i T i

Tz l xz l x

��

��N-� �'(�

Al�X�Y� { } { }T TB WJ tr A A tr A A� � �LToÕ

��N-�O�'(�


65

N®O�LÃ�

n�¼"! ,(n,2�� NY� ,�n�¼�I,2lmX }{ iXn ¼"! ,(n,2�� NY�� ,�n ¼�I,2�HH6��+-��«�,LTo��N-�2� �'(��ml

mlX }{X

� �LTo Bm WJ ) )� � �LToÕ

( )i iP w) )�� H6ô,âà�«�2LãiX

CX( )W

iP w) )� � 1H6ô,âà�«�2Lã

1X

X

ikx

�mlk

1 ( )( )i i i i i Ti k kk

n z z z z) � �� 15H6ô,

55555555555555555555555555555555555555555S�«�2Lã

{1 ( )( ) }T i i i i Tm i k k ml n x x x x l� �

i T ik m k

ik m

z l x

x l

�111

�2� HT im ml l� �

k

T i i�

k m

H6 �/�

T( )T i im m

il P w l� ��( )i T i

W m miP w l l) � �� 1

Tm W ml l� �

N®O�LÃ�

n�¼"! ,(n,2�� NY� ,�n�¼�I,2lmX }{ iXn ¼"! ,(n,2�� NY�� ,�n ¼�I,2�HH6��+-��«�,LTo��N-�2� �'(��ml

mlX }{X

To Bm WJ ) )� � �LToÕiX

CX

T

T Tm m m WBm ml l l l��

ml1X i

kx( )i T i

W m miP w l l) � �� 1

Tm W ml l� �

m

i T iz l x�

( )( )( )i i im T

i

mBm z zP w z z) � �� 1 1 5H6ô,

�«��Lã

{ ( )( )( ) }T i i m mi Tm ml P w xx x lx� � 1 1

k m kik m

z l xx l

�11

�2� H

H6 �/�

555555555555555555555555555555555555555 5555�«��Lã

iH6 �/�

BmTm ml l��i T i

mz l x��N-�O �'(�

m ml A�X�Y� { } { }BmT T Tm m W mJ tr A A tr A A�� LToÕ

��N-�Oê�'(�

�5WX\�5]!

'�)�LÃ�ÄH0��zlL,��

�Ji?,�ÛÜß<ÜúÝ=ÛÜTÝ��

'�)�LÃ�ÄH0��zlL,��

ÞÇ �O{Ê�ÌÎÍËÏèÓ OÑÑÒÎSÌÑÓ {Ò³�ÓèÑÎ³ÏÚ��&�F�÷��< ÷��ß< ÷��T

��Ã�

1x2x

��Ã�

3( )x�1( )x� 2( )x�3( )x�1( )x� 2( )x�

��Ã�

1w� kw

nx3x ( )nx�( )nx�� P

1 k

Ti i

iI w w� �

1( ( ), , ( ))A x x� �� ( ) ( ) T

i i i ii

P x x w w� � �;& �+ F,

q6lL�¦B[�/q6á��o

1( ( ), , ( ))nA x x� �

|| ( ( ) ( )) ||ij i jW P x x& � �� j jij

X

��N-� ��%Y�

1( , , ) T Tk i i

iX w w XX w w� ��

iTP I XX� 1

0i j

ij

x xW

(*+� ,+-

,�J ,�J

@JÅÆ

1( ( ), , ( ))nA x x� �� 1 i jij

x xW

(*+� ,+

,�J ,�J

J 1( , , )kT T

i i

X w w

XX w w

�

� ��0ij ,

+- @JÅÆ

i ii

TP I XX�

�|| ( ( ) ( )) ||ij i j

ijW P x x

X

& � �� N-� ��%Y�X��N-� ��%Y�

TT

X A VK A A

�

�( )( ) ( 1)

TAZ W A X XZ W diag W W

� %�

K A A�

�J,¨��/Ã�

( )KZ W KV KV� % ( ) ( )TK PA PA.

�J,¨��/Ã�

H��=�>oä��'(�( )KZ W KV KV %

( )Z W KV V%

( ) ( ) ( ) ( )

T

T T T T

T

K PA PAA I XX I XX A

. �

� ( )( )Z W KV VZ W K V

� %

��,L-�� '(� ( )( )TK KV KV

SVM�

=�>o 4�5WX�ïä

�5WX\�5]!'ß)õö2lLL3N��L3 2lLL3

õö2lLL3

ÞÇ õö2lLL3 ÛÜ;Ý ÜÞÞÞ

��Ã��Ã� 1v

2lLL3Ê(n,J��LÃ�)

ÈËÌÍÍÎËÏ É³ÔÓ²

� �

�LÃ��Ã��Ã�

��,L-

2v

�$%

&'��

�(��()*

TV V� � %

��,L-

$%&'��

Ö!2lLL3

ÈÉÉ��Ã��Ã�

Ê��,J��LÃ�)

1�1�

TV V� %

��,L-

3�3�

4�4�

2�2�

TV V� � %

õö2lLL3

x W f � /� �2 22

2

1( | ) (2 ) exp || || 2

d

p x f x Wf�) �)

* 0� , 1- 2x W f � /� � ��

��

âà

�y�¸

��

��

)- 2

2 1( ) (2 ) expq

Tp f f f� * 0� , 1

- 2��

à��

y��

¸¿

Ê

�

��ä

��

( ) ( ) p2

p f f f, 1- 2

3��Ê

�¸

��

��

��

ä�

��

2(0, I)N )1

12 2

( ) ( | ) ( )1(2 ) | | exp ( ) ( )

dT

p x p x f p f df

C x C x� � �

�

* 0, 1

3¸¿�

� (0, I)N )(0,I)N

2 2

2

(2 ) | | exp ( ) ( )2

I T

C x C x

C WW

� � �

)

� , 1- 2

� �11111

N Nf�soÕ

0L4f�soÕ

� �-1

1ln{ ( )} ln(2 ) ln | | ( )

21

N

kk

N

NL p x d C tr C S��

� � � ��

�

0

0L�

�44

�

1

1 ( )( ) }Tk kk

S x xN

� ��

� �0W

�4


66

õö2lLL3

x W f � /� � � �-1ln(2 ) ln | | ( )NL d C tr C S��

f�soÕ

x W f � /� � ��

âà

�y�¸

��

��

� �ln(2 ) ln | | ( )2

1 ( )( ) }N

Tk k

L d C tr C S

S x xN

�

� �

� �

� ��

à��

y��

¸¿

Ê

�

��ä

��

1kN ��

��Ê

�¸

��

��

��

ä�

��

2(0, I)N ) 1

1ˆ0 =N

kk

L xN

��

4�

4 �0B&

¸¿�

� (0, I)N )(0,I)N 1

2 2ˆ0 ( )q qL W V I RW

)4� � %

40B&

q q d d q q

Tq q

WS V V V4

� % %4 B& N ;��,,

��á��oä�N��,ä�

q q d d

d q d q 2(0, I)x W f W fW f N� /

/ )

� � �

�

� ��

(R��á��oä�N��,ä�

;��,� ��)ä�� w�LÃ�H�M�

âàLã

2

1

1ˆd

jj qd q

) ��

� �

Ö!õö2lLL3Ê��,J��LÃ�) M m

� �1 1

( ) ( | ) 0, 1

( | ) ( | ) ( | )

m m mm i

p x p x m

p x m p x m f p f m df

� � ��

� � �

�

� �

3

11m m m mx W f � /� � ��

� â��

112 2

( | ) ( | , ) ( | )

1(2 ) | | exp ( ) ( )2

dT

m m m m

p x m p x m f p f m df

C x C x� � �

�

* 0� , 1- 2

3��

âà��

�y��

¸¿

Ê

��

��

2

( ) | | p ( ) ( )2m m m m

Tm m m mC I W W

� �

)

, 1- 2

� �11111

��Ê

�

��

��

Ê

��

�ä�

��

f�so

�¸¿�

��

2(0, I)mN )(0,I)N

ln{ ( )} ln{ ( | )}N N M

k m kL p x p x m�� f�soÕ

1�1�ÈÉÉ

1 1 1

2

{ ( )} { ( | )}

GMM EM{ }

k m kk k m

p p

W

� � �� N ¡B& ìoí�î4

�å%Y�

3�3�

4�4�

2�2�

2{ , , , }m m m mW� � ) �å%Y�( ) ( )k i i k

if x f x��

õö2lLL3 [19 , 20 ] 2007 , 8200f�� N�� &�Ji?¢�� &

�z£�,��

��L3

f�F?�¦ B&��4��n

� ¼�$%Y�OLv¤ &

x W f � /� � �� â�

Ê

�� , , ,x W f U g

W U� /

� /� � � ��

N$ �& ��Y�O��

âà��

�y��

��

��

��

2

x xU g�

fþn� ¼ �¥v +J �N& �L

- �& ��Ji?4 J¤ &

N(0, )5��

��

��ä�

2(0, I)N )(0,I)N

IJ �a[ ��¦§Y�O

Ö!õö2lLL3

[21, 22] 2002, 2003n�¼�Ö!��L3,¨©H��

�z£�,��

Ö!��L3

Ö!õö lLL3��k��E,Nzv&t«º�

¼�å%Y�OIJ��H&��n�Ö!��L3

m m m mx W f � /� � ��¼,�Põö��5ªNH'(&�5

WX�ä1O

ÛÜÝ ®Ç OÇ5«Ó¬Ï³²ÔÍ<5«Ç58Ç5«³ÍÓ5Q «³SÌÍÑ5ÑÓÐÑéÎÏÔÓçÓÏÔÓÏÑ5ÍçÓË®ÓÒ5ÎÔÓÏÑÎPÎèËÑÎ³Ï5ÌÍÎÏ´5ÈËÌÍÍÎËÏ êÎÐÑÌÒÓ ÍçÓË®ÓÒ ê³ÔÓ²Í¯ µæææ °ÒËÏÍ ³Ï ÍçÓÓè° ËÏÔ ËÌÔÎ³ çÒ³èÓÍÍÎÏ´ ù³²ÌêÓ �

±z²³

ÈËÌÍÍÎËÏ5êÎÐÑÌÒÓ5ÍçÓË®ÓÒ5ê³ÔÓ²Í < µæææ5°ÒËÏÍÇ5³Ï5ÍçÓÓè°5ËÏÔ5ËÌÔÎ³5çÒ³èÓÍÍÎÏ´< ù³²ÌêÓ5�<5µÍÍÌÓ Ü<5ççÇT÷é;�< ÜÞÞßÇÛ÷Ý5ÉÇøè°êÎÔÑ< ´ÇÈÎÍ°Q5øçÓË®ÓÒ5ÎÔÓÏÑÎPÎèËÑÎ³Ï5µÎË5ÍÌçç³ÒÑ5µÓèÑ³Ò5è²ËÍÍÎPÎÓÒÍ¯< {Ò³èÇ ³Pµ8Oøø{ çç Ü�ßéÜ�; ÜÞÞúµ8Oøø{< ççÇÜ�ß Ü�;< ÜÞÞúÇÛ�Ý5RÇ5ÉÇ58ËêçSÓ²²<5®Ç5æÇ5øÑÌÒÎê<5®Ç5OÇ5«Ó¬Ï³²ÔÍ<5ËÏÔ5OÇ5ø³²³ê³Ï³PPQ øùÉ5SËÍÓÔ5ÍçÓË®ÓÒ5µÓÒÎPÎèËÑÎ³Ï5ÌÍÎÏ´5Ë ÈÉÉ ÍÌçÓÒµÓèÑ³Ò ®ÓÒÏÓ²5ËÏÔ �O{5µËÒÎËSÎ²ÎÑ¬5è³êçÓÏÍËÑÎ³Ï<¯5ÎÏ5{Ò³èÇ ³Pµ8Oøø{<5ççÇ5ÞT¶Ü��< ÷��úÇ< çç <Û�Ý·ÇOÒÎ®Î ËÏÔ5¸Ç®³ÎQ øçÓË®ÓÒ5«Óè³´ÏÎÑÎ³Ï5SËÍÓÔ5³Ï5øÌSÍçËèÓ5ÉÓÑ°³Ô¯< µ8øN{¹Þ�<5 ççÇÜ;ßÞéÜ;ú÷<5ÜÞÞ�ÇÛßÝºÇøè°³²®³çP< OÇøê³²Ë< ËÏÔ ¸Çé«ÇÉÌ²²ÓÒ< �³Ï²ÎÏÓËÒ 8³êç³ÏÓÏÑ OÏË²¬ÍÎÍ ËÍ Ë ¸ÓÒÏÓ²æÎ´ÓÏµË²ÌÓ {Ò³S²Óê<¯ �ÓÌÒË² 8³êçÌÑËÑÎ³Ï< ù³²ÇÜ�< ççÇÜ÷ÞÞéÜ�ÜÞ<ÜÞÞ;ÇÛúÝ»¼½¾Õ¿oáo�Ã�H�M��LÃ�<¯ ��ÀQ�ÁÂ²ÃÄù³²Ç;÷é®éµµÄ�³Ç�ÄççÇßÞ÷éßÞÞÄÜÞÞÞÇÛTÝÅ¼Æ�<5ÇÈÉÕ=�>oIJ��LÃ�ÄH0�t¼�sWX<¯��ÀQ�ÁÂ²ÃÄù³²Ç;÷é®éµµÄ�³Ç�ÄççÇú��éúÜ÷ÄÜÞÞÞÇÛ;ÝÊËÌ<Í¼ÎÏ<ÐÑÆÒÕ¿oáo�Ã�4�LÃ�Ä��/�5X<¯ ��ÀQ�ÁÓ� � Á�ÀQ�ÁÓ�< {«ÉÔ� Á< ççÇßTéú÷< ÷��ÇÛÞÝÅ¼ ÕÖ ×Ø ÙÖÕxÚ[0Û�Üf�/t¼�s\�ÝÞs�Ä<¯ ��ÀQ�ÁÂ²ÃÄù³²Çßú;¶®< �³Ç�< ççÇ��ß¶�ß÷< ÜÞ;ßÇÛÜ�ÝàÍáâ ãÍä �åæç �5WXH�M�hIJ�Mi�LÃ�Ä,^�N�ÛÜ�ÝàÍáâÄãÍäÄ�åæçÕ�5WXH�M�hIJ�Mi�LÃ�Ä,^�N�è?H�Y�Özé<5êë,WX\ì-�sí�îÊÉµ«Ô÷��;Úï�«r�ð��ñÝª�LÃ�Ä� ÁøÌSÍçËèÓ÷��;<÷��;Ç

ÛÜÜÝãÍäÄÌò�ÏÄóÇôÖÕhIJ�Mi�LÃ�ÄH0�õöWXÄ¯��ÀQ�ÁÂ²ÃÄù³²Çß;�é®éµµÄ�³Ç;ÄççÇÜß�ÞéÜßßúÄ÷��ÜÇÛÜ÷Ý 8 N ·ÎÏ´ ËÏÔ O ºß °Ó³°ÕøçÓË®ÓÒ µÓÒÎPÎèËÑÎ³Ï ÌÍÎÏ´ çÒ³SËSÎ²ÎÍÑÎè ÷® 8NO¯µ8 ¯ µæµ8æÛÜ÷Ý58Ç5NÇ5·ÎÏ´5ËÏÔ5OÇ5ºß5°Ó³°Õ øçÓË®ÓÒ5µÓÒÎPÎèËÑÎ³Ï5ÌÍÎÏ´5çÒ³SËSÎ²ÎÍÑÎè5÷®58NO¯µ8< µæµ8ææ²ÓèÑÒ³ÏÎèÍ æÐçÒÓÍÍ< ù³²Ç�< �³Çß< ççÇÜTÞéÜ;�< ÷��TÇÛÜ�Ý÷¼øùÄ��Q 67?�úv/�5Ã�F,q6H0��5WX¯<��ÀQ�ÁÂ²Ã ù³² ;ßé®éµµ �³ � çç ßß�éßú÷ ÷��÷��ÀQ�ÁÂ²ÃÄù³²Ç;ß ® µµÄ�³Ç�ÄççÇßß� ßú÷Ä÷��÷ÇÛÜ�ÝßÇºÇOÑÑÎ²Î< ÉÇøËµÎè ËÏÔ ßÇ{Ç8ËêçSÓ²²QO °ÉÍ�÷�÷�éSËÍÓÔ ÒÓË² ÑÎêÓ< ÑÓÐÑéÎÏÔÓçÓÏÔÓÏÑ<ËÌÑ³êËÑÎè ÍçÓË®ÓÒ µÓÒÎPÎèËÑÎ³Ï Í¬ÍÑÓê<¯ {Ò³èÇ ³P µ8Oøø{< ççÇßÞÞéú�÷< ÜÞ;;ÇÛÜßÝ O ø³²³ê³Ï³PP RÉ 8ËêçSÓ²² µ º³ËÒÔêËÏÕOÔµËÏèÓÍ ÎÏ 8°ËÏÏÓ² 8³êçÓÏÍËÑÎ³Ï P³Ò øùÉÛÜßÝ5OÇø³²³ê³Ï³PP<5RÇÉÇ8ËêçSÓ²²< µÇº³ËÒÔêËÏÕ OÔµËÏèÓÍ5ÎÏ58°ËÏÏÓ²58³êçÓÏÍËÑÎ³Ï5P³Ò5øùÉ5øçÓË®ÓÒ5«Óè³´ÏÎÑÎ³Ï<¯Çµ8Oøø{<5ççÇÜ;¶÷�< ÷��ßÇ5ÛÜúÝ5OÇø³²³ê³Ï³PP<58ÇûÌÎ²²ÓÏ<5RÇÉÇ8ËêçSÓ²²Õ8°ËÏÏÓ²58³êçÓÏÍËÑÎ³Ï5P³Ò5øùÉ5øçÓË®ÓÒ5«Óè³´ÏÎÑÎ³Ï<¯ µÏ5{Ò³èÇ5üÔ¬ÍÍÓ¬Q5°°Ó5øçÓË®ÓÒ5ËÏÔ5NËÏ´ÌË´Ó5«Óè³´ÏÎÑÎ³Ï5R³Ò®Í°³ç< µø8O<5´ < ¬ ¬ ç ´ ´ ´ ç< <ççÇ�Ü¶��< ÷��Ç5ÛÜTÝ´ÇºË³< ÉÇýÌ< °Ç¯Çþ°ÓÏ´Qæê³ÑÎ³Ï OÑÑÒÎSÌÑÓ {Ò³�ÓèÑÎ³Ï P³Ò øçÓË®ÓÒ «Óè³´ÏÎÑÎ³Ï ³Ïæê³ÑÎ³ÏË² øçÓÓè°<¯ µÏÑÓÒÍçÓÓè°< ççÇTß;éTúÜ<÷��TÇÛÜ;Ý5ÉÇæÇ5°ÎççÎÏ´5ËÏÔ58ÇÉÇ5ºÎÍ°³ç<5ÉÎÐÑÌÒÓÍ5³P5çÒ³SËSÎ²ÎÍÑÎè5çÒÎÏèÎçË²5è³êç³ÏÓÏÑ5ËÏË²¬ëÓÒÍ<¯�ÓÌÒË²58³êçÌÑËÑÎ³Ï<5µ³²ÇÜÜ<5Ï³Ç÷<5ççÇ��¶�;÷<5ÜÞÞÞÇÛÜÞÝ5®ÇÉËÑÒ³ÌP< �Ç5øè°ÓPPÓÒ< ºÇ¯ËÌµÓ< ßé¯Ç5º³ÏËÍÑÒÓÕO5ÍÑÒËÎ´°ÑP³Ò�ËÒÔ5ËÏÔ5ÓPPÎèÎÓÏÑ5Îêç²ÓêÓÏÑËÑÎ³Ï5³P5Ñ°Ó5PËèÑ³Ò5ËÏË²¬ÍÎÍ5ê³ÔÓ²5P³Ò5ÍçÓË®ÓÒ5µÓÒÎPÎèËÑÎ³Ï<¯ µÏ5µ�°æ«ø{ææ8´é÷��T<5Ü÷�÷éÜ÷�ß< ÷��TÇÛ÷�Ý5{Ç¸ÓÏÏ¬<5{ÇüÌÓ²²ÓÑ<5�Ç®Ó°Ë®<5ùÇÈÌçÑË<5ËÏÔ5{Ç®Ìê³Ìè°Ó²ÕO øÑÌÔ¬ ³P µÏÑÓÒéøçÓË®ÓÒµËÒÎËSÎ²ÎÑ¬ ÎÏ øçÓË®ÓÒ ùÓÒÎPÎèËÑÎÎ³Ï<5µæææ5°ÒËÏÍËèÑÎ³ÏÍ5³Ï5OÌÔÎ³<5øçÓÓè°5ËÏÔ5NËÏ´ÌË´Ó5{Ò³èÓÍÍÎÏ´<5ù³²ÇÜú< ß< ççÇÞ;�éÞ;;<5÷��;Ç

Û÷ÜÝ5{Ç®ÎÏ´<5·Ç5NÎÌ<5ºÇ5ýÌÕ¯ËèÑ³Ò5OÏË²¬ëÓÔ5ÈËÌÍÍÎËÏ5ÉÎÐÑÌÒÓ5É³ÔÓ²Í5P³Ò5øçÓË®ÓÒÇ5µÔÓÏÑÎPÎèËÑÎ³Ï<¯ µÏ5{Ò³èÇ5µ8øN{< ççÇÜ��ÜéÜ��< ÷��÷ÇÛ÷÷Ý�� j �� ¼ � �Ç × �Ö!��L3H��B�5Û÷÷Ý�� <5�j ��<5 �� <5�¼ �Ö<5�Ç ×<5�Ö!��L3H��B�5Xmno,t«º�¼w�0Û�5��ÀQ�ÁÓ�� <5µ³²ÇÜ��<5Ï³ÇßÜÞ<5ççÇÞÜééÞú<5®ÓèÇ5÷��Ç


67

部分空間法研究会2010 - cvlab.cs.tsukuba.ac.jpsubspace/ss2010d/subspace2010.pdf ·...

Documents