情報統計力学の最前線-情報と揺らぎの制御の物理学を目指...

162
情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012 3 21 日~2012 3 23 京都大学 基礎物理学研究所 湯川記念館 パナソニック国際交流ホールにて [研究会の目的・趣旨] 本研究会は若手の研究者を中心に,統計力学と情報科学との間の知識・問題意識の融合を図り, 物理学と情報科学における新しい方法論・問題設定の発掘することを目的としている.物理学は自 然科学を代表する学問であり,現実の様々な現象を解明するために発展してきた.一方,比較的新 規な分野である情報科学では,情報という現実の空間・物質の性質からは独立した存在を対象とし てきた.一見するとまったく異なる方向性と目的をもったふたつの学問分野に見えるが,実は「確 率モデルによるシステムの記述」という方法論を通して数理的に密接につながっている.システム を確率モデルで表現し,そこから何らかの情報を引き出すという戦略は(平衡)統計力学・情報科 学の双方で共通しており,その接点を手掛かりに,情報科学と(平衡)統計力学とが近年互いに接 近してきているのである。特に,(平衡)統計力学における相転移・臨界現象のパラダイムや平均 場近似といった物理的描像・直観に基づいた各種の方法論は,情報科学からは発想しがたい手法で あり,情報科学の問題群に対する強力な接近法として注目され、いくつもの画期的な成果が上げて られてきた.ただ残念なことに,これまでは物理学から情報科学への知識輸出が多く,逆の寄与は 少なかった.結果として,両分野の完全な知識交流は未だ成されていない. しかしこれは、物理学に情報科学的視点が不要であることを意味しない.物理学は,基本的な物 理法則からの演繹的-ボトムアップ的-方法論を得意とするが,対象とするシステムによってはそ の強みを発揮できないことがある.一方,情報科学は,望む結果を与えるシステムを結果から構成 するといったトップダウン的流れを得意とする.このような視点は,出来るだけ客観的な対象を相 手にしてきた物理学には不慣れであるが,システムを制御・設計する問題(通信路符号化,アルゴ リズム設計など)やシステムの背後に隠された数理構造を抽出・推定する問題(統計的機械学習, 生命現象の解析など)を取り扱う場合,必要不可欠な視点であろう.本研究会は,このようなトッ プダウン的視点-システムを制御・操作するための枠組み・手法の追及-を前面に押し出し,基礎 物理学の問題をボトムアップとトップダウンの双方向から検討することで,これまでにない新しい 視点や手法を追求するものである. 上記のような物理学と情報科学の間の相互の知識交流という目的のため,早い段階で若手研究者 や学生の連携をとることが重要となってくる.そのため,本研究会は各分野にわたる若手の研究者 や学生を中心に据えることを主題のひとつとした.またもうひとつの主題として本研究会が掲げる のは,物理学と情報科学との間の連携と相互発展の場のひとつとして「非平衡統計物理学」を視野 に入れるということである.非平衡統計物理学は発展途上かつ新しいブレークスルーを必要として いる分野であり,また物理学と情報科学の両分野の交流が極めて少ない分野である.この理念的主 題は、決して机上の空論では終わらない可能性を秘めている.時々刻々と変化する状況に応じて適 応的な変化の下にダイナミックに処理を行う現代の情報処理のニーズと、自然現象としてきわめて 非自明な非平衡環境下での振る舞いの本質を抉り出そうという物理学の舞台は合致しているのだ.

Upload: others

Post on 22-Sep-2020

3 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して

2012年 3月 21日~2012年 3月 23日

京都大学 基礎物理学研究所 湯川記念館 パナソニック国際交流ホールにて

[研究会の目的・趣旨]

本研究会は若手の研究者を中心に,統計力学と情報科学との間の知識・問題意識の融合を図り,

物理学と情報科学における新しい方法論・問題設定の発掘することを目的としている.物理学は自

然科学を代表する学問であり,現実の様々な現象を解明するために発展してきた.一方,比較的新

規な分野である情報科学では,情報という現実の空間・物質の性質からは独立した存在を対象とし

てきた.一見するとまったく異なる方向性と目的をもったふたつの学問分野に見えるが,実は「確

率モデルによるシステムの記述」という方法論を通して数理的に密接につながっている.システム

を確率モデルで表現し,そこから何らかの情報を引き出すという戦略は(平衡)統計力学・情報科

学の双方で共通しており,その接点を手掛かりに,情報科学と(平衡)統計力学とが近年互いに接

近してきているのである。特に,(平衡)統計力学における相転移・臨界現象のパラダイムや平均

場近似といった物理的描像・直観に基づいた各種の方法論は,情報科学からは発想しがたい手法で

あり,情報科学の問題群に対する強力な接近法として注目され、いくつもの画期的な成果が上げて

られてきた.ただ残念なことに,これまでは物理学から情報科学への知識輸出が多く,逆の寄与は

少なかった.結果として,両分野の完全な知識交流は未だ成されていない.

しかしこれは、物理学に情報科学的視点が不要であることを意味しない.物理学は,基本的な物

理法則からの演繹的-ボトムアップ的-方法論を得意とするが,対象とするシステムによってはそ

の強みを発揮できないことがある.一方,情報科学は,望む結果を与えるシステムを結果から構成

するといったトップダウン的流れを得意とする.このような視点は,出来るだけ客観的な対象を相

手にしてきた物理学には不慣れであるが,システムを制御・設計する問題(通信路符号化,アルゴ

リズム設計など)やシステムの背後に隠された数理構造を抽出・推定する問題(統計的機械学習,

生命現象の解析など)を取り扱う場合,必要不可欠な視点であろう.本研究会は,このようなトッ

プダウン的視点-システムを制御・操作するための枠組み・手法の追及-を前面に押し出し,基礎

物理学の問題をボトムアップとトップダウンの双方向から検討することで,これまでにない新しい

視点や手法を追求するものである.

上記のような物理学と情報科学の間の相互の知識交流という目的のため,早い段階で若手研究者

や学生の連携をとることが重要となってくる.そのため,本研究会は各分野にわたる若手の研究者

や学生を中心に据えることを主題のひとつとした.またもうひとつの主題として本研究会が掲げる

のは,物理学と情報科学との間の連携と相互発展の場のひとつとして「非平衡統計物理学」を視野

に入れるということである.非平衡統計物理学は発展途上かつ新しいブレークスルーを必要として

いる分野であり,また物理学と情報科学の両分野の交流が極めて少ない分野である.この理念的主

題は、決して机上の空論では終わらない可能性を秘めている.時々刻々と変化する状況に応じて適

応的な変化の下にダイナミックに処理を行う現代の情報処理のニーズと、自然現象としてきわめて

非自明な非平衡環境下での振る舞いの本質を抉り出そうという物理学の舞台は合致しているのだ.

Page 2: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

そのユニークな接点をこれまでのシステム科学的な手法を踏襲してきた歴史と新規のアイデアを駆

使して,情報科学の問題の中での非平衡物理学,更には情報科学的なトップダウン視点からの非平

衡統計物理学の基礎理論の再検討につなげていきたいと考えている.

[研究会の内容]

本研究会は全三日間の日程で執り行なわれた.一日目は主に統計的機械学習・最適化問題・圧縮

センシング・ディジタル画像処理など本研究会の主軸のひとつとなる情報科学の問題を中心として

構成されたセッションが設けられ,情報科学分野における最近の問題意識が紹介された.中でも統

計的機械学習(物理学分野では逆イジング問題として最近知られるようになってきている)に関す

る研究報告・レビュー講演が多数みられた.統計的機械学習とは観測からモデルの微視的なダイナ

ミクスを推定する問題であり,問題のトップダウン的解決法の最たるもののひとつである.統計的

機械学習の考え方を物理学の問題に応用することにより,問題をボトムアップ的そしてトップダウ

ン的に眺め見る方法論の確立に近づいていくことが期待される.本研究会が掲げる情報と物理の融

合という観点から,統計的機械学習の考え方・手法を物理的観点・情報科学的観点の双方面で更に

深めていくことにより本研究会の今後の主軸のひとつとなると考えている.

二日目は前半が口頭講演のセッションで後半がポスターセッションという構成で執り行なわれた.

前半の口頭講演のセッションは主に非平衡統計力学の揺らぎの定理や Jarzynski等式を駆使した理

論,そしてそのひとつの応用としてのモンテカルロ法へのアプローチなどについての議論があった.

Jarzynski等式とは言うまでもなく非平衡の系において仕事と自由エネルギーを関係付ける等式で

あり,これを利用することにより自由エネルギーというもっとも重要な量を見積もることができる.

ポピュレーション型の新規のモンテカルロ法は Jarzynski等式をいち早く導入して誕生し,成功を

修めたもののひとつである.これの実際的に運用をして成功させた講演者自身からこれについての

丁寧な解説がなされた.また更にカルマン・フィルタと Jarzynski 等式の関係についての講演もあ

り,系のフィードバック制御という観点での非平衡物理の展開を期待させるものであった.カルマ

ン・フィルタは情報科学でも馴染みのフィードバック制御系であり,非平衡統計力学と情報科学と

のつながりの重要な基点に成り得ると期待される.ポスターセッションは平行統計力学・スピング

ラス理論・情報統計力学・生命現象の中の統計力学・確率過程・非平衡統計力学・揺らぎの定理・

量子エンタングルメント等,多種多様なポスター発表が行なわれた.

最終日は、脳や生物の統計力学的・情報論的視点からの解析や、新奇な揺らぎによる相転移の制

御や最適化手法の探索に関する発表があった.特に,新奇な揺らぎの導入による相転移の性質を操

作するという研究は,情報科学やその他工学分野における最適化問題への波及が見込まれる.よく

ある最適化問題(基底状態探索問題)において,対象の系の相転移の性質は大きな影響を与える.

最適化問題の解を変えずに相転移の物理的性質を制御するというこの研究は,最適化問題に対して

従来とは異なった新たな方法論を与える可能性を秘めていると考えられる.

本研究会は総参加者58名,口頭講演23件,ポスター発表21件であり,そのほとんどは学生

や若手の研究者であった.これは本研究会のテーマが学生や若手の研究者達からの多くの賛同を得

られた証であろう.その意味では若手を中心に据えた流れを組織していきたいという本研究会の主

旨に対して,期待以上の成功を修めたと言える.

Page 3: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

[世話人]

安田宗樹(東北大学情報学研究科)

大関真之(京都大学情報学研究科)

小渕智之(大阪大学理学研究科)

研究会プログラムを次ページ以降掲載する。個々の講演のアブストラクトを含めた、研究会の詳細

な情報は

http://www-adsys.sys.i.kyoto-u.ac.jp/mohzeki/YSMSPIP/

に掲載されているので、そちらを参照されたい。

Page 4: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

基礎物理学研究所研究会 情報統計学の最前線―情報と揺らぎの制御の物理学を指してー Frontier of Statistical Physics and Information Processing (FSPIP: YSM-SPIP2012) 期間:2012 年 3 21 〜23 場所:京都学基礎物理学研究所パナソニックホール

3 21 10:00-10:15 Opening Address 渕 智之 10:15-12:00 Morning Session I 座:渕 智之 10:15-11:15 樺島 祥介 "システム科学としての不規則系の統計学" 11:15-11:30 Coffee break 11:30-12:00 樋 三郎 "Susceptibility Propagation と組み合わせ最適化" 12:00 13:00 昼休み 13:00-14:00 Afternoon Session I 座:前 新 13:00 13:30 坂 綾 "Dictionary Learning への統計学的アプローチ" 13:30-14:00 岡 駿 "圧縮センシングによる画像補修" 14:00-14:15 休憩 14:15-15:30 Afternoon Session II 座:坂 綾 14:15-14:45 安 宗樹 "ボルツマンマシン〜データからのモデル発掘法〜" 14:45-15:30 清 昌平 "構造程式モデルによる因果構造探索: ガウス性の利" 15:30-16:00 Coffee break 16:00-17:15 Afternoon Session III 座:安 宗樹 16:00-16:45 前 新 "マルコフ連鎖における定常分布の学習法としての Contrastive Divergence アルゴリズム" 16:45-17:15 加藤 紳也 "時空間的相互作を含む逆イジング問題の近似解法" 17:15-17:30 休憩 17:30-18:45 Afternoon Session IV 座:諏訪 秀麿 17:30-18:15 中 宗 "量ビット間の相互作推定法" 18:15-18:45 中島 千尋 "結びの彩問題"

Page 5: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

3 22 9:45-12:00 Morning Session I 座:関 真之 9:45-10:30 杉 友規 "揺らぎ定理に基づく熱学の構成" 10:30-10:45 Coffee break 10:45-11:30 藤 洋平 "線形フィードバック系における情報熱学" 11:30-12:00 泉 勇輝 "有限時間熱機関の効率論による平衡物理学へのアプローチ" 12:00 13:00 昼休み 13:00-14:30 Afternoon Session I 座:村 亮 13:00 13:30 福島 孝治 "モンテカルロ法に関する近年の話題について" 13:30-14:15 諏訪 秀麿 "エルゴード的マルコフ鎖の般的改良" 14:15-14:45 Coffee break 14:45-15:30 Afternoon Session II 座:中島 千尋 14:45-15:30 久保 潤

"平衡系,命,情報の関係: 計数統計の視点から"

15:30-16:45 Poster Preview

16:45-18:30 Poster Presentation

Page 6: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

ポスタープレビュー順番及びポスター番号表 古典統計学・スピングラス P-1:関 真之”有限次元スピングラスの理解に向けて:ベーテ近似とその発展” P-2:渕 智之”スピングラスの零点とカオス” P-3:原 健”臨界現象に対するベイズ推定をいたスケーリング解析法” スピングラス理論ベースの情報処理 P-4:雑賀 洋平”情報統計学による光計測技術へのアプローチ” P-5:渡辺 駿介”Cavity 法による相互依存型ネットワークの解析” P-6:Xu Yingying”1-Bit 圧縮センシングの統計学的解析” P-7: 遙”反学習項をれた Hopfield model の統計学的研究” 統計学ベースの命解析 P-8:藤 稔”表現型ゆらぎによる進化の促進” P-9:井 伸宙”格ガスモデルをいたタンパク質結合プロセスの熱学的解析” P-10:松下 勝義”結合と折りたたみの共起におけるタンパク質構造安定化” 確率過程をいた命データ解析 P-11:上村 淳”細胞内反応における情報伝達と分の離散性” P-12: 慎介”神経スパイク発のポアソン性をいた情報伝達” P-13:川 禎彦”ランジュバンモデルにおける階層的ノイズ強度ゆらぎ” エントロピーとマクスウェルデーモン P-14:野 豊”Cleverest Maxwell's demon” P-15:森 正亮”宇宙の様性を測る KL 情報量” P-16:伊藤 創祐”緩和と情報による冷却限界” 揺らぎ(レアイベント)の観測・制御 P-17:根本 孝裕”Zon-Cohen 特異性の物理的起源” P-18:松井 克仁”射影演算法による偏差統計関数の近似計算法” P-19: 輝久”周期的ランダムテレグラフノイズによる同時エスケープ” 量エンタングルメントの制御と利 P-20:橋 洋郎”熱場ダイナミクスをいた量エンタングルメントの研究” P-21:中 雅則”彩問題に関する量アルゴリズム”

Page 7: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

3 23 10:00-12:00 Morning Session I 座:杉 友規 10:00-10:30 兼村 厚範 "MEG 電流源のオンライン変分ベイズ推定" 10:30-11:00 原 秀 "Mechanical control of hexagonal cell packing in Drosophila wing" 11:00-11:15 Coffee break 11:15-12:00 豊泉 太郎 "Beyond the edge of chaos: Amplification and temporal integration by recurrent networks in the chaotic regime" 12:00 13:00 昼休み 13:00-14:30 Afternoon Session I 座:中 宗 13:00 13:45 佐藤 誠 "統計的機械学習における量アニーリング" 13:45-14:30 杉浦 祥 "有限温度における熱的な量純粋状態" 14:30-15:00 Coffee break 15:00-16:15 Afternoon Session II 座:久保 潤 15:00-15:45 村 亮 "新奇揺らぎの導による相転移現象の制御" 15:45-16:15 川本 達郎 "ツィッターの確率モデル" 16:15-16:30 Closing 関 真之

物理学と情報科学はもっとお互いの事を良く知るべきである Next Generations of DEX-SMI

Page 8: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

システム科学としての不規則系の統計力学

東京工業大学 大学院総合理工学研究科 知能システム科学専攻 樺島 祥介 1

1 はじめに機械工学のバネ・ダンパ系と電気工学のRLC回路は,用途も見た目も異なるが,どちらもその動作は2階の線形微分方程式で記述される.数理的なモデル化を行った際にあらわれるこうした仕組みや法則の類似性に着目し,対象によって規定される個別の研究分野の枠を超えて共通に使うことのできる分析手法や設計手法を開発したり,また,ある分野で得られたアイデアや方法論を他の分野に橋渡ししたりする研究態度や志向性をここでは「システム科学」と呼ぶことにする.冒頭に述べたバネ・ダンパ系とRLC回路との類似性は2階の線形微分方程式で記述される「数理的なモデル(=システム)」の扱い方さえ身につけておけば機械も電気回路も(ある程度の範囲では)自在に操ることができることを意味している.制御工学はこうした考え方が成功した代表例であり,現在我々は自動車,ロボットをはじめ日常の様々な場面においてその恩恵に浴している.制御工学に並ぶほど実社会に貢献することは難しいが,システム科学的な発想が画期的な学術上の進歩や新しい研究分野の創出に結びついた例は枚挙に暇がない.素粒子論の自発的対称性の破れのメカニズムは超伝導研究の知見にもとづいて提案された.ホタルの集団発光とレーザーの発振はともに非線形振動子の引き込み現象として理解される.物質の伝導特性と伝染病の伝播はどちらもパーコレーション理論で分析できる.オーストラリア・アボリジニの特殊な婚姻体系が群論を使って説明される.このような話をはじめて聞けば多くの人はやはり「へーっ,そうなんだ」,「そいつは気がつかなかったな」,「その手があったか」と感心するのであり,こうした意外性は学術的な価値としても上位にランクされるべきものであろう.さて,不規則系の統計力学は1980年代半ば連想記憶模型への適用により,伝統的な物理の枠外にある異分野の問題にも使えることが示された [1].対象の個別性にとらわれないシステム科学の一例といえよう.とはいえ,こうした分野の越境は得てしてどちらの側からも注目されず,また,注目されても一過性のものであってすぐに廃れてしまうことがほとんどである.ところが,不規則系の統計力学の場合は存外にしぶとい.連想記憶模型の後,機械学習,制約充足問題の解析,誤り訂正符号,無線通信などへと次々と適用範囲を拡げ,最近では先端的な信号処理技術である

1E-mail: [email protected]

1

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Oral

Page 9: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

圧縮センシングでも注目されるなど30年近くにわたりアクティブな研究分野であり続けている.また,最近ではこうした研究の蓄積にもとづき,過去の個別問題への適用で得られた知見を他の問題へも応用する自律したサイクルも回りはじめている.以下では,そうした流れの中でも特に1990年代の初頭~半ばに掛けて盛んに議論されたパーセプトロンの統計力学に目を向け,それによって得られた知見がその後の研究にどのように結びついているか,について概要を記す.

2 パーセプトロンの統計力学2.1 パーセプトロン

N 次元ベクトルw ∈ RN を可変パラメータとし,入力ベクトル x ∈ RN に対して

y = sign (w · x) ∈ +1,−1 (1)

により,ラベル(出力値)y = ±1を付与する判別器を単純パーセプトロンとよぶ [2].sign(x) = x/|x|は符号関数である.単純パーセプトロンを多段に組み合わせたネットワークを多層パーセプトロン,あるいは,単にパーセプトロンとよぶ.入力 xはある対象を数学的に表現したもの,ラベル y = ±1はその対象が「ある概念」に適合する (+1)か,否 (−1)か,に対応していると解釈する.一般にヒトが日常的に接する概念の多くは数学的に明文化することが難しく,その判別(対象が「いきもの」か否かの判断など)はフォン・ノイマン型コンピュータによる機械化が難しい問題として知られている.これに対し,対象となる概念を反映した訓練データ ξp = (x1, y1), (x2, y2), . . . , (xp, yp)を与えそれを再現するようにパラメータwを調整する(=学習する)方法ならば,概念ルールの明文化は必要ではなく訓練データの収集と機械の学習によって機械化を実現することができる.こうした「機械学習」によるアプローチは長らく基礎研究の域を出なかったが,2000年代以降,コンピュータ/デジタルデバイス/インターネットの発達/普及を背景として情報検索や推薦システムなどへの応用を中心に急速に実用化が進んでいる.

2.2 ネットワーク容量と学習曲線

機械学習の可能性と限界を理論的に吟味するための足がかりとして,パーセプトロンに関する以下のような性能指標の評価が1990年代に盛んに試みられた.

• ネットワーク容量 [3]:パラメータを調整することで表現できる概念(=判別ルール)の範囲は学習器の構造に依存する.構造が定まった学習器の潜在的な表現能力をランダムにラベル付けされた訓練データを誤りなく学習できる例題数 pの上限値 pcによって定量化する.pc

は ξpの実現値に応じて統計的にばらつくが,N → ∞のとき αc = pc/N は確率1でその典型値に収束する.この値をネットワーク(パーセプトロン)容量とよぶ.

2

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Oral

Page 10: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

• 学習曲線 [4]:現実的な状況で機械学習を用いることを想定すると,学習器が訓練データに含まれる少数の例のみを対処すれば事足りることは稀であり,むしろ訓練データから獲得した規則を一般化し未知の例に対しても適切な判別能力を示すことが求められる.こうした要請の実現可能性を吟味するために,ある「教師」パーセプトロンw0によってラベル付けされた訓練データ ξpを学習した「生徒」が未学習の p+ 1個目の例の分類を誤る確率(汎化誤差)を評価する.汎化誤差は ξpの実現値に応じて統計的にばらつくが,N, p → ∞のときα = p/N の関数として確率1でその典型値に収束する.これを学習曲線とよぶ.

2.3 不規則系の統計力学によるアプローチ

ベイズ推論の枠組みにしたがうと ξpを与えたあとのパラメータwの事後分布は

P (w|ξp) =1

V (ξp)

p∏µ=1

Θ(yµ(w · xµ))δ(|w|2 −N) (2)

によって与えられる.ただし,Θ(u) = 1 (u > 0), 0 (u < 0),

V (ξp) =∫dw

p∏µ=1

Θ(yµ(w · xµ))δ(|w|2 −N) (3)

であり,wの大きさはラベルの出力に関係しないため |w|2 = N に規格化している.ネットワーク容量や学習曲線を求めるためには

q =1N

[| 〈w〉 |2

](4)

m =1N

[w0 · 〈w〉

](5)

といった2重の平均量の評価が必要になる.ただし,〈·〉は (2)による平均を [·]は ξpに関わる平均をそれぞれ表している.ところで,具体例 ξpによって条件づけられた事後分布 (2)はランダムな結合定数や磁場で条件付けされるスピングラスモデルのカノニカル分布と数理的に類似した構造を有している.このことにもとづけば,(4),(5)のような2重の平均量はスピングラスの研究で発展したレプリカ法 [5]

やキャビティ法 [6]といった不規則系の統計力学の計算手法によってシステマティックに評価できる.こうした発想にもとづいて,1990年代,様々な構造のパーセプトロンや学習の形態に関して統計力学的な観点からの研究成果が多数報告された [7].これらの研究に関する「パーセプトロン(機械学習)」あるいは「物理」といった対象によって区分けされた個別分野での意義については賛否両論がある.しかしながら,パーセプトロンの研究を通じて,連想記憶などそれ以前の個別問題への応用では希薄であった「構造の数理的類似性に着眼すれば物理の考え方や解析手法を情報科学の広汎な問題群に系統的に利用することが可能になる」というシステム科学的な発想が不規則系の統計力学に生まれたことは,少なくとも,画期的であった.

3

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Oral

Page 11: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

3 パーセプトロンの統計力学以降パーセプトロンの研究以降,多数の確率変数が関わりベイズの定理によって定式化される問題には不規則系の統計力学の方法を系統的に利用することができる,という認識が広まっていった.「不規則系」は物理の中ではどちらかといえば特殊な分野と位置づけられているが,シャノンの通信理論をはじめ,情報科学ではむしろこうしたタイプの問題の方が主流である.情報科学では伝統的に数学的厳密性を重視する傾向が強く,物理で用いられるような「荒っぽい」計算への馴染みは浅い.こうしたことから,不規則系の統計力学の方法は情報科学の重要な問題に対して従来理論で知られているものよりも(数学的厳密性を犠牲にしているおかげで)強い結果を主張できることが多く,現在,「統計力学的アプローチ」には多くの分野で強い関心が寄せられている.以下,パーセプトロン以降,不規則系の統計力学が適用された情報科学の代表的問題を2例記す.

• ランダム k-SATの相転移 [8]:N 個のリテラル(論理変数)の組を x ∈ 0, 1N で表す.xから k個の変数を取り出し,それ自身あるいはその否定を ∨ (or) でつないだ論理式の基本単位を k節 (k-clause)とよぶ.M 個の k節をランダムに構成しそれらを ∧ (and) でつないでできる論理式に出力を真 (1)とするとリテラル(充足解)が存在する確率に着目する.N,M → ∞のとき,α = M/N が k毎に定まるある臨界値 αc(k)より小さければ 1に漸近する確率で充足解は存在し,αc(k)よりも大きければ 1に漸近する確率で充足解は存在しないことが実験的に確認される.相転移点 αc(k)を理論的に評価したい.

• 圧縮センシングの性能限界 [9]:線形変換で得られるM 個のデータから,N 次元の信号を復元したい.線形変換を表す行列がランク落ちしていない場合,こうした目的のためにはα = M/N ≥ 1が必要十分であることが線形代数の一般論から示される.しかしながら,対象となる信号がスパースである(ゼロになる成分が多い)ことが統計的に期待される場合には,α < 1であっても信号復元が可能になるかもしれない.このようなアイデアにもとづく信号計測/復元の枠組みは圧縮センシングとよばれ,現在盛んに研究されている.さて,圧縮センシングが成功するためには,対象となる信号を構成する非ゼロ成分の割合 ρは与えられた圧縮率 αによって定まるある臨界値 ρc(α)よりも小さくなる必要があるはずである.N,M → ∞において,臨界値 ρc(α)あるいはその逆関数 αc(ρ)を理論的に評価したい.

これらの他にも,低密度パリティ検査符号の性能解析 [10],公開鍵暗号の提案 [11],無線通信の性能解析 [12, 13], 無線通信の復調アルゴリズム開発 [14]などの例がある.

参考文献[1] H. Nishimori (2001). Statistical physics of spin glasses and information processing: an

introduction (Oxford Univ. Press: Oxford).

4

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Oral

Page 12: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

[2] F. Rosenblatt (1958). The Perceptron: A Probabilistic Model for Information Storage and

Organization in the Brain. Psychological Review 65 (6): 386–408.

[3] E. Gardner and B. Derrida (1988). Optimal storage properties of neural network models.

J. Phys. A: Math. and Gen. 21: 271–284.

[4] G. Gyorgyi and N. Tishby (1990). Statistical theory of learning a rule. In Neural Networks

and Spin Glasses (W. K. Theumann and R. Koberle eds.) (World Scientific: Singapore):

1–36.

[5] V. Dotzenko (2001). Introduction to the Replica Theory of Statistical Systems (Cambridge

Univ. Press: New York).

[6] M. Mezard, G. Parisi and M. Virasoro (1987). Spin Glass Theory and Beyond (World

Scientific: Singapore).

[7] T. L. H. Watkin, A. Rau and M. Biehl (1993). The statistical mechanics of learning a rule.

Rev. Mod. Phys. 65: 499–556.

[8] R. Monasson and R. Zecchina (1996). Entropy of the K-Satisfiability Problem. Phys. Rev.

Lett. 76: 3881–3885.

[9] Y. Kabashima, T. Wadayama and T. Tanaka (2009). A typical reconstruction limit for

compressed sensing based on Lp-norm minimization. J. Stat. Mech. (2009) L09003 (12

pages).

[10] Y. Kabashima, T. Murayama and D. Saad (2000). Typical performance of Gallager-type

error-correcting codes. Phys. Rev. Lett. 84: 1355–1358.

[11] Y. Kabashima, T. Murayama and D. Saad (2000). Cryptographical properties of Ising spin

systems. Phys. Rev. Lett. 84: 2030–2033.

[12] T. Tanaka (2002). A statistical-mechanics approach to large-system analysis of CDMA

multiuser detectors. IEEE Trans. on Inform. Theory 48: 2888–2910.

[13] K. Takeda, S. Uda and Y. Kabashima (2006). Analysis of CDMA systems that are charac-

terized by eigenvalue spectrum. Europhysics Letters 76: 1193-1199.

[14] Y. Kabashima (2003). A CDMA multiuser detection algorithm on the basis of belief prop-

agation. J. Phys. A: Math. and Gen. 36: 11111-11121.

5

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Oral

Page 13: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

Susceptibility Propagation と組合せ最適化1

龍谷大学 理工学部 樋口 三郎 2

1 グラフ上の統計モデルファクターグラフ上の統計モデル, すなわち, 変数 xi (i = 1, . . . , N) と, 2個以上の変数の間の相互作用 ψa(xi1 , . . . , xik(a)) (a = 1, . . . ,M = αN) を考える. これには i, a を頂点集合とする 2部グラフ G が自然に対応する. 順問題とは, 確率分布 p(x1, . . . , xN ) = 1

Z

∏Ma=1 ψa(x∂a) のも

とで期待値を計算することである.

2 BPとSusProp

信念伝搬法 (Belief propagation, BP)は,磁化率 ⟨xi⟩を推定するための message passing method

である. Message とは, G の有向辺上の場 νk→a(xk), νa→i(xi) であり, 順問題における磁化率の期待値は message に対するある漸化式の固定点での値から計算できる [1].

同種の方法で, 高次の相関関数も計算しようというのは自然な発想であり, 実際, 磁気感受率⟨xixj⟩ を計算する message passing method が, BP の線形応答として構成できる [2, 3]. その,

message は, νk→a,j(xk, xj), νa→i,j(xi, xj) のように, グラフ上で局所的ではない.

3 SusPropと逆 Ising問題ファクターグラフ上の統計モデルの逆問題とは, 標本や期待値が与えられたときに相互作用

ψa(x∂a) の形を決定する問題である. 逆 Ising問題はその一例で, 磁化率と磁気感受率から, 外場と2体の結合定数を決定する問題である.

Mezard らは BPの線形応答を感受率伝搬法 (Susceptibility Propagation, SusProp) と呼び, 逆Ising問題に適用できる形に書き直した [4]. すなわち, 磁気感受率を計算する message passing

method の漸化式において, 外場と結合定数を更新される変数, 磁化率と磁気感受率をパラメタと見直しても, message passing method として機能することを指摘した. この方法は, さらに詳しく調べられている [5, 6].

1Marc Mezard との共同研究に基づく.2E-mail: [email protected]

1

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Oral

Page 14: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

4 SusPropと組合せ最適化組合せ拘束充足問題とは, ファクターグラフ上の統計モデルにおいて, ψa が 0または 1の値のみをとる場合である. すなわち, ψa によって表現される拘束条件をすべてみたす変数 xiの値の組の集合について調べる普遍的な問題である. 典型例として k-SAT がある.

多くの組合せ拘束充足問題に, BPの深化である survey propagation (SP)による期待値評価を利用したヒューリスティックなアルゴリズムが良好な性能を示し, その理由も物理的に理解された[7, 8].

しかし, この状況には不思議な側面がある. 難しい組合せ拘束充足問題を人間がヒューリスティックに解く際には, ‘この変数をこの値にすると, この拘束が破れるので, あの変数の値も変更が必要’

のような状況によく出会う. すなわち, 変数間の相関が重要であるように感じられる. しかし, ここでは survey propagation の与える 1変数の期待値の情報だけで, 多くの組合せ拘束充足問題が効果的に解かれている.

私達は, SusProp (順問題)を中心的な要素として採用した, 組合せ拘束充足問題の解を探索するアルゴリズムを提案した [9]. そのアルゴリズムは次のようなもので, BP-guided decimation [10]

に を追加したものと考えられる.

• ファクターグラフか十分小さくない間繰り返す

– SP で ⟨xi⟩ を評価

– SusProp(順問題) で ⟨xixj⟩connected を評価

– Z2 線形方程式 solver で ⟨xixj⟩connectedを評価

– ⟨xi⟩ の値が偏っている変数の値を固定

– ‘相関の強い’変数ペアを同一視

• 総当たりにより解を探す

このアルゴリズムは, 相関が重要と思われるあるクラスの組合せ拘束充足問題 [11, 12]では, SPよりも広いパラメタ領域で有効に働くことを示したこの状況をよく理解するためには, 2変数の相関について, 解空間の形状の観点からさらに調べることが必要である.

参考文献[1] J. Yedidia, W. Freeman, and Y. Weiss, Understanding belief propagation and its general-

izations, pages 239–236, Science & Technology Books, 2003.

[2] M. Welling and Y. W. Teh, Neural Computation 16 (2004) 197.

[3] K. Tanaka, IEICE Transactions on Information and Systems E86-D (2003) 1228.

2

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Oral

Page 15: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

[4] M. Mezard and T. Mora, Journal of Physiology 103 (2009) 107.

[5] E. Aurell, C. Ollion, and Y. Roudi, The European Physical Journal B-Condensed Matter

and Complex Systems 77 (2010) 587.

[6] E. Marinari and V. Van Kerrebroeck, Journal of Statistical Mechanics: Theory and Exper-

iment (2010) P02008.

[7] M. Mezard, G. Parisi, and R. Zecchina, Science 297 (2002) 812.

[8] A. Braunstein, M. Mezard, and R. Zecchina, Random Structures and Algorithms 27 (2005)

201.

[9] S. Higuchi and M. Mezard, Journal of Statistical Mechanics: Theory and Experiment (2009)

P12009.

[10] A. Montanari, F. Ricci-Tersenghi, and G. Semerjian, (2007).

[11] L. Zdeborova and M. Mezard, Physical Review Letters 101 (2008) 078702.

[12] L. Zdeborova and M. Mezard, Journal of Statistical Mechanics: Theory and Experiment

(2008) P12004.

3

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Oral

Page 16: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

Dictionary Learning Dictionary Learning Dictionary Learning Dictionary Learning への統計力学的アプローチへの統計力学的アプローチへの統計力学的アプローチへの統計力学的アプローチ

東京工業大学大学院総合理工学研究科 坂田綾香1, 樺島祥介

ゼロ成分が有限確率で存在する性質(スパース性)を持つデータについて、線形圧縮された表現

から元のデータを推定する問題は圧縮センシングと呼ばれる。本研究では、スパース性を利用す

る圧縮センシングの枠組みを、スパース性を持たない一般のデータに適用するために、データが

スパースに表現される基底(Dictionary)を推定する Dictionary Learning という問題を考える。

ここでは、与えられた P 個のデータサンプル(N 次元)から、それらデータがスパースに表現さ

れるための Dictionary を学習する、という問題設定をたて統計力学的な解析を行った。その結果、

Dictionary を特定するために必要な P は O(N)であることが分かった。

1111 はじめにはじめにはじめにはじめに

1.11.11.11.1 圧縮センシングと圧縮センシングと圧縮センシングと圧縮センシングと Dictionary LearningDictionary LearningDictionary LearningDictionary Learning

圧縮センシングとは、原情報がスパース、すなわちゼロ成分が有限の確率で存在するという事

前知識を用いて、圧縮された表現から原信号を復元する手法である[1]。観測行列 F ∈ M ×N

用いた線形変換により、信号行列 X ∈ N ×P

がデータ行列 Y ∈ M × P

に変換された場合を考

える。これは P 個の N 次元データに対して M 回の観測を行い、その結果から元のデータを推定

する問題とも言える。M < N のとき、Y = FX の解 X は一意に定まらず、原信号を復元すること

は一般的には不可能である。しかし X のゼロ成分が有限の割合で存在するとき、そのスパース性

を利用して原情報を復元する枠組みが圧縮センシングである。

圧縮センシングにおけるスパース性に関する事前知識は、画像や音声などの多くの情報に一般

的にみられる冗長性、つまり適切な基底のもとではスパースに表現できるという性質を反映して

いる。したがって圧縮センシングは、情報をスパースに表現できる基底が既に得られている状況

を扱った問題であると言える。

このような情報がスパースに表現されるための基底を推定する問題は、Dictionary Learningと呼

ばれる[2]。Dictionary Learningは次の最適化問題として表現することができる。

min,‖ − ‖ , subject to ‖‖ = , ‖‖ =

つまり、データ列 Yを、辞書行列 D とスパース行列 Xの積として表す Dと Xを推定する問題で

ある。‖⋯‖は行列の大きさ(Frobenius norm)を意味し、‖⋯ ‖は非ゼロ要素の数を意味する。θ は

X の非ゼロ成分の割合であり、Yが D の縦ベクトルのうちθ 個の縦ベクトルの和として表現され

るということを意味する。

1 E-mail: [email protected]

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Oral

1

Page 17: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

1.21.21.21.2 Dictionary LearningDictionary LearningDictionary LearningDictionary Learning の一意性の一意性の一意性の一意性

Dictionary Learningにおいては、P が重要なパラメータであると言える。Dictionary Learningを

一般のデータ圧縮に適用する場合には、元のデータを一意に復元する必要がある。すなわち、元

の情報を特定するためには、辞書とそれに対応するスパースな表現を一意に決める必要がある。

一意性に関する先行研究[3]では、“真の”辞書 D0と X

0からサンプル Yを Y = D0X0として構成し

たうえで、Yのみを与えられる状況下で Dictionary Learningを行う場合、下記の条件を満たすとき

に D0と X

0が一意な解として求まることが数学的に証明されている。

1. Support condition:

= < !"#/2

ここでσ (D0)は sparkと呼ばれ、D0の縦ベクトルのうち最小の線形従属な縦ベクトル

の数である。特に D0∈ M×N がランダム行列のとき、σ (D0

) = M + 1である。

2. Richness condition:

= のとき、D0の縦ベクトルの選び方は NCk 通りである。

各選び方について、少なくとも k + 1個のサンプルが存在する必要がある。

(したがって、 P > (k + 1) NCk)

3. Non-degeneracy condition:同じ D0の縦ベクトルの組み合わせから構成される k サン

プルからなる行列は rank k で、異なる組み合わせから構成される k サンプルからな

る行列は rank k + 1。

つまり、条件 1と 3を満たすようにサンプルを構成した場合、必要なサンプル数は条件 2より P >

(k + 1) NCkである。しかしこの見積もりは数学的に厳密に証明できる範囲内での結果であり、実際

はより少ないサンプル数で十分であることが予想できる。そこで、本研究では統計力学的な解析

を行い、Dictionaryの特定に必要なサンプル数の典型評価を行う。

2222 Dictionary Learningの統計力学の統計力学の統計力学の統計力学的解析的解析的解析的解析

ここでも先行研究と同じように“真の”解を埋め込んでおく。Y = D0X0として与えられた Yか

ら辞書行列 Dとスパース行列 Xを推定する。D = D0, X = X

0となれば、一意に解が特定できたこ

とになる。Y = D0X0が与えられたとき、推定結果 D, Xの事後分布確率は次のように与えられる。

ここで Zβ は規格化定数(分配関数)である。辞書行列の大きさは 1とした。またβ → ∞極限で D0X0

= DXの条件が課される。この分布関数の性質を知るには、次の自由エネルギーを計算すればよい。

ここで[...]0は D0, X

0に関するランダム平均である。α = M / N, γ = P / N ~O(1)として、レプリカ

法を用いて自由エネルギーを計算すると、マクロな変数Ω = χD, mD, QX, χX と共役な変数(hat つ

き変数)を用いて次のように表される。

)()(),(

2exp),|,(

0

2

00

200

00 θδδβ

ββ NPNM

Z

NP −−

−−

= XDXD

XDDXXDXD

[ ]0

00

2),(log

1lim

1lim XDββ β

ZN

fN ∞→∞→

−=

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Oral

2

Page 18: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

ここでρ は真のスパース表現における非ゼロ成分の割合、λ は推定結果の非ゼロ要素数がθ とい

う条件に関する Lagrange multiplier である。関数φ は次のように与えられる。

また h は D0, X

0のランダムネスを反映した確率変数で、<<...>>hは h に関する平均を意味する。

3333 結果結果結果結果

マクロな変数に関する鞍点方程式より、マクロな変数については成功解と失敗解という二つの

解が構成されることが分かった。成功解は mD = 1, mX = QX = ρ, 失敗解は mD = mX = 0として特徴づ

けられる。成功解は埋め込んだ解と推定した解の最小二乗誤差がゼロの状態に対応する。したが

って、マクロな変数に関する唯一の安定状態として成功解が存在するとき、辞書の特定が可能で

ある。

成功解はγ > γSで現れるが、この領域においては失敗解と自由エネルギーが縮退しているため、

二つの解を区別することが出来ない。この縮退はγ > γFで解ける。γFは必ずγSより大きい。したが

って、γ > γFでは成功解が唯一の安定状態として存在し、埋め込んだ解 D0, X

0を特定することが可

能である(図 1)。

つまり我々の結果は、O(N)個のサンプルから辞書とスパース行列を特定することが可能な領域

が存在することを示している。これは[2]における結果からの大きな改善であると言える。

このγ > γFにおける Dictionary Learningの成功は、θ に依存したあるα 以上でみられる現象であ

る。α - θ 平面上で、γ > γFでの Dictionary Learningが成功する領域を図 2に示す。

[図 1] 相空間のγ依存性(上図)と自由エネルギーの変化(下図)。

+++−

+

++−

−−

++−

−−=

ΩΩ

)1(2

)2(),ˆ;(ˆ

2

ˆˆ

ˆ2

ˆˆˆ

2

ˆˆextr

2

ˆ,

XDX

XDX

hXXX

XXXX

D

DDDD

DDD

Q

mmQQhmm

QQ

Q

mmm

Qf

χχραγ

λφλθχχ

γ

χχχα

+−=0

2

2

ˆmin),ˆ;( XhX

XQQh X

XX

λλφ

γγFγS1

Free energy

State Space Planted

Solution

Failure

Success

Success

Solution

Failure solution

2. Stat. Mech. of DL

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Oral

3

Page 19: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

[図 2] α -θ 平面上の相図。曲線より上部では O(N)個のサンプルで辞書を学習することが可能。

4444 まとめと今後の展望まとめと今後の展望まとめと今後の展望まとめと今後の展望

以上の結果、辞書行列とスパース行列の特定のために必要なサンプル数は O(N)で十分なパラメ

ータ領域が存在することがわかった[4]。今回の解析はレプリカ対称性の仮定に基づくものである。

より精度よく必要なサンプル数を見積もるためには、レプリカ対称性の破れを考慮する必要があ

る。

謝辞謝辞謝辞謝辞

本研究は日本学術振興会特別研究員奨励費(N0. 23・4665)、(N0. 22300003)の補助を受けてい

ます。

参考文献参考文献参考文献参考文献

[1] D. Donoho, IEEE Trans. Inform. Theory 52 (2006) , 1289.

[2] M. Elad, Sparse and Redundant Representations: From Theory to Applications in Signal and Image

Processing, (Springer-Verlag, New York, 2010).

[3] M. Aharon et al., Linear Algebra and its Applications 48 (2006), 416.

[4] A. Sakata and Y. Kabashima, arXiv: 1203.6178.

Impossible to learn

Learnable by

O(N) samples

0.2 0.4 0.6 0.8 1

1

0.8

0.6

0.4

0.2

0

θ

α

α = θ

F

effθα =

2. Stat. Mech. of DL

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Oral

4

Page 20: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

圧縮センシングによる画像補修

東北大学 大学院情報科学研究科 片岡 駿1, 安田 宗樹, 田中和之

東京工業大学 大学院総合理工学研究科 樺島祥介

画像補修とは画像の輝度値の情報が部分的に欠落した欠損画像から原画像を推定する問題であ

る.この問題はコサイン変換などの周波数変換を利用することで圧縮センシングの問題としてと

らえることができる.画像補修の問題を圧縮センシングとして定式化し,圧縮センシングを利用

した画像補修アルゴリズムを提案する.

1 はじめに

画像の欠損部分を再構成する画像処理技術は画像補修と呼ばれており,画像の非欠損部分の輝

度値から欠損部分の輝度値を推定する問題である [1].この技術は実際に様々なソフトウェアに実

装されており,社会的にも注目を集めている画像処理技術の一つである.一方,画像の圧縮など

で利用されているように,画像にはコサイン変換による周波数表現がスパースベクトルで近似で

きるという性質がある [2].本研究では,この性質を利用し原画像の周波数表現を推定することで,

画像補修を行うことを考える.

2 周波数表現の推定による画像補修

2.1 画像補修と圧縮センシング

欠損画像から原画像の周波数表現を推定する問題を圧縮センシングとして考える.圧縮センシ

ングとは観測値 yが未知のスパースベクトル xからの線形観測 y = Cx (dimy < dimx)で与え

られるとして,yと C の情報から xを推定する問題である [3].

欠損する前のN×Nの原画像の輝度値をI = Ii, Ii ∈ 0, 1, . . . , 255, i ∈ V = 0, 1, . . . , N2−1で表わし,Iのコサイン変換による周波数表現をxとする.V の要素は画像の位置を表わし,画像の

左上を始点としたラスター順序に対応している.観測される欠損画像は原画像から輝度値の情報が

1E-mail:[email protected]

1

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Oral

Page 21: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

部分的に無くなったものである.欠損画像の欠損していない部分の輝度値を y = yj, j ∈ V ′ ⊂ V

とする.このとき,yと xの間にはコサイン逆変換に関係づけられる線形観測

y = CIx , CIij =2

Nαpαq cos

(2k + 1)πp

2Ncos

(2l + 1)πq

2N(1)

が成立する.ここで (p, q), (k, l)はそれぞれ i = k +Nl, j = p+Nqを満足する 0からN − 1の間

の整数の組であり,αsは s = 0で 1/2をとり s = 0で 1をとる.

式 (1)より,欠損画像の非欠損部は元の画像の周波数表現からの線形観測で与えられることが分

かる.この線形観測を利用して元の画像の周波数表現を推定することを考えると,これは線形観

測から高次元のスパースベクトルを推定する圧縮センシングである.圧縮センシングにより周波

数表現の推定値 xが求まれば,原画像 I は xのコサイン逆変換で与えられる.

2.2 ベイズ推定による周波数表現の推定

圧縮センシングではスパースベクトルの推定に l1再構成がよく使用される.l1再構成ではスパー

スベクトルの推定値 xは

x = argminx

N2−1∑i=0

ai|xi| subj.to y = CIx (2)

で与えられる.これは l1ノルム最適化問題であり,尤度を δ (y − CIx),事前確率分布をラプラス

分布

P (x;a) =1

2N2 exp

−N2−1∑i=0

ai|xi|

(3)

として,事後確率分布P (x|y) ∝ δ (y − CIx)P (x)を最大にするxを推定値とする方法である.通

常の l1再構成では ai = 1, i ∈ V としたものが使用される.しかし,コサイン変換による画像の周

波数表現には低周波成分に比べ高周波成分がよりスパースになる性質があるため,本研究では a

によりスパース性の高周波成分への偏りを表現することを考える.aの値は自然画像からの学習

により決定する.

2.3 事前確率分布の学習

最尤推定により,自然画像からaの値を決定する.最尤推定は経験分布Q(x) = 1M

∑Ml=1 δ(x−dl)

と分布 P (x;a)に対して対数尤度

L(a) =

∫dxQ(x) logP (x;a) (4)

を最大にする aを分布 P (x;a)のパラメータ値とするものである.ここで dl|l = 1, . . . ,Mは学習データである.式 (4)の極値条件を求めることで,対数尤度を最大にする aは

ai =M∑M

l=1 |dli|(5)

2

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Oral

Page 22: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

で与えられる.自然画像の周波数表現を学習データとして aの値を求めることで,式 (3)の事前

確率分布に xのスパース性とスパース性の高周波成分への偏りを表現させることができる.

3 反復条件付きモードを使った画像補修アルゴリズム

事後確率分布 P (x|y;a) ∝ δ (y − CIx)P (x;a)から xを推定する具体的なアルゴリズムを導出

する.事後確率分布 P (x|y;a)を最大にする xを求める問題は l1ノルム最適化問題であり,単体

法などの計算法が存在する.しかし,画像などでは xの次元が大きくなり計算時間や必要なメモ

リ量が大きくなってしまう問題が発生する.そのため,P (x|y;a)の極大値を与える xを推定値 x

として,反復条件付きモード [4]を利用した単体法に代わるアルゴリズムを提案する.

欠損画像の欠損部の輝度値を確率変数 z = zk, k ∈ V \V ′とする.このとき,原画像の周波数

表現は

xi =2

N

∑a∈V ′

za cosπp(2ka + 1)

2Ncos

πq(2la + 1)

2N+

∑b∈V \V ′

yb cosπp(2kb + 1)

2Ncos

πq(2lb + 1)

2N

(6)

となり,zの関数 x = C(z|y)として与えられる.式 (6)は欠損部を変数 zとした欠損画像のコサ

イン変換である.この関数C(z|y)を利用して,P (x|y;a)の極大値となる xを与える欠損部 zを

直接推定することを考える.

関数 x = C(z|y)による変数変換により,zの事後確率分布は

P (z|y) = P (C(z|y)|y;a) ∝ exp

−N2−1∑i=0

ai|Ci(z|y)|

(7)

で与えられる.ここで Ci(z|y)は C(z|y)の第 i成分である.P (x|y;a)の極大値を与える xの推

定は P (z|y)の極大値を与える z = zの推定と等価であり,この xは反復条件付きモードを使用

することで効率的に推定することができる.反復条件付きモードは適当に初期値を与え,初期値

に近い極大値を求めるアルゴリズムである.反復条件付きモードを使った画像補修アルゴリズム

を以下にを示す.

• 提案アルゴリズム

Step 1 zを初期化し,∑N2−1

i=0 ai|Ci(z|y)| → Cbとする.

Step 2 すべての k ∈ V \V ′に対して次の操作を行う.

zkを一つ選んで,その他の変数を固定したまま∑N2−1

i=0 ai|Ci(z|y)|を最大にする zk = z∗k

を求め,z∗k → zkと更新する.

Step 3∑N2−1

i=0 ai|Ci(z|y)| → Cnとして |Cb − Cn| < εなら Step 4へ,|Cb − Cn| ≥ εなら Step 2

へ戻る.

3

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Oral

Page 23: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

(a) (b) (c)

(d) (e) (f)

図 1: (a) 原画像 Lenna.(b) (a)の画像を 30% ランダムに欠損させた欠損画像.(c) (b)の画像の修復画像 (MSE:192.07).(d) 原画像Mandrill.(e) (d)の画像を 30% ランダムに欠損させた欠損画像.(f) (e)の画像の修復画像 (MSE:279.85).

Step 4 z → zとして終了.

提案アルゴリズムによる画像補修結果を図 1に与える.aの学習には自然画像 42枚を用いた.

図 1(c)と図 1(f)がそれぞれ図 1(b)および図 1(e)の欠損画像の補修結果であり,原画像との間の

平均二乗誤差 (MSE)は図 1(c)が 192.07,図 1(f)が 279.85である.図 1から提案アルゴリズムが

ランダム欠損に対して良い補修結果を与えているのが分かる.

4 まとめ

本研究では画像の周波数表現がスパースであることを利用して画像補修問題を圧縮センシング

としてとらえ,反復条件付きモードによる画像補修アルゴリズムを提案した.数値実験によりラン

ダム欠損に対しては提案アルゴリズムが有効に機能することが確認できた.しかし,本研究で提

案した画像補修法は事後確率分布の最大点ではなく極大点を与える方法である.この事後確率分

布の最大点を効率よく求めるようアルゴリズムを改良することが今後の課題であると考えている.

参考文献

[1] M.Bertalmio, G.Sapiro, V. Caselles and C.Ballester, In Proc. ACM Conf. Comp. Graphics

(SIGGRAPH), (2000), 417.

[2] 谷口慶治・編,“画像処理工学-基礎編-”,共立出版 (1996).

[3] E.J.Candes and M.B.Wakin, IEEE Signal Process. Mag. 25(2008), 21.

[4] J.Kittler and J.Foglein, Image Vision Comput. 2(1984), 13.

4

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Oral

Page 24: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Oral

Page 25: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

ボルツマンマシン— データからのモデル発掘法 —

東北大学 大学院情報科学研究科 安田宗樹 1

1 はじめに

ボルツマンマシン (Boltzmann machine)は 1980年代に提案された相互結合型の確率的ニューラ

ルネットワークモデルである [1].統計力学を中心に古くから研究のおこなわれてきたイジング模

型との数理的類似性から,物理と情報科学の双方面から様々なアプローチを受けてきたという背景

をもつ.ボルツマンマシンのひとつの主要な目的が学習 (learning)である(情報科学分野では機

械学習 (machine learning)と呼ばれ,また,物理分野では逆イジング問題 (inverse Ising problem)

と呼ばれている.端的にいえば,学習とは得られた観測データからモデルのパラメータ(イジン

グ模型での外部磁場と交換相互作用パラメータに相当する)を決定することであり,統計学的に

は逆問題と呼ばれるものに相当する.

2 ボルツマンマシンの学習

ボルツマンマシンはノード V = 1, 2, . . . , nとリンク E = (i, j)から構成される無向グラフG(V, E)(図 1)上に定義されたグラフィカルモデルである.ノード iに確率変数 xi ∈ +1,−1を

図 1: ボルツマンマシンの例.

割り当て,結合分布を

P (x | θ,w) :=1

Z(θ,w)exp

(∑i∈V

θixi +∑

(i,j)∈E

wijxixj

)(1)

と定義する.ここで Z(θ,w)は規格化定数(分配関数)である.パラメータ θとwはそれぞれバ

イアスと(対称な)結合の重みである.1E-mail: [email protected]

1

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Oral

Page 26: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

まずM 個の観測データ D = d(µ) ∈ +1,−1n | µ = 1, 2, . . . ,Mが独立同分布で得られたとする.ここでいう観測データとは,イジング模型でいえば,ある瞬間のスピン配位のスナップ

ショットだと思っていただいて構わない.このM 個の観測データが “とあるパラメータ”をもつボ

ルツマンマシンから確率的に生成されたものであると考える.もちろんどのようなボルツマンマ

シンから生成されたのかは分からない.知っているのは観測されたデータのみである.ボルツマ

ンマシン学習とは,得られたM 個の観測データのみからそれを生成したボルツマンマシンのパラ

メータの値を当てることと捉えられる.

ボルツマンマシンの学習は以下で説明する最尤推定法 (maximum likelihood estimation)により

達成される.観測データのヒストグラム(経験分布)は

QD(x) :=1

M

M∑µ=1

δ(x,d(µ))

とあらわされる.ここで δはクロネッカーデルタである.この経験分布に対して次のような関数

を定義する.

L(θ,w | D) :=∑x

QD(x) lnP (x | θ,w) (2)

これは(対数)尤度関数とよばれ,これを最大とするパラメータがボルツマンマシンの学習の解

である2.式 (2)はパラメータについて凹関数となっているため,最大点が存在し,(データの共分

散行列が正定値であるような観測データに対しては)解が一意に存在する.式 (2)の極値条件から

以下の連立方程式が得られる.

⟨xi⟩D = ⟨xi⟩B ∀i ∈ V (3)

⟨xixj⟩D = ⟨xixj⟩B ∀(i, j) ∈ E (4)

ここで ⟨· · ·⟩D は経験分布に関する平均をあらわしており,⟨· · ·⟩B はボルツマンマシン (1)に関す

る平均である.連立方程式 (3, 4)はボルツマンマシンの学習方程式とよばれ,この方程式の解が

学習解である.連立方程式 (3, 4)は『学習解は観測データの標本平均とモデルの対応する平均値

を一致させるものある』といっている.この性質から学習方程式は別名モーメントマッチングと

もよばれている.この性質はボルツマンマシンに限らず,モデルが指数分布族であれば,その学

習方程式は一般に十分統計量同士のモーメントマッチングの形になる.

ボルツマンマシンの学習の概略を図 2に示す.まず確率分布が与えられ,そこから何らかの統

計量を計算するという問題を統計的順問題とよぶ.統計物理などでよくある “ハミルトニアンを与

えて物理量を見計算する”問題は順問題である.学習はまさにその逆の統計的逆問題である.つま

り “物理量が先に与えられて,それからハミルトニアンを構成する”といった流れであり,通常と

2観測データが実際にあるボルツマンマシンから生成されており,かつデータ数が十分である(M → ∞)状況ならば,最尤推定法によりデータを生成したボルツマンマシン(生成モデル)のパラメータを完璧に当てることが可能である.

2

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Oral

Page 27: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

âèF ùmÌm¦ªz©ç¢mÌvÊðvZ·é

( )| ,P x w ( ) BA x

ùm ¢m

tâèF ùmÌvÊ©ç¢mÌm¦ªzðÁè·é

( )| ,P x w( ) BA x

¢mùmif[ j

図 2: 順問題と逆問題(学習)の概略.

は逆のプロセスである.そのため,ボルツマンマシンの学習はイジング模型の逆問題をであるか

ら,統計物理学において逆イジング問題とよばれている.

情報理論において非常に重要な量である Kullback-Leibler(KL)情報量(物理学における相対エ

ントロピーに相当)を用いて学習を見直すことができる.次のようなKL情報量を導入する.

D(QD || P ) :=∑x

QD(x) lnQD(x)

P (x | θ,w)(5)

情報化科学分野において KL情報量は 2つの確率分布間の近さの尺度としてよく用いられる.こ

の KL情報量をパラメータについて最小化する(すわなち経験分布とボルツマンマシンをもっと

も近づける)ようなパラメータが学習解となる.なぜなら,式 (2)と式 (5)の間には

D(QD || P ) = −L(θ,w | D) + e(D) (6)

なる関係が成り立つからである.ここで e(D)は経験分布のエントロピーであり,ボルツマンマシ

ンのパラメータには無関係な項である.したがって,先に説明した最尤推定法は経験分布とボル

ツマンマシンの間のKL情報量最小化に対応していることがわかる.

3 最尤推定法と自由エネルギー

式 (2)を変形すると

L(θ,w | D) =∑i∈V

θi⟨xi⟩D +∑

(i,j)∈E

wij⟨xixj⟩D + F (w | D) (7)

となることが直ちにわかる.ここでF (w | D) := − lnZ(θ,w)であり,ボルツマンマシンの自由エ

ネルギーに対応する.したがって,ボルツマンマシンの学習とは結局のところ自由エネルギーの解析

にいきつく.イジング模型の自由エネルギーの解析は平均場理論を中心に統計力学のなかで古くか

ら研究されてきた.その背景から,平均場近似を用いた近似学習法が現在までに多く提案されてきて

いる:naive平均場近似による近似学習 [2],naive平均場近似+線形応答法による近似学習 [3],TAP

3

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Oral

Page 28: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

法+線形応答法による近似学習 [4],摂動展開近似 (Plefka展開)による近似学習 [5],一般化クラス

タ変分法 (generalized belief propagation)による近似学習 [6],ベーテ近似 (belief propagation)+

線形応答法すなわち感受率伝搬法による近似学習 [7, 8, 9]などが代表である.もちろん物理分野

だけでなく,情報科学の機械学習の分野でも 2000年代初頭の contrastive divergence法 [10]の提

案を皮切りに最近様々な近似学習法が提案され続けており,minimum probability flow [11]とよ

ばれる最新の近似学習法が注目を集めている.

4 おわりに

本稿ではボルツマンマシンの学習の基礎について概説してきた.本稿で紹介したモデルはもっ

とも単純な形のボルツマンマシンであり,現在ではその用途に応じて様々な拡張モデルが用いられ

ている(ex. 高次ボルツマンマシン,制約付きボルツマンマシン (restricted Boltzmann machine),

etc.).しかしどのモデルもやはり本稿で解説したモデルが基礎になっており,確率変数間に複雑

な相互作用をもつ確率モデルであることには違いがなく,その解析は結局のところ自由エネルギー

の解析という問題に必ず帰着される.自由エネルギーの解析という観点においては,情報科学分

野に比べ物理学分野にはより多くの知識蓄積がある.機械学習は情報科学分野の斬新な問題意識

と物理学分野の強力な解決手法が上手に協力しあえる格好の土壌のひとつであると考えられる.

参考文献

[1] D. H. Ackley, G. E. Hinton and T. J. Sejnowski, Cognitive Science 9 (1985), 147.

[2] C. Peterson and J. R. Anderson, Complex Systems 1 (1987), 995.

[3] H. J. Kappen, F. B. Rodrıguez, Nueral Computation 10 (1998), 1137.

[4] T. Tanaka, Phys. Rev. E 58 (1998), 2302.

[5] V. Sessak and R. Monasson, J. Phys. A: Math. Theor. 42 (2009), 055001.

[6] M. Yasuda and T. Horiguchi, Physica A 368 (2006), 83.

[7] M. Yasuda and K. Tanaka, Neural Computation 21 (2009), 3130.

[8] M. Mezard and T. Mora, J. Physiol. 103 (2009) 107.

[9] E. Marinari and V. Van Kerrebroeck, J. Stat. Mech.: Theor. Exp. (2010) P02008.

[10] G. E. Hinton, Neural Computation 14 (2002), 1771.

[11] J. Sohl-Dickstein, P. B. Battaglino and M. R. DeWeese, Phys. Rev. Lett. 107 (2011),

220601.

4

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Oral

Page 29: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

構造方程式モデルによる因果構造探索— 非ガウス性の利用 —

大阪大学 産業科学研究所 清水 昌平 1

構造方程式モデル [1]は、データ生成過程のモデルとして使うことができる.重要な応用には、因果推論がある [2].従来は、線形性とガウス分布の仮定が基本であった. だが、データ生成過程の構造に関する背景知識がない場合に、識別できるモデルが少ないという問題があった.そのため最近は、ガウス分布の代わりに非ガウス分布を仮定するモデルが盛んに研究されるようになってきている [3,4].データの非ガウス性を利用することで、従来は識別できなかったモデルの多くが識別可能になる.データの非ガウス性の利用という点で、独立成分分析 [5]と強く関連している.多くの分野においてガウス分布では上手く近似できないようなデータがあり、生体科学・経済学・心理学など実際の適用例も増えてきている [6–8].本講演では、そのような非ガウス構造方程式モデルについて概観した.まず、統計的因果推論 [2]における因果の概念として反実仮想モデル [9]とそれに基づく介入効果の定義を紹介した. この介入効果が因果効果と呼ばれる. そして個体における因果効果はデータから同定できないという因果推論の基本問題 [9]を説明した. 次に、個体における因果効果の代わりに、集団における因果効果 [10]について述べた. 統計的因果推論の主な目的は、集団における因果効果を推定することである. 個体における因果効果と違い、集団における因果効果はデータから同定可能な場合がある. その一つの例が、無作為割り当てを伴う実験である. 次に、因果効果を数学的に表現するための記号として do記号 [2]を紹介した. この do記号は、伝統的な統計学における条件付きの記号とは異なる. この記号によって、統計的因果推論の議論が透明化され、研究の進展が早まったと言われる.

次に、統計的因果推論の議論のための数学的フレームワークとして構造方程式モデルによるアプローチ [2]を紹介した. 構造方程式モデル [1]自体は、データ生成過程のモデルであるが、因果効果などの因果に関する概念や仮説を数学的に記述するのに役立つ. ざっくり言うと、反実仮想モデルで因果とは何かを定義し、構造方程式モデルを使って数学的に表現して推定や検定の対象にする. おおざっぱに言うと、データ生成過程が既知となれば因果効果を計算することができる.

先に述べたように、因果効果を推定する効果的な方法は無作為割り当てを伴う実験を行うことである. しかし, 実験を行うことが倫理的・コスト的に難しい場合がしばしばあり, 実験によって得られたのではないデータを用いて因果効果を推定したいというニーズがある.

1E-mail: [email protected]

1

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Oral

Page 30: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

実験によって得られたのではないデータから因果効果を推定する方法 [2, 11]は、大きく 2つのカテゴリに分けられる. 1つ目は、データ生成過程における変数の生成順序が既知の場合の方法である. この場合は、ある変数からある別の変数への因果効果をバイアスなく推定するためには、当該変数に加えてどの変数を観測すべきかと言うようなことが研究対象になる. 2つ目は、データ生成過程における変数の生成順序が未知の場合の方法である. この場合は、データ生成過程の推定そのものが研究対象になる. 1つ目に比べて、かなり難易度が上がるため, (大事な)変数はすべて観測されていると言った強めの仮定のあるモデルが研究されることが多い. しかし、そのような基本モデルに関する研究成果を基にしてより一般的な状況を扱う研究も盛んに行われるようになってきていると共に、応用事例も増えてきている.

従来は、観測変数間の条件付き独立性やガウス分布の仮定に基づく手法が主流であったが、最近は、外的影響の独立性や非ガウス性の仮定に基づく手法が盛んに研究されるようになってきている [4].

従来は、データ生成過程を表す関数形になにも仮定をおかない状況での議論が中心であったが、仮定をおかない分、データ生成過程を一意に識別できない場合が多く、結果的に因果効果も計算できないということが多々あった. 一方、最近は関数形に何らかの仮定をおいても、識別性を確保し、因果効果を計算する研究方向になってきている. もちろん、何らかの仮定をおく分、モデルの一般性は幾分低下する. しかし, いずれにしても実際には, 関数形以外も含めてモデルの仮定が完全に満たされていることはない. また、仮定の成否をあとで検定することにより、あまりにデータから逸脱した仮定は検出できるような工夫を行っている. これら最近の発展に関する一連の論文へのリンクは次のウェブページにある: http://www.ar.sanken.osaka-u.ac.jp/~sshimizu/lingampapers.html

参考文献[1] K. Bollen. Structural Equations with Latent Variables. John Wiley & Sons, 1989.

[2] J. Pearl. Causality: Models, Reasoning, and Inference. Cambridge University Press, 2000. (2nd ed. 2009).

[3] S. Shimizu, P. O. Hoyer, A. Hyvarinen, and A. Kerminen. A linear non-gaussian acyclic model for causaldiscovery. Journal of Machine Learning Research, 7:2003–2030, 2006.

[4] P. Spirtes, C. Glymour, R. Scheines, and R. Tillman. Automated search for causal relations: Theory andpractice. In R. Dechter, H. Geffner, and J. Halpern, editors, Heuristics, Probability, and Causality: A Tributeto Judea Pearl, pages 467–506. College Publications, 2010.

[5] A. Hyvarinen, J. Karhunen, and E. Oja. Independent component analysis. Wiley, New York, 2001.

[6] E. Ferkingsta, A. Lølanda, and M. Wilhelmsen. Causal modeling and inference for electricity markets. EnergyEconomics, 33(3):404–412, 2011.

[7] S. M. Smith, K. L. Miller, G. Salimi-Khorshidi, M. Webster, C. F. Beckmann, T. E. Nichols, J. D. Ramsey,and M. W. Woolrich. Network modelling methods for FMRI. NeuroImage, 54(2):875–891, 2011.

[8] Y. Takahashi, K. Ozaki, B.W. Roberts, and J. Ando. Can low behavioral activation system predict depressivemood?: An application of non-normal structural equation modeling. Japanese Psychological Research, 2011.

[9] P. Holland. Statistics and causal inference. J. American Statistical Association, 81:945–970, 1986.

[10] D. B. Rubin. Estimating causal effects of treatments in randomized and nonrandomized studies. Journal ofEducational Psychology, 66:688–701, 1974.

[11] P. Spirtes, C. Glymour, and R. Scheines. Causation, Prediction, and Search. Springer Verlag, 1993. (2nded. MIT Press 2000).

2

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Oral

Page 31: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

マルコフ連鎖における定常分布の学習法としてのContrastive Divergenceアルゴリズム

京都大学 情報学研究科 前田 新一 1

離散変数の分布の学習においてContrastive Divergenceアルゴリズム [1]と呼ばれる学習アルゴ

リズムが有効に働くことが示されている [1][2]。しかしながら、Contrastive Divergence アルゴリ

ズムは、その直接、最適化しているコスト関数やアルゴリズムの収束性が不明であるという問題

点を有していた。本稿では、Contrastive Divergenceが離散マルコフ連鎖における定常分布の学習

法として解釈することで、コスト関数を明らかにしたり、その収束性について論じることができ

ることを報告する。

1 序論

多次元の離散変数の分布の推論・学習には、しばしば計算困難な正規化定数の計算が問題にな

る。少数の離散変数間の相互作用、たとえば、二体間相互作用の強弱をパラメータとして表現す

るボルツマンマシンは、離散変数の分布表現としてシンプルなものであるが、正規化定数の計算

は困難であり学習を難しくしている。

この問題に対して、Hinton [1]はContrastive Divergenceアルゴリズムと呼ばれる学習を用いる

ことで、ボルツマンマシンを従来より高速に学習できることを実験的に示した。さらに、Hinton

と Salakhutdinov [2]は Restricted Boltzmann Machine(RBM)と呼ばれる二部グラフの構造を持

つボルツマンマシンを、階層的に順次、Contrastive Divergenceアルゴリズムを用いて学習させて

おくことで従来に比べて非常によりパラメータを得ることができ、実際に顔画像、手書き文字の

特徴抽出・再構成、トピック解析といった大規模な学習を必要する問題に対して良好に学習でき

ることを示し、注目を集めた。

このようにContrastive Divergenceアルゴリズムの有効性は確認されていたものの、Contrastive

Divergenceアルゴリズムはどういったコスト関数を最適化しているのかや、収束性が保証される

のか、などに関しては疑問が残っていた。

本稿では、この Contrastive Divergenceアルゴリズムをマルコフ連鎖における定常分布の学習

法として位置づけて解釈するDBL [4]を紹介することで、コスト関数を明らかにし、その収束性

について議論する。また、近年の関連研究との位置づけについて述べる。1E-mail: [email protected]

1

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Oral

Page 32: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

2 マルコフ連鎖の定常分布の学習

2.1 コスト関数

多次元離散確率変数 v = [v1, · · · , vn] ∈ Sn とその分布 r(v) を真の分布として、真の分布から

サンプルセットDが得られるとする。離散確率分布の学習は、このサンプルセットDから真の分

布 r(v)にもっとも近い分布 p(v) を求める問題として定式化できる。ここで、通常、分布 p(v)は

パラメータ θをもつパラメトリックな分布 p(v|θ)として表現される。しかしながら、多次元離散変数の分布においては、どのような分布表現であれ変数間に相関が

ある場合、正規化定数の計算には計算困難性が生じ、学習を難しくする。

そこで、この学習の問題をマルコフ連鎖の定常分布の学習と視点を変えて計算困難性を回避する

ことを考える。まず多次元の離散変数分布 p(v|θ)を唯一の定常分布にもつマルコフ連鎖 p(v|v′, θ)

を構成することを考える。以降、p(v|θ)がマルコフ連鎖の定常分布となることを強調するためにp∞(v|θ)と表記する。二部グラフの構造をもつボルツマンマシンなどでは、マルコフ連鎖 p(v|v′, θ)

は計算困難性の生じない条件付き独立な分布の組み合わせによって構成できるため、容易にサン

プルを得ることができるメリットをもつ。マルコフ連鎖の定常分布の学習とは、このより扱いや

すいパラメトリックなマルコフ連鎖 p(v|v′, θ)から得られる定常分布 p∞(v|θ)を真の分布 r(v) に

近づけるようマルコフ連鎖のパラメータを学習することを意味する。

このマルコフ連鎖の定常分布の学習を行うために、詳細釣り合い条件を用いる。分布 q(v)に対

する詳細釣り合い条件は以下で与えられる。

For any v,v′ ∈ S, p(v′|v, θ)q(v) = p(v|v′, θ)q(v′) (1)

もし、上記のような分布 q(v)が存在したならば、q(v)は定常分布 p∞(v|θ)に一致する。この事実に基づき、以下のコスト関数を考える。

F (θ, θ) = KL[p(v′|v, θ)r(v)|p(v|v′, θ)r(v′)

](2)

ここで、KL [p(x)|q(x)] ≡∑

x q(x) logq(x)p(x) は、Kullback-Leibler擬距離である。同様に、隠れ変

数 hを介したマルコフ連鎖が定義される場合、以下のコスト関数を考えることができる。

F (θ, θ) = KL[p(v′,h|v, θ)r(v)|p(v,h|v′, θ)r(v′)

](3)

これらのコスト関数 (2), (3)は、任意のパラメータ θ, θ に対してF (θ, θ) ≥ 0であり、F (θ, θ) = 0

となるのは、r(v)に対して詳細釣り合い条件が成り立つときのみ、すなわち、少なくとも r(v) =

p∞(v|θ)が成り立つときのみに限られる、といったコスト関数として望ましい性質をもつ。しかしながら、F (θ, θ)には、未知の分布 r(v)が含まれるため直接の最小化は難しい。次節で F (θ, θ)

を最小化するための近似的な学習アルゴリズムを述べる。

2

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Oral

Page 33: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

2.2 Detailed Balance Learning (DBL)アルゴリズム

真の分布 r(v) による期待値をサンプルDを用いた算術平均で置き換えることで、以下のよう

なアルゴリズムを考えることができる。

Detailed Balance Learning アルゴリズム1. t = 1として、θ0, θ1に初期値を設定する。2. F (θt+1, θt) < F (θt−1, θt) を満たす θt+1を求める。3. 終了条件を満たしたならばアルゴリズムを終了し、そうでないならば tを 1増やし、ステップ2に進む。

F (θ, θ) =∑

v′∑

v p(v′|v, θ)r(v) log p(v|v′, θ) + const (ただし、const は θに依存しない定数)

より、ステップ 2は∑

v′∑

v p(v′|v, θt)r(v) log p(v|v′, θt+1)が評価できれば実行可能であり、これ

はサンプル平均によって評価できる。また、コスト関数が θに関して微分可能であれば、ステッ

プ 2の実行に準ニュートン法などの最適化手法を用いることも可能である。

2.3 DBLアルゴリズムの収束性

DBLアルゴリズムは、各ステップにおいて、F (θt, θt)を小さくするという保証はないが、特定

の条件のもとでは収束性を保証できる。θtがDBLアルゴリズムに従って更新されたとする。この

とき、以下は θtが収束するための十分条件となる。

F (θt+1, θt) < F (θt−1, θt) であるとき, F (θt, θt+1) < F (θt, θt−1) が成り立つ。

3 Contrastive Divergence Learning (CDL)との関係

DBLは、RBMの学習において CDLと密接な関係を持つ。RBMは、観測変数 v ∈ 0, 1nと隠れ変数 h ∈ 0, 1mの二部グラフで書ける分布として以下のように定義される。

p(v,h|θ) = 1

Zexp (−E(v,h; θ)), (4)

ここでZは正規化定数である。Tをベクトルの転置を表すものとすると、E(v,h; θ) ≡ −vTWh−bTv − cTh と定義される。θ = W,b, cは学習すべきパラメータである。ここでギプスサンプラーを pG(v|v′, θ) =

∑h′ p(v|h′, θ)p(h′|v′, θ)とすると、このマルコフ連鎖

によって定常分布 p∞(v|θ) =∑

h p(v,h|θ) が得られる。また、二部グラフの性質により p(v|h′, θ)

と p(h′|v′, θ)はともに条件付き独立な分布となることに注意する。

初期分布 p0(v|θ)を r(v)として、マルコフ遷移 pG(v|v′, θ) に従って t回、遷移した後の分布を

pt(v|θ)と表現する。すなわち、pt(v|θ) ≡∑

v′ pG(v|v′, θ)pt−1(v′|θ)。このとき、DBLアルゴリズ

ムにおけるステップ 2の更新則は、以下で与えられる。

3

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Oral

Page 34: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

∆wij = ⟨vihj⟩r(v)p(h|v,θt) − ⟨vihj⟩Q1(v|θt)p(h|v,θt) (5)

これは、Contrastive Divergenceアルゴリズムによる更新則と一致するものとなっている。した

がって、Contrastive DivergenceアルゴリズムをDBLアルゴリズムとして解釈できる。

4 真の分布が詳細釣り合い条件を満たす必要十分条件

DBLアルゴリズムは、真の分布を定常分布としたときの詳細釣り合い条件が成り立つことを目

的として、導出された学習アルゴリズムであった。定常分布は常に詳細釣り合い条件を満たさな

ければいけないわけではないが、以下のことが示される。

p(v,h|θ) の条件付き分布 p(v|h, θ) と p(h|v, θ) から構成されるマルコフ連鎖 pG(v|v′, θ) =∑h p(v|h, θ)p(h|v′, θ) を考える。このとき、真の分布を表現可能なパラメータが存在する条件

For any v ∈ S, r(v) =∑

h p(v,h|θ)は、真の分布を定常分布とした詳細釣り合いが成り立つ条件For any v,v′ ∈ S, p(v′|h, θ)p(h|v, θ)r(v) = p(v|h, θ)p(h|v′, θ)r(v′) の必要十分条件である。

5 まとめ

本稿では、マルコフ連鎖の定常分布を学習する方法としてDBL [4]を紹介し、DBLが CDLと

密接な関係をもつことを示した。近年、Minimum Probability Flow [3]と呼ばれる学習アルゴリ

ズムが提案されているが、そこでは連続時間のマルコフ連鎖であるマスター方程式から導かれる。

このように、計算上、扱いの困難であった離散分布を直接、扱うのではなく、その分布を定常分

布として持つマルコフ連鎖を構成することで学習アルゴリズムを構成する新しい方法が生み出さ

れている。

参考文献

[1] G. E. Hinton, Neural Computation, 14(8), pp.1771–1800, (2002).

[2] G. E. Hinton and R. R. Salakhutdinov, Science, 313(5786), pp.504–507, (2006).

[3] J. Sohl-Dickstein, P. B. Battaglino, and M. R. DeWeese, Physical Review Letters, 107(22),

22601, (2011).

[4] 前田新一、青木佑紀、石井信、日本神経回路学会, (2009).

4

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Oral

Page 35: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

量子ビット間の相互作用推定手法

東京大学 理学系研究科 化学専攻 田中 宗 1

2つのタイプの相互作用を例に取り、量子ビット間に働く相互作用を推定する手法を考案した。1番目は、核磁気共鳴(Nuclear Magnetic Resonance: NMR)を用いた量子情報処理を念頭に置いた、サイトに依存する横磁場がかかったイジング的相互作用 [1–3]であり、2番目は2スピン系における一般の形の相互作用 [4–6]である2。

1 緒言量子情報処理を実現するためには大きく分けて2つの課題を解決する必要がある。1つは「良質」な量子ビットを作成する技術を確立することである。ここで「良質」とは、コヒーレンス時間が長い、動作環境が極端な条件ではない(例:室温近くで動作する)、量子ビットに対するアクセスが容易であることなどが挙げられる。実験技術の進展により、有機分子の核スピン・超伝導磁束・ナノ分子磁性体・固体中におけるスピンを量子ビットとして用いることができることが確認されており、いくつかの場合において、量子計算のデモンストレーションが行われている段階である。もう1つの課題は、量子ビット間に働く相互作用を精度良く推定する手法を考案することである。量子ビットを所望通りに操作するためには、量子ビット間の相互作用を知らなければならない。そのことを示すために、量子情報処理において典型的な操作である制御 NOTゲート(Controlled NOT gate: CNOT)について考えよう。基底を |00〉 , |01〉 , |10〉 , |11〉とすると、制御NOTゲートは以下の行列で表現できる:

UCNOT :=

1 0 0 00 1 0 00 0 0 10 0 1 0

= eiπσz1/2e−iπσz

2/2eiπσx2 /2UJ(π/4J)eiπσy

2/2, UJ(τ) := e−iJσz1 σz

2τ (1)

相互作用の強さ J がわからないと UJ を作用させるべき時間 τ を知ることができず、制御 NOT

ゲートを作ることはできない。このように、量子状態を制御するためには、量子ビット間に働く相互作用を知ることは必要不可欠である。

1E-mail: [email protected]前者はMohammad Ali Fasihi氏(近畿大学)、近藤康氏(近畿大学)、中原幹夫氏(近畿大学)との共同研究であ

り、後者は鹿野豊氏(分子研)との共同研究である。

1

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Oral

Page 36: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

2 相互作用推定手法以下では2つのタイプの相互作用推定手法の概略を述べる。詳細については、論文 [1–6]を参照されたい。

2.1 NMRを用いた量子情報処理を念頭に置いた系の相互作用推定手法

NMRは、有機分子中の核スピンを選択的に回転させることができるため、量子コンピュータとしての利用が期待されている。NMRを用いた量子ビットは、サイトに依存する横磁場がかかったイジングモデルで表すことができる。すなわち、

HNMR = −∑〈i,j〉

Jij σzi σ

zj −

∑i

hxi σ

xi (2)

と記述することができる3。ここで、

σx :=

(0 11 0

), σy :=

(0 −ii 0

), σz :=

(1 00 −1

)(3)

である。問題設定は以下の通りである。

• 量子ビットは1次元鎖状に連なっているとする。

• 初期状態として擬純粋状態 |↑ · · · ↑〉を用意することができる。

• 端のスピンのみ操作・観測することが可能である。

• 操作・観測することのできるスピンにかかっている磁場は既知であり、変化させることができる。ただし、その他の各々の量子ビットにかかっている磁場 hx

i は固定されており、未知であるとする。

我々が提案した、相互作用を推定する手法は以下の通りである。非自明だが、最も簡単な場合である3スピン系について述べる。

Step 1 状態 |↑↑↑〉を用意する。

Step 2 1番目のスピンのみを回転させ、初期状態を ψ(0) = α |↑↑↑〉 + β |↓↑↑〉とする。

Step 3 1番目のスピンの x方向の期待値の時間発展 〈σx1 (t)〉 := 〈ψ(t)|σx

1 |ψ(t)〉を測定する。ただし、|ψ(t)〉 := exp(−iHNMRt) |ψ(0)〉である。

Step 4 Step 3 で得られたものをフーリエ変換し、〈σx1 (ω)〉のピーク位置を得る。

Step 5 1番目のスピンにかかっている磁場 hx1 を変化させ、Step 1 から Step 4 について、同様

の操作を行い、Step 4 で得られる 〈σx1 (ω)〉のピーク位置の変化を得る。そこから相互作用及

び磁場の値を求めることができる。3式の導出の詳細は文献 [7, 8]などを参照されたい。

2

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Oral

Page 37: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

2.2 NV中心を例とした相互作用推定手法

先程の例では量子ビット間の相互作用が横磁場イジングモデルでよく記述できる場合について、相互作用を推定する手法を考察した。ところが量子ビット間の相互作用はイジング的相互作用であるとは限らず、より複雑な場合が考えられる。例えば、固体中の量子情報処理素子として期待されている NV中心と呼ばれる系が挙げられる。この系では、ダイヤモンド中の空孔と不純物である窒素とで形成される電子状態を量子ビットとみなすことができる。このとき、量子ビット間の相互作用は双極子・双極子相互作用で記述される。このように複雑な相互作用の場合にも相互作用を推定する手法を検討する必要がある。我々は2スピンから成る、最も一般的な相互作用について考察した:

HNV =∑

µ,ν∈x,y,zgµν(σ

µ1 ⊗ σν

2 ), [gµν ] :=

gxx gxy gxz

gyx gyy gyz

gzx gzy gzz

. (4)

問題設定は以下の通りである。

• 1体のハミルトニアンは既知であるとする。すなわち、各々の量子ビットの |↑〉と |↓〉のエネルギー差はわかっているものとする。

• 片方の量子ビットを操作することにより、もう片方の観測ができるとする。両者の量子ビットの直接的な観測は必ずしも必要ではない。情報を片方のスピンからもう片方のスピンに転送し、論文 [9]の方法で情報を取り出す。

我々の提案した手法は以下の通りである。

Step 1 初期状態として、Ψ(0) = ρ1 ⊗ ρ2 という状態を用意する。ここでそれぞれの密度行列は、ρ1 = (I + ri · ~σ1)/2, ρ2 = (I + p · ~σ2)/2とする。ここで ri及び pはそれぞれ、1番目・2番目の量子ビットの量子状態をブロッホ球表示した時の状態を表すベクトルである。

Step 2 短い時間 δtだけ待つ。すなわち、Ψ(δt) = e−iHNVδtΨ(0)eiHNVδtという状態が生成される。

Step 3 1番目の状態を量子トモグラフィを行うことで決定する。

Step 4 測定軸を q方向とする。この方向で2番目のスピンを測定する。

Step 5 制御可能な4つのパラメータ (ri,p, δt,q)を変化させて、Step 1 から Step 4 を繰り返す。

Step 6 Step 4 で得られた期待値を下に相互作用を推定する。

この方法は、短時間のダイナミクスから相互作用の情報を引き出せることからデコヒーレンスに対してシビアではないという利点がある。また Bell 測定を必要としない、2つの量子ビット間の相対位置を知らなくても良いという利点もある。

3

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Oral

Page 38: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

3 結論・今後の展望本原稿では、2つのタイプの量子ビット間の相互作用推定手法について検討した。両者の方法とも、1つのスピンの状態の時間発展を観測することにより、全ての相互作用を推定するという、いわゆる逆問題となっている。我々が取り扱った問題はいずれも極めて簡単な場合である。量子情報処理を真に実現するためには、より多くの量子ビットが一般のネットワーク上にある場合について検討しなければならず、多くの変数を推定する必要があるため、非常に難しい問題である。情報科学においては、パラメータ推定の手法は数多く開発されてきている。そのため、今回取り上げた問題は、純粋物理学的知見のみならず、情報科学的知見を駆使した新しい情報統計力学の展開により、更に現実的な問題として取り扱われることになると考えられる。

謝辞田村亮氏には本原稿を注意深く読んでいただき、有益なコメントを頂きました。本研究は、日本学術振興会科学研究費助成事業(研究活動スタート支援:21840021、及び特別研究員奨励費:23-7601)の支援を受けて実施されました。また、今回報告した研究の計算の一部は、東京大学物性研究所の共同利用スーパーコンピュータを利用しました。ここに感謝申し上げます。

参考文献[1] Mohammad Ali Fasihi, 田中宗, 中原幹夫, 近藤康, 素粒子論研究 119-4A (2011).

[2] M. A. Fasihi, S. Tanaka, M. Nakahara, and Y. Kondo, J. Phys. Soc. Jpn. 80 (2011), 044002.

[3] M. A. Fasihi, S. Tanaka, M. Nakahara, and Y. Kondo, to appear in the proceedings of

Kinki University Quantum Computing Series: “Symposium on Quantum Information and

Quantum Computing (2011)”.

[4] Y. Shikano, S. Kagami, S. Tanaka, and A. Hosoya, AIP Conf. Proc. 1363 (2011), 177.

[5] Y. Shikano and S. Tanaka, Europhys. Lett. 96 (2011), 40002.

[6] 田中宗, 鹿野豊, 素粒子論研究 119-4A (2011).

[7] M. Nakahara and T. Ohmi, “Quantum Computing: From Linear Algebra To Physical

Realizations”, CRC Press, (2008).

[8] S. Tanaka and R. Tamura, to appear in Kinki University Series on Quantum Computing

Series “Lectures on Quantum Computing, Thermodynamics and Statistical Physics”.

[9] M. V. Gurudev Dutt, L. Childress, L. Jiang, E. Togan, J. Maze, F. Jelezko, A. S. Zibrov,

P. R. Hemmer, and M. D. Lukin, Science 316 (2007), 1312.

4

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Oral

Page 39: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

結び目の彩色問題

九州大学 理学研究院 物理学部門 中島 千尋 1

1 イントロダクション結び目は昔から素朴な問題意識とともに数学の対象となってきた。また近年は生体高分子の組織化や機能の発現にトポロジー構造が深く関わっていることが見出され [1]、熱揺らぎを受ける結び目構造の実現確率分布や選択・制御の問題が興味を持たれている。結び目の理論と統計力学の関係は深く [2]、多項式不変量と可解模型の対応関係 [3]や高分子レオロジーへの応用 [4]などに代表されるように数々の研究がされてきた。多項式不変量と可解模型の対応関係は [3]において指摘されているが、対応関係が存在することと具体的な結び目の弁別・解析との間にはなおギャップがある。実際、結び目不変量の計算量は大きく、多くの場合に射影図式の交点数やひもの長さの指数関数で計算量が増大することが知られている。他にも、Jones多項式の計算 [5]や結び目の単純化による自明性判別 [6]が NP計算量クラスに属することが証明されるなど、結び目のトポロジーには計算機科学的にも興味深い話題がある。前述の生体高分子の文脈に置いても、大規模な高分子配位の結び目構造における計算量の問題は様々な点で壁となっている [7]。

2 制約充足問題としての定式化結び目の不変量には射影図式の交点に基づいて定義するものが多いが、p彩色数は、射影図式の弧に ci = 0, 1, · · · , p− 1で表される数字(色)を割り当て、射影図式中の交点で出会う3つの弧の色 ci−1, ci, ck(図 2(c))に対して、

mod(ci−1 + ci − 2ck, p) = 0 (1)

を満たす様な塗り分けの配位のみを許可するものとして定義される。塗り分け配位の総数と非自明な塗り分けを許す pの値の系列はともに、位相不変な量である。この量は、弧の彩色を自由度と見なし、交点における弧の交差関係(またぐ・またがれるの関係)をグラフの結合関係として整理することにより、バイパータイトなランダムグラフ上の制約充足問題として定式化することが出来る。我々は、分子動力学法で得られた高分子結び目のサン

1E-mail: [email protected]

1

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Oral

Page 40: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

図 1: 結び目の射影図式とランダムグラフの対応の例。

プル(図 2(a)参照)をもとにランダムグラフ上のハミルトニアンを構成し、レプリカ交換モンテカルロ法と熱力学積分を用いた制約充足状態の統計力学的数え上げの方法を用いて塗り分け配位の数を求めた。この方法がどの程度大きな結び目に対して現実的に適用できるかは現在調査中であるが、塗り分け配位について幾つかの新しい事実が見出されている。例えば、非自明な塗り分けを許す pの系列が同じである結び目の組が幾つか知られているが、それらにおいても、塗り分けた配位そのものには重複が無いこと、塗り分けの配位にラテン方陣との関係が示唆されること(詳細は未解明)などである。

3.15

3.2

3.25

3.3

6 9 12 15

0

10

20

30

40

50

0 5 10

S

β

log

log

log

26

25

24

8-fig , 26 crosses

8fig , 4 crosses (minimal crossing number)

log 25

図 2: (左)制約充足問題としてのエントロピーの計算結果。横軸は逆温度、縦軸は全エントロピー。β → ∞における基底エントロピーが塗り分け総数の対数にあたる。(右)(デモンストレーションに用いた高分子模型の配位。([8]より)

3 展望結び目の数学的理解の文脈では、与えられた結び目をほどくためにかかる手数など、位相不変ではない構造も興味を持たれる。本研究で用いたハミルトニアン(詳細は [8]参照)の基底状態は結び目不変量と対応し、これを求めることには成功した。本研究で用いたグラフ表現では、グラ

2

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Oral

Page 41: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

フの結合構造は結び目の弧の交差の構造で決まり、また有限エネルギー状態の状態密度の構造を決めている。従って、励起状態の状態密度や有限温度の熱力学量(内部エネルギーや比熱など)には結び目の位相不変性以外の情報が反映されている可能性があり、これらの情報を引き出すことも期待できる。また、可約な結び目の変形(結び目をほどく操作など)はグラフの変形の繰り返しとして記述できるため、特に、結び目をほどくことによる自明性判別問題がNP計算量のクラスに属する [6]

ことを受けて、グラフReidemeister変形における準安定状態の埋め込まれ方を調べることにより計算量クラスとの関係にアプローチすることは興味深い。

謝辞本研究は、九州大学理学研究院の坂上貴洋助教との共同研究です。また、本研究は、JSPS Core-

to-Core Program“ International research network for non-equilibrium dynamics of soft matter”による援助を受けています。

参考文献[1] C. Ernst and D. W. Sumners, Math. Proc. Camb. Philos. Soc. 108, 489 (1990) など。

[2] L. H. Kauffman, Knots and Physics, (World Scientific, 1991).

[3] T. Deguchi, et.al., J. Phys. Soc. Jpn. 56, 3039 (1987) など。

[4] T. Deguchi and K. Tsurusaki, arXiv:hep-th/920911.

[5] D. J. A. Welsh: Complexity: Knots, Colorings and Counting, London Mathematical Society

Note Series 186, (Cambridge University Press, 1993).

[6] J. Hass, and J. Lagarias, J. Amer. Math. Soc., 14, 399, (2001).

[7] C. Micheletti, D. Marenduzzo, and E. Orlandini, Phys. Rep., 504, 1, (2011).

[8] C. H. Nakajima and T. Sakaue, J. Phys. Soc. Jpn. 81, 035001 (2012).

3

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Oral

Page 42: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

揺らぎ定理に基づく熱力学の構成1

科学技術振興機構 FIRST合原最先端数理モデルプロジェクト 

東京大学生産技術研究所民間等共同研究員 杉山 友規 2

本原稿は 2012年 3月 21日~23日の日程で京都大学基礎物理学研究所で行われた基研研究会「情報統計

力学の最前線」における講演の記録である。講演では、近年非平衡物理学の領域で注目を浴びている揺らぎ

定理に基づいて熱力学第2法則を構成すると共に、そこで得られた知見を用いて準安定状態を特徴づける

自由エネルギーを測定する方法を提案した。以下で、講演内容の詳細について報告する。

1 導入

近年、揺らぎ定理 [1,2]の発見により、非平衡系における仕事や熱量そしてエントロピー生成の微視的ス

ケールにおける揺らぎの構造が明らかになった。この定理は様々な導出が存在し、また様々な文脈で表現さ

れているが、重要な点は非平衡系を記述する微視的確率モデル(確率過程)が従う時間反転に関する対称性

を規定していることにあると言える。この立場に立ったとき、我々は微視的スケールの確率論である揺らぎ

定理と巨視的スケールにおける決定論である熱力学の間を繋ぐ架け橋がどの様なものであるかと言うこと

に興味を持つ。多くの場合、この様な研究は積分形の揺らぎ定理である Jarzynski恒等式 [3]を用いて、微

視的物理量の期待値を熱力学的物理量であると仮定して遂行される。しかし、果たして熱力学は期待値に

関する理論であったのだろうか?そもそも、統計物理学の本質は熱力学極限を取る操作(即ち、微視的物理

量を租視化し、システムサイズを大きくする操作)にあると言っても過言ではない。この操作のおかげで、

微視的スケールに存在する揺らぎは系が大きくなると共に減衰し、極限においては決定論的な熱力学が構

築されるのである。この様に考えると、期待値を用いた従来の揺らぎ定理と熱力学の対応付けは十分に満

足できるものでないことに気付く。本原稿では、この点を克服すべく、微視的物理量に対し直接熱力学極限

を取ることによって、揺らぎ定理と熱力学(特に第2法則)の関係を明らかにする。また、熱力学極限を考

えることによって初めて理解される準安定状態に対する自由エネルギーの測定方法を提示する。

2 巨視的スケールにおける揺らぎ定理

本研究において、我々は逆温度 βで特徴付けられる熱浴に接触しているN 自由度の多体系を扱う。系の状

態は xiで記述され、外的操作 λを通して仕事を受ける。さらに、この系のダイナミクス及びHamiltonian

1この原稿は、基研研究会「情報統計力学の最前線」の報告書である。2E-mail: yuki [email protected]

1

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Oral

Page 43: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

が以下のようにモデル化されることを仮定する。まず、ダイナミクスは伊藤過程で表される。

dxi =

[− ∂

∂xiHN (xi , λt)

]dt+

√2

βdξi (1)

ここで、ξiはWiener過程をHN (xi , λt)は系のHamiltonianを表す。続いて、このHamiltonianが以下

のような平均場型であることを仮定する。

HN (xi , λ) = −∑i

Fλ (xi)−1

2N

∑ij

G (xi, xj) (2)

ここで、Fλは系のポテンシャルトラップを表し、Gは2体の相互作用を表している。以上の設定の下、本

節では巨視的スケールにおける揺らぎ定理を導出する。(この系は、微視的な意味での通常の揺らぎ定理は

満たしている [2]。)

さて、微視的確率モデルを表す式(1),(2)から巨視的な物理法則を導くために熱力学極限を取ること

を考えよう。このような方程式は経験分布 µ (x, t) = (1/N)Σiδ (xi − x)を用いて粗視化できることが知ら

れている [4]。実際、この粗視化を行うと、

dµ (x, t) = Dµt,λt (x) dt+1

N

√2

β

∑i

∂δ (xi − x)

∂xidξi (3)

を得る。ここで、右辺第1項は多自由度極限(N → ∞)での振る舞い(熱力学的時間発展)を表しており、

Dµt,λt (x) = − ∂

∂xfλt (x)µ (x, t)

− ∂

∂x

µ (x, t)

∫g (x, y)µ (y, t) dy

+

1

β

∂2µ (x, t)

∂x2(4)

で与えられる。(ここで、簡易表記 fλt (x) = ∂Fλt (x) /∂x、g (x, y) = ∂G (x, y) /∂xを用いた。)一方で、第

2項は系の自由度の増大共に減衰する揺らぎの効果を表している。一見、この第2項は複雑な形をしてい

るが、この表式から求められる拡散定数は

Rµ (x, y) =2

β

∫dz∂δ (x− z)

∂z

∂δ (y − z)

∂zµ (z) (5)

となり、経験分布 µで閉じた形になっている。続いて、式(3)を用いて、時間間隔 [0, T ]における µの時

間発展に対する経路確率 Path [λ, µ|µ0] = e−NJ[0,T ][λ,µ] を求めよう。ここで、J[0,T ] は作用汎関数 [5]と呼

ばれる量で、実際に評価すると、

J[0,T ] [λ, µ] =

∫ T

0

dtLλt [µt, µt] , (6)

Lλt [µt, µt] =1

2

∫ ∫dxdyR−1

µt(x, y) µ (x, t)−Dµt,λt (x)

×µ (y, t)−Dµt,λt (y) (7)

となる。さらに、この作用汎関数の表式(6),(7)を拡散定数の表式(5)を用いて変形すると、以下のよ

うな時間反転に関する対称性を得る。

Ieq,λ0 [µ0] + J[0,T ] [λ, µ] + βw[0,T ] [λ, µ]

= Ieq,λ0[µ0] + J[0,T ]

[λ, µ

]+ β ϕeq (β, λT )− ϕeq (β, λ0) . (8)

2

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Oral

Page 44: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

ここで、w[0,T ] [λ, µ]は系に加えられた自由度当たりの仕事、ϕeq (β, λT )− ϕeq (β, λ0)は自由度当たりの平

衡状態間の自由エネルギー差を表し、Ieq,λ は外的状態 λにおけるカノニカル分布に対する大偏差関数 [5]、

·は時間反転操作 µt = µt, λt = λt, t = T − tを表す。左辺の第 1,2項 Ieq,λ0 [µ0] + J[0,T ] [λ, µ]と右辺の第

1,2項 Ieq,λ0[µ0] + J[0,T ]

[λ, µ

]に注目しよう。前者は経験分布 µの時間発展の揺らぎを、後者は時間反転し

たときのそれを表している。これら2つが関係付けられていることを考慮すると、この対称性(8)が巨視

的スケールにおける揺らぎ定理を表していると考えられる。

3 熱力学第2法則

前節で得られた巨視的スケールにおける揺らぎ定理の対称性(8)を用いて、熱力学第 2法則を導出して

みよう。経験分布の熱力学的時間発展は、大偏差関数及び作用汎関数の性質を考慮すると、それらを最小に

する時の µの時間発展を用いて与えられる。即ち、初期状態を平衡状態 µeq,λ0 に固定し、外的操作を λで

表した時、熱力学的時間発展 µ∗ [λ;µeq,λ0 ]は以下の式を満たす。

Ieq,λ0 [µeq,λ0 ] + J[0,T ] [λ, µ∗ [λ;µeq,λ0 ]] = 0 (9)

この式(9)を揺らぎ定理の対称性(8)に代入すると、

βw[0,T ] [λ, µ∗ [λ;µeq,λ0 ]] = Ieq,λ0

[µ∗0 [λ;µeq,λ0 ]] + J[0,T ]

[λ, µ∗ [λ;µeq,λ0 ]

]+β ϕeq (β, λT )− ϕeq (β, λ0) (10)

を得る。ここで、µ∗ [λ;µeq,λ0 ]は熱力学的時間発展 µ∗ [λ;µeq,λ0 ]を時間反転したものであり、µ∗0 [λ;µeq,λ0 ]

はその初期条件である。また、w [λ, µ∗ [λ;µeq,λ0 ]]は熱力学的時間発展が起こったときに系が受け取る仕事、

即ち熱力学的に測定される仕事を表している。さらに、大偏差関数及び作用汎関数が非負の関数であること

Ieq,λ0[µ∗

0 [λ;µeq,λ0 ]]+J[0,T ]

[λ, µ∗ [λ;µeq,λ0 ]

]≥ 0を考慮すると、我々は熱力学第2法則w[0,T ] [λ, µ

∗ [λ;µeq,λ0 ]] ≥

ϕeq (β, λT )− ϕeq (β, λ0)を得る。また、エントロピー生成 σ [λ] = βw[0,T ] [λ, µ

∗ [λ;µeq,λ0 ]]−∆ϕeqは大

偏差関数及び作用汎関数を用いて、

σ [λ] = Ieq,λ0[µ∗

0 [λ;µeq,λ0 ]] + J[0,T ]

[λ, µ∗ [λ;µeq,λ0 ]

]. (11)

と評価される。以上が、本研究における主要結果の一つである。

4 準安定状態に対する自由エネルギーの測定

近年、Jarzynski恒等式 ⟨e−βW

⟩eq

= e−β∆Φeq (12)

を用いて自由エネルギーを測定する方法が考案されている。ここで、∆Φeqは平衡状態間の自由エネルギー

差、W は系に加えられる仕事、⟨·⟩eqは初期状態を平衡状態としたときの確率的時間発展に対する期待値を

表す。この方法は、式(12)左辺の期待値を取る操作を、多数回仕事を測定することによって評価し、自由

エネルギーを求めようというものである。熱力学的に自由エネルギーを評価しようと試みるとき、準静的

3

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Oral

Page 45: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

操作の下での仕事を測定する必要がある。一方で、この方法は、任意の操作における仕事を用いて自由エネ

ルギーを評価出来るという意味で優れている。ところで、この Jarzynski恒等式は、初期状態が平衡状態で

ある時に成り立つ恒等式である。もし、初期状態を準安定状態に拡張し、その場合に対しても Jarzynski恒

等式と同じように仕事と自由エネルギーが関係付けられていれば、我々は上述の方法を用いて、準安定状態

に対する自由エネルギーを測定することができる。実際に、前節までの議論を用いて、初期状態を準安定状

態とした場合に対して、仕事と自由エネルギーを関係付けることを考えてみよう。この時、我々は外的操作

を一定程度制限することによって、以下の恒等式を得る。(詳細の導出は参考文献 [6]を参照)

⟨e−Nβw

⟩i= e−Nβϕeq(β,λT )−ϕi(β,λ0) (13)

ここで、ϕi は初期状態として与えた準安定状態の自由エネルギーを表す。しかし、この恒等式は上述した

ように、通常の Jarzynski恒等式とは異なり、任意の外的操作の下で成り立つわけではない。そこで、この

恒等式が成り立つ制限の下で、有益な実験計画を考えてみよう。その時、我々は以下のような計画を思いつ

く。まず、初期状態として与える準安定状態が過去の平衡状態から人為的にある操作下で作られている場合

を想定しよう。そして、この操作を我々は知っていると仮定する。この時、この操作を時間反転した操作を

用いて実際の実験を行う。具体的には、初期状態にあたる作られた準安定状態に時間反転した操作を加え仕

事を観測する。この操作の下では、式(13)が成り立つため、この実験を多数回行い左辺の期待値を評価

することにより、自由エネルギー ϕi が評価できる。以上が本研究の 2つ目の主要結果である。

謝辞

本研究を遂行するに当たり、日本学術振興会特別研究員奨励費(DC2)からの助成に感謝する。また、本

原稿の執筆においては、先端研究開発支援プログラム(FIRST合原最先端数理モデルプロジェクト)から

の助成に感謝する。

参考文献

1) C. Jarzynski, J. Stat. Phys. 98, 77 (2000).

2) G. E. Crooks, Phys. Rev. E 60, 2721 (1999).

3) C. Jarzynski, Phys. Rev. Lett. 78, 2690 (1997).

4) D. A. Dawson, J. Stat. Phys. 31, 29 (1983).

5) H. Touchette, Phys. Rep. 478, 1 (2009).

6) Y. Sghiyama and M. Ohzeki, arXiv:1110.2088 (2011).

4

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Oral

Page 46: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

線形フィードバック系における情報熱力学

慶應義塾大学理工学部物理情報工学科 藤谷洋平 1

1 はじめに

ひとつの熱浴に接した系に仕事をする。熱力学第二法則によれば、「系と熱浴をあわせた断熱系のエントロピは減らない」。これを「系にする仕事は系のHelmholtz自由エネルギの変化分より大きい」と言い換えたほうが、系の物理量が現れるだけなので便利だろう。フィードバック制御のもとで仕事をすることにしよう。以下では、制御される系をプラントということにする。プラントの物理量を測定し、これに基づいてプラントへの入力を変えるわけである。こうしても、プラントと熱浴と制御に関わるデバイスを含んだ断熱系を考えれば、熱力学第二法則は成り立ち、全体のエントロピは減らない。これをやはり、プラントにする仕事やそのHelmholtz自由エネルギ変化を使って言い換えられないか、というのが研究の動機である。これは古くから考えられている問題である [1]。最近では、量子系の一回測定フィード

バック系で、熱力学第二法則を拡張した式を導かれ [2]、古典系の一回測定フィードバック系で Jarzynski等式が拡張された [3]。複数回測定の場合にも研究されたが [4, 5]、特に線形フィードバック系に限れば、一回測定の場合とよく似た拡張ができる [6]。以下では、この結果の導出の概略を説明する。

2 プラントの時間発展

プラントが、温度 T の熱浴に触れているとする。離散時間で記述することにして、k番目の時刻のプラントの状態変数を xkとする。これが、線形 Langevin方程式

xk+1 = Akxk + Bkuk + wk (1)

に従うとする。入力ukは、状態変数を時刻 kまで測定して決める。熱雑音wkは白色で平均はゼロとする。通常の状況では、係数行列AkおよびBkならびにwkは、kに依らない。各時刻で入力を切り替えていく。時刻 kでのプラントのエネルギは、E(xk, uk−1) から

E(xk, uk)に変わる。これは、外部がプラントにした仕事の結果である。式 (1)による(つまり順過程の)遷移確率をPk+1|k (xk+1|xk; uk)と書く。プラントの始状態は入力u0の下での平衡状態とする。終状態は入力uN の下での平衡状態とする。時間反転した変数を ∗

1 E-mail: [email protected]

1

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Oral

Page 47: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

で表わし、時間反転したLangevin方程式に伴う(つまり逆過程の)遷移確率を←−P k|k+1と

する。βをBoltzmann定数と T の積の逆数として、各ステップでの詳細釣り合い

Pk+1|k (xk+1|xk; uk) e−βE(xk,uk) =←−P k|k+1

(x∗

k|x∗k+1; u

∗k

)e−βE(xk+1,uk) . (2)

を仮定する。式 (1)が、この性質を持っているとするわけである。プラントの発展が平衡に近いと仮定して、線形 Langevin方程式を使ったが、入力が変わらない場合はこの式は平衡のまわりのゆらぎも記述する。その帰結が、上記の local detailed balanceである。式 (2)をかけあわせていくことで、

eβ(∆F−W )G =←−G (3)

を得る。ここで、∆F は始状態から終状態までのプラントのHelmholtz自由エネルギの変化分であり、Gと

←−G は次で定義する:

G ≡ P0(x0)

N−1∏k=0

Pk+1|k (xk+1|xk; uk)

, (4)

←−G ≡ ←−

P N(x∗N)

N−1∏k=0

←−P k|k+1

(x∗

k|x∗k+1; u

∗k

). (5)

ここで P0は順過程における時刻 k = 0での状態変数の確率密度を表す。フィードバックがなければ、式 (4)は順過程における状態変数が x[0,N ] ≡ x0, x1, . . . , xN である確率密度を表し、式 (5)は逆過程における状態変数がx∗

[0,N ]である確率密度を表すことになる。この場合、文献 [7]にあるようにして、

eβ∆F ⟨e−βW ⟩ = 1 (6)

という Jarzynski等式 [8]が導かれる。ここで ⟨· · ·⟩は統計平均をあらわすとする。

3 線形フィードバック系

フィードバックがあると、順過程のMarkov性が失われ、式 (6)は導けない。代わりにどうなるかを、フィードバック系に条件をつけて議論しよう [6]。各時刻の測定量を

yk = Ckxk + vk (7)

とする。係数行列Ckは、必ずしも正方行列とは限らない。センサ雑音 vkは白色とする。また、時刻 kにおける状態変数の推定量 xkを、その時刻までの測定量 y[1,k]に線形として、最小分散推定で求める。k = 1, 2, . . . , N − 1の入力を、各時刻での状態変数の推定量xkに比例するとする:

uk = −Kkxk . (8)

ここでKkはゲインと呼ばれる。この仕組みを線形レギュレータという。ゲインをどのように決めるかは、あとで議論する。状態変数を xk = x

(1)k + x

(2)k と分けて、それぞれが

x(1)k+1 = Akx

(1)k + Bkuk , (9)

x(2)k+1 = Akx

(2)k + wk (10)

2

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Oral

Page 48: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

を、k = 0, 1 . . . , N − 1で満たすようにする [9]。あわせると式 (1)が満たされることがわかる。はじめのx

(1)0 は決めてしまう。入力u0 も決めておく。すると、x

(1)1 も決まる。式

(10)からわかるように、x(2)[0,k]は入力によらず、Markov過程となる。さらに、2 ≤ k ≤ N

の場合、y[1,k−1]が決まれば、uk−1が決まり、x(1)k が決まる。したがって、k = 1, . . . , N −1

に対して、測定値 y[1,k]が得られれば、

y(2)k ≡ yk − Ckx

(1)k = Ckx

(2)k + vk (11)

を計算することができる。このようにして、測定値y[1,k]を得た時点で、確定したy

(2)[1,k]の値を使って、x

(2)k とx

(2)k+1

の推定量を計算することができる。時刻k = 0でのx(2)1 の推定量は、⟨x

(2)1 ⟩とする。x

(1)[0,k+1]

は、推定するまでもなく確定値が得られる。このようにして、次々と状態変数の推定量を求めていく方法をKalmanフィルタという。わかりやすい解説は文献 [10]にある。ある量の統計平均をとることは、そもそもはx0とw[0,N−1]および v[1,N−1] に関して平

均をとることだったが、これをx(2)[0,N ]と y

(2)[1,N−1]に関しての平均をとることと考えること

もできる。x(2)[0,N ]は、Markov過程でない順過程から抜き出したMarkov過程である。こう

して式 (4)と式 (5) を使って計算していくと、式 (6)の代わりに

eβ∆F ⟨e−βW−I2⟩ = 1 (12)

を得る。ここで、I2は、

I2

(x

(2)[1,N−1]|y

(2)[1,N−1]

)≡ ln

P (2)

(x

(2)[1,N−1]|y

(2)[1,N−1]

)/P (2)

(x

(2)[1,N−1]

)(13)

で定義される。P (2)は上付き添字 (2)のついた過程に関わる確率密度を表す。式 (12)が、線形フィードバック系で書き換えられた Jarzynski等式である。これから、

⟨W ⟩ ≥ ∆F − kBT ⟨I2⟩ (14)

を導ける。⟨I2⟩はx(2)[1,N−1]とy

(2)[1,N−1] の間の相互情報量である。式 (14)の等号成立条件は、

すべてのゆらぎが無視できることである。式 (12)は、任意のゲインについてなりたつ。通常の制御では、ゲインを評価関数が最

小になるように決めることが多い。評価関数がN−1∑k=1

⟨xTk+1Qk+1xk+1 + uT

k Rkuk⟩ (15)

のように二次形式で与えられるとする。ここでQ[2,N ]とR[1,N−1]は実対称行列である。このとき、各時刻の最適ゲインを求める手続きは、推定量を求めるとは独立に行うことができる。このことを分離定理という [9, 11]。さらに、関わっている確率変数がすべて Gaussianとする。この場合を、LQG問題

(linear, quadratic, Gaussian)という。このとき、広いクラスの制御系のなかで、最適な制御が線形レギュレータであたえられることが示せる。またこのとき、Kalmanフィルタの計算途中で求められる行列 PkとMkを使って、相互情報量が簡便に

⟨I2⟩ =1

2

N−1∑k=1

ln det(P−1

k Mk

)(16)

で計算できる [10, 12]。上式右辺はゲインに依らないので、ここで考えた枠組みでは、⟨I2⟩を最小にするような制御はできないことがわかる。

3

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Oral

Page 49: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

4 おわりに

通常の熱力学第二法則は ⟨W ⟩ ≥ ∆F と書ける。右辺は過程途中の詳細に依らないので、最小仕事は、等号成立条件である準静過程のときに得られることがわかる。一般に、情報を得れば確率が変わる。状態についてなんらかの情報があれば、左辺にある期待値の下限が変わるのは当然である。そこで、フィードバック系では、式 (14)に書き換わる、というわけである。この不等式では、過程の詳細に依る量が ⟨W ⟩と ⟨I2⟩のふたつとなるので、仕事を最小にしようとしても、不等号が等号に近づくわけではない。静電的な力で荷電Brown粒子を、「一定時間に一定距離だけ一次元的に」、そして「する仕事が最小になるよう」最適制御をしながら動かす過程を数値的に検討してみると、不等号は等号からかけはなれて成立する [13]。どのような条件で不等号が等号に近くなるか、調和ポテンシャルにとらえられたBrown粒子で現在調べている [14]。

謝辞: 鈴木博之氏との共同研究、沙川貴大氏および山本直樹氏との議論に感謝する。

References

[1] T. Sagawa, Prog. Theor. Phys. 127 (2012), 1.

[2] T. Sagawa and M. Ueda, Phys. Rev. Lett. 100 (2008), 080403.

[3] T. Sagawa and M. Ueda, Phys. Rev. Lett. 104 (2010), 090602.

[4] J. M. Horowitz and S. Vaikuntanathan, Phys. Rev. E 82 (2010), 061120.

[5] T. Sagawa and M. Ueda, Phys. Rev. E 85 (2012), 021104.

[6] Y. Fujitani and H. Suzuki, J. Phys. Soc. Jpn 79 (2010), 104003.

[7] G. E. Crooks, J. Stat. Phys. 90 (1998), 1481.

[8] C. Jarzynski, Phys. Rev. Lett. 78 (1997), 2690.

[9] W. M. Wonham, SIAM J. Control 6 (1968), 312.

[10] 有本卓, カルマンフィルタ (産業図書, 1977), 第 3,6章. 

[11] 椹木義一, 添田喬, 中溝高好, 確率システム制御の基礎 (日進出版, 1975), 第 4-6章.

[12] S. Omatu, Y. Tomita, and T. Soeda, IEEE Trans. Information Theory 22 (1976),593.

[13] H. Suzuki and Y. Fujitani, J. Phys. Soc. Jpn 78 (2009), 074007.

[14] H. Suzuki and Y. Fujitani, submitted.

4

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Oral

Page 50: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

有限時間熱機関の効率論による非平衡物理学への

アプローチ1

東京大学大学院理学系研究科物理学専攻 泉田 勇輝2

本稿では近年注目を集めている熱機関の最大パワー時の効率を決定する問題の背景と最近の進

展までを紹介する。

1 熱機関の性能:効率 vs.パワー

熱機関は温度 hT の高温熱源から受け取った熱 hQ の一部を仕事W に変換する機械である。熱力

学によれば、受け取った熱は全て仕事には変換されず、残りの熱 WQQ hc を温度 )( hc TT の

より低温の熱源に捨てる必要がある。すなわち熱の仕事への変換効率 hQW は1とはならず、

熱源の温度で決まる上限値(カルノー効率) hcC TT 1 が存在することが知られている。

このカルノー効率は熱機関が無限にゆっくりと動作する準静的極限で達成される。これは熱力学

第二法則の一つの表現であり、エントロピー発見の契機となるなど重要な役割を果たした。一方

で、準静的熱機関は単位時間当たりの仕事であるパワー(仕事率ともいう) WP がゼロとな

ってしまう。ここで は熱機関が1サイクルに要する時間である。実際の熱機関からは有限の仕事だけでなく、有限のパワーも得られなければ意味がない。有限のパワーの熱機関は必然的に非

平衡状態で動作する。効率やパワーなどの工学的な量と非平衡系の熱力学にはどのような関係が

あるだろうか。

2 Curzon-Ahlborn効率と Finite-Time Thermodynamics

上記のような問題意識のもと、Curzon と Ahlborn は最大パワーで動作する熱機関の研究を行

った[1](彼らは熱力学の講義でこの研究のアイデアを得たようだ)。熱機関は実用的には最大パ

ワーで動作するのが最も好ましい。彼らは Fourier の熱伝導則によって熱が流れると仮定し、ま

た作業物質内部が一様な温度の平衡状態にあり不可逆性は熱源との熱のやりとりのみで発生する

というシンプルな仮定(endoreversible approximation(内的可逆性)としばしば呼ばれる)の

もと、最大パワー時の効率 maxP を計算した。その結果、

CA

h

cP

T

T 1max

という非常に示唆的な公式を得ている。この効率は現在では主に Curzon-Ahlborn 効率と呼ばれ

ており、カルノー効率のように熱源の温度だけで決まり、熱機関のデザインや作業物質の種類・

熱伝導係数の値によらない点で注目に値する。そのシンプルな表現から Curzon-Ahlborn 効率は

多くの研究者の興味を集め、「有限時間熱力学(Finite-Time Thermodynamics)」の名のもと、

その後様々な熱機関モデルや熱伝導則を用いた同様な解析が行われている(例えば[2]参照)。ま

1 本稿は北海道大学大学院理学研究院の奥田浩司氏との共同研究に基づいている

2 E-mail: [email protected]

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Oral

1

Page 51: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

た Curzon-Ahlborn 効率は H.Callen の有名な熱力学の教科書にも載るなど教育的題材としても

扱われている[3]。一方で、もともとの導出における endoreversible approximation(内的可逆性)

の仮定の物理的な妥当性など、Curzon-Ahborn効率の一般性については分かっていなかった。

3 線形不可逆熱機関の提案と Curzon-Ahlborn効率の一般性

Curzon-Ahlborn効率の一般性を証明したのが 2005年の Van den Broeckの論文[4]である。彼

は熱源の温度差が小さい場合に線形 Onsager関係式

,2121111 XLXLJ 2221212 XLXLJ

を用いて有限時間熱機関を記述することを提案した。ここで、熱力学的流れである

hQJxJ 21 , をそれぞれ運動流と(高温熱源からの)熱流として定義し、その共役な熱力学的

力をそれぞれ ,1 TFTFXc 2

2 11 TTTTX hc と定義する。ここでF は xに共役な

外力を、 2)( ch TTT , ch TTT はそれぞれ平均温度と温度差を表す。 sLij ' は Onsagerの

(輸送)係数であり、時間反転対称性から相反関係 2112 LL を仮定する。熱機関の個性はこれら

の Onsager係数 sLij ' に含まれることになる。与えられた熱源の温度と Onsager係数のもと、 1X

を変化させて最大パワーを探すことで、最大パワー時の効率 maxP が

T

T

T

T

q

qP

222 2

2

max

と与えられる。ここで、 221112 LLLq はカップリング係数と呼ばれ、エントロピー生成の非負

性から 1|| q を満たす。不等式の上限値はタイトカップリング条件 1|| q が成立する際に達成さ

れる。このタイトカップリング条件は運動流と熱流が比例することを意味する。この上限値は

Curzon-Ahlborn 効率を温度差が小さいとして展開した際の線形項と一致している

( )2()(22

TTO CCCA )。熱力学というマクロ系の普遍的な枠組みが熱機関の効率の

上限値(カルノー効率)を決めるように、線形不可逆熱力学という線形非平衡系で成立する一般

理論が熱機関の最大パワー時の効率の上限値(Curzon-Ahlborn効率)を決定しているといえる。

このように熱機関の個性によらず最大パワー時の効率の上限値が一般的に決定されたことは、

Curzon-Ahlborn効率が工学者のみならず理論物理学者にも注目される契機となった。

Izumida ら[5]は、理想気体を作業物質とする(有限時間)カルノーサイクルの Onsager 係数を

計算してそれらがタイトカップリング条件を満たすことを示し、カルノーサイクルは上限値を達

成するモデルであることを実際に証明した。この結果はコンピュータシミュレーションによるカ

ルノーサイクルの数値実験とも整合している [5,6]。さらに、Van den Broeck[4]や

Jiménez de Cisneros ら[7]は線形不可逆熱機関が結合して働く場合の最大パワー時の効率を議論

し、タイトカップリング条件を満たす場合には、その値が厳密に Curzon-Ahlborn 効率となるこ

とも示している。これらの仕事によって、線形不可逆系の熱機関の最大パワー時の効率論は完成

したと考えられている。

4 非線形不可逆熱機関への様々なアプローチ

温度差が小さい極限における熱機関の挙動は、線形不可逆熱力学とその枠組みである Onsager

関係式によって記述されうることをみた。一方で、より温度差が大きくなると非線形系の不可逆

熱力学が必要となるがその一般理論は完成していない。そのためそこでの熱機関の効率論も一般

的枠組みは存在しておらず、実際に最大パワー時の効率 maxP は Curzon-Ahlborn 効率を上限値

とせず、それより大きくも小さくもなりうる。しかしながら、いくつか興味深い枠組みは存在す

る。例えば Espositoら[8]は、タイトカップリング条件にさらに左右対称性(left-right symmetry)

と呼ばれるある種の空間反転に対する対称性が熱機関に存在する場合、最大パワー時の効率

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Oral

2

Page 52: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

maxP は )(8232

max CCCP O となって温度差の2次の範囲まで Curzon-Ahlborn 効率

と一致することを示した。また、Gaveauら[9]は揺らぎの定理から出発して定常状態熱機関につ

いて、

C

CP

2max

が成立することを導いた。また Espositoら[10]は、カルノーサイクルを有限時間で動作するモデ

ルに拡張し、熱の準静的極限からの最低次のずれが熱源と接触している時間の逆数に比例すると

仮定し、より高次のずれを無視したモデル(低散逸カルノーサイクルと呼ばれる)を提案した:

,

h

hhhh

TSTQ

c

cccc

TSTQ

ここで、 S は等温過程における作業物質の準静的なエントロピー変化、 )0(, ch はエントロ

ピー生成の強さを表す定数である。彼らはこのモデルの最大パワー時の効率 maxP を計算し、そ

の値がとりうる範囲には下限値と上限値があることを導いた:

C

CP

C

22max

ここで、下限値・上限値はそれぞれ、散逸の強さの比 hc の非対称極限 0, hchc

で達成される。ちなみに Curzon-Ahlborn 効率はこれらの中間に位置しており対称散逸 ch

の際に成立する。また注目すべきことにこの上限値は Gaveauが得た と一致している。これら

の普遍性の背後には何があるのだろうか。

5 非線形不可逆熱機関のミニマルモデル

我々は最近、Van den Broeckの理論[4]を拡張し、非線形不可逆熱機関を記述する“ミニマル”

なモデルを提案している[11]。このミニマルモデルでは熱機関を

,2121111 XLXLJ 2

12221212 JXLXLJ h

のような拡張された Onsager関係式によって記述する。ここで熱流 2J に通常の Onsager関係式

にはないパワーの散逸率を意味する非線形項を新たに付け加えた。またこの他の“本質的に”非

線形な応答を表す項はこのパワーの散逸率を表す非線形項に比べて十分に小さいと仮定して無視

する。このモデルを“ミニマル”モデルと呼ぶのはここからきている。この非線形項は熱機関が

有限時間で動作する際の不可避的なパワーの散逸率を表しており、電気伝導系における Joule熱

の一般化であると考えることもできる(ただし電気伝導系では周囲の環境は温度が一定であり温

度差がない。そのため Joule熱の効果はエントロピー生成率に関して熱力学的力の2次までに含

まれる)。また低温熱源からの熱流 23 JPQJ c を定義し、 1J を使って 32 , JJ を書き換えると、

,)1()( 2

12

2

22111122 JXqLJLLJ h 2

12

2

22111123 )1()( JXqLJTLTLJ chc

が得られる。ここで 011 hcc LT は低温熱源へのパワーの散逸率の強さを表す。各項はそ

れぞれ可逆的な熱輸送、熱漏れ(Fourierの熱伝導)、パワーの散逸率という物理的意味をもつこ

とが分かる。パワー2

1111111232 )( JLTLJLJJP cC を 1J について最大化すると、この時

の最大パワー時の効率 maxP は次のように与えられる:

)))1(2/(1(22 2

2

max

hcC

CP

q

q

ここで、 0, hchc の非対称な散逸比の極限をとると、与えられた qのもとでの maxP の

下限値・上限値が以下のように求まる:

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Oral

3

Page 53: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

q

C

CP

Cq

q

q

q

q

)21(2222 2

2

max2

2

さらにq

は 1|| q の際に最大値 をとることも分かる。注目すべきことにこの値は、[9],[10]で

導かれたものと一致している。実際に我々[11]([12]も参照)は、低散逸カルノーサイクルの

Onsager 係数 sLij ' と散逸の強さ si ' を解析的に計算することで、低散逸カルノーサイクルがタ

イトカップリング条件 1|| q を満たすことを示し、我々の理論の特殊な例となっていることを証

明した。最近になって、このミニマルモデルは熱電対の数理モデル[13]とも実際に整合しており、

一般性の高いものとなっていることが示されている。

6 まとめ

本稿では、準静的熱機関の問題点や Curzon-Ahlborn 効率はじめ熱機関の最大パワー時の効率

に関する様々なアプローチについて紹介した。特に我々が提案した非線形不可逆熱機関のミニマ

ルモデル[11]はこれらの中でも最も一般性のある理論であると考えられる。一方、“本質的に”非

線形非平衡状態で動作する熱機関(例えば蒸気機関)はこれらの理論の枠組みには入らないと思

われる。しかしながら、ミニマルモデルなどで得られている maxP の上限値 は、もしある熱機

関の maxP がこれを超えていれば、その熱機関には何かしらの非線形応答が効いていることを意

味するため、“リトマス試験紙”的な役割を果たすことが可能である。非線形非平衡熱機関の効率

論の一般性を探ることは次の重要な課題である。

謝辞

本研究は科学研究費補助金(日本学術振興会特別研究員奨励費 22・2109) の助成を受けて行わ

れた。

参考文献

[1] F. Curzon and B. Ahlborn, Am. J. Phys. 43 (1975), 22.

[2] A. Benjamin, Advanced Engineering Thermodynamics (Wiley, New York, 2005), 3rd ed.

[3] H. Callen, Thermodynamics and an Introduction to Thermostatistics (Wiley, New York, 1985),

2nd ed, Chap. 4.

[4] C. Van den Broeck, Phys. Rev. Lett. 95 (2005), 190602.

[5] Y. Izumida and K. Okuda, Phys. Rev. E 80 (2009), 021121.

[6] Y. Izumida and K. Okuda, EPL. 83 (2008), 60003.

[7] B. Jiménez de Cisneros and A. Calvo Hernández, PRL. 98 (2007), 130602.

[8] M. Esposito, K. Lindenberg and C. Van den Broeck, Phys. Rev. Lett. 102 (2009), 130602.

[9] B. Gaveau, M. Moreau and L. S. Schulman, Phys. Rev. Lett. 105 (2010), 060601.

[10] M. Esposito, R. kawai, K. Lindenberg and C. Van den Broeck, Phys. Rev. Lett. 105 (2010),

150603.

[11] Y. Izumida and K. Okuda, EPL. 97 (2012), 10004.

[12] 泉田勇輝, 物性研究 96 (2011), 15.

[13] Y. Apertet, H. Ouerdane, O. Glavatskaya, C. Goupil and Ph. Lecoeur, EPL. 97 (2012),

28001.

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Oral

4

Page 54: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

モンテカルロ法に関する近年の話題について

東京大学大学院総合文化研究科 福島孝治 1

モンテカルロ法は確率分布からの汎用サンプリング手法として,統計物理や統計科学をはじめ

様々な分野で応用されている.統計物理やベイズ統計では高次元の確率分布を扱うニーズがあり,

主に重点サンプリング法が使われてきた.重点サンプリングには,多数の重み付き粒子で求めた

い分布を表すポピュレーション型モンテカルロ法と,求めたい分布を定常分布とするマルコフ連

鎖の構成するマルコフ連鎖モンテカルロ (MCMC)法に大別できる.前者は時系列などの系列デー

タ解析との形式的類似性から統計科学の分野で大きく発展してきた.一方,後者は90年代に統

計物理の分野で拡張アンサンブルに基づく進展があり,マルチカノニカル法や交換法などが提案

された.ここでは,それ以降の近年のモンテカルロ法に関する話題を議論する.

近年,非平衡統計力学の分野の話題の一つに非平衡関係式の発見が挙げられる.非平衡関係式

の一つである Jarzynski等式は,非平衡過程での仕事の指数関数の統計平均が平衡自由エネルギー

差と等号関係にあることを示している.この等式は非平衡統計力学の基本法則として捉えられる

と同時に,非平衡状態の計算から平衡状態の情報を効率よく引き出すための方法論の基礎として

盛んに研究されている.特に,通常のMCMC法では計算が困難とされる自由エネルギーの計算

方法として化学物理の分野で注目された [1].当然ながら自由エネルギーだけがこの方法の利点で

はなく,任意の物理量の期待値計算も同様に可能である.実用的に使える方法として考察された

ポピュレーション・アニーリング法 [2]はポピュレーション型モンテカルロ法に Jarzynski等式を

用いた例になっている.この方法はOhzeki–Nishimori[3]によってスピングラス系において近年見

出された非平衡関係式に適用することでランダムネスに関する非自明な情報を引き出せる可能性

が示唆されている.また,非平衡関係式のMCMC法への変わった応用として,交換法との結合法

が提案されている [4].交換法は複数の温度の系を同時に並列計算し,それらに詳細つり合い条件

を満たすように交換過程を導入することにより緩和を促進させようする方法である.これまでに

ランダム系や生体シミュレーションなどに精力的に応用されている.大規模計算に適応するため

には並列に計算する温度の数をできるだけ減らす必要があるが,素朴には交換確率は温度差の指

数関数になるために,温度差を大きくすると実質的に交換しなくなる困難点がある.そこで,温

度間隔を大きくしつつ交換確率を上げるために, 温度を入れ替えた系の計算を行い,その過程も含

めた “正しい交換確率”を Jarzynski等式を用いて評価しようとしている.この方法は提案されて

以来,大規模計算への応用がされていないようであるので今後の検討が待たれている.1E-mail: [email protected]

1

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Oral

Page 55: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

ここでとりあげるもう一つの話題はMCMC法の設計問題である.MCMC法の基本原理は単純

であり,その設計部分は定常分布の設定と遷移確率の選択に分けられる.拡張アンサンブルでは

定常分布を求めたい分布から拡張することにより,定常分布への収束性を改善している.一方で,

遷移確率の模索はこれまでにあまりなされてこなかった.最近,Suwa–Todo[5]により,従来用い

られてきた詳細つり合い条件を緩めることにより緩和時間が短くなることが示され,遷移確率の

選択の重要性が注目されつつある.詳細つり合い条件はマルコフ連鎖の収束性を保証するための

必要条件ではなく,十分条件であり,効率のよさを考えたときに,詳細つり合い条件の位置づけ

はそれほど明確にはなっていないようである.また,改めてMCMC法の収束判定基準の不明瞭

さを再認識させられる.我々は可解模型の知見から,Glauberの動的一次元イジング模型につい

て,詳細つり合い条件を破ることの動力学への影響を研究した [6].詳細つり合い条件の破り方の

自由度は大きいが,我々は Turitsynら [7]のタイプのねじれ詳細つり合い条件に注目した.彼ら

の方法では系に仮想的な磁場の方向を表す付加的なイジングスピン (ε = ±1)を導入する.ねじれ

詳細つり合い条件とは,例えば ε = 1のときのスピンフリップに伴う確率流が ε = −1での逆過程

の確率流とつりあうことを要請する.さらに,仮想スピンの状態遷移と合わせてつり合い条件を

満たすようにする.これでもまだ遷移確率には自由度が残るが,このタイプに属するいくつかの

遷移確率を構成した.その中で,ある遷移確率について,熱力学極限における磁化密度の時間発

展が閉じた方程式で記述されることを見出し,その結果,緩和時間 τ が τ =τGlauber

1 + β2となること

を示した.ここで,τGlauberは元々の動的イジング模型の緩和時間であり,βは詳細つり合い条件

の破れを特徴づける変数である.詳細つり合い条件を破る (β 6= 0)と緩和時間が短くなることが

解析的に示されたことになる.可解でない遷移確率に対しても,詳細つり合い条件を満たす遷移

確率が局所的に大きな緩和時間を与えることを示唆する結果を得ている.一次元イジング模型と

いう特別な模型を越えてこの性質が成り立つかどうかは興味深い今後の課題である.

本研究は,酒井佑士氏との共同研究である.

参考文献

[1] C. Chipot and A. Pohorille (Eds.), Free energy calculations, Springer Series in Chemical

Physics 86 (2007), Springer-Verlag Berlin.

[2] K. Hukushima and Y. Iba, AIP. Conf. Proc. 690, (2003) 200.

[3] M. Ohzeki and H. Nishimori, J. Phys. Soc. Jpn. 79, (2010) 084003.

[4] A. J. Ballarda and C. Jarzynski, Proc. Natl. Acad. Sci. USA 106 (2009), 12224.

[5] H. Suwa and S. Todo, Phys. Rev. Lett. 105 (2010), 120603.

[6] 酒井佑士, 卒業論文「詳細つり合い条件を満たさないマルコフ連鎖モンテカルロ法の 1次元イ

ジングモデルにおける緩和時間の評価」,東京大学教養学部基礎科学科 (2012).

[7] K. S. Turitsyn, M. Chertkov and M. Vucelja, Physica D 240 (2011), 410.

2

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Oral

Page 56: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

エルゴード的マルコフ鎖の一般的改良

東京大学 工学系研究科物理工学専攻 諏訪 秀麿 1

マルコフ連鎖モンテカルロ法において遷移確率の最適化は計算効率を大きく左右する。我々は代数的問題を幾何学的問題に焼き直すことで新しい最適化法を考案し、平均棄却率を必ず最小化することに成功した。その結果、例えばポッツ模型や量子スピン模型において、メトロポリス法等の従来の手法と比較し数倍から 100倍程度計算効率が向上した。我々の手法は、詳細つりあいを破りながらも正しいサンプリングを一般的に可能とする初めての手法であり、連続変数系にも広く応用可能である。

1 マルコフ連鎖モンテカルロモンテカルロ法は物理・数学・化学・情報等の多分野で広く用いられている汎用数値手法であり、確率的に状態をサンプルすることで直接計算が困難な和や積分を求めることができる。中でもマルコフ鎖を構成しながら重要度サンプリングを行うマルコフ連鎖モンテカルロ法は、物性物理等で重要となる多体問題に対する強力な解析手段となっている [1]。一般的にマルコフ連鎖モンテカルロ法はモンテカルロ積分における次元の呪いを解決するが、代わりに「サンプル間の相関」に苦しむ。次の状態は前の状態を引きずって確率的に定まるので、互いに独立ではないのである。この相関を減らし効率的なサンプリングを行うために、以下の 3つの点を考慮することが重要となる。1つ目はアンサンブルの決定である。求めたい物理量をどのアンサンブルから抽出するかという観点からの改良として、交換法やマルチカノニカル法等の拡張アンサンブル法が挙げられる [2]。2つ目は遷移先状態候補の選択であり、クラスターアルゴリズムやハイブリッドモンテカルロ法が顕著な例となる。前者は状態変数の変換を行いながら大域的な更新を可能とし、後者は人工的な運動量を加え物理的な運動方程式を用いて候補を提案する。そして 3つ目が本研究のテーマとなる遷移確率 (カーネル)の最適化である。遷移確率を決める方法として、これまではメトロポリス法や熱浴法が主に用いられてきたが、これらは実は最適ではない。

2 遷移確率の最適化それでは「最適」な状態更新法とはどのような量ではかられるのであろうか。マルコフ連鎖モンテカルロ法におけるマルコフ鎖の性能は 2つの基準から議論できる。ひとつは分布収束の速さで、収束 (緩和) が速ければサンプリングを早く開始できる。もうひとつは漸近分散の大きさで、分散が小さければ自己相関時間が短くサンプル効率が高い。状態数が有限の場合、マルコフ鎖は

1現在ボストン大学物理 (Department of Physics, Boston University)所属。E-mail: [email protected]

1

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Oral

Page 57: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

遷移行列と一対一に対応し、遷移行列の固有値が上記の基準と結びつく。ここで分布収束は第 2固有値の絶対値の大きさで決まるが、一方漸近分散には全固有値が効いてくる。これまで遷移行列の最適化がいくつか数学的に議論されており、例えばメトロポリス化したギブスサンプラーは多くの場合で単純な熱浴法よりサンプル効率が高くなる [3, 4]。

3 幾何学的重みの割り当てアルゴリズムしかしそもそもモンテカルロ法が必要となるような広大な状態空間で全遷移確率を調整して最適な遷移行列を構成することは実質的に困難である。そこで局所的な状態更新を繰り返すことがマルコフ連鎖モンテカルロ法の基本方針なのだが、この局所的遷移確率の最適化も全く非自明な問題である。そこで我々は状態更新において状態が全く変化しない (平均の)棄却率を必ず最小化する遷移確率決定法を考案した [5–7]。主要なアイデアは、これまで代数的に解かれてきた問題を幾何学的な「重みの割り当て」問題に置き換えるというものである。一方、これまでのマルコフ鎖はほとんどの

図 1: 遷移候補数 n = 4の場合の例。我々の手法 [3]では棄却率がゼロになる。

場合「詳細つりあい」条件を満たすように構成されてきた。1953年の手法開発以来、マルコフ連鎖モンテカルロ法はこの条件の範囲内で発展を続けてきたと言える。しかし、詳細つりあいは十分条件にすぎず、必要条件ではない。我々は前述の新しい幾何学的なアプローチにより、この十分条件を満たさずとも正しいサンプリングを一般的に可能とする初めての手法を開発した [5]。以下、そのアルゴリズムを説明する。マルコフ連鎖モンテカルロ法では局所的な状態更新を繰り返す。今、あるひとつの離散変数を更新するとしよう。遷移状態候補の数を n、それぞれの重みを wi(i = 1, 2, ..., n)とする。以下にその具体的な手続きを述べる (図 1参照)。

1. 遷移状態候補の中で最大の重みのものを選ぶ。複数ある場合はそのうちの 1つを選ぶ。以下ではその重みを w1とする。残りの順序は任意でよい。

2. 最大重み w1を次の箱 (i = 2)に割り当てる。さらに余りを次の箱 (i = 3)に割り当てる。余りがなくなるまで続ける。

3. 最初に埋め立てられた箱 (i = 2)の重み (w2)を、ステップ 2の続きに割り当てる。同様に余りがなくなるまで続ける。

4. 残りの重みw3, w4, ..., wnについてもステップ 3を順番に繰り返す。一度 i ≥ 2の全ての箱が埋め立てられたら、その後は最初の箱 (i = 1)に割り当てる。

2

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Oral

Page 58: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

この手順によって j番目の箱に割り当てられたwiの重みをwi→jとし、遷移確率を pi→j = wi→j/wi

と決める。その結果、欲しい平衡状態が不変となる制約の範囲内で平均棄却率が必ず最小化され、多くの場合に完全にゼロとなる。イジング模型の単一スピン更新のように状態候補数 n = 2のとき、このアルゴリズムはメトロポリス法と同じ遷移確率を与えるが、n ≥ 3ときは既存の手法より棄却率が小さくなる。このように幾何学的に構成されたマルコフ鎖の性能をポッツ模型での単一スピン更新を使って調べた。その結果上記の 2つの基準のどちらにおいても、既存手法と比べ我々の状態更新法が最も優れていた。例えば 4-状態ポッツ模型では、臨界点直上でメトロポリス法より 6倍以上相関時間が短くなる (図 2はビンニング解析 [8]を用いて求めた自己相関時間の比較)。また磁場中の反強磁性量子ハイゼンベルグ鎖では、磁化の相関時間が熱浴法より 100倍以上短くなる [5]。さらに別の割り当てアルゴリズムを用いると、詳細つりあいを満たしながらも棄却率を最小化することも可能である [7]。

103

102

101

100

0.86 0.9 0.94 0.98

τ int

q = 4 q = 8

0.74 0.76 0.78

T

図 2: 正方格子 q-状態強磁性ポッツ模型(q = 4, 8)の構造因子の自己相関時間。メトロポリス法 ()、熱浴法 ()、逐次的メトロポリス化ギブスサンプラー [3]()、我々の手法 [5]()の結果を示す。転移温度はそれぞれ T ' 0.910, 0.745。格子サイズは 16×16。

10

5

0

-5

-10

10 5 0-5-10 10 5 0-5-10

1

0.5

0

2 0-2 2 0-2

図 3: 傾いた 2変量正規分布 (σ1 = 1, σ2 =10)での、熱浴法 (左)と我々の手法 (右, c =0.4, w = 0.1) [6]による状態の軌跡。上は条件付き累積分布関数を用いた状態更新の手順。

4 連続変数への拡張上記の割り当てアルゴリズムを重みの累積分布関数における周期的シフトとして捕え直すと、自然に連続変数へ拡張できる。熱浴法では今の状態を忘れて次の状態を決定するが、その代わりに累積分布関数において今の状態から周期的にシフトした点を次の状態として選ぶのである [6]。簡単な例として、2変量正規分布 P (x1, x2) ∝ exp(−(x1 − x2)2/2σ2

1 − (x1 + x2)2/2σ22)を考えよう。

x2が与えられたとき、x1の条件付き累積分布関数

F (x1|x2) =∫ x1

−∞P (x|x2) dx (1)

を用いて、遷移先をx′1 = F−1(F (x1|x2) + c+ wu) (2)

3

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Oral

Page 59: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

と決めることにする。ここで c, wは c ≥ wを満たす正の実数のパラメータ、uは区間 [−1, 1) で一様分布する (疑似)乱数である。また記号 a は実数 aの小数部分を表す。c = w = 1/2の場合は、通常の熱浴法に帰着する。一方、c 6= 0, 1/2の場合、この状態更新は詳細つりあいを満たさない。2つの更新法の比較を図 3に示す。右図の奇跡を見ると、詳細つりあいの破れにより正味の確率流が導入され、効率良く状態を探索できていることがわかる。一方、熱浴法のような棄却のない更新法が使えない連続変数に対しては、これまでほとんどの場合メトロポリス・ヘイスティング法が用いられてきた。ここで棄却が手法のボトルネックとなる。我々はうまく複数の状態候補を生成し、離散変数の場合と同様のアルゴリズムを用いることで棄却率を大幅に減らすことに成功した [9]。

5 まとめと今後の展望本研究で我々はこれまであまり注目されてこなかった遷移確率の最適化に注目し、より計算効率の高いマルコフ鎖の構成に成功した。我々の手法は冒頭で述べたように効率化のための 3番目の点の改良であり、他のモンテカルロ法 (拡張アンサンブル法やハイブリッドモンテカルロ法)と組み合わせることも可能である。今後、さらなる最適化法の開発や計算効率の詳細な解析、また組み合わせ法の性能評価を行うことが重要であろう。

謝辞本研究に関して、藤堂眞治先生には多くの助言をいただきました。また宮下精二先生、川島直輝先生、伊藤伸泰先生、求幸年先生、福島孝治先生、原田健自先生には大変有意義な議論をさせていただきました。この場を借りて感謝申し上げます。

参考文献[1] D. P. Landau and K. Binder, A Guide to Monte Carlo Simulations in Statistical Physics,

Cambridge University Press, Cambridge 2nd edition (2005).

[2] 伊庭幸人, 他: 『計算統計 2 マルコフ連鎖モンテカルロ法とその周辺』(岩波書店, 2005)

[3] A. Frigessi, C.-R. Hwang, L. Younes, Ann. Appl. Probab. 2 (1992), 610-628.

[4] C.-R. Hwang Cosmos 1(1) (2005), 87.

[5] H.Suwa and S. Todo, Phys. Rev. Lett. 105 (2010), 120603.

[6] 諏訪 秀麿,藤堂 眞治,日本物理学会誌 66 (2011), 370.

[7] H.Suwa and S. Todo, arXiv:1106.3562; to be published in Monte Carlo Methods and Appli-cations

[8] B. A. Berg, Introduction to Markov Chain Monte Carlo Simulations and Their StatisticalAnalysis, Singapore University Press, (2005) Chap. 1, pp. 1-52.

[9] H. Suwa, Ph.D. Thesis; to be published in Springer Theses 2011

4

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Oral

Page 60: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

非平衡系,生命,情報の関係— 計数統計の視点から —

京都大学 大学院情報学研究科 大久保 潤 1

湯川秀樹博士は,生物物理学者の大沢文夫博士に「生物は積み木細工ですね」と述べた[1].量子力学では直感に反するような現象が数多く存在する一方で,生命はDNAから出発して細かい部品の積み重ねで構成されていて直感を超えることがない,ということである.確かに,生命は積み木細工という一面を持つ.だからといって生命を簡単に理解できるわけではない.そこで生物学,物理学,さらには情報科学も含め,さまざまな分野が協力して生命を理解しようとしているのが現状であろう.しかし実際には各分野ごとに手法が異なるばかりか,時には目的でさえも異なる場合がある.どのような視点でこれらの研究分野を眺め,どのようにその関係性を捉えればよいのだろうか.そして,非平衡系の研究は生命の理解とどのようにつながるのだろうか.研究分野の関係を眺める視点について,一つの例を挙げてみよう.生命の理解の鍵は情報という概念にありそうであるが,そもそも情報とは何か.例えば DNAはアデニン,チミン,グアニン,シトシンと呼ばれる分子の並び方,すなわちパターンをもっている.そのパターンからmRNAを媒介にして,最終的にタンパク質が生成される.さらに,タンパク質は高次構造をとりながらさまざまな機能を発現する.その意味で,DNAは生命に欠かせない機能を生み出すための情報を担っていると考えられる.しかし,DNAだけに着目すれば,ただの高分子であり,ただの物質である.DNAに存在するパターンが解釈されて初めてタンパク質が作られる.したがって,パターンだけでは情報とは言えず,解釈されて初めて情報になるのだ,と考えることもできるだろう.しかも,DNA分子にDNA分子をぶつけても,mRNAが生成されることはない.DNA分子にRNAポリメラーゼが適切に作用することで,mRNAが生成される.つまり,どのように解釈されるかによっても,情報となるかどうかが決まるとも言える.次に,タンパク質の高次構造を例に取り上げてみる.情報科学的なアプローチでは,ホモロジーモデリングによってアミノ酸配列からタンパク質の高次構造を推定することができる [2].一方,実際の生物の中では,シャペロンを利用するなどしてタンパク質の高次構造が作られる.明らかに,ホモロジーモデリングで結果を推定することと,実際に生命

1E-mail: [email protected]

1

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Oral

Page 61: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

の中で行われている情報の処理について理解することとは別物である.実際,前者と後者はそれぞれ

• 生命に関わるパターンについて,人間が解釈する• 生命に関わるパターンを生命が解釈する様子について,人間が理解する

に対応しており,これらの区別が必要であることがすでに指摘されている [3].パターンの生成過程については物質,すなわち「モノ」を扱う物理学で研究することができる.パターン間の類似性に基づく結果の推定については情報,すなわち「コト」を扱う情報科学で研究することができる.そして生物学が目指していることのひとつは,生命がパターンを解釈する様子を理解することである.その方向へと研究を進めるためには,パターン間,すなわち状態間の遷移のダイナミクスである「過程」を扱う必要がある.ここで,非平衡系の研究は生命の理解とどのようにつながるのだろうか,という問いに戻ってみるならば,非平衡系の物理学はまさに「過程」に着目した研究を実施しているのだ,と答えられるだろう.以下では,この「過程」ということについて,簡単なモデルを用いながらもう少し詳しく説明してみる.図 1には,粒子のホッピングのモデルを示した.両側に巨大な粒子浴が接続されたコンテナがある.コンテナは粒子を一つしか受け入れることができず,コンテナが空の時にのみ,どちらかの粒子浴から粒子が移動してくる.このモデルの時間発展がマルコフ的だとすれば,コンテナの状態変化は次のマスター方程式で記述できる.

d

dt

[pe

pf

]=

[−k1 − k−2 k−1 + k2

k1 + k−2 −k−1 − k2

][pe

pf

]. (1)

ここで,pe,pf はそれぞれコンテナに粒子が入っていない状態と入っている状態の確率,ki(i ∈ 1,−1, 2,−2)は粒子の移動に関する推移率である.このモデルにおいて「[L]⇒コンテナ⇒[L]」という粒子の移動を考えた場合,コンテナの状態は空の状態から始まり,最終的に空の状態で終わる.よってコンテナの状態は最初と最後で変化はない.また粒子も [L]から出て [L]に戻るので,全体としても変化はない.では,「[L]⇒コンテナ⇒[R]」という粒子の移動ではどうか.コンテナの状態はやはり最初と最後で変化はないが,粒子は [L]から [R]へと移動している.式 (1)を用いてコンテ

L Rcontainer

filled / empty

図 1: 粒子のホッピングのモデル.

2

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Oral

Page 62: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

ナの状態変化のみに着目している限り両者の区別はつかないが,非平衡系で着目すべきは[L]と [R]の間の粒子のやり取りである.すなわち,どのような状態にいるかに着目するのではなく,どのような過程が生じたかに着目するのである.もちろん,状態と過程は切り離せるものではない.そして上記の例では,ある意味において,実際に状態と過程をつなぐことができる.すなわち,(完全)計数統計と呼ばれる枠組みを利用することで,式 (1)の遷移確率行列を少しだけ変更することによって,非常に簡単に遷移の統計性を計算するための時間発展方程式が得られる [4].例えば,コンテナと [R]との粒子のやり取りを数える場合を考える.t時間にコンテナから [R]へ移動した粒子の個数をNをすると ([R]からコンテナに移動した粒子の方が多い場合にはNは負の値をとる),この遷移に関するすべての統計性は母関数

F (λ, t) =∞∑

N=−∞

λNP (N |t) (2)

から計算できる.なお,P (N |t)はN 個の粒子がコンテナから [R]へ移動する確率である.そして計数統計の枠組みを用いると,母関数が以下のように計算できる.

F (λ, t) = fe(λ, t) + ff(λ, t), (3)

d

dt

[fe

ff

]=

[−k1 − k−2 k−1 + λk2

k1 + λ−1k−2 −k−1 − k2

][fe

ff

]. (4)

マスター方程式 (1)の遷移行列と,式 (4)の行列の部分を見るとわかるように,遷移行列の非対角項において数えたい遷移に関わる部分を修正するだけで,母関数を計算するための時間発展方程式が得られる.つまり,状態を記述する方程式と過程を記述する方程式の間に,非常に単純な対応関係が存在するのである.着目した遷移に関する統計性を数値的に計算するのは簡単である [5].しかし,さらに理解を進めるためには,適切な数理的方法論 [6] を探す必要があるだろう.実は前述した計数統計の文脈では,周期摂動によるポンプカレントと呼ばれる現象や分子モータなどの研究において,幾何学的位相という数理的概念を利用できることが知られている [7, 8].さらに,周期摂動に対する幾何学的位相の議論は非周期の場合にも拡張できるほか [9],幾何学的描像と非平衡定常系におけるエントロピー生成の関係についても議論されている[10].もちろん,まだ生命について理解できたという段階からはほど遠いが,状態と過程の接点に数理的方法論で迫ることが可能かもしれないこと,そこに生命と情報の関係に関わる何かを見出だすことが可能かもしれないこと,といった期待を持てる.当然のことながら,生命の理解には非平衡系の研究だけが本質である,ということではない.例えば情報科学の問題としてパターンと機能の関係を調べることも,そして情報という視点とは関係なく生体分子の物質としての性質を調べることも大切である.どれが重要であるかはわからないが,少なくとも学際的な研究のためには研究の位置づけや目的を明確にしておくべきだろう.このことにより,他分野の研究者との会話が円滑になった

3

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Oral

Page 63: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

り,新しい研究テーマの創出につながったりすることもあるのではないか.そして,具体的な問題に地道に取り組むこと,数理的方法論を模索し続けることで,生命の理解に迫る何かが見つかることを期待したい.

参考文献[1] 大沢文夫, 物性研究 87, 362 (2006).

[2] 阿久津達也, “バイオインフォマティクスの数理とアルゴリズム” (共立出版, 2007).

[3] 金城玲, 生物物理 50, 166 (2010).

[4] I. Gopich and A. Szabo, J. Chem. Phys. 122, 014707 (2005); ibid. 124, 154712 (2006).

[5] J. Ohkubo and T. Eggel, J. Stat. Mech. P06013 (2010).

[6] 甘利俊一, 科学 77, 348 (2007).

[7] N.A. Sinitsyn and I. Nemenman, Europhys. Lett. 77, 58001 (2007).

[8] N.A. Sinitsyn, J. Phys. A: Math. Theor. 42, 193001 (2009).

[9] J. Ohkubo and T. Eggel, J. Phys. A: Math. Theor. 43, 425001 (2010).

[10] T. Sagawa and H. Hayakawa, Phys. Rev. E 84, 051110 (2011).

4

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Oral

Page 64: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

MEG電流源のオンライン変分ベイズ推定

ATR脳情報解析研究所 兼村 厚範1

脳磁計(MEG; magnetoencephalography)は、脳活動により発生した磁場を頭外で計測する。

よって、脳に電極を直接置く侵襲的な方法より安全性が高く、臨床医料に限らず神経科学や BMI

(brain machine interface)など広い目的に適用可能である。ただし、MEGの時間分解能は数ms

程度と神経細胞活動の時間スケールとほぼ同じであるものの、数百個のセンサには様々な電流か

らの磁場が重ね合わさって観測されるため、空間分解能は数 cm程度であり、神経細胞の分布密度

に比べれば非常に粗い [1]。

脳内の電流分布をより高い空間分解能で知るためには、皮質上に相互距離が数mm程度の数千

~数万個の電流源を仮定し、その強度を推定することが標準的である(図 1)。これは、マクスウェ

ル方程式により記述される脳内電流から頭外磁場への順過程を逆転する逆推定問題である。逆問

題を高精度で解くには、一般に良い拘束条件(事前知識、正則化)が必要とされる。MEG逆問題

に対する拘束条件としては、L2ノルム最小化 [1]、スパース性 [2]、時間的連続性 [3]などが提案さ

れている。皮質上の電流源を知ることには、神経科学的な解釈が可能となったり、BMIの精度が

向上したりといった利点がある [4]。

脳活動は非定常であるため、MEG逆推定法もオンライン性を持つことが望ましい。すなわち、

1セットの磁場計測データを受け取るたびに、電流源推定をデータに応じて適応的に変化させるこ

観測磁場 センサ数:数百

脳内電流分布 電流数:数千~数万

図 1: 磁場計測と電流逆推定。矢印は電流を、円筒は磁気センサを表す。

1E-mail: [email protected]

1

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Oral

Page 65: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

とで、その時その時の脳活動に適した推定をすることで、電流源推定の精度向上に繋がると考え

られる。

我々は、オンライン変文ベイズ推定 [5]をMEG逆問題に適用した、オンラインMEG逆推定法

を開発している。変分ベイズ推定は、十分統計量の繰り返し計算に帰着されるため、その計算を再

帰的に実行することでナイーブなオンライン変分ベイズ推定法が得られる [6, 7]。しかし、ナイー

ブアルゴリズムは収束性に難があることが知られており、それを改善した割引オンライン変分ベ

イズ推定法 [5, 8]が提案されている。割引オンライン変分ベイズ推定法をMEG逆問題に適用する

ことで、新たな脳活動源の出現や脳活動源の消失に対して適応的な推定ができることが分かった。

謝辞

本研究は情報通信研究機構の研究委託および科研費(23700281)の助成により実施したもので

ある。

参考文献

[1] M. Hamalainen, R. Hari, R. J. Ilmoniemi, J. Knuutila, and O. V. Lounasmaa, Rev. Mod.

Phys. 65 (1993), 413.

[2] M. Sato, T. Yoshioka, S. Kajihara, K. Toyama, N. Goda, K. Doya, and M. Kawato, Neu-

roImage. 23 (2004), 806.

[3] M. Fukushima, O. Yamashita, A. Kanemura, S. Ishii, M. Kawato, and M. Sato, IEEE Trans.

Biomed. Eng. 59 (2012), 1561.

[4] A. Toda, H. Imamizu, M. Kawato, and M. Sato, NeuroImage. 54 (2011), 892.

[5] M. Sato, Neural Comput. 13 (2001), 1649.

[6] Z. Ghahramani and H. Attias, NIPS 2000 Workshop Online Learning. (2000).

[7] M. J. Beal, Variational Algorithms for Approximate Bayesian Inference. Ph.D. Thesis,

(2003), 71.

[8] A. Honkela and H. Valpola, Int. Symp. Independent Component Analysis and Blind Signal

Separation (ICA). (2003), 803.

2

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Oral

Page 66: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

個体発生における多細胞組織の変形の力学的制御 ― 細胞集団内の力場を推定する ―

東京大学大学院総合文化研究科 石原 秀至1

京都大学物質-細胞統合システム拠点 杉村 薫 1 はじめに 動物の発生過程では、組織が伸びる、折れ曲がるといった変形を繰り返すことで、成体の複雑、

かつ、機能的な形態が獲得される。この過程において、多細胞組織を構成する個々の細胞が生み

出す「機械的な力」が変形を駆動する。一方で、組織の変形は力の場を変える。従って、力と変

形の間の循環的な作用から成体のかたちが生み出される過程の物理的な理解は、生物学における

非常に重要で未解決の問題の1つである。近年、細胞間のおしあいへしあいの力やそれを生み出

す分子の局在・活性の測定から、個体発生の力学的な制御を理解することが試みられるようにな

ってきた[1−4]。しかし、単細胞系において力や一分子動態の計測技術の進歩が著しいのとは対照的に、生体内においてそれらの計測は非常に困難であることから、先行研究のほとんどでは、張

力を生み出すアクトミオシンの細胞内分布、アクトミオシン系の局所的な破壊に対する応答の強

さ、組織や細胞の変形テンソルなどの間接的/局所的/侵襲的な解析から、力の分布が議論され

るにとどまっている。そこで我々は、細胞の形態をもとに力の釣り合い方程式をたて逆問題を定

式化することで、細胞集団の応力場の動態を可視化する手法を開発した[5]。 2 細胞集団にはたらく力学の推定 2.1 細胞集団にはたらく力 ショウジョウバエの翅などの単層の上皮組織では、シート状に並んだ細胞がアドへレンス

ジャンクション面で接着分子を介して連結している。加えて、アドへレンスジャンクション

面の細胞内裏打ち構造として、細胞膜にそってアクトミオシンケーブルが走っている(図 1A)。

この系は二次元構造として扱うことができ、各々の細胞の圧力と細胞接着面上で働く張力の

釣り合いによって細胞の形態が決まると考えられている(図1B-C)。特に張力にはアクトミ

オシンケーブルの収縮力が寄与しており、二光子レーザーを用いて局所的にアクトミオシン

ケーブルを切断すると、応答として切断された細胞接着面の頂点が離れるように動く様子が

観察される[2]。このとき、レーザー切断への応答が大きければ、正の(contracting)強い

張力が働いていたと推察できる(侵襲的な測定であり、また、一度の測定で1つの細胞接着

面の張力しか測定することができないことに注意)。

1 E-mail: [email protected]

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Oral

1

Page 67: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

図1 A 翅上皮組織の模式図。アクチンケーブルが細胞内を膜にそって走っている B,C 上皮組

織に働く力。個々の細胞の圧力(B)と細胞接着面の張力(C)の釣り合いによって細胞の形態が決

まる。

2.2 経験ベイズ法に基づいた定式化 細胞の形態をポリゴンで表し、各細胞の圧力 Pi, 細胞接着面に作用する張力を Tjとおくことに

より、各結節点にはたらく力の釣り合いを考える。この釣り合い方程式は未知数 p = (P, T)について線形方程式となる(係数行列 A は結節点の相対位置のみから決まる)。ただし、釣り合い方程式の数(結節点数×2)は一般に未知変数(細胞数+細胞接着面数)より少ない。この不定性は、静水圧と境界条件が未知であることに由来する(実際、N個の細胞がR個の細胞に囲まれており、F個の4重結節点がある場合には、 R + F + 1個の不定性があることをトポロジーの議論から示すことができる)。したがって、静水圧成分を無視し、圧力に関しては細胞間の差のみを考慮する

としても、残りの R + F個の不定性をどう取り扱うかという問題が残る。 そこで本研究では、経験ベイズ法に基づいて逆問題を定式化した。経験ベイズは、多くの逆問

題に対して推定の妥当性の理論的基盤を与えている[5]。先行研究や我々自身のレーザー切断実験から、ほとんどの場合、細胞接着面の張力は正であることが知られているので、事前分布として

平均値 T0、分散Σ2のガウス分布をおき(スケールの任意性から T0 = 1 ととることができ、Σ2

はハイパーパラメータとして経験ベイズの枠内で決定する)、尤度関数を釣り合い方程式から決め

た。これから求まる事後分布の最大値から圧力、張力の推定値を決める。ハイパーパラメータは、

周辺尤度の最大化から求めた(この値が観測データと系に対する期待の「バランス」を決める)。

以上から、細胞の画像データから細胞の圧力、細胞接着面の張力を推定する手法を構築した。得

られた値を積分してストレステンソルを計算することで、細胞集団の力場の最大方向などを見積

もることができる。 3 結果 多細胞の力学モデルを用いて数値的に作成したデータを用いた試験を行うと、力の真の値

と推定した値はよく合っていた[5]。L2 正則化、もしくは空間的な滑らかさを期待する事前

分布に基づいた推定についても同様の試験を実施したが、張力が正であることを期待する事

前分布に基づく推定が最もよい結果を出すことを確認した。次に、蛹期のショウジョウバエ

の翅にこの手法を適用し、張力の推定値とレーザー切断への応答の強さ(切断された細胞接

着面の頂点の初速)を比較した。その結果、両者は相関係数 0.86 と高い相関を示し、我々の

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Oral

2

Page 68: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

手法が生体組織における張力の妥当な推定値を与えることを確認した。ここでは詳細を省略

するが、種々の解析の結果と合わせて、我々が開発した力の推定手法が上皮組織における応

力場の分布の解析に有効であると示すことができた。

力推定手法を用いて、ショウジョウバエ翅発生過程における応力場のパターンを系統的に調

べた結果、翅の遠近軸方向に強い張力が働いていることを見出した。このとき、張力を生成する

ミオシン分子も遠近軸方向に偏った細胞内分布を示していた。 4 まとめ 上述のショウジョウバエ翅形成過程の解析からは、張力•ミオシンの分布と細胞の形態の間に、

「張力が強い方向に細胞が長くなる」という一見整合的でない結果が現れる。 実はこの系では、組織が外からの引っ張りを受けており[7]、異方的な外力が上述の張力分布と細胞形態変化の不整合を説明する。さらに、我々は、細胞配置換え過程における力の動態の詳細な解析から、別のモ

デル系を用いて提唱されてきた「ミオシンが細胞配置替えを駆動する」というメカニズムが、翅

では働いていないことを明らかにし、翅全体の力のバランスが細胞配置の六角格子化を促進する

という新規メカニズムを同定している。講演ではこれらの結果についても紹介した。今後は、力

推定手法による細胞集団の物性の定量的な解析から、個体発生の力学制御の包括的な理解を深め

ていきたい。 謝辞 上村匡氏(京都大学)、宮脇敦史氏(理研 BSI)、金子邦彦氏(東京大学)の支援に感謝いたし

ます。この研究の遂行にあたって、JSTさきがけ、理研研究奨励ファンド、文部科学省科学研究費の支援を受けました。 参考文献 [1] Bertet, C., Sulak, L., and Lecuit, T. (2004). Myosin-dependent junction remodeling controls planar cell intercalation and axis elongation. Nature 429, 667-671 [2] Rauzi, M., Verant, P., Lecuit, T., and Lenne, P.F. (2008). Nature and anisotropy of cortical forces orienting Drosophila tissue morphogenesis. Nat. Cell. Biol. 10, 1401-1410. [3] Krieg, M., et al. (2008). Tensile forces govern germ-layer organization in zebrafish. Nat. Cell. Biol. 10, 429-436. [4] Classen, A-K., Anderson, K.I., Marois, E., Eaton, S. (2005).Hexagonal packing of Drosophila wing epithelial cells by the planar cell polarity pathway. Dev. Cell 9 805-817. [5] Sugimura, K. Uemura, T., Miyawaki, A., Kaneko, K. and Ishihara, S. in revision. [6] 石黒真木夫, 松本隆, 乾敏郎, 田邉國士「階層ベイズモデルとその周辺」第 I部、補論 岩波書店 統計科学のフロンティア 4 (2004) [7] Aigouy, B., Farhadifar, R., Staple, D.B., Sagner, A., Röper, J.C., Jülicher, F., and Eaton, S. (2010). Cell flow reorients the axis of planar polarity in the wing epithelium of Drosophila. Cell 142, 773-786.

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Oral

3

Page 69: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

カオスの縁を超えて 1 ― カオスの縁とその付近における神経回路網の信号増幅および信号積分 ―

独立行政法人理化学研究所脳科学総合研究センター 豊泉太郎2

ランダムな結合によって細胞間の信号を伝達をする神経回路網は、その結合の強度に応じて、静

的な状態(固定点領域)から動的な状態(カオス領域)へ相転移を起こすことが知られている。

そのような転移点、「カオスの縁」、付近においては信号の増幅率が高く回路網の時定数が長い

という情報表現に関して有益な性質が報告されている。しかし、従来から研究が進んでいる固定

点領域では、結合強度の値が転移点での値から離れるに従って急速にこれらの性質が失われるた

めに、パラメータの微調整が必要不可欠であった。本研究では神経活動の観測の精度が有限であ

ることと、神経細胞の持つ非線形性に関する特定の条件の下で、結合強度の調整が固定点領域よ

りもカオス領域においてより容易であり、より高精度の情報表現が可能であることを示す[1]。 1 モデルと解析 本研究では簡単のために以下の離散時間ニューラルネットワークを解析した。

hi (t +1) = Jijφ θ(t)+ hj (t)( )j=1

N

ここで hi(t)は素子 iの時刻 tにおける状態変数、θ(t)時刻 tにおける外部からの入力、Nは素子数、φは入出力非線形関数、Jijは素子 jから素子 iへの結合強度で平均 0分散 g2/Nのガウス分布から独立に選ばれるとする。変数 gは相互作用の強度を表すパラメータで、この値が小さい場合状態変数は固定点に収束し、この値が大きい場合状態変数はカオスアトラクターに収束すること

が知られている[2,3](図1)。本研究では観測にノイズのある状況下で O(N-1/2)個の素子の状態変数の線形和を最適に選んで観測した場合、どの程度の精度で過去の外部入力の値を推定可能かを

観測のシグナル・ノイズ比を評価することで解析的に計算した。その結果、シグナル・ノイズ比

は固定点解からカオス解への相転移が起きる臨界点直上で発散し、さらにその臨界点付近での振

る舞いは系の詳細によらない臨界指数を用いて特徴づけられることが分かった[1]。個々の素子の持つ入出力関数φが奇関数でかつ飽和する場合、臨界点近傍の固定点解側ではシグナル・ノイズ

比が変数 gの臨界点からの距離に反比例して発散するのに対し、カオス解側では距離の2乗に反比例して発散することが分かった[1]。これは臨界点近傍ではカオス解側に変数 gを設定することによって、その値をファインチューニングせずとも、高いシグナル・ノイズ比を達成できること

1 この原稿は、基礎物理学研究所研究会「統計力学の最前線」の発表をもとに作成した。 2 E-mail: [email protected]

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Oral

1

Page 70: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

を示している。本研究では簡単のために、離散時間、全結合システム、入出力関数の対称性等を

仮定したが動的平均場理論を用いた本解析方法はより一般のシステムに対して応用が可能である。

10 20 30 40 50t

0.5

0.5

activity

10 20 30 40 50t

0.5

0.5

activity

weak synaptic connections strong synaptic connections

quiet network spontaneously active network

図1:ランダムに結合するニューラルネットワークは結合強度の絶対値が小さい場合(左図)に

は固定点に収束し、結合強度の絶対値が大きい場合(右図)にはカオスを示す。上図:ニューラ

ルネットワークの模式図。下図:状態変数 h1, h2, h3の時間的な変動。 参考文献 [1] T. Toyoizumi and L. F. Abbott, Phys. Rev. E 84 (2011), 1539. [2] H. Sompolinsky, A. Crisanti, and H. J. Sommers, Phys. Rev. Lett. 61 (1988), 259. [3] L. Molgedey, J. Schuchhardt, and H. G. Schuster, Phys. Rev. Lett. 69 (1992), 3717.

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Oral

2

Page 71: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

統計的機械学習における量子アニーリング

佐藤 一誠1, 田中 宗2, 栗原 賢一3, 宮下 精二 4, 中川 裕志5

統計的機械学習は、過去に蓄積されたデータから何らかのルールを自動的に抽出する情報処理

技術である。我々は、ルールの抽出過程、すなわち学習プロセスにおいて量子揺らぎを導入し効

率的に学習する手法を開発した。我々のアルゴリズムは機械学習分野で幅広く使われている変分

ベイズ法に基づいているため、変分ベイズ法が適用可能である従来研究に対して容易に量子揺ら

ぎを導入できる。つまり、広範囲な応用分野に対して量子揺らぎを導入することを可能にした。

1 はじめに

統計的機械学習は、過去に蓄積されたデータを学習データとして未知の問題解決を機械的に行

う情報処理技術である。学習データを未知の問題解決に利用するためには、データをどのような

形で抽象化するかが重要である。例えば、我々人間は数学の問題を解く場合に、過去に解いた問

題を公式または解法として抽象的に表現することで、新たな問題を解けるようになる。統計的機

械学習では、確率モデルによってデータの性質を抽象化する。機械学習は、これまで多種多様な

分野の理論を基に学習手法が提案されている。例えば、確率・統計、情報理論、理論計算機科学、

そして物理学などが挙げられる。我々は量子情報理論に基づき、量子揺らぎの制御を学習のプロ

セスに応用するための理論構築を目指す。

データの特性を確率モデルによって抽象化する場合、「潜在変数」と呼ばれる確率変数が重要な

役割を果たす。潜在変数は、データ間の隠れた類似性を数学的に取り扱うために導入される。例

えば、我々人間が新たな問題を解く場合、過去の類似した問題を想起することで解決に至る場合

が多々ある。しかし、どの問題と類似しているかは問題には書いていないため、問題間の類似性

は非観測である。したがって、類似性の推定を行うことで問題解決を行う必要がある。統計的機

械学習では、この類似性を問題と問題との間に潜む確率変数、すなわち潜在変数であると仮定し

推定する。潜在変数の推定は、学習データに潜む性質を知ることにつながるため、データ解析手

法としてもよく用いられる。

具体的な例として、ある文書集合をいくつかのカテゴリーに分類したいとする。特に、分類に

関してなんら情報を与えずに自動的にいくつかのカテゴリーに分類するような問題を考える。文1東京大学 情報基盤センター, E-mail: [email protected]東京大学大学院 理学系研究科, E-mail:[email protected], E-mail:[email protected]東京大学大学院 理学系研究科,E-mail:[email protected]東京大学 情報基盤センター, E-mail: [email protected]

1

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Oral

Page 72: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

書の分類では、「キーワード」が文字通り重要な役割を果たす。「キーワード」に基づくカテゴリー

分類の難しさとして、どの単語が「キー」になるのかは与えられた文書集合に依存して変わるこ

とが挙げられる。したがって、どの単語がキーワードになるかは、データ集合から学習する必要

がある。具体的には、「ある単語がキーワードとなるか (1)/ならないか (0)」という二値確率変数

を潜在変数として導入し、文書集合から推定することで、各々の文書を自動的に分類することが

できる。新たな文書を処理する場合は、その文書のカテゴリーを推定することで、どのような内

容かを類推することや、類似文書(推定された同一カテゴリの文書)の検索などを行うことがで

きる。このようにデータに潜む性質を潜在変数の推定として浮き彫りにすることで統計的機械学

習が可能となる。

2 確率的潜在変数モデルにおける量子アニーリング

機械学習は、多くの場合、最適化問題として定式化される。また、確率的潜在変数モデルの学習

では、多数の局所解を持つ非線形最適化問題として定式化される。このような場合に、統計物理

学的アプローチであるシミュレーテッド・アニーリング (SA : Simulated Annealing) (Kirkpatrick

et al., 1983)が主に用いられる。SAは、温度を模したパラメータを導入し、熱揺らぎを制御す

る(温度を徐々に下げる)ことで、局所解を避けながら、より最適な解を探索する手法である。

近年、局所解を含む最適化問題を解く手法として、量子揺らぎを用いた量子アニーリング (QA :

Quantum annealing)が量子情報理論において注目を集めている (Kadowaki and Nishimori, 1998;

Farhi et al., 2001; Santoro et al., 2002)。

我々は経路積分表式に基づく方法でQAを実装した。我々の用いたQAは、相互作用を持つ並列

化 SAとして考えることができる。これは、量子系を鈴木・トロッター展開 (Trotter, 1959; Suzuki,

1976)により古典系にマッピングすることで導出される。量子揺らぎは複数のプロセスにおける

潜在変数間の相互作用として導入される。例えば、N 人の研究者を、いくつかのグループに分け

る問題を考える。どの研究者がどのグループに属するのかを潜在変数として定義する。グループ

の分け方(状態)を σで表現する (図 1上図参照)。各グループ内での共著論文数が多いほど確率

p(σ)が高くなるようなモデル化を行ったとする。目的は確率 p(σ)を最大にする σを求めることで

ある。一般に機械学習では、初期状態を変えたm個の SAプロセスを走らせ、最も確率の高い σ

を解とする。具体的には、各 jプロセスで独立に以下の問題を解き、m個の中で最も確率が高い

状態を解とする。

σ∗j = argmaxσj

log p(σj) (1)

我々の提案する QAでは、このm個の SA間で相互作用させながら探索を行う (図 1下図参照)。

ここで、 σj (j = 1, · · · ,m)をそれぞれ j番目のプロセスの状態とする。また、 σm+1 = σ1となっ

ている。f を相互作用関数とする。このような枠組みは、鈴木・トロッター展開を用いることで、

数学的に導出された手法である。我々の提案するQAでは、以下のようなm個のプロセスにおけ

2

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Oral

Page 73: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

Simulated Annealing (SA)

Iteration

Iteration

3 4

7

1 2

5

6 8 3 4

5

1 2

7

6 8 3 4

5

2

7

1

8

6 3 4

75

1 2

6 8

1 3

6

4 5

87

2

Quantum Annealing (QA)

図 1: SAとQA:σ は潜在変数(この場合、8人のグループ分け)を表している。

る状態 σjmj=1に関する確率を最大にする問題を解く。

(σ∗1, σ∗2, · · · , σ∗m) = argmax

(σ1,σ2,··· ,σm)log pQA(σ1, σ2, · · · , σm) (2)

ここで、 (σ1, σ2, · · · , σm)は、潜在変数がm個の値を同時に取った状態を表現し、この潜在変数の

重ね合わせに対する確率分布を pQA(·)が定めている。図 1の例では、σj (j = 1, · · · ,m)は、各々

異なるグループ分けの状態を示しており、QAは、m個のグループ分け状態の重ね合わせ上の確

率分布を基に解を探索していると考えられる。

最適化問題 (2) は、状態間の類似度を示す関数 R(σ1, · · · , σm)を用いて、実際には以下のよう

に書くことができる。

(σ∗1, σ∗2, · · · , σ∗m) = argmax

(σ1,σ2,··· ,σm)

m∑j=1

log p(σj) + f ·R(σ1, · · · , σm) (3)

f ·R(σ1, · · · , σm)が、潜在変数間の相互作用に相当する項である。またこの項は、実際にはm個

の状態に関する制約を表現しているため、最適化問題 (3)は、最適化問題 (1)の制約付最適化問題

としてみることができる。f が 0の場合は、複数の最適化問題 (1)を独立に解くことに相当する。

ここで、f 及びR(σ1, · · · , σm)は、数学的に導出される。

我々は、最適化問題 (1)を近似的に解く手法として変分ベイズ法 (Attias, 1999)に着目し、最適

化問題 (3)を近似的に解く量子アニーリング変分ベイズ法を提案した (Sato et al., 2009)。文書分

類やトピック抽出に応用した結果、より効率的な学習ができることを確認した。変分ベイズ法は、

自然言語処理、画像処理、音声処理、Webデータ解析など多くの分野で用いられている汎用的な

手法として知られている。したがって我々の手法は、変分ベイズ法で学習可能なモデルに対して

適用可能であるため、これまで提案されてきた様々な応用分野で適用可能である。

3 おわりに

本稿では、潜在変数を含む確率モデルの学習において、量子揺らぎを導入する枠組みを紹介し

た。量子揺らぎは、統計力学的アプローチである熱揺らぎとは異なる揺らぎであるため、量子揺

3

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Oral

Page 74: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

らぎの制御は古典系の学習プロセスとは異なる学習プロセスとなる。このような量子系の学習プ

ロセスが学習効率にどのような形で影響を与えるかについては未解明の問題であり、今後取り組

んでいきたいと考えている。また、我々の手法は並列学習アルゴリズムであるため、大規模な並

列数による学習効率の効果についても調べていく予定である。

謝辞

数値計算の一部は、東京大学物性研究所の共同利用スーパーコンピューターを利用いたしまし

た。ここに感謝申し上げます。

参考文献

H. Attias. Inferring Parameters and Structure of Latent Variable Models by Variational Bayes.

In K. B. Laskey and H. Prade, editors, Proceedings of the 15th Conference on Uncertainty in

Artificial Intelligence (UAI-99), pages 21–30, 1999.

E. Farhi, J. Goldstone, S. Gutmann, A. L. J. Lapan, and D. Preda. A Quantum Adiabatic

Evolution Algorithm Applied to Random Instances of an NP -complete Problem. Science,

292:472–476, 2001.

T. Kadowaki and H. Nishimori. Quantum Annealing in the Transverse Ising Model. Physical

Review E, 58:5355–5363, 1998.

S. Kirkpatrick, C. D. Gelatt, and M. P. Vecchi. Optimization by Simulated Annealing. Science,

220(4598):671–680, 1983.

G. E. Santoro, R. Martonak, E. Tosatti, and R. Car. Theory of Quantum Annealing of an Ising

Spin Glass. Science, 295:2427–2430, 2002.

I. Sato, K. Kurihara, S. Tanaka, H. Nakagawa, and S. Miyashita. Quantum Annealing for

Variational Bayes Inference. In Proceedings of the 25th Conference on Uncertainty in Artificial

Intelligence, 2009.

M. Suzuki. Relationship between d-Dimensional Quantal Spin Systems and (d+1)-Dimensional

Ising Systems – Equivalence , Critical Exponents and Systematic Approximants of the Par-

tition Function and Spin Correlations –. Progress of Theoretical Physics, 56(5):1454–1469,

1976.

H. F. Trotter. On the Product of Semi-Groups of Operators. Proceedings of the American

Mathematical Society, 10(4):545–551, 1959.

4

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Oral

Page 75: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

有限温度における熱的な量子純粋状態

東京大学総合文化研究科 杉浦 祥1, 清水 明

1 はじめに

 統計力学では通常、エネルギーや磁場といった数個のマクロ物理量で指定されたアンサンブ

ルを用いて、全磁化や相関関数といったその他のマクロ物理量を計算する。ところが近年になっ

て、アンサンブルを用いずとも、エネルギーや磁場といったマクロ物理量で指定された量子純粋

状態は、その殆ど全てが熱平衡状態を正しく与える事が明らかとなった。この事実は、「たった一

つの典型的な量子純粋状態を用意することができれば、全ての熱平衡値をそれだけで計算できる」

事を強く示唆する。我々は、従来の研究が抱えていた問題点を解決し、アンサンブルを用いない、

たった一つの純粋状態による統計力学の定式化を完成し、その純粋状態の具体的な構成法を提案

した。

2 定式化の概要とその結果

  2006年、杉田により以下の事実が示された [1]。ミクロカノニカルアンサンブルのエネルギー

殻 [E −∆/2, E +∆/2) と対応するヒルベルト部分空間 EE,N を指定し、そこに含まれる状態から

一様な測度で取り出してきた状態

|ψ⟩ =∑ν

cν |ν⟩ (1)

(|ν⟩ν は EE,N 内の任意の基底、cνν は dim(EE,N )-次元複素球∑

ν′ |cν |2 = 1から一様分布で用

意したランダムな複素数の組)を用意する。すると、磁化や相関関数といった全てのマクロな力

学量に対して、|ψ⟩の期待値が対応するミクロカノニカルアンサンブル平均と殆ど常に非常によい精度で一致する値を与える。

 しかし、温度やエントロピーといった純熱力学量は本質的に状態数を必要とするため、純粋状

態の期待値として計算する事はできない。そのため、統計力学で興味ある量全てが一つの純粋状

態で与えられると主張するにはまだ不十分である。また、|ψ⟩を実際に構成するには、エネルギー殻内の基底を用意する必要があり、それはアンサンブル平均を計算するのと同程度に困難である。

1E-mail: [email protected]

1

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Oral

Page 76: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

我々は、これらの問題を解決して、たった一つの純粋状態による統計力学の定式化を完成した。

まず、たった一つの状態で全てのマクロな力学量を正しく与えるような純粋状態を、従来より広

いクラスに拡張し、一般にThemal pure quantum (TPQ) statesと名付け、定義した。そし

て、TPQ state から純熱力学量を求める方法を提案した。さらに、そのうちあるクラスの TPQ

statesを効率的に構成する方法も合わせて開発し、この新しい定式化が実用的にも利点があるこ

とを示した [2]。

 本プロシーディングスではその定式化のみを述べる。まず、全ヒルベルト空間のランダムベ

クトル |ψ0⟩ ≡∑

i ci|i⟩ を用意する。ここで、基底 iiは |ν⟩ν と違い、全ヒルベルト空間の任意の基底である。そして以下の計算を k = 0, 1, · · ·に対して反復的に行う。

uk ≡ ⟨ψk|h|ψk⟩, (2)

|ψk+1⟩ ≡ (l − h)|ψk⟩/∥(l − h)|ψk⟩∥ (3)

(h ≡ H/N , lは任意の定数) すると、各状態 |ψk⟩は、 1粒子あたりのエネルギーが ukでのTPQ

stateとなっていることが示される。つまり、任意のマクロな力学量の熱平衡値は、|ψk⟩の期待値として求められる。

 次に、純熱力学量について述べる。一般に、エネルギーEの状態がひとつ与えられても、そ

の状態に対応する逆温度 β(u,N)などの純熱力学量を求めることは困難である。ところが、上記

のTPQ state |ψk⟩であれば、たったひとつ与えられただけで、対応する逆温度 β(u,N)が、以下

の式より求められる。

β(uk;N) =2k

N(l − uk)+O(

1

N). (4)

さらに、もしも複数個の TPQ statesが与えられている場合には、それらの間の内積から純熱

力学量を求めることもできる。こちらの方法は、上記のTPQ stateに限らず、あらゆる種類のTPQ

statesに対して適用可能なので、杉田の提案した状態 |ψ⟩に戻って考える。独立なランダムに用意した2個の状態 |ψ1⟩, |ψ2⟩ ∈ EE,N の内積と、dim(EE,N )は以下の関係で結ばれる。

⟨ψ1|ψ1⟩ = 1/√dim(EE,N ) (5)

((· · ·)はランダム平均)この関係式から dim(EE,N )を求める事が可能であり、それよりエントロ

ピーを経由して全ての純熱力学量を求めることができる。

 TPQ stateを用いた計算法の特筆すべき点は、TPQ stateの期待値によりマクロな力学量

を計算すると、期待値はアンサンブル平均の周りに、Nの指数関数分の一 (N:粒子数・サイト数)

程度の非常に小さな分散で分布する事が保証されている事である。また、開発した構成法は、ハ

ミルトニアンの多項式を乗算するだけの単純な手法であるため、解析的にも数値的にも計算可能

であるのみならず、離散量子系として記述できる系であれば他に制限は一切なく、どのような系

でも適用可能である。例えば数値計算に応用した場合、Quantum Monte Carlo法でボトルネック

となっている negative sign problemは生じず、DMRGのように高次元系で急速に計算精度が落

2

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Oral

Page 77: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

N=16

24

Exact

20

u=-0.04J

-0.12J

-0.2J

-0.28J

-0.36J

-0.44J

Φ(j)

0.4J0

hz=0.6J

jj

1 3 5 j

-0.6

-0.4

-0.2

0.0

0.2ΦHjL

æ

ì

÷

20.15

0.16

0.17

1 3 5-0.6

-0.4

-0.2

0.0

0.2

図 1: J = +1, hz = 0での相関関数 ϕ(j)のグラフ。実線:N → ∞における様々な uの値での厳密解 [3]。各点:TPQ stateによる我々の定式化を用いたN = 24での数値計算結果。(左の挿入図)

N = 16-24, j = 2での u = −0.36J の TPQ stateによる数値計算結果。(右の挿入図) 有限の hz

を加えた状態での ϕ(j)の TPQ stateによる数値計算結果。温度は T ≃ 0.45J に固定してある.

ちるといった問題もないため、2次元フラストレーション系やフェルミオン系に応用可能な手法

となっている。また、たった一つの純粋状態を構成するだけで非常に精度のよい計算ができるた

め、計算量は厳密対角化に比べて二分の一乗から三分の一乗になる。

 さらに、開発した手法は純粋状態1つを計算しているだけにも関わらず、実質的にハミルト

ニアンによって状態のエネルギー分布を直接操作し、その分布を把握する事ができる手法となっ

ている。そのため高次の相関を計算することで、力学量・純熱力学量に関わらず、それらを 1/N

展開した高次の項を得る事ができる。つまり、有限のNであっても、高次項まで取り込んだ計算

をすることで非常によい精度で計算が可能である。また、これを応用することである種のN→∞

への外挿すら可能である。つまり、Nサイト系を無限個並べた、ある種の無限系での計算を、1/N

展開の各項から逆算する事で、実質的に行うことができる。実際、温度の計算ではこの無限系へ

の外挿によりNサイト系1個での計算より精度が著しく向上することを確認している。

本講演では、これらの手法とその原理について述べ、数値計算による結果がよい精度で厳密解

と一致することを示した。詳細については文献 [2]をご覧頂きたい。

3

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Oral

Page 78: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

ôôôôôôôô ô

ôôôô ôô ô

ôôô

ôôôôôôô

ôôôô ôô

ôôôôôôôôôôô

ôôôôôôôôôôôôôô ôôôôôôôôôôôôô

ô

ô

òòòòòòòòòò

òò

ò

ò

ò

ò

ò

òòòòòò

òò

ò

ò

ò

ò

ò

ò

òò

ò

òò

ò

ò

ò

ò

ò

ò

àààààààà

àààà àà à

àààà

àà àà àààààààààààààà àààààà

àààààà àààà àààààààààààààààà

à

à

à

ìììììììììì

ìì

ì

ì

ì

ì

ì

ìììììì

ìì

ì

ì

ì

ì

ì

ì

ìì

ì

ìì

ì

ì

ì

ì

ì

ì

ò 1ΒHu;NL with l=5J

ô 1ΒHu;NL with l=emax

ì 1ΒHu;¥L with l=5J

à 1ΒHu;¥L with l=emax

à 24ô 20ò 16÷ 12æ N=8

u

T

hz=0

0.4J

0.8J

-0.1-0.2-0.3-0.4-0.50

1

2

3

4

5

u

T

æ

æ

æ

æ

æ

æ

æ

æ

÷

÷

÷

÷

÷

÷

÷

÷

÷

÷

÷

ò

ò

ò

ò

ò

ò

ò

ò

ò

ò

ò

ò

ò

ò

ò

ô

ô

ô

ô

ô

ô

ô

ô

ô

ô

ô

ô

ôô

ô

ô

à

à

à

à

à

à

à

à

à

à

à

à

àà

à

à

-0.4 -0.3

0.6

0.7

図 2: J = +1での T vs. uのグラフ。実線:hz = 0-0.8J , N → ∞における様々な uの値での厳密解 [4]。各点:TPQ stateによる我々の定式化を用いたN = 24での数値計算結果。三角形の各点が β−1(u;N)、四角形の各点が β−1(u;∞) に対応する。(挿入図) N = 8-24における β−1(u;∞).

謝辞

本研究会を企画して下さった、安田宗樹さん、大関真之さん、小渕智之さんには感謝しており

ます。特に、小渕さんには学会での発表をきっかけに本研究会で発表する機会を設けて頂き、大

変感謝しています。有難うございました。

参考文献

[1] A. Sugita, RIMS Kokyuroku (Kyoto) 1507, 147 (2006)

[2] S. Sugiura, A. Shimizu, arXiv:1112.0740v4 (to be published in Physical Review Letters)

[3] J. Sato et al, Phys. Rev. Lett 106, 257201 (2011).

[4] K. Sakai, private communication.

4

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Oral

Page 79: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

新奇揺らぎの導入による相転移現象の制御

東京大学 物性研究所 田村 亮 1,2

東京大学 理学系研究科 化学専攻 田中 宗 3

本原稿では,相転移の次数制御に関する統計力学的研究について紹介する.具体的には,二次

相転移(連続転移)が起こることが知られている二つの相転移現象に着目する.一つ目は二次元

格子模型における 2, 3, 4回対称性の破れを伴う平衡相転移であり,二つ目はネットワーク成長模

型における動的パーコレーション転移である.それぞれの模型に新しい種類の揺らぎを付け加え

ることによって,これらの相転移現象の様相を変化させることができる.

1 緒言

相転移は,例えばH2Oが氷・水・水蒸気といった異なる性質を持つ相へ状態が変化する現象で

あり,統計力学研究における最も重要な研究対象の一つである.一般に,系の状態はいくつかの熱

力学的変数によって表わすことができ,相転移点においてこの熱力学的変数は特異性を示す.こ

の特異性から相転移を分類することができ,例えば自由エネルギーの一階微分が特異的となる一

次相転移(不連続転移)や,二階微分が特異的となる二次相転移(連続転移)がある.一般的な

理解では,系の基底状態の対称性や秩序パラメタの対称性,さらには空間次元によって相転移の

性質は決まるため,これらを変化させると,起こる相転移現象も同時に変化する.そこで我々は,

基底状態や秩序変数の性質および空間次元といった系の本質を変化させることなく相転移の様相

を変化させることはできるのか? という問題に興味を持ち,以下に述べる二つの研究を行った.

2 二次元格子模型における2, 3, 4回対称性の破れを伴う相転移4

離散的対称性の破れを伴う熱平衡相転移は q状態強磁性 Potts模型を用いて詳しく研究が行わ

れている [1].二次元格子上では,q ≤ 4で二次相転移,q > 4で一次相転移が起こることが知られ

ている.このPotts模型に,エネルギーに寄与しない余分な状態(透明状態)を付け加えた模型を

考察した [2–6].この模型のハミルトニアンは以下のように書かれる.

H = J∑⟨i,j⟩

δsi,sj

q∑α=1

δsi,α, si = 1, · · · , q, q + 1, · · · , q + r (J < 0). (1)

1現所属:(独)物質・材料研究機構 若手国際研究センター2E-mail: [email protected]: [email protected]本研究は東京大学物性研究所川島直輝教授との共同研究である.

1

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Oral

Page 80: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

(q,r) Tc/|J | l/|J | 破れる対称性 文献

(2,0) 1.13459 0 2回 [1]

(2,30) 0.57837(1) 1.02(2) 2回 [2]

(2,32) 0.56857(1) 1.23(2) 2回 [3]

(3,0) 0.994973 0 3回 [1]

(3,25) 0.59630(1) 0.81(2) 3回 [2]

(3,27) 0.58513(1) 1.05(2) 3回 [3]

(4,0) 0.910239 0 4回 [1]

(4,20) 0.61683(1) 0.68(2) 4回 [2]

(4,22) 0.60396(1) 0.87(2) 4回 [3]

表 1: 透明状態を r個加えた際の,二次元格子上強磁性 q状態Potts模型の相転移温度 Tc/|J |および潜熱 l/|J |.(q, r) = (2, 0), (3, 0), (4, 0)の場合は二次相転移が起こる.

ここで,q + 1 ≤ si ≤ q + rの状態が透明状態であり,rは透明状態の個数を表わしている.この

透明状態の導入により,各スピンの取り得る状態の数は q + r個となっており,透明状態を加え

ることは状態に関する揺らぎを導入したことに対応する.このハミルトニアンから分かるように,

1 ≤ si = sj ≤ qのときに相互作用 J が働き,それ以外では相互作用は働かない.つまり,透明状

態 (q + 1 ≤ si ≤ q + r)はエネルギーに寄与しないため,透明状態を系に加えても基底状態は変化

しない.したがって,この模型は有限温度において q回対称性の破れを伴った相転移が起こる模

型である.

通常なら二次相転移が起こる二次元格子上 q = 2, 3, 4状態強磁性Potts模型に透明状態を複数付

け加えた場合,相転移がどのように変化するかについて数値計算を行った.その結果,いくつか

のパラメタセット (q, r)において有限温度一次相転移の存在が確認された.数値計算によって得ら

れた一次相転移温度および潜熱について表1にまとめた.この結果から,透明状態の数を増やす

と,相転移温度は減少し,潜熱は増大することが分かる.このように,エネルギーに寄与しない

状態を付け加えることによって,相転移の次数を変化させることが可能であることを示した.さ

らに,透明状態によって潜熱も変化することから,同じ対称性の破れを伴う相転移でも透明状態

の数を変化させることによって潜熱の大きさを制御することができる.以上の結果は平均場近似

(Bragg-Williams近似)においても確認している.この研究は,模型の本質を変化させることなく,

相転移の次数をコントロールすることができる一つの可能性を提示している.

3 ネットワーク成長模型における動的パーコレーション転移

正方格子上のネットワーク成長模型における動的パーコレーション転移に着目する.パーコレー

ション転移は格子の端から端までを繋ぐネットワークが形成された時間で定義される.一般的な

理解では,このパーコレーション転移は連続転移であり,要素同士をランダムに繋いでいく最も

シンプルなネットワーク成長模型は連続転移を示す.しかし,特別なルールを採用したネットワー

2

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Oral

Page 81: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

ク成長模型では,パーコレーション転移が不連続転移になることがAchlioptasらによって報告さ

れている [7].そこで,我々はこれらのネットワーク成長過程を繋ぐことのできるネットワーク成

長ルールを導入し,動的パーコレーション転移の様相がどのように変化するかを調べた.

我々が導入したネットワーク成長ルールは以下の通りである.

Step 1 全ての要素は孤立している.

Step 2 2つの異なる辺をランダムに選ぶ (iと jおよび kと l).

Step 3 選んだ辺のうち片方の辺(iと jを結ぶ辺)を,以下の確率で繋げる.

ωij =e−q(n(σi)+n(σj))

e−q(n(σi)+n(σj)) + e−q(n(σk)+n(σl)). (2)

ただし,n(σi)は i番目のサイトが属するクラスターが含むサイト数を意味している.

また,一度結合された辺は切断されることはない.

Step 4 Step 2 と Step 3 を繰り返し,全ての要素が1つのクラスタに属したら終了.

このルールにおける成長過程の例を図1に示した.このルールにおいて q = 0は要素同士をランダ

ムに繋いでいくシンプルなルールとなり,q = +∞は必ず小さいクラスターができるように要素を繋いでいくAchlioptasらによって導入されたルールとなる.つまり,qはこれらのルールを繋ぐパ

ラメタになっていることが分かる.いくつかの qを用いた数値計算を行ったところ,q ≃ 10−4付

近でパーコレーション転移の臨界性が変化することを示す結果を得た [8].また,パーコレーショ

ン転移点直上におけるフラクタル次元も,同様の qの値を境に変化していることが分かった.こ

のパラメタ qは,成長過程を選ぶ際の選択確率(選択に関する揺らぎ)になっており,このような

選択に関する揺らぎによって動的パーコレーション転移の臨界性を制御できることが分かった.

i

j

k

l

図 1: ネットワークの成長過程の一例.左図は確率 ωij で iと jを結ぶ辺が結合された場合,右図は確率 ωklで kと lを結ぶ辺が結合された場合をそれぞれ表している.

4 結言

本原稿では,相転移現象の様相を制御することのできる揺らぎの導入方法について,二種類の

相転移に着目することによって紹介した.一つ目は二次元格子上 Potts模型における 2, 3, 4回対

3

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Oral

Page 82: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

称性の破れを伴う平衡相転移であり,状態に関する余分な揺らぎを導入することによって,相転

移の次数が二次から一次に変化する振る舞いが観測された.二つ目は,ネットワーク成長模型に

おける動的パーコレーション転移であり,ネットワークの成長過程で生じる選択確率(選択に関

する揺らぎ)を導入することによって,相転移の臨界性の変化が観測された.このように,基底

状態や秩序変数といった系の本質を変化させない新しいタイプの揺らぎを導入することによって,

相転移の様相を制御することが可能である.このような相転移現象の制御という観点は,情報統

計力学の分野でも重要であると考えている.この分野で扱われる最適化問題では,相転移の存在

が問題の困難さを左右する一因になり得る.例えば,一次相転移点近傍において状態が準安定状

態にトラップされてしまうことや,二次相転移点における臨界減速が要因となる.そのため,新

奇揺らぎの導入による相転移現象の制御は最適化問題における困難を解消する有用な方法になる

と期待している.

謝辞

本研究を遂行するにあたって,田村は東京大学GCOE「未来を拓く物理科学結集教育研究拠点」

の支援を,田中は日本学術振興会科学研究費助成事業(21840021および 23-7601)の支援を受けて

実施いたしました.また,数値計算の一部は,東京大学物性研究所の共同利用スーパーコンピュー

タを利用いたしました.ここに感謝申し上げます.

参考文献

[1] F. Y. Wu, Rev. Mod. Phys. 54 (1982) 235.

[2] R. Tamura, S. Tanaka, and N. Kawashima, Prog. Theor. Phys. 124 (2010) 381.

[3] S. Tanaka, R. Tamura, and N. Kawashima, J. Phys.: Conf. Ser. 297 (2011) 012022.

[4] S. Tanaka and R. Tamura, J. Phys.: Conf. Ser. 320 (2011) 012025.

[5] S. Tanaka, R. Tamura, I. Sato, and K. Kurihara, To appear in the proceedings of Kinki

University Quantum Computing Series: ”Summer School on Diversities in Quantum Com-

putation/Information”.

[6] R. Tamura, S. Tanaka, and N. Kawashima, To appear in the proceedings of Kinki University

Quantum Computing Series: ”Symposium on Interface between Quantum Information and

Statistical Physics”.

[7] D. Achlioptas, R. M. D’Souza, and J. Spencer, Science 323 (2009) 1453.

[8] S. Tanaka and R. Tamura, arXiv:1111.2005.

4

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Oral

Page 83: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

ツイッターの確率モデル

東京大学 理学系研究科 物理学専攻 川本 達郎 1

マイクロブログとして有名なツイッターでの「つぶやき」の拡散現象を記述する確率モデルを、

実際のデータを基に考案した。その結果、公式リツイートによる日々のつぶやきの拡散は、ラン

ダム乗算過程という確率過程に従っていると見なせることを明らかにした。情報拡散のモデルと

しては、ミクロな伝染ルールからマクロな拡散現象を記述するものがよく考えられるが、本研究

のアプローチはそれらとはまったく異なるものである。

1 ツイッターとつぶやきの拡散

ツイッターはマイクロブログと呼ばれる人気のウェブサービスで、ユーザーたちはその上でネッ

トワークを構成している。種ユーザーが文章「つぶやき」を書くと、フォロワーと呼ばれる、種

ユーザーと直に繋がっているユーザーにそのつぶやきが配信される。ここで、つぶやきを受け取っ

たユーザーがリツイート・ボタンをクリックすると、その人のフォロワーにもそのつぶやきが配

信される。このようにして、ツイッター上ではつぶやきの拡散現象が日常的に起きている。この

つぶやきの拡散には何か統計則が存在するのだろうか。それとも、各ユーザーの詳細や日時によっ

てまったく異なる振る舞いを示す非常に複雑な現象なのだろうか。

ネットワーク上の情報拡散の研究は病気の伝染や噂の伝播の文脈で従来から多く行われており、

その多くは個々のノード (ユーザー)に対するミクロな伝染ルールを与え、その結果として生じる

マクロな拡散現象を予測するものである (1)。すなわちミクロとマクロを繋ぐというステップを踏

む。しかし、ツイッターのリツイートのような活動に妥当なミクロな伝染ルールを与えることは

非常に困難と思える。また、そのような状況でミクロとマクロを繋ぐというステップを踏むこと

にあまり意味はないと考えられる。

このように、従来のアプローチに従ってツイッターの拡散現象を記述しようと試みると、非常

に難しい問題になると予想される。しかし、最終的にマクロな拡散の様子を議論したいのであれ

ば、個々のユーザーの振る舞いを指定する必要はないのではなかろうか。代わりに、幾らかのユー

ザーの集団を一つの単位として扱い、それらに対する伝染ルールを明らかにすれば、よりシンプ

ルで意味のあるモデルが構成できるのではないだろうか。これが本研究のアプローチである2。1E-mail: [email protected]同じようなアプローチは他のウェブサービスについて行われたものがある (2; 3; 4)。しかし、それらはツイッター

のような決まったネットワーク上を拡散するものではなく、拡散過程にはっきりとした構造がないと思われる点で本研究と大きく異なる。

1

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Oral

Page 84: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

本研究では、日常的なつぶやきの拡散を記述することを目的としている。その過程はフォロワー

たちの公式リツイートによるものが支配的だと考え、データ解析ではそのようなデータをカウン

トする。

図 1: ツイッター上でのつぶやきの拡散。中心のノードが種ユーザー。リンクはフォロワーであることを示す。

2 確率モデル

図 1に示すように、リツイートするユーザーが種ユーザーから何リンク離れているかを指標とし

て世代分けし、その世代ごとのダイナミクスを議論する。まず、種ユーザーのフォロワー数をN0と

する。(彼らはリツイートをしなくてもつぶやきを受け取る。)このN0人のうち、n1人がリツイート

するとし、そのn1人によって新たにつぶやきが配信されたユーザー数をN1とする。これがng = 0

(gは世代)となるまで続く。種ユーザーのつぶやきを受け取った人の総数はNtot =∑∞

g=0Ng、リ

ツイートした人の総数は nRT =∑∞

g=1 ng と表される。モデルとしては、g世代目のユーザーの数

Ngからリツイートをするユーザーの数 ngを推定し、また ng人のリツイートによって新たに配信

される人の数Ng+1が分かればよい。

ここで、次のような近似をする。ツイッターのネットワークにはループ構造が存在し得るため、

リツイートによって配信しようとしたユーザーは、既につぶやきを受け取っているということが

生じる3。従って、Ngをカウントするときにリツイートした人のフォロワー数を単純に数えると、

カウントが重複してしまうことがある。しかし、ここではそのような重複は支配的な寄与をしな

いと仮定し、ネットワークを木構造と近似する。(図 1の赤波線のようなリンクは存在しないとす

る。) このとき、Ng と ng の関係を以下のようにモデル化する:

Ng = ng∑∞

k=0 k P (k) = ng⟨k⟩, (1)

ng = βgNg−1. (2)

ここで k はユーザーのフォロワー数、P (k)はその分布、βg は確率変数である。式 (1)は、分布

P (k)から ng 人を抽出し、それらのフォロワー数を足し上げたもので、木構造と近似したことに

よっている。式 (2)では、Ng−1を単位として、ある確率分布に従う確率変数 βgによって ngが決

まっているとした。この βg をリツイート率と呼ぶことにする。

どのような拡散の仕方をしていても、このようにユーザーを分類し、式 (1)や式 (2)のように表

すことは可能である。しかし、もしこのようなモデル化が見当違いだとすれば、リツイート率の3ツイッターではこのような場合、重複して同じつぶやきを受け取ることがないようになっている。

2

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Oral

Page 85: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

確率分布は非常に歪んだものであったり、世代 gによってまったく異なるものが現れると思われ

る。ところが次節のデータ解析で示すように、種ユーザーのフォロワーによる拡散 (g = 1)では定

数倍の補正が必要なものの、どの世代でもおよそ対数正規分布に従っていることが分かり、モデ

ル化の妥当性を支持している。上記の変数を Jgという記号で以下のようにまとめると、m世代目

の拡散はランダム乗算過程で表される:

nm = Jgnm−1 = · · · =∏m

g=1 JgN0, Jg =

β1 = βQ,

βg⟨k⟩ = β⟨k⟩.(3)

ここでQは他の世代との定数倍の違いを表し、種ユーザーを固定して統計を採ったときには、そ

のユーザーの実効的なフォロワーの割合を示す量と見なすことができる。

3 データ解析

実際のツイッターのデータから前節で述べたリツイート率 βg の統計を調べる。ツイッターの

データはツイッター社が配布しているTwitter API (5)というものを使って特定のURLにアクセ

スすれば取得することができる。まず、リツイート数がゼロでないツイートをランダムにサンプ

ルし、そのリツイート数を世代ごとに分類してリツイート率 βg を g = 3まで調べた。図 2aは各

世代のリツイート率の累積分布関数を片対数プロットしたものである。この図から分かるように

g = 1では平均値が異なるが、どの世代でも対数スケールで正規分布によってフィットされる振る

舞いを示している。従ってリツイート率 βは対数正規分布とすれば良いことが分かる。このデー

タではQ > 1となり、種ユーザーのフォロワーは他の世代よりも高い割合でリツイートすること

を示している。乗算過程であるというモデル化に従うと、g = 4でリツイート数の平均値がおよそ

1になり、つぶやきはその程度までしか拡散しないことが結論される。

種ユーザーをランダムに選ぶと、色々な国の人のつぶやきや、特殊な拡散のケースを拾ってい

る可能性があり、あまり綺麗な統計が見られない。そこで、種ユーザーとしてフォロワー数の多い

有名アカウントを考え、その拡散過程の統計を見てみる。有名アカウントのつぶやきの拡散を見

るときは、技術的な理由により g ≤ 2で拡散が止まると仮定する。ここでは、我々のモデルから

おおよそ g ≤ 2であるようなアカウントについて調べ、総リツイート数のうちで g = 1以外のも

のはすべて g = 2に属するとした4。そのようなアカウントの一つが図 2bに載せたThe New York

Times (@nytimes)である。図 2bは図 2aと同じ片対数の累積分布関数で、g = 1と g = 2のどち

らも分散がほぼ等しい対数正規分布となっている。平均値の違いから、Q = 0.023、すなわちフォ

ロワーのうちおよそ 2.3%が実効的なフォロワーであると推定される。この他のアカウントでも、

特にニュース関連のアカウントで The New York Timesと同じようにはっきりとした振る舞いが

見られる。

もう一つの例として、堀江貴文氏のアカウント (@takapon jp)を調べた(図 2c)。このアカウン

トの特殊性が効いて、g = 1のリツイート率の分布は激しく歪んでいるのが分かる。しかし、g = 2

4このときの g = 2のリツイート率は β2 と表記する。

3

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Oral

Page 86: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

の分布を見てみると、やはり対数正規分布の振る舞いが見られる。これは世代による分類と式 (2)

のようなモデル化が妥当であることを支持している。

12 10 8 6 4 2

0.2

0.4

0.6

0.8

1.0

- - - - - -

(a)

-14 -12 -10 -8 -6

0.2

0.4

0.6

0.8

1.0

(b)

-12 -10 -8 -6 -4

0.2

0.4

0.6

0.8

1.0

(c)

図 2: (a) 種ユーザーをランダムに選んだ場合のリツイート率の対数の累積分布。(b) The New

York Timesのリツイート率の対数の累積分布。(c)堀江貴文氏のリツイート率の対数の累積分布。

4 まとめ

本研究では、ツイッター上でのつぶやきの拡散現象がランダム乗算過程で与えられるというモ

デル化をし、その妥当性を実際のリツイートのデータから検証した。今回、世代によって分類し

た場合にどのように拡散が表されるのかを議論し、何世代くらいまで拡散し得るのかや、アカウ

ントの実効的なフォロワー数を推定することができた。しかし、ここでのモデル化が唯一の方法

とは限らず、他の分類によって異なるモデル化をすることも可能かもしれない。また、今回はネッ

トワークの構造を極度に単純化して扱ったが、その妥当性や、拡散過程でのリツイート率の相関

効果なども議論する必要がある。このようなモデル化はツイッターに限らず、他の様々なネット

ワークにも適用できると期待している。

謝辞

指導教員である羽田野直道准教授には多くのコメントや議論をしていただきました。また、特

に研究の開始段階で相談に乗ってくださった紺野友彦さんと桑原知剛君や、研究会でコメントを

くださった Chris Wigginsさんを始め、議論してくださった皆様に感謝致します。

参考文献

[1] W. Galuba, K. Aberer, D. Chakraborty, Z. Despotovic, and W. Kellerer: WOSN’10 Proc.

of the 3rd Conf. on Online social networks (2010) 3.

[2] F. Wu and B. A. Huberman: Proc Natl Acad Sci USA 104(45) (2007) 17599-17601.

[3] K. Lerman and T. Hogg: Proc. of 19th Int. World Wide Web Conf. (WWW)(2010) 621-630.

[4] D. M. Wilkinson: Proc. of the 2008 ACM Conf. on E-Commerce (2008) 302-309.

[5] https://dev.twitter.com/docs/api, https://dev.twitter.com/docs/streaming-api

4

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Oral

Page 87: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

有限次元スピングラスの理解へ向けて1

— ベーテ近似とその発展 —

京都大学 大学院情報学研究科システム科学専攻 大関 真之2

1 前書きスピングラスの理論はいわゆる無限次元に相当する平均場理論が発展・整備されてきたものの、有限次元に有効な理論となると普遍性及び有効性共に非常に乏しい有様である.有限次元のスピングラスの理解に向けては、どうしても数値計算に頼らざるを得なかった.出来る限り手あかのついた理論を好む人間にとっては、非常に残念な状況である.それと同時にチャレンジングな分野であるという錯覚さえ覚えるかもしれない.しかしながら一旦スピングラスのこれまでの理論を勉強しようと関連図書を開くと、その複雑さに唖然とする事が光景としてよくあることも否定できない.

2 平均場近似典型的なスピングラス模型のハミルトニアンを以下のように例として挙げる.

H = −∑〈ij〉

Jijσiσj . (1)

ここで Jijが磁性体内の不純物の効果により符号が一様ではないスピン間の複雑な相互作用を表す.簡単のためスピン変数は Si = ±1とイジング変数であるとする.統計力学の処方箋に乗っ取れば、系のハミルトニアンが与えられた状況では、ある温度(1/β)での平衡状態は Gibbs-Boltzmann

分布で与えられる.その規格化定数に相当する分配関数を通して、自由エネルギーを計算する事が出来れば、熱力学極限における系の熱平均値から自然界における多体系の様相を予言する事が出来る.しかしながらその計算には膨大な計算量が素朴には必要であり、原理的には不可能な状況にあるのが常である.稀に対称性の良い系で、その計算量が飛躍的に逓減される場合、厳密な解析が実行可能となる.

1本研究は、ローマ大学の Ulisse Ferrari氏、Tommaso Rizzo氏、及び Giorgio Parisi氏との共同研究による.2E-mail: [email protected]

1

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Poster

Page 88: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

そこで平均場近似である.本来はミクロな自由度であるスピン同士が、相関を持っているためミクロな状態を記述する分布関数 P (σi) = P (σ1, σ2, · · · , σN )は分解する事が出来るとは思えない.しかしながら近似として、以下のような試行関数を用意する.

Q(σi) =N∏

i=1

Qi(σi). (2)

この試行関数が、本来の分布関数に出来るだけ近ければ、近似として良好となる.異なる分布関数の間の計量として、Kullback-Leibler情報量を採用する.その定義は、

D(Q|P ) =∑σi

Q(σi) logQ(σi)P (σi)

. (3)

である.この計量のQi(σi)が確率分布であるという条件付き最小化によって、試行関数の最適解を構成する事が出来る.実際にスピングラス模型の場合に求めてみると、

Qi(σi) ∝ exp

j∈∂i

βJijMj

σi

. (4)

ここでMi =∑

σiσiQi(σi)である.最終的には局所的な磁化に相当するMiに対する自己無撞着

方程式を得る事が出来る.

Mi = tanh

∑j∈∂i

βJijMj

. (5)

この固定点が平均場近似の解として採用されて、相転移を含む多体系の豊富な振る舞いを知る手がかりとなる.

3 ベーテ近似さらに一歩進めて、近接する 2体までの相関を取り入れたような分解を確率分布関数に施したものを試行関数として採用した場合、平均場近似より精度の良いものが得られることが期待できる.それがベーテ近似である.

Q(σi) =N∏

i=1

Q−(di−1)i (σi)

∏j∈∂i

Qij(σi, σj)

. (6)

ここで∂iとはサイト iに近接するサイトを表し、diはその近接数を表す.2体の分布関数Qij(σi, σj)

だけでなく、1体の分布関数の di − 1の冪で割るのは、分布関数間の重なりの分を考慮したためである.この場合、Qij(σi, σj)及びQi(σi)が確率の規格化に従うべしとした条件に加えて、2体の分布関数を周辺化する事により、1体の分布関数に帰着するべしという以下の条件を更に課した条件付き最小化を行う事でベーテ近似解を得る事が出来る.実際にスピングラス模型に対するベーテ近似解を求めてみると、まず局所磁化に関連した媒介変数M

(i)j の固定点方程式が得られる.

M(i)j = tanh

∑l∈∂j/i

tanh−1(tjlM

(j)l

) . (7)

2

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Poster

Page 89: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

ここで tij = tanhβJij である.局所磁化Miとは以下の関係で結ばれる.

Mi = tanh

∑j∈∂i

tanh−1(tijM

(i)j

) (8)

一般にこの系統的近似手法はクラスター変分法 [1]と呼ばれ、分布関数を如何に分解して近似的に構成するかでその精度は決まる.例えばベーテ近似の精度を更に上げる事を考えるならば、さらに多体の分布関数を次々に組み合わせて行けばよい.本研究ではその潮流とは異なる形でベーテ近似の精度を上げる手法を実際にスピングラス模型に対して利用する事を試みた.方向性自体は場の理論ベースでG. Parisiと F. Slaninaが示し [2]、特に本研究では格子上での実装を考えたA. MontanariとT. Rizzoらがアイデア [3]が下地になっている.

4 周辺のスピンの分布関数の分解近似局所的な物理量(スピン系の場合は磁化、近接 2体相互作用を持つエネルギー)を計算するのに必要な 1体及び 2体の分布関数は原理的には、あるサイト iに注目した時にそれを取り囲むスピン σ∂i = σl (l ∈ ∂i)の分布関数で記述される.まず 1体の分布関数は、

Pi(σi) ∝∑σ∂i

P∂i(σ∂i) exp(βhiσi +∑j∈∂i

Jijσiσj) (9)

であり、近接する 2体の分布関数は、2通りの書き方があるが、

Pj→i(σi, σj) ∝∑σ∂i/j

P∂i(σ∂i) exp(βhiσi +∑

l∈∂i/j

Jilσiσl) (10)

Pi→j(σi, σj) ∝∑σ∂j/i

P∂j(σ∂j) exp(βhjσj +∑

l∈∂j/i

Jjlσjσl) (11)

と書ける.この周辺スピンの分布関数を如何に近似するかということで、多体系を近似的に解析する事を考える.満たさなければならない自然な条件は、2体の分布関数からどちらのサイトの和から計算しても局所磁化は等しいものでなければらないということから、∑

σi,σj

σkPj→i(σi, σj) =∑σi,σj

σkPi→j(σi, σj) (12)

が k = i, j両者について成り立たなければならない.これを状態方程式として採用する.周辺スピンの分布関数の近似として、素朴に思いつくのは、周辺にある各スピンは独立であるとして、

P∂i(σ∂i) =∏j∈∂i

P(i)j (σj) (13)

とするものである.これを上記の状態方程式に課すと、ベーテ近似と同じ自己無撞着方程式を得る事が出来る.その際、先ほど媒介変数であったM

(i)j の意味はより明確化されて、

M(i)j =

∑σj

σjP(i)j (σj) (14)

3

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Poster

Page 90: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

である事がわかる.それでは周辺スピンの間で 2体の相関まで存在するとして計算したらどうだろう.それはベーテ近似の精度を更に上げる事が出来る事が期待される.実際に状態方程式から以下の新しい自己無撞着方程式を得る事が出来る.

M(i)j +

∑jk∈∂i/j

C(i)j,j1

tij1T(i)j,j1

1 + tij1M(i)j1T

(i)j,j1

= T(j)i +

∑lk∈∂j/i

tjl1tjl2Γ(j)i,l1,l2

C(j)l1,l2

(15)

を得る.ここで表記の簡略化のため、以下の量を定義した.

T(i)j1,j2,···,jk

= tanh

∑l∈∂i/j1,j2,···,jk

tanh−1(tilM

(i)l

) (16)

tij1tij2Γ(i)j,j1,j2

= tij1tij2T

(i)j,j1,j2

− T(i)j

1 + tij1tij2M(i)j1M

(i)j2

+ tij2M(i)j1T

(i)j,j1,j2

+ tij1M(i)j2T

(i)j,j1,j2

. (17)

5 終わりに最後に上記の改良されたベーテ近似でどのような結果が得られるかについて簡単に述べておく.まずランダムネスのない有限次元のイジング模型については、ベーテ近似と比較して既存の結果で知られている相転移点により近い解を得る事が確認できる.また先行研究では、相関関数を求める際に、2次元では紫外発散に悩まされて解析に失敗しているが、本研究では数値的に格子上の相関関数を実際に計算する事で回避する事が出来た.スピングラス模型に関しては強磁性ー常磁性転移に関してはベーテ近似より正確な相転移点を計算する事に成功している.一方スピングラス転移に関しては、数値計算上での素朴な実装による固定点への収束が見られないという問題がベーテ近似レベルでも残っているため、この解消が急務である事が改めて確認された.数値計算上での実装を工夫して、スピングラス転移付近での固定点への収束を促す手法 [4]を併用する事により、本手法がスピングラス模型の更に精度のよい近似手法である事を確認することがまず第一歩であろう.

参考文献[1] R. Kikuchi, Phys. Rev. 81 (1951) 988.

[2] G. Parisi and F. Slanina, J. Stat. Mech. (2006), L02003.

[3] A. Montanari and T. Rizzo, J. Stat. Mech. (2005), P10011.

[4] A. L. Yuille, Neural Computation 14, (2002), 1691

4

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Poster

Page 91: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

スピングラスの零点とカオス

大阪大学 サイバーメディアセンター 小渕 智之 1

1 はじめに

統計力学における最も面白い題材の一つは相転移であろう。相転移を正しく理解するためには、

自由エネルギーの(熱力学極限で現れる)特異点に関する情報を引き出さなくてはならない。分配

関数の零点は自由エネルギーの諸性質を、特異点を含め “完全に”与えてくれる方法であり、また

有限系から無限系へ近付く際の特異性の現れ方を比較的わかりやすく可視化してくれるなど、他

の方法には無い幾つかの利点を持つ2。

零点理論の起源は 1952年の Leeと Yang [1]の仕事に遡る。彼らは、零点が存在しない領域で

は、自由エネルギーが必ず(熱力学極限でも)解析的であることを一般的に証明した。また同時

に、具体例として強磁性イジングモデルの零点分布を解析し、零点が相転移と密接に関係してい

ることを明示した。その後、彼らの結果を拡張する研究が行われ、様々な成果が挙げられてきた。

しかしこれまで、スピングラス (SG)のようなフラストレーションやランダムネスを有する複雑

な系において、零点が解析されたことはほとんどなかった。これは専ら、ランダム系特有の解析

の難しさに原因があった。ところが近年、ランダム系の統計力学の解析技法の向上に伴って、ラ

ンダム系でも零点分布をシステマティックに求める方法が開発され、この状況が打開されつつあ

る [2]。本稿では、この方法を用いて得られた最新の結果 [3]と関連事項について紹介する。

2 定式化とモデル

2.1 零点と分配関数とレプリカ法

分配関数Z = Z(y)がパラメータ y(温度、外場など)に関して解析的でかつ積展開が出来ると仮

定しよう。このとき分配関数は Z(y) = C∏

i

(y − y(i)

)のように書ける。C はさしあたり興味の

ない解析的ファクター、y(i) = y(i)1 + iy

(i)2 は i番目の零点で一般に複素数である。対応する零点分

布は、分配関数と直接結び付けることが出来る:

ρ(y1, y2) =1

N

∑i

δ(y − y(i)) =1

2πN

(∂2

∂y21+

∂2

∂y22

)ln |Z(y)|. (1)

最右辺の導出にはデルタ関数が以下のように書けることを利用した:

δ(y) =1

(∂2

∂y21+

∂2

∂y22

)ln |y|. (2)

1E-mail: [email protected]しかし、あまり使われないややマニアックな手法でもある。

1

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Poster

Page 92: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

さて以下ではランダム系を取り扱うので、式 (1)の両辺をランダムネスに関しての平均 [· · ·]を施し、[ρ(y1, y2)]を計算することに注力する。右辺は対数のランダム平均 [ln |Z(y)|]となるが一般にこれを評価するのは難しいので、これをレプリカ法によって回避する。

[ln |Z(y)|] = limn→0

1

2nln [(ZZ∗)n] . (3)

∗ は複素共役である。これは通常のレプリカ解析 [4]に沿った計算が可能な量である。ただ、注

意すべきは (ZZ∗)nという分配関数とその共役の積があるために、処理すべき秩序変数の数が大

幅に増えることである3。その点に注意しさえすれば、通常のレプリカ解析とほぼ同様の方法で

[ln |Z(y)|]、ひいては零点密度が評価できる。

2.2 モデルとその性質

本稿では p体相互作用と r体相互作用の入った全結合の球形スピングラスを取り扱う。ハミル

トニアンは

H = −∑

i1<···<ip

Ji1···ipSi1Si2 · · ·Sip − ϵ∑

i1<···<ir

Ki1···irSi1Si2 · · ·Sir . (4)

Siは∑N

i=1 S2i = N という拘束条件の下で任意の値をとる実数である。Ji1···ip ,Ki1···ir は平均 0、分

散がそれぞれ p!/Np, r!/N rのガウス変数である。

この系は、p, rの値に応じてレプリカ対称性の破れ (RSB) [4]の Step数及び温度に関するカオス

効果(温度カオス)の有無を制御することができる。カオス効果とは、対応するパラメータ(温度

カオスなら温度)を微小に変化させた時、平衡状態の典型的スピン配位が急激に変化する効果で、

SGなどのグラス系に特有の現象である。従ってこの系を解析することにより、カオス効果-RSB-

零点の関係性を明瞭に議論することができる。これがこの系を解析する理由である。

3 結果

3.1 複素温度の場合

まず、本稿の主要な成果である複素温度の場合の結果を示す。図 1に複素温度相図を示した。左か

ら順に (p, r) = (2, 0)(RSB無、温度カオス無);(p, r) = (3, 0)(RSB有、温度カオス無);(p, r) = (3, 4)

(RSB有、温度カオス有)となっている。ここから読み取れることとして次の 3つが挙げられる。

P2相(RS解)という 2次元的零点分布を持った相がいずれの場合も虚軸周辺に存在すること、

RSBの有無は SG相の零点の有無に直接は関係ないこと、カオス効果のあるときにはスピングラ

ス相内に零点があること4、である。特に興味深い SG相の零点は次のように解釈される:SG転移

は、低温でエルゴード性が破れ沢山の5熱力学的 “状態”が相空間中に出現することにより引き起

こされると考えられている6。それら “状態”は、互いが無限に高い自由エネルギー壁に隔てられ3Zn から来る n2 個、(Z∗)n から来る n2 個、Zn と (Z∗)n 間の n2 個で、合計 3n2 個の SG秩序変数を処理する必

要がある。また今の場合、それらの秩序変数は複素数値を取ることにも注意。これら秩序変数の処理についての詳細は [3]を参照されたい。

4実軸直上でも零点密度が有限の値をとることは確認している。5システムサイズの指数関数オーダー。6もう少し詳しくいうと、これはスピングラスの平均場描像である。有限次元のスピングラスあるいは実際のスピン

グラス物質の相転移が、このような平均場描像で記述されるかどうかについては長い議論があり今も決着していない。

2

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Poster

Page 93: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

図 1: (p + r)-体相互作用球形 SG モデルの複素温度 (β = β1 + iβ2) 相図と零点密度。左から(p, r) = (2, 0)(RSB無、温度カオス無);(3, 0)(RSB有、温度カオス無);(3, 4)(RSB有、温度カオス有)。太線の相境界上には 1次元的な零点分布が存在する。白抜き部は零点が存在しない。P1,P2

相はRS解で記述される。

た熱力学的に安定な “相”である。SG相はそのような沢山の “相”を内包しており、温度などのパ

ラメータ変化によって自由エネルギーへ最も主要に寄与する “相”は変わり得る。カオス効果はこ

の “相”の切り替わりとして捉える事が出来る事が知られている7。零点が相転移と結びついてい

るという Lee-Yangの主張とこのカオス効果の描像を合わせて考えれば、カオス効果と零点が結び

ついていることは自然である。

もう一点注意することとして、SG相内に零点分布があっても、その自由エネルギーは解析的で

あると言うことが挙げられる。実際、SG相内の自由エネルギーは少なくとも実軸上で解析的であ

ることが知られている ((p, r) = (3, 4)を含む)。これは、式 (1)がポアソン方程式であり電磁気学

とのアナロジーが通用することに気が付くと簡単に理解できる8。

3.2 複素磁場の場合

次に複素磁場の結果を以下に示す。解析の結果、(p, r) = (2, 0)の場合はRSBを考慮する必要は

なく、また、磁場に関する虚軸上 (h2軸)のみ零点が現れることが分かった。図 2に T -h1-h2空間

の相図と幾つかの温度における零点密度グラフを示す。今の場合、磁場カオスは存在しないこと

が知られているので、磁場実軸周辺に零点が存在しないことは自然としても、h1 = 0の領域に全

く零点が存在しないのは複素温度の場合とは対照的であり興味深い。現在これに関する物理的考

察及び p ≥ 3の場合の解析を進めている段階である。

4 まとめ

本稿では、球形スピングラスの温度及び磁場に関する分配関数の零点の解析結果を紹介し、零

点・RSB・カオス効果の関係性について議論した。特に重要な知見として、スピングラス相に 2次

元的な零点分布が存在するにはRSBが必要なこと、実軸上の零点の有無がスピングラス相におけ

7しつこいようだがこれは飽くまで平均場描像である。カオス効果は有限次元のスピングラスでも起こると考えられているが、そのカオス効果は、このような “相”の切り替わりとは必ずしも捉えられないと思われる。

8零点分布は電荷分布、自由エネルギーは静電ポテンシャルに対応する。2次元電荷分布がある領域で静電ポテンシャルが解析的になり得るように、2次元零点分布がある領域で自由エネルギーは解析的になり得る。

3

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Poster

Page 94: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

Tc

T

h1

h2

1dim-Zeros

図 2: p = 2-体相互作用球形 SGモデルの複素磁場 (h = h1 + ih2)相図 (左)と虚軸上零点密度の転移点より高温側 (中)と低温側 (右)での振る舞い。絶対零度では h2 = 1で零点密度が発散する。

るカオス効果と密接に結びついていること、という 2点が挙げられる。特に後者は、カオス効果

の新しいプローブを提供するだけでなく、自由エネルギーの特異性としては “現れない”カオス効

果を零点が検出しているという点で、零点の新奇な側面を明らかにしている。

分配関数の零点を調べるという問題は、統計物理の問題の中でもややマニアックなものである。

しかし、カオス効果のように単に自由エネルギーを計算するだけでは分からない性質が、零点解

析によって理解できるとあれば、その解析はより重要性を増すのではないだろうか。本稿の結果

が、そのような零点解析の地位向上に役立ち、統計物理における新奇な知見や解析法を提供する

ことにつながれば幸いである9。

謝辞

本研究の結果は東工大の高橋和孝氏との共同研究である。また、今回報告した数値計算の一部

には京大基研計算機システムを利用しました。ここに感謝申し上げます。

参考文献

[1] C. N. Yang and T. D. Lee, Phys. Rev. 87 (1952) 404; T. D. Lee and C. N. Yang, Phys.

Rev. 87 (1952) 410

[2] Y. Matsuda, M. Muller, H. Nishimori, T. Obuchi and A. Scardicchio, J. Phys. A 43 (2010)

285002; K. Takahashi, J. Phys. A 44 (2011) 235001

[3] T. Obuchi and K. Takahashi, J. Phys. A 45 (2012) 125003

[4] H. Nishimori, スピングラス理論と情報統計力学, 岩波書店 (1999)

[5] I. Bena, M. Droz and A. Lipowski Int. J. Mod. Phys. B 29 (2005) 4269

[6] G. During and J. Kurchan Europhys Lett. 92 (2010) 50004

9零点の地位向上のため比較的最近の面白い零点研究の成果について紹介しておく。一つの方向性として、非平衡ダイナミクスのある種の母関数の零点を解析するというものがある。ダイナミクスの場合、動的不安定性や分岐現象は熱力学極限を取らずとも存在するが、それの特徴づけを零点によってできる可能性があるらしい [5]。また量子モンテカルロにおける負符号問題の難しさの特徴づけに零点理論を用いるものもある [6]。

4

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Poster

Page 95: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

臨界現象に対するベイズ推定を用いたスケーリング解析手法

京都大学 大学院情報学研究科 原田 健自 1

臨界現象はスケーリング則によって特徴づけられる現象であり,素粒子から社会現象まで,幅

広い分野で現れる普遍的な現象である.このスケーリング則の検証はスケーリング解析と呼ばれ,

従来, χ2検定のような統計的検定をベースにして行われてきた.しかし,スケーリング関数の仮

定を必要とするなど,多くの問題点があった.それらの問題点を解決するため,我々はベイズ推

定をベースとしたスケーリング解析の為の新しい統計的手法を提案した [1]. 特に, 近年,複雑な

データ解析に用いられて成功を収めているガウス過程回帰を用いた解析手法を提案した.我々の

手法は, 小数の (ハイパー)パラメータを用いるだけで, 幅広いスケーリング則に適用可能である.

具体的には, スケーリング関数をパラメトリックな関数に限定しないという特徴があり,臨界現象

一般に適用可能である.この手法のデモンストレーションとして,2次元イジングモデルの有限

サイズスケーリングを取り上げる.

1 スケーリング解析

スケーリング則とは次のような法則であり,臨界現象を特徴づける法則である.

A(t, h) = txΨ(ht−y), (1)

ここで,tと hはシステムを記述する変数で,臨界点は t = h = 0とする.指数 xや yは臨界指数

と呼ばれ,臨界現象をクラス分けするようなユニバーサルなものであると考えられている.

スケーリング則がもし成立すれば,様々な tと hのデータを,

(Xi, Yi, Ei) ≡ (hit−yi , t−x

i A(ti, hi), t−xi δA(ti, hi)) (2)

のよう変換して得られるデータ点 (Xi, Yi)は Yi = Ψ(Xi)のようにスケーリング関数Ψ()の上に乗

るはずである.そのような臨界指数などを評価することをスケーリング解析と呼ぶ.

ただ,スケーリング関数自身は前もってわからないので,従来法では,スケーリング関数をパ

ラメトリックな関数と仮定して,最小二乗法で臨界指数,スケーリング関数ともに統計的検定に

よって評価してきた.しかし,スケーリング関数がパラメトリックな関数で記述できる保証はな

く,例えば,多項式を仮定した場合には適用範囲の問題等があった.1E-mail: [email protected]

1

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Poster

Page 96: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

2 ベイズ流スケーリング解析

データの臨界指数等の物理的なパラメータ θpとスケーリング関数への依存は,次の確率密度で

定義される統計モデルとして記述する.

P (Y |Ψ, θp) ≡ N (Y |Ψ, E), (3)

ただし,(Y )i ≡ Yi, (Ψ)i ≡ Ψ(Xi), (E)ij ≡ E2i δij ,N (y|µ,Σ) ≡ 1√

|2πΣ|exp

(−1

2(y − µ)tΣ−1(y − µ)).

ここで,スケーリング関数の統計モデルを P (Ψ|θh)で表すと,データのパラメータに対する条件付き確率は,形式的に,

P (Y |θp, θh) ≡∫P (Y |Ψ, θp)P (Ψ|θh)dΨ. (4)

となる.これら条件付き確率を用いることで,パラメータのデータに対する条件付き確率は以下

のようになる (ベイズの公式).

P (θp, θh|Y ) = P (Y |θp, θh)P (θp, θh)/P (Y ), (5)

したがって,P (θp, θh) = constと仮定すると,Eq. (4)を用いることで,データからのパラメータ

の推定を行える.これがベイズ流スケーリング解析である.

3 ガウス過程回帰に基づくベイズ流スケーリング解析

多くの自然な仮定の下で導出されるEq. (4)は,データ点がガウス過程に従う統計モデルと等価

であった.そこで,最初から,データ点が次のガウス過程に従うとして,スケーリング解析を行

うことを提案する.

P (θp, θh|Y ) ∝ N (Y |0,Σ), Σ = E +Σ′, (Σ′)ij ≡ K(Xi, Xj). (6)

ここで,K(, )をカーネル関数といい,本研究では次のガウシアンカーネルを用いることを提案

する.

K(Xi, Xj) = θ22 +KG(Xi, Xj), KG(Xi, Xj) ≡ θ20 exp

(−(Xi −Xj)

2

2θ21

). (7)

4 2次元イジングモデルの有限サイズスケーリング例

2次元イジングモデルは自発磁化をもつ秩序相へ無秩序相から連続相転移する最も有名なモデ

ルである.秩序変数M の2次と4次のモーメント比で定義されるのがBinder Ratio U である.有

限サイズの系の Binder Ratio U は次のようなスケーリング則に従うことが期待される.

U ≡ 1

2

(3− ⟨M4⟩

⟨M2⟩2

)= ΨB((1/T − 1/Tc)L

1/ν), (8)

2

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Poster

Page 97: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

0

0.2

0.4

0.6

0.8

1

-0.01 -0.005 0 0.005 0.01

U(T

,L)

(1/T - 1/Tc)(L/256)1/ν

BayesL=256L=128L=64

0

0.2

0.4

0.6

0.8

1

-0.01 -0.005 0 0.005 0.01

U(T

,L)

(1/T - 1/Tc)(L/256)1/ν

Least-squareL=256L=128L=64

-0.001 0 0.001

0.8

0.9

1

図 1: Binder Ratioの有限サイズスケーリング.左図はガウス過程回帰 (GP regression)を適用した.その結果,1/Tc = 0.440683(7), 1/ν = 0.996(2)と評価できた.右図は従来法で,スケーリング関数は2次式を過程した.ただし,スケーリング解析に用いたデータは臨界点近傍だけでインセットに拡大したデータだけである.インセットは全体図ではピンクの領域を拡大したものである.その結果,1/Tc = 0.44069(2), 1/ν = 1.00(2)と評価できた.

ここで,Tcは臨界温度で νは相関長の発散を特徴付ける臨界指数である.また,Lは系の格子サ

イズである.

モンテカルロ法で L = 256までの Binder ratioを求め,それを有限サイズスケーリングした結

果が Fig. 1である.この図からわかるように,新手法では全データを用いても,厳密解 (1/Tc =

ln(1 +√2)/2 = 0.4406867925 · · · , 1/ν = 1)を含む臨界温度や臨界指数の評価が行えている.一

方,従来法では,臨界点近傍のデータだけを用いる必要があり,スケーリング関数をノンパラメ

トリックに扱う新手法の有効性が示された.

5 まとめ

臨界現象のスケーリング解析において,スケーリング関数をノンパラメトリックに扱うベイズ

推定に基づく新手法を提案した.さらに2次元イジングモデルを例にその有効性を示した.本手

法で用いたガウス過程回帰の導出などは,[1]に詳しく述べられている.さらに,三角格子など他

の例も含めた様々な適用例についても同文献に掲載されているので参照していただきたい.2

参考文献

[1] Kenji Harada, Physical Review E 84 (2011) 056704.

2本手法を実装した参照コードを用意したので,興味のある人は著者まで連絡をして下さい.

3

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Poster

Page 98: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

情報統計力学による光計測技術へのアプローチ情報統計力学による光計測技術へのアプローチ情報統計力学による光計測技術へのアプローチ情報統計力学による光計測技術へのアプローチ1111

群馬工業高等専門学校A 奈良女子大学

B 雑賀洋平

A,2 上江洌達也B

1111 イントロダクションイントロダクションイントロダクションイントロダクション

近年,統計力学とベイズ推論との間にみられる類似性に着目することで,情報科学/工学の諸

問題にたいしても統計力学の概念や計算技法が強力なツールになりえることが明らかにされ,物

理と情報とをつなぐ基盤として情報統計力学[1,2]が整備された.現在では, 情報統計力学は情報

科学/工学を中心に,情報通信,計測制御など様々な領域に展開されている.

光学計測[3]-[10]の領域では,望遠鏡技術[3],[4],合成開口レーダを利用したリモートセンシン

グ[5]など,干渉計を用いた光学計測技術が数多く開発された.このような技術では,干渉縞から

計測される位相差が[-π, π]の主値領域に限定されるために,エイリアシングが発生して位相差に

2π程度の不連続が現れることがある.したがって,位相差から原光波面の正確な情報を取り出す

ために,位相差の組から原光波面を再構成する“位相アンラッピング”と呼ばれる情報技術が必

要である.この問題にたいして,最小自乗推定[3],[4],ベイズ推論にもとづく MAP 推定[6],最

大エントロピー法[7]など,様々な立場からの接近が試みられてきた.情報統計力学からも,波面

再構成とスピングラスの統計力学との対応にもとづく接近[8]が試みられた.しかしながら,この

問題について必ずしも系統的な解析がなされたわけではない.

本研究では,情報統計力学と光学計測技術との類似性に着目して,ベイズ推論にもとづく最大

事後周辺確率(MPM)推定を用いた位相アンラッピングの計算技法[10]を構築した.つぎに,モ

ンテカルロシミュレーションを用いて,適応光学における典型的な光波面にたいする MPM 推定

による位相アンラッピングの技法の系統的な性能評価を行った.とくに,ハイパーパラメタ空間

における相図をもとに MPM 推定の静的性能評価を行い,MPM 推定におけるモデルシステムを

構成する項の役割について検証した.光波面の面性を保持する表面コンシステント条件をモデル

システムに導入することで MPM 推定が有効な領域が拡大できることを明らかにした.また,必

ずしも多くのサンプル点でエイリアシングが発生しない原光波面を用いる,という事前情報をあ

らわすモデルを導入することで,さらに,MPM 推定が有効な領域が拡大されることを明らかに

した.併せて,平均二乗誤差の時間発展にもとづく性能評価から MPM 推定の動的性質を明らか

にした.

2222 定式化のあらまし定式化のあらまし定式化のあらまし定式化のあらまし

ここでは,3状態イジングモデルの統計力学に立脚して,ベイズ推論にもとづく MPM 推定を

1 この原稿は、基研研究会「情報統計力学の最前線」における講演内容をまとめたものである. 2 E-mail: [email protected]

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Poster

1

Page 99: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

図 1.原光波面 図2.図 1 の原光波面の干渉縞 図3.モデルシステム

用いた位相アンラッピングの問題を定式化する.

まず,図 1 に示すように,適応光学における典型的な光波面 ξx,y(0<ξx,y <+∞, x, y=1,…,L)を考え

る.つぎに,図 2に示すように,干渉計を用いた光学計測を行い干渉縞 ζx, y( ζx, y = mod(ξx,y+π, 2π)-

π, x, y=1,…,L)を観測する.干渉縞から観測した位相差の組 τxx,y( τxx,y= mod (ζx+1, y-ζx, y+π, 2π)-π) お

よび τyx,y( τyx,y= mod (ζx, y+1-ζx, y+π, 2π)-π)を位相アンラッピングのために利用する.つぎに,図 3に

示すように,正方格子上の 3状態イジングモデル kxx,y( kx

x,y =-1, 0, +1, x=0,…,L-1, y=0,…,L)および

kyx,y ( ky

x,y =-1, 0, +1, x=0,…,L, y=0,…,L-1)を考え,ベイズ推論にもとづく MPM 推定を用いて原光

波面を再構成する.すなわち,MPM 推定による位相アンラッピングでは,

),,|Pr(maxargˆ,,,

1,0,1,

,

yxy

yxx

yxx

kyx

x kkyx

xττ

+−==

),|Pr(maxargˆ,,,

10,1,

,

yxy

yxx

yxy

kyx

y kkyx

yττ

+−==

にもとづいて,各サイトにおける事後周辺確率を最大化するように原光波面を再構成する.この

とき,事後周辺確率分布関数は,

∑ ∑≠

=yx

xyx

xyx

ykk k

yxy

yxx

yxy

yxx

yxy

yxx

yxx kkk

,, ,

,,,,,,, ),|,Pr(),|Pr( ττττ

∑ ∑≠

=yx

yyx

yyx

xkk k

yxy

yxx

yxy

yxx

yxy

yxx

yxy kkk

,, ,

,,,,,,, ),|,Pr(),|Pr( ττττ

である.ここで,事後確率分布関数の評価には,ベイズ公式にもとづいて事前分布関数のモデル

および尤度を用いる.本研究では事前分布関数のモデルとして,必ずしも多くのサンプル点でエ

イリアシングが発生しない原光波面を用いる,という事前情報をあらわすモデル:

( )

+−∝ ∑

),(

2,,,, ||||exp),Pr(

yx

yxy

yxx

m

yxy

yxx kk

T

hkk

を仮定する.このとき,h, Tmはハイパーパラメタである.また,尤度として,原光波面は滑らか

な曲面を構成することをあらわすために,

( )

+−∝ ),()2(

),()2(

1exp,|,Pr sc2int2

yxyx

m

yxyx kkHΓ

kkHJ

Tkk

ππττ

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Poster

2

Page 100: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

図 4. 復元した光波面 図 5.MPM 推定が有効なパラメタ領域

図 6.MPM 推定が有効なパラメタ領域 図 7.平均二乗誤差の MCS 数依存性

を用いる.このとき,

( ) ( ) ( )

( ) ( )∑∑

∑∑

++++

++++

−+−+−+−+

−+−+−+−=

),(

2

,1,,1,),(

2

1,,1,,

),(

2

1,,1,,),(

2

,1,,1,int

)(2)(2

)(2)(2,

yx

yyx

yyx

yyx

yyx

yx

xyx

xyx

xyx

xyx

yx

yyx

yyx

yyx

yyx

yx

xyx

xyx

xyx

xyx

yx

kkkk

kkkkkkH

πτταπττα

πττπττ

( ) ( )2

,1,,1,),(

,,1,1,sc )(2, yyx

xyx

yyx

xyx

yx

yyx

xyx

yyx

xyx

yx kkkkkkH −−++−−+= ++++∑ πττττ

である.Hint( kx, ky)は光波面の滑らかさを強調する項であり,Hsc( kx, ky)は原光波面が曲面を

構成するという表面コンシステント条件をあらわす項である.このとき,J, α, Γはハイパーパラ

メタである.また,原光波面の再構成には,MPM 推定を用いて導出した kx, kyから原光波面

zx,y(0<zx,y<+∞, x,y=0,…,L-1)を求めることができる.

また,ベイズ推論にもとづく MPM 推定の性能評価には,平均二乗誤差:

∑∑−

=

=

−=1

0

1

0

2,, )(

L

x

L

yyxyxzMSE ξ

を用いる.

3333 性能評価性能評価性能評価性能評価

ここでは,モンテカルロシミュレーションを用いて,MPM 推定の典型的な光波面にたいする

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Poster

3

Page 101: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

静的/動的性質を評価した結果を示す.

まず,図 2 に示す,適応光学における典型的な原光波面にたいする MPM 推定の性能評価から

MPM推定が有効なパラメタ領域を明らかにした.性能評価の際には,パラメタごとに 20000MCS

のモンテカルロシミュレーションを実行し,平均二乗誤差の評価には 10 サンプルについての統

計平均をとった.図 5 に示すように,表面コンシステント条件を導入することで,MPM 推定が

有効なパラメタ領域が拡大することを明らかにした.ここでは,σ=0.2, J=1, h=1とおいた.また,

図 6 に示すように,原光波面を観測する場合,必ずしも多くのサンプル点ではエイリアシングが

起こらないという事前情報を導入することで,MPM 推定がこの問題に有効な温度領域をさらに

拡大できることを明らかにした.ここでは,σ=0.2, J=1, h=1とおいた.同様に,図 7 に示すよう

に,平均二乗誤差のステップ数依存性から,MPM 推定の動的性質について検証した.MPM 推

定が有効な領域では,パラメタ Tmについてなるべく大きな値を設定することで,より速やかな位

相アンラッピングを実現できることを明らかにした.これらの結果は,MPM 推定による位相ア

ンラッピングの有効性を示すものである.

4444 まとめと今後の課題まとめと今後の課題まとめと今後の課題まとめと今後の課題

上記の章では,リモートセンシングにおける位相アンラッピングの問題にたいして,ベイズ推

論にもとづく MPM 推定を用いた位相アンラッピングの手法を構築し,適応光学における典型的

な光波面にたいするモンテカルロシミュレーションを行い静的/動的性質を明らかにした.今回

の研究をもとに,光波面の面性を保持する表面コンシステント条件をモデルシステムに導入する

ことで MPM 推定が有効な領域が拡大できることを明らかにした.また,必ずしも多くのサンプ

ル点でエイリアシングが発生しない原光波面を用いる,という事前情報をあらわすモデルを導入

することで,さらに,MPM 推定が有効な領域が拡大されることを明らかにした.併せて,平均

二乗誤差の時間発展にもとづく性能評価から MPM 推定の動的性質を明らかにした.

今後の課題としては,今回のベイズ推論にもとづく MPM 推定を現実のリモートセンシングの

問題に応用して,実用可能性について吟味することである.

参考文献参考文献参考文献参考文献

[1] H. Nishimori, “Theory of spin glasses and information; An introduction”, Oxford, London,

2001.

[2] K. Tanaka, J. Phys. 35353535(37) (2002), R31.

[3] D. L. Fried, J. Opt. Soc. Am. 67676767 (1977), 370.

[4] R. H. Hudgin, J. Opt. Soc. A. 67676767 (1977), 375.

[5] R. M. Goldstein and H. A. Zebker, Nature, 328328328328 (1987), 707.

[6] L. Guerriero, G. Nico, G. Pasquariello and Stramaglia, Appl. Opt. 37373737 (1998) 3053.

[7] G. Nico, et al., IEEE Trans. Signal. Processing, 48484848(9) (2000), 2545.

[8] Y. Saika and H. Nishimori, Prog. Theor. Phys. Suppl., 157157157157 (2005), 292.

[9] A. P. Shanker and H. Zebker, J. Opt. Soc. Am. A, 27272727(3) (2010) 605.

[10] Y. Saika and T. Uezu, IEICE. Technical Report, NLP2012-4 (2012), 61.

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Poster

4

Page 102: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

Cavity法による相互依存型ネットワークの解析

東京工業大学大学院総合理工学研究科  渡辺駿介1,樺島祥介

1 はじめに

ネットワークに関する研究は今まで数多くなされてきたが,そのほとんどが単一ネットワーク

に関するものであった.近年,新しいタイプのネットワークとして相互依存型ネットワークが研

究されている [1].これは2つの異なるネットワークが結合したシステムであり,各ネットワーク

のサイト (ノード)は 1対 1対応で,もう一方のネットワークのサイトと結合している.つまり片

方のサイトが故障すれば,それと結合しているもう片方のサイトも故障する.この相互依存型ネッ

トワークの特性によって,わずかなサイトの故障がネットワーク全体の壊滅的な故障(カスケー

ド現象)につながる可能性がある.ネットワーク全体として故障にどれくらい耐性を持つのかを

調べる手法として統計力学におけるパーコレーション(浸透)の解析法が挙げられる.パーコレー

ションとは,サイトがシステム内でどのようにつながっているか,またその特徴がシステムにどの

ように反映しているかを対象とする理論である.各サイトがどれくらい互いに結合しているかを

示す指標として,しばしば giant component(GC)が用いられる.GCはネットワーク内で互いに結

合しているサイトで構成される最大の部分集合のことであり,その大きさは各サイトがGCに接続

される確率の総和を全サイト数で除した比率で表わされる.本研究では,相互依存型ネットワー

クに対してランダムサイトアタックを行ったときの giant component(GC)の大きさを解析的,実験

的に評価することで,破壊に強いネットワーク構造を検討する.実験的な手法としては実際にラ

ンダムネットワークをランダムグラフでモデル化して,ランダムサイトアタックを行うことでGC

の大きさを測定する.解析的な手法としては cavity法 [2]を用いる.Cavity法ではネットワークが

局所的に tree構造で近似できると仮定し,対象となるサイトを Cavity(空洞)とすることで,そ

のサイトと結合している周りのサイトたちが GCに属するかどうかに関して独立である,とみな

すことができる.これによって,対象のサイトが GCに属しているかどうかをそれと結合する周

りのサイトの情報のみで決定することができる.ランダムネットワークでは局所的な構造が不明

であっても,次数が等しいサイトは同等の情報を持つと考えられるので,自己無撞着に cavity場

を決定することでサイトが全体の GCに含まれるかどうかを評価することが出来る.

1E-mail: [email protected]

1

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Poster

Page 103: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

2 相互依存型ネットワークにおけるカスケード現象

本稿で考察する相互依存型ネットワークでは,ネットワーク Aにおけるサイトとネットワーク

Bにおけるサイトは 1対 1対応で依存していると仮定する.つまりAにおけるサイトが故障すれば,

Bにおけるサイトも故障する. このモデルにおける連鎖破壊が以下のように記述される [1].

図 1: 相互依存型の連鎖破壊の概念図

第 0段階 :Aに対してランダムサイトアタックを行う.図は番号 2のサイトがアタックされたことを赤

い矢印で示している.それによって番号 2に接続されていたボンドも消去される.

第 1段階 :Aにおいて番号 2のサイトが取り除かれた(故障した)ことにより,Bにおけるサイト番号

2のサイト,及び番号 2のサイトに接続されていたボンドも取り除かれる.Aは3つのクラス

タに分割される.

第 2段階 :Bにおけるクラスタと Aにおけるクラスタとを比較し,B側から観測して双方のクラスタ

が一致するように Bにおけるボンドを消滅させる.ここでは番号 1と番号 6を接続するボン

ドと,番号 3と番号 4を接続するボンドが消滅させられる.それによって Bも 4つのクラス

タに分割される.

第 3段階 :Bにおけるクラスタと Aにおけるクラスタとを比較し,A側から観測して双方のクラスタ

が一致するように Aにおけるボンドを消滅させる.ここでは番号 4と番号 6を接続するボン

ドが消滅させられる.

この例では第 3段階で双方のクラスタが一致したことにより,連鎖破壊は終了する. 一般的には第

2段階と第 3段階が,両方のネットワークのクラスタが完全に一致するまで交互に繰り返し行わ

れる.

2

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Poster

Page 104: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

3 理論解析

3.1 Cavity法による定式化

次数分布 P(k)により特徴づけられるランダムネットワークを考える.今,サイト iがGCに入っ

ているかどうかを調べたい.サイト iに k本のボンドが接続されているとすると,k − 1本の入力と

1本の出力とに分けて考え,かつサイト iが cavity(空洞)であるとする.サイト iと結合していた

サイト同士はサイト iが cavityである場合には分断されるため,GCに属すかどうかに関して互い

に独立であるとみなすことが出来る (局所ツリー近似).

ネットワークのランダムアタック確率を 1− pとし,あるひとつのサイトに着目する.サイトに接

続されているボンドから,GCに属していないことを示す入力メッセージが入力される確率はボ

ンド 1本当たり,アタックによって故障したサイト (割合 1 − p)及び,故障していないサイト(割

合 p)の内GCに属していないものの和である. 着目しているサイトと結合しているサイトがどの

ような次数分布を持つかを知るにはボンドの次数分布 R(k) = kP(k)/∑

l P(l)を考えればよい.この

ことから

I = 1 − p + p∑

k

R(k)Uk (1)

となる.入力 Iは一様入力として計算されるのに対し,出力Ukは次数 kに応じて変化することに

注意したい. ランダムネットワークを考える場合,次数 kのサイトからの出力 Uk は,一様入力 I

の k − 1本分の積として計算されるので,次式が成り立つ.

Uk = Ik−1 (2)

I,Uは式 (1),(2)から自己無撞着に求めることができる.

任意のサイトがGCに属す確率 µは,サイトの次数分布 P(k)を使って次式で表わすことが出来る.

µ = p∑

k

P(k)(1 − Ik) (3)

3.2 グラフ理論との比較

グラフの次数分布のみを考慮する場合,Cavity法における定式化による導出結果とグラフ理論

における定式化による導出結果は一致する.

 グラフ理論では,「ランダムに選んだボンドの端にあるサイトが故障していない場合に,GCに属

していないというメッセージを出力する確率」と解釈できる f という量を,以下によって自己無

撞着に求めている [3, 4].

f = H( f , p) =∑

k kP(k)⟨k⟩ ( f p + 1 − p)k−1

=∑

k

R(k)(1 − p + p f )k−1(4)

3

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Poster

Page 105: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

この f と生成関数G(x) =∑

k P(k)xkを用いて,GCの大きさは次式で評価される。

µ = p(1 −G( f p + 1 − p)) (5)

Cavity法との対応を示す.数式 (1),数式 (2)より

Uk = Ik−1 = (1 − p + p∑

k

R(k)Uk)k−1

= [∑

k

R(k)(1 − p + pUk)]k−1

= [1 − p + p∑

k

R(k)Uk]k−1

(6)

式 (6)の両辺に R(k)をかけて,kに関して和をとる.∑k

R(k)Uk =∑

k

R(k)[1 − p + p∑

k

R(k)Uk]k−1 (7)

これと式 (4)から Cavity法における∑

k R(k)Uk とグラフ理論における f が等価であることが分か

る. すなわち,Iは f を用いて以下のように表現することが出来る.

I = 1 − p + p∑

k

R(k)Uk = 1 − p + p f (8)

3.3 パーコレーション閾値の評価

式 (1)~(3)を相互依存型ネットワークに適用することで,連鎖破壊後のGCの大きさを理論的に

評価することが出来る.特に µ = 0とする条件からパーコレーション閾値 pcを求めることで,ラ

ンダムアタックに対するネットワークの頑健性を特徴づけることが可能になる.

3.2に示したように,次数に相関のないネットワークについてはCavity法はグラフ理論と等価な

結果を与える.Cavity法の利点は次数相関のあるネットワークの拡張が容易なことであると考え

られる.

謝辞

日頃より多くの知識や示唆を頂いた竹田助教に深く感謝致します.

参考文献

[1] S. V. Buldyrev, R. Parshani, G. Paul, H. E. Stanley, and S. Havlin , Nature 464, 1025 (2010).

[2] Y. Shiraki, and Y. Kabashima, Phys. Rev. E 82, 036101 (2010).

[3] M. E. J. Newman, Phys. Rev. E 66, 016128 (2002).

[4] J. Shao,S. V. Buldyrev, L. A. Braunstein, S. Havlin, Phys. Rev. E 80, 03615 (2009).

4

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Poster

Page 106: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

1-Bit 圧縮センシングの統計力学的解析

東工大 総理工

許インイン1,樺島祥介

1 はじめに

画像,音声,動画などのデータはサイズが大きいため,圧縮された形で保存される場合が多い.

こうした観点に立つと,せっかく労力をかけて取得したデータの大半保存する際にただ捨てられ

るのは,コストの無駄のように思える.実際,実世界にあらわれる多くのデータは高次元で表現

されているものの,表現基底を適切に変換すると,ゼロの成分が多く含まれ,スパースに表現さ

れる.圧縮センシングとは,原信号がこのようなスパースであるという仮定の下で,データを取

る段階において,圧縮した形で計測する方法である.この圧縮したデータから元の情報を復元で

きるような計測方法と復元方法が現在広く研究されている [1].

こうした研究では,圧縮されたデータは任意の精度の実数値であると仮定するものがほとんど

である.しかしながら,通信量や記憶量などの制約のある現実的な状況では,圧縮された表現を

データサイズの大きい実数形ではなく,離散的な量子化データに変換したほうが有利になる場面

も想定される.1-Bit圧縮センシングとは,ハードウェアでの実現を念頭に置き,圧縮された表現

の量子化まで考慮した圧縮センシングの方法である.1-Bit圧縮センシングでは,元の情報を計測

した時の各成分の符号 (プラスかマイナスか)の情報のみを用いて,元の情報を復元することを目

指す.今回の研究では,統計力学で発展した性能解析法であるレプリカ法により,1-Bit圧縮セン

シングによって実現される性能を理論的に解明する.

1E-mail: [email protected]

1

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Poster

Page 107: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

2 1-Bit圧縮センシング

1-Bit圧縮センシングの数理モデルを説明する.原信号はスパースであると仮定し,未知のN 次

元の実ベクトル xとする.xの成分のうちゼロでないものの割合をスパース率と呼び,ρで表す.

観測過程としては,大きさM ×N の行列Aを用いて.M 次元のバイナリデータ yが,

y = sign (Ax) (1)

により得られると仮定する.

ただし,(1)は xを任意の正定数によって定数倍しても不変なため,この条件のみからは xの大

きさを決めることはできない.そこで,信号の規格化条件を

|x|2 = N (2)

とし,以下の方針によって信号を復元する.

min|x|1  subj. to  y = sign (Ax) and |x|2 = N (3)

3 統計力学的解析

1-Bit圧縮センシングのモデルの分配関数は

Z(β; A,x0

)=

∫dxδ

(|x|2 −N

)Θ(yAx) e−β|x| (4)

で与えられる.ただし,Θ()は階段関数である.A,x0を固定した時の復元結果は,β →∞における (4)の積分の主要項に対応する.性能評価を行うためには,様々な A,x0に対する復元結果

の平均を求める必要がある.これを統計力学のレプリカ法

1N

[ln Z

(β; A,x0

)]A,x0

= limn→0

∂n

1N

[ln Zn

(β;A,x0

)]A,x0

(5)

を用いてN →∞で行った.

2

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Poster

Page 108: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

4 結果その 1

得られた結果の一部を図 1に示す.図 1は原信号のスパース率 ρ = 0.0625の場合の平均自乗誤

差 (MSE)のグラフである.この結果は参考文献 [2]に示されている実験的評価と近い性能を示し

ている.

図 1: 縦軸は原信号 x0 と復元信号 x との誤差MSE(db)を表す.

図 2: 縦軸は確率,横軸は MN を表す.

5 結果その 2

復元結果のよし悪しを評価するには,MSEのほかに受信者操作特性 (ROC)もさまざまな場合

に重要である. 図 2は理論による評価の結果である.

この結果は,MSEがよい値になっている場合でも,各信号成分がゼロか非ゼロかを判定する目

的では必ずしも高い性能を与える訳ではないことを示唆している.具体的には,1信号成分あたり

の観測数 MN が無限大の極限であっても,信号成分がゼロであるのに非ゼロと判定してしまう確率

(false positive) はゼロにならない.したがって,L1復元法は ROCのためのデータ量効率化には

つながらないと考えられる.

参考文献

[1] Candes, Emmanuel J. and Wakin, Michael B. (2008) An Introduction To Compressive Sam-

pling [A sensing/sampling paradigm that goes against the common knowledge in data acqui-

sition]. IEEE Signal Processing Magazine, 25 (2). pp. 21-30. ISSN 1053-5888

[2] Boufounos, P.T. and Baraniuk, R.G. Rice Univ, Houston, 1-Bit compressive sensing In-

formation Sciences and Systems, 2008. CISS 2008. 42nd Annual Conference on, pp.16-21,

10.1109/CISS.2008.4558487

3

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Poster

Page 109: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

反学習項を入れたHopfield modelの統計力学的研究

奈良女子大学大学院 人間文化研究科 物理科学専攻 大谷 遥,吉田 緑,上江洌 達也 1

人が寝ている間に夢を見ることで、記憶を整理しているという考えがある [1][2]。記憶の整理と

は、必要な記憶の強化と不必要な記憶の削除である。我々は、後者の不必要な記憶の削除つまり

反学習について有限個のパターンを埋め込んだHopfield model[3]を用い研究してきた。Hopfield

modelでは、埋め込んだ記憶の他に複数の記憶が混合した混合状態も安定な領域を持っている [4]。

我々は、学習する上ではこの混合状態が不必要な記憶であると考え、反学習する対象とみなし研

究をしてきた [5]。ここでは、複数の混合状態の反学習について報告する。

1 Hopfield model

1.1 従来のHopfield model

ニューロンの総数をN、ニューロンの状態を si (i = 1 ∼ N)とする。ここで、si = +1は発火

状態、si = −1は非発火状態を表す。ここに、p個のパターンを埋め込む。埋め込むパターンを

ξµ = ξµ1 , ξµ2 , . . . , ξ

µN (µ = 1 ∼ p) と表す。ここで ξi = ±1をとる。これらのパターンは相関を持

たないとし、各 i、µについて独立に、

Prob[ξµi = +1] = Prob[ξµi = −1] =1

2(1)

とする。また、ニューロン全体の状態を s = siとする。j番目のニューロンから i番目のニュー

ロンへの結合荷重を Jij とすると、Hopfield modelのシナプス結合荷重 Jij は、JHij = 1

N

∑pµ=1 ξ

µi ξ

µj (i 6= j),

JHii = 0

(2)

と与えられる。ある時刻 tでの i番目のニューロンへの入力信号 hi(t)は、

hi(t) =∑j( 6=i)

Jijsj(t) (3)

と表される。非同期更新を行うとき、次の時刻 t+ 1でのニューロンの状態 si(t+ 1)は、

si(t+ 1) = sgnhi(t) (4)

となる。

1E-mail: mashiroke,[email protected]

1

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Poster

Page 110: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

1.2 Mixed state

Hopfield modelにおいて想起されるものは、埋め込んだ複数のパターン ξµ(Hopfield attractor)

と、奇数個の埋め込みパターンが混合したもの ξmix = ξmix1 , ξmix

2 , . . . , ξmixN である。これをMixed

stateと呼ぶ。最も単純なMixed stateは、3つの埋め込みパターンが混合したものである。

ξmixi = sgn(±ξ1i ± ξ2i ± ξ3i ) (5)

つまり、ξmix はパターン ξ1、ξ2、ξ3 の混合状態である。符号の組み合わせは8通りあるが、符

号が反転したものも同時に埋め込まれるので、考慮すべき混合状態は ξ4i = sgn(ξ1i + ξ2i + ξ3i )、

ξ5i = sgn(ξ1i + ξ2i − ξ3i )、ξ6i = sgn(ξ1i − ξ2i + ξ3i )、ξ

7i = sgn(ξ1i − ξ2i − ξ3i )、の4つとなる。

1.3 反学習項を加えたHopfield model

以下では、ニューロンが確率的に状態更新する場合を考える。ニューロン iの状態が±1をとる

確率を、

Prob[si(t+ 1) = ±1] =1± tanhβhi(t)

2(6)

とする。ここで、β = 1T とし、T はノイズの強さを表す。ここでは、「温度」と呼ぶ。Hopfield

modelでは ξ4は T < 0.46の範囲で安定である。想起される状態を忘れさせることを反学習と呼

び、1つ目の反学習する対象を混合状態 ξ4とする。ここでは、反学習する対象が決まっているた

め結合荷重を変化させることで反学習を行う。結合荷重の変化分を、

∆Jij = − η

Nξ4i ξ

4j (7)

とする。ηは反学習係数である。式 (7)は混合状態のみを反学習するように見えるが、ξ4と ξµの

相関は << ξ4ξµ >>= 12 (µ = 1 ∼ 3) である。つまり、混合状態を反学習することによって埋め

込んだパターンの成分も取り除いていることになる。本研究では、式 (7)が attractorにどのよう

な影響を及ぼすか調べた [5]。その結果、反学習係数 ηが η ∼ 0.5で混合状態が消失することがわ

かった。そのとき、埋め込んだパターンが安定な領域は一定であることもわかった。

2 複数の混合状態の反学習

ここでは、複数の混合状態の反学習について考える。2.1では反学習する混合状態を2つに増や

した場合について考え、2.2では結合荷重を一般化した場合について考える。

2.1 2つの混合状態の反学習

ここでは、2つの混合状態を同時に反学習する場合について考える。2つ目の反学習する対象

を混合状態 ξ5 = sgn(ξ1i + ξ2i − ξ3i ) とする。このときの結合荷重の変化分を、

∆J ′ij = − η

Nξ4i ξ

4j −

ζ

Nξ5i ξ

5j (8)

とする。ζ は混合状態 ξ5の反学習係数である。

ここで、1つの混合状態を反学習した場合と2つの混合状態を反学習した場合にどのような違い

2

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Poster

Page 111: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

があるのか調べるため数値計算を行った。以下に、マルコフチェイン・モンテカルロシミュレー

ション (MCMC)の結果を示す。ニューロンの初期状態を Hopfield attractor又はMixed stateと

し、m = (m1, 0, 0,m4)又はm = (m1,m1,m1,m4) とする。ニューロン数をN = 100, 000、モン

テカルロステップを 500とする。グラフの縦軸はニューロンの状態 sとパターン ξµ (µ = 1 ∼ 5)

とのオーバーラップmµ、横軸はモンテカルロステップを表す。ここで、実線は反学習係数 ζが 0

でないときのmµを表し、記号は反学習係数 ζ が ζ = 0のときのmµを表す。また、m1は赤色、

m2は緑色、m3は青色、m4は桃色、m5は水色で表す。

図 1の結果から、ζの値が小さい場合は ζ = 0の結果と定性的に同じであると考えられる。図 2∼4

-0.6

-0.4

-0.2

0

0.2

0.4

0.6

0.8

1

0 10 20 30

図 1: η = 0.5, T = 0.2, ζ = ±0.1,Mixed state的

-0.6

-0.4

-0.2

0

0.2

0.4

0.6

0.8

1

0 10 20 30

図 2: η = 0.5, T = 0.2, ζ = −0.5,Mixed state的

-0.6

-0.4

-0.2

0

0.2

0.4

0.6

0.8

1

0 10 20 30

図 3: η = 0.5, T = 0.7, ζ = 0.5,Mixed state的

-0.6

-0.4

-0.2

0

0.2

0.4

0.6

0.8

1

0 10 20 30

図 4: η = 0.5, T = 0.7, ζ = −0.5,Mixed state的

の結果から、ζ の値が大きい場合は、ζ > 0では2つ目の混合状態を不安定化させ、ζ < 0では2

つ目の混合状態を安定化させることがわかった。混合状態同士の相関について、

< ξ4ξ5 >=< ξ4ξ6 >=< ξ4ξ7 >=< ξ5ξ6 >=< ξ5ξ7 >=< ξ6ξ7 >= 0 (9)

となる。よって全ての混合状態 ξ4、ξ5、ξ6、ξ7 同士の相関もないと考えられる。

2.2 結合荷重の一般化

今までは、数個の混合状態の反学習を考えてきた。ここでは、全ての混合状態を取り除くため

に、結合荷重を一般化する。1つの混合状態の反学習を行う場合の結合荷重は、

Jij =1

N

3∑µ=1

ξµi ξµj − η

Nξ4i ξ

4j (10)

であった。これを一般化すると、

Jij =1

N

7∑µ=1

ζµξµi ξ

µj (11)

3

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Poster

Page 112: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

となる。ζµ < 0のときが反学習である。ここでは ζ1 = ζ2 = ζ3 = 1とし、ζ4 ∼ ζ7は負とする。

ここで、サブラティス磁化を導入する。Λ1 = i|(ξ1i , ξ2i , ξ3i ) = (1, 1, 1) とし、Λ2 ∼ Λ8 も同様に

表す。サブラティス磁化Mlを

Ml =1

|Λl|∑i∈Λl

si =8

N

∑i∈Λl

si (12)

と定義する。このとき、オーバーラップmµは、

mµ =1

8

8∑l=1

ξµ,lMl (13)

と表される。平衡状態では、Ml+4 = −MlであることがわかるのでM1 ∼M4でm1 ∼ m7を表す

ことができる。ここで、m = (m1,m2,m3,m4)T、M = (M1,M2,M3,M4)T とおくと、

m =1

4XM (14)

M = 4X−1m (15)

X =

1 1 1 1

1 1 −1 −1

1 −1 1 −1

1 1 1 −1

(16)

となる。したがって、系の平衡状態をm1、m2、m3、m4の4変数のみで表すことができることが

わかる。

3 まとめと今後の課題

2つの混合状態を反学習した結果、反学習係数 ζ が小さい場合は ζ = 0の場合と定性的には同

じであった。また、それぞれの混合状態は相関がないため 2つ目の混合状態の反学習は ζ > 0では

2つめの混合状態を不安定化させ、ζ < 0では2つめの混合状態を安定化させることがわかった。

 さらに、結合荷重の一般化により、m1 ∼ m7の7つの系の平衡状態がm1 ∼ m4の4変数のみ

で表すことができることがわかった。今後の課題としては、一般化された結合荷重を用い、全て

の混合状態の反学習をし、相図を描くことが挙げられる。また、本研究では有限個のパターンを

埋め込んだファイナイトローディングの場合を対象としているため、無限個のパターンを埋め込

んだ場合の研究が挙げられる。

参考文献[1] F. C. Crick, G. Mitchison,“The function of dream sleep,” Nature 304 (1983), 111-114.

[2] J. J. Hopfield, D. I. Feinstein, R. G. Palmer,“’Unlearning’ has a stabilizing effect in collectivememories,” Nature 304 (1983), 158-159.

[3] J. J. Hopfield, “Neural Networks and Physical Systems with Emergent Collective ComputationalAbilities,” Proceedings of the National Academy of Sciences of USA 79 (1982), 2554-2558.

[4] John Hertz, Anders Krogh, Richard G. Palmer, INTRODUCTION TO THE THEORY OF NEU-RAL COMPUTATION, Santa Fe Institute Studies in the Sciences of Complexity, Addison-WesleyPublishing Company, (1991).

[5] 大谷 遥, 吉田 緑, 上江洌 達也, IEICE Technical Report 111 (2012), 19-24.

4

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Poster

Page 113: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

表現型ゆらぎによる進化の促進

東京大学 総合文化研究科 斉藤 稔1, 石原秀至2, 金子邦彦3

表現型可塑性が進化速度を加速するというボールドウィン効果には、様々な議論が存在し、数理的な決

着が依然付いていない。本研究で我々は多峰の適応度地形ではボールドウィン効果が起こることを解析的に

示した。また大きすぎる表現型可塑性はエラーカタストロフを導くことも示した。

1 イントロダクション

ダーウィン進化において、遺伝可能な形質は基本的には遺伝型のみであるため、表現型の動的な

性質はしばしば見落とされがちである。しかし一個体時間中の体細胞適応などといった表現型の可

塑性は進化過程に大きく寄与しうる。このような効果はボールドウィン効果と呼ばれている [1, 2]。

ボールドウィン効果によれば、表現型可塑性により進化は加速される、とされる。しかし、逆にそ

のような可塑性が進化速度を遅くしうるという理論研究(シミュレーション [3]、解析計算 [4, 5])

も存在するため、ボールドウィン効果の有効性について決着がついていない。それらの先行研究

は、単峰の適応度地形を用いた(図 1(a))。しかし、実際の生命が感じる適応度地形は多数の局所

最大値を持つような多峰の適応度地形であると考えられる [6]。我々は多峰の適応度地形として最

も単純な cos型の適応度地形を用い、表現型可塑性が進化を加速するのかを調べた。結果として、

多峰の適応度地形では表現型可塑性は一般的に進化を加速することを示した。

表現型可塑性には環境に対して応答的なもの(例えばサバクトビバッタのように、群衆密度に応

じて表現型を変化させるような表現型可塑性)と完全にランダムな環境に非応答的な表現型可塑

性(大腸菌の見せる確率的遺伝子発現 [7]など)に分けられる。本研究は主に非応答的なもの(表

現型ゆらぎ)を扱ってはいるが、応答的な表現型可塑性についても同様の結果が得られると思わ

れる。

2 表現型ゆらぎによる適応度地形の変形

集団の各個体が一次元連続値を取る遺伝型 gおよび表現型 xを持つような個体集団の進化ダイ

ナミクスを考える。ここで表現型 xは遺伝型 gから P (x|g)の確率で発現し、発現した表現型 xに1E-mail: [email protected]: [email protected]: [email protected]

1

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Poster

Page 114: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

g

(a)

g

(b)

図 1: 実線はもとの適応度地形、点線は表現型可塑性によって変形された適応度地形を表す

応じて適応度が V (x)で与えられるとする。このとき、遺伝型 gを持つ個体が平均的に得る適応度

f(g)は

f(g) =∫V (x)P (x|g)dx (1)

と表される。ここで P (x|g)を単純なガウス分布 P (x|g) = exp(− (x−g)2

2Σ )/√

2πΣであるとすると、

表現型ゆらぎΣの大きさによって実効的な適応度 f(g)は図 1(a),(b)のように変形する。我々は多

峰をもつような適応度地形の最も単純な例として図 1(b)のような周期ポテンシャルについて解析

した。

3 進化ダイナミクス

人口サイズ固定の、世代間の重なりが無い、無性生殖する集団の進化ダイナミクスを考える。t

世代目の集団は、t+ 1世代目に適応度に比例した確率で子孫を残せるとすると、遺伝型 gを持つ

個体が次世代に残す子孫の総数は f(g)N t(g)/⟨f⟩となる。ただし、t世代目の集団の遺伝型の分布をN t(g)とし、また ⟨f⟩ =

∫g dgN

t(g)f(g)である。ただし人工サイズは1に規格化されていると

する (∫g N(g)dg = 1)。次世代の個体の遺伝型は突然変異により ξだけ親世代の遺伝型とことなる

とする。ここで ξを平均0分散Dg(突然変異率)のガウス乱数であるとすると、進化ダイナミク

ス全体は

N t+1(g) = Mg,g′ [f(g)N t(g)

⟨f⟩] (2)

と書ける。ここでMg,g′ []は突然変異演算子である。この式を時間連続の過程であるとみなし、ま

た突然変異率Dg が小さいと仮定すると

∂N(t, g)∂t

=f(g) − ⟨f⟩

⟨f⟩N(t, g) +

Dg

2⟨f⟩∂2

∂g2f(g)N(t, g). (3)

のような偏微分方程式に近似できる。

4 エラーカタストロフ

本研究ではもっとも単純な多峰の適応度地形 V (x) = 1 + cosαxを用いる。適応度地形は表現型

ゆらぎにより f(g) = 1+e−α2Σ/2 cosαxのように変形される(図 1(b))。この f(g)を用いて、(3)式

2

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Poster

Page 115: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

Extended

localized0 2 4 6 8 10

0.0

0.5

1.0

1.5

2.0

2.5

phenotypic fluctuation

mut

atio

nra

te

(a)

0 1 2 3 4 510-9

10-7

10-5

0.001

0.1

phenotypic fluctuation S

esca

pera

te

(b)

図 2: (a)横軸は表現型可塑性の大きさ、縦軸は突然変異率を表す。右上の extended領域ではエラーカタストロフが起きる。(b)峰間の遷移率の表現型可塑性の強さΣ依存性。Σが増大すると遷移率も増大する。

を解く。N t(g)を平均G,分散Vgのガウス分布していると仮定すること、(3)式からG, Vgの発展方

程式が得られる。このような解析から突然変異率Dg と表現型可塑性Σの値によって、Vgが発散す

る領域と有限の値にとどまる領域に分かれることがわかる(図 2(a))。⟨f⟩ = 1+e−α2(Σ+Vg) cosαG

であるため、Vgが発散する領域では適応度が1という極端に低い値になる。これは、ある適応度

の峰にいる集団が次世代の集団をその峰まわりに留まらせることができなくなり、多くの個体が

峰から転げ落ちてしまうことに起因する。このような適応度の低下はエラーカタストロフ [8]と見

なすことができよう。

5 表現型可塑性が進化速度に及ぼす影響

Vg が有限値にとどまる領域でも、集団は遺伝型空間をランダムウォークして拡散していく。こ

こで、集団の拡散速度を進化速度であると見なし4、表現型ゆらぎの影響でこの拡散速度がどのよ

うな影響を受けるか調べた。(3) 式は適切な変数変換を行うとシュレーディンガー方程式に変換で

きる。適応度地形の峰間の遷移率は、シュレーディンガー方程式のダブルウェルポテンシャルの

遷移率として以下のように計算できる。

Γ =hω

⟨f⟩πexp

(−2

√2mh

∫ a

b

√U(y)dy

)(4)

ただし U(y)はポテンシャル、a, bはそれぞれ被積分関数が最大を取る y の値と 0を取る yの値で

ある。この式から計算された遷移率を図 2(b)に示す。(2)式のシミュレーションから直接計算さ

4遺伝型空間の拡散により、より高い適応度を持つ新奇の遺伝型を発見できる確率が高まるため、ここではそのような拡散速度を進化速度とみなした。

3

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Poster

Page 116: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

れた遷移率と良く一致しているのが分かる。この遷移率と遺伝型空間の実行拡散係数(すなわち

進化速度)の関係は

De = 2Γ2

(2πα

)2

. (5)

である。ここで重要なのは図 2(b)で、表現型ゆらぎにより遷移率、すなわち進化速度が必ず加速

されるという点である。

6 まとめ

本研究で我々は、多峰の適応度地形ではかならず表現型可塑性は進化を加速すると示した。た

だし、大きすぎる表現型ゆらぎはエラーカタストロフを導いてしまう。実際の生命が感じる適応

度地形は多峰になっているという実験報告もあるため [9]、我々の結論は単峰の適応度地形を用い

た先行研究よりも有効であると言える。

参考文献

[1] M.J. Baldwin. A new factor in evolution. The American Naturalist, 30(354):441–451, 1896.

[2] G.G. Simpson. The baldwin effect. Evolution, 7(2):110–117, 1953.

[3] H. Dopazo, MB Gordon, R. Perazzo, and S. Risau-Gusman. A model for the interaction of

learning and evolution. Bulletin of Mathematical Biology, 63(1):117–134, 2001.

[4] R.W. Anderson. Learning and evolution: A quantitative genetics approach. Journal of

Theoretical Biology, 175(1):89–101, 1995.

[5] L.W. Ancel. Undermining the baldwin expediting effect: Does phenotypic plasticity accel-

erate evolution? Theoretical Population Biology, 58(4):307–319, 2000.

[6] S. Wright. The roles of mutation, inbreeding, crossbreeding and selection in evolution. In

Proceedings of the sixth international congress on genetics, volume 1, pages 356–366, 1932.

[7] MB Elowitz, AJ Levine, ED Siggia, and PS Swain. Stochastic gene expression in a single

cell. Science (New York, NY), 297(5584):1183, 2002.

[8] M. Eigen. Selforganization of matter and the evolution of biological macromolecules. Natur-

wissenschaften, 58(10):465–523, 1971.

[9] S.S. Fong, A.R. Joyce, and B.Ø. Palsson. Parallel adaptive evolution cultures of escherichia

coli lead to convergent growth phenotypes with different gene expression states. Genome

research, 15(10):1365–1372, 2005.

4

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Poster

Page 117: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

格子ガスモデルを用いたタンパク質結合プロセスの熱力学的解析

大阪大学 理学研究科 物理学専攻 白井 伸宙 1

本研究では大きな構造揺らぎを持つタンパク質である天然変性タンパク質を扱う。このタンパク質はターゲット分子と結合した時のみある特定の構造へと折れ畳む性質を持っている。複数の生物種にまたがるDNAの解析により、このようなタンパク質はヒトなどの高等な生物により多く含まれることがわかっており、構造を持たないという特徴が複雑な生物の機能にとって重要な役割を持っている可能性があると考えた。この構造揺らぎの利点について探るため、天然変性タンパク質の構造揺らぎの効果を簡単化して取り入れた格子ガスモデルを構築し、解析を行った。その結果、密度変化誘起型結合過程という新しい結合過程を考えることにより、構造揺らぎが大きいタンパク質だけが分子密度に依存したシグナル受信のONとOFFを切り替えられることが分かった。この性質は天然変性タンパク質の利点として挙げることができ、熱測定による検証が可能と考えられる。以下、研究の詳しい内容について説明する。

1 導入1.1 天然変性タンパク質

タンパク質の結晶構造が初めて解かれて以来、タンパク質はその機能を果たすために構造が必要だと考えられてきた。しかし、20 世紀の終わり頃、構造を持たずに機能を果たせるタンパク質が大量に見つかった。これが天然変性タンパク質 (intrinsically disordered protein; IDP)である [1]。IDPは他の分子が存在しないとき、部分もしくは全体が構造を持たず揺らいでいるが、ターゲットとなる生体分子の存在下ではある特定の形に折れ畳んで結合する (図 1)。このような結合過程を通じてシグナル伝達等の機能を果たす。そして IDPは原核生物より真核生物、真核生物の中でも哺乳類などの高等な生物に多く含まれており [2]、細胞中では特に核内に局在していることから、IDPはDNAとのやり取りを担いながら核の形成と共に重要性が増し、進化の過程で多くの機能を持つようになったのではないかと推測できる。これらの推測のもと、構造が揺らぐ IDP

に見出された利点を探るために研究を行った。

1.2 構造揺らぎが持つ利点と新しい結合過程

IDPの構造揺らぎの利点について述べている研究はすでに存在しており、構造揺らぎにより結合反応距離を伸ばすことができるという fly-casting mechanism[3]もその一つである。しかし、こ

1E-mail: [email protected]

1

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Poster

Page 118: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

ターゲットIDP

図 1: 天然変性タンパク質 (IDP)の概念図

結合状態

ターゲット

IDP

図 2: 密度変化誘起型結合過程の概念図

れらの研究では結合過程の詳細について議論するものが多く、ダイナミクスの詳細を追わなければならないため、実験による検証が困難であった。そこで本研究では、熱測定等の実験によってマクロな測定量として測りうる利点について取り扱った。生体内では IDPは分子混雑した核内に多く存在しており、他の分子の排除体積効果を強く受けていると考えられるが、分子混雑を模した in vitroの実験から、混雑した環境下でも IDPは構造を持たず揺らいでいると報告されている [4]。この時、IDPはエントロピー的に安定な状態にあり、結合時の折れ畳んだ状態よりも実効的に大きな体積を占めていると考えられる。もし結合過程の前後で実効的な体積が変化するならば、分子密度を高くすることによって結合過程を誘起することが可能である。ここではこの過程を密度変化誘起型結合過程と呼ぶ。IDPがこの密度変化を誘起する分子となる場合 (図 2上段)、追加された IDPが核内の分子密度を増加させ、IDPとターゲット分子の結合過程を誘起するシグナル伝達過程を考えることができる (図 2下段)。生物が核内の密度変化によって結合過程を誘起し、シグナルを伝えるという機構は提唱されたことがなく、新しい結合過程であると言える。そして、構造揺らぎによる実効的な体積変化が大きいほど密度変化に敏感に反応すると考えられるので、この密度変化誘起型結合過程の中に IDP

の構造揺らぎの利点が存在していると考えられる。

2 モデル上記の密度変化誘起型結合過程を統計力学モデルで表現するため、IDPとターゲット、詰め物分子の三成分を用いた格子ガスモデルを構築した。まず、IDPの構造揺らぎが大きく、実効的な体積が大きい状態 (体積大状態)と結合状態における折れ畳んだ状態 (体積小状態)の 2つの状態を取ると仮定する (図 3左側)。そして体積大状態は実効的な体積 vと内部エントロピー σの二つを用いて記述されるとする。考えている格子モデルにおいて vは占有サイト数を意味し、v = 3としている。内部エントロピー σは実効的な体積の中で構造揺らぎを持った IDPが取る複数のコンフォメーションが持つエントロピーを表し、σが大きいほど構造揺らぎが大きいと考える。系は L×Lの二次元正方格子を考え、IDPを nIDP個、ターゲットを nTM個、詰め物分子を nF

個含んでいるとする。ハミルトニアンは IDPとターゲットの結合数 nbsと IDPとターゲットの結合エネルギーEbsを用いて

2

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Poster

Page 119: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

L

L

σ

詰め物分子

体積大状態(v=3)

体積小状態結合状態

E = -2bs

図 3: 格子ガスモデルの概要

H = Ebsnbs

と表される。ここでは Ebs = −2を用いる。また、内部エントロピー σを加味した温度 T での分配関数は

Z(T, σ) =∑nbs

∑nlv

w(nbs, nlv)eσnlve−H/kBT

と表され、nlv は体積大状態の IDPの数、w(nbs, nlv)

はある指定された nbsと nlvの下での格子ガスの配置の数である。図 3では L = 4で各分子数が(nIDP, nTM, nF) = (4, 3, 4)で指定される系において (nbs, nlv) = (1, 2)となる配置を表している。体積大状態が持つ内部エントロピーのため、同じ配置の中に eσnlv = e2σ の状態が含まれており、図 3の配置から導かれる分配関数への寄与項は e2σe2/kBT である。

3 結果構築した格子ガスモデルについて、モンテカルロ法の一種である拡張アンサンブル法を用いて熱平衡状態を実現し、nbsの熱平均値 〈nbs〉を異なる σ, nIDP, nFの条件で求めた。図 4は σ = 0、図 5は σ = 10での 〈nbs〉のグラフ及び nIDPが異なる 2つの熱平均値の差

∆〈nbs〉nIDP→n′IDP

〈nbs〉n′IDP

− 〈nbs〉nIDP

のグラフが描かれている。∆〈nbs〉nIDP→n′IDPはシグナルとして追加された IDPが結合反応を誘起

する過程における受信強度を表している。2つの図の∆〈nbs〉4→12(一点鎖線)のグラフを比べると、σが大きく構造揺らぎの効果が大きい方が密度変化誘起型結合過程のシグナル受信強度が温度によらず高いことが分かる。では今度は温度を T = 0.4に固定し、より広い nFの範囲でシグナル受信強度はどのように変化するのかを見てみる。図 6ではいくつかの σの条件と体積大状態を仮定しない系について、∆〈nbs〉4→8の nF依存性を示している。図 4と図 5の∆〈nbs〉4→8に対応する部分は nF = 120の点であり、より nFが小さい領域において受信強度の大小が逆転し、σが大きい系はシグナルをほとんど受信しなくなる。

T

結合分子数

Δ<n >bs 4→12

<n >bs 4<n >bs 12

(n , n )=(8, 120)FTM

L = 12

図 4: σ = 0 とした系での 〈nbs〉 および∆〈nbs〉の温度変化

T

結合分子数

Δ<n >bs 4→12

<n >bs 4<n >bs 12

(n , n )=(8, 120)FTM

L = 12

図 5: σ = 10 とした系での 〈nbs〉 および∆〈nbs〉の温度変化

3

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Poster

Page 120: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

Δ<n >

bs4→

12n F

T = 0.4n = 8TM

L = 12

図 6: ∆〈nbs〉4→8の nF依存性

4 議論図 6から、体積大状態を仮定しない条件から順に σを変化させ構造揺らぎを大きくしていくと、密度変化誘起によって得られる結合ペアの数が初期密度に対してなだらかな反応からスイッチ型の反応へと変化し、詰め物分子の初期密度を調節することによって受信を感知しない状態と敏感に感知できる状態を変化可能であることがわかった。ある閾値を超えたシグナルに対してのみ応答するようなスイッチ型の反応の存在は広く知られているが、その多くは遺伝子制御ネットワークの中のポジティブ・フィードバックが持つダイナミックな性質として説明されてきた。本研究で明らかになった IDPの構造揺らぎに起因するスイッチ反応はこれまで理解されてきた反応とは起源が異なり、熱平衡状態での物理量という静的な性質によって記述されている。上記のようなシグナルに対する応・不応の切り分けが可能なスイッチ型の反応機構は構造揺らぎを持つ IDPの新しい利点として挙げることができ、熱平衡量によって記述されるため、密度変化誘起型の結合反応を模した熱測定の実験により検証が可能であると考えられる。

5 まとめ構造揺らぎの効果を簡単化して表した格子ガスモデルから、密度変化誘起型結合過程という新しい結合過程を考えることにより IDPの構造揺らぎに利点を見出すことができた。今後、熱測定による密度変化誘起型結合過程の議論に期待したい。

参考文献[1] H. J. Dyson and P. E. Wright, Nat. Rev. Mol. Cell Biol. 6 (2005), 197.

[2] J. J. Ward et al., J. Mol. Biol. 337 (2004), 635.

[3] B. A. Shoemaker, J. J. Portman and P. G. Wolynes, PNAS 97 (2000), 8868.

[4] B. C. McNulty, G. B. Young and G. J. Pielak, J. Mol. Biol. 355 (2006), 893.

4

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Poster

Page 121: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

競合により誘起されるタンパク質の天然変性

大阪大学 サイバーメディアセンター a,b, 蛋白研 a, 理 b, 生命機能 b

松下勝義 a,1, 菊池 誠 b

1 導入タンパク質は生体内で, 構造物の材料, 物質輸送, 貯蔵, 物質分解, 生成制御等々の機能を果たしている [1]. タンパク質はアミノ酸の一次元鎖からなり, そのアミノ酸の配列がタンパク質の立体構造を特定する. タンパク質の機能はその特定構造で決まると考えられており, アミノ酸配列から特定構造を予測し, それを通して機能を説明することがタンパク質研究の主要なテーマである. ところが, タンパク質構造研究の進展とともに, 中には構造を取らず揺らぐ部分を持つものが多く存在することが知られるようになった. そのようなタンパク質の揺らいだ部分は天然変性領域と呼ばれている. ここでは変性という言葉が特定構造を取れず揺らいでいる状態を指している. 先に述べたようにタンパク質構造がタンパク質の機能を規定すると考えられてきたので, 天然変性領域は長らく研究者たちに無視されていた. ところが, 1999年WrightとDysonによる天然変性領域の役割の実験的な解析の総合的報告がきっかけとなり [2] 研究者たちの注目を集めだした [3].

天然変性領域には大きく分けて二つのカテゴリーがある. ひとつは親水性のアミノ酸配列からなるもので, タンパク質の構造をとる駆動力である疎水性に乏しいために構造を取らない. 多くの場合タンパク質の構造を取っている部分のジョイントとして働いており,

多くの蛋白質に見られる. 一方で疎水性アミノ酸の配列からなる天然変性領域の存在が知られており, 他のタンパク質との結合部の役割を果たす [2, 4]. 通常疎水性であれば水中で構造を取らずに揺らいでいることは不安定であると考えられるが, なぜそのような状況が維持されているかは知られていない. 本研究はこのような天然変性領域の維持にタンパク質構造上の競合が重要な役割を果たしている可能性を検討したものである.

構造上の競合の役割を理解するためには, まず, どのようなアミノ酸配列が特定構造を取りうるかを知らなければならない. 実はアミノ酸配列が特定構造を取るためには構造上の競合を引き起こすような相互作用の矛盾がないことが必要であることが知られている.

このことは郷の整合性原理 [5]やBryngelson-Wolynesの競合極小原理 [6]として知られている事実である. この原理から疎水性アミノ酸の配列が特定構造を取らず, 揺らぐためには構造上の競合が存在すれば良いのではないかという仮説が導かれる. そこで我々は本研究でタンパク質の構造上の競合を引き起こす相互作用が存在する模型を考え, 天然変性領域がその構造競合により引き起こされる可能性を調べた.

1E-mail: [email protected]

1

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Poster

Page 122: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

2 模型天然変性領域における競合の役割を調べる手段として, まず, 輪湖-斎藤-Munoz-Eaton

(WSME) 模型 [7]を導入し, その上で競合を取り入れるための拡張を行う. WSME模型は各アミノ酸に二進自由度miを考える. mi = 1の場合, そのアミノ酸配列と対応する特定構造を取ると考える. 一方, mi = 0 の場合, それ以外の構造を取っていると考える.

ある状態 miに対して, Energy Hは以下で与える

H0 = −∑

⟨i,j⟩n

εi,j

j∏k=i

mi. (1)

ここで左辺の和をとる集合 ⟨i, j⟩nは特定構造において接触しているアミノ酸ペアのものである. 例えば, 二次構造の代表的な例であるαヘリックス構造では, 4個のアミノ酸をまたいで水素結合を作り接触するが, その場合 i番目のアミノ酸と i+4番目のアミノ酸のペアの集合が ⟨i, j⟩nである. このエネルギーが対応する特定構造を取るエネルギー利得(εi,j)を表すことが容易に理解できるだろう. 一方, 状態 miはmi=0となるアミノ酸が存在するごとに複数の構造を粗視化して代表している. 従って, この状態は次のエントロピー Sを持つ.

S0 =∑i

si(1−mi) (2)

siは i番目のアミノ酸の状態数の対数,つまりエントロピーである. 状態miはBoltzmann

因子 exp(−βH0+S0)を持ち, 対応する分配関数はその配位和として表される. ここで βは逆温度である. 以上がWSME模型であり, タンパク質折りたたみの経路をよく説明する.

本研究ではさらに構造上の競合を生み出すようなアミノ酸間接触を考える. 具体的には次のエネルギー

Hη = −∑

⟨i,j⟩u

ηi,jci,j

j∏k=i

(1−mi), (3)

Hκ =∑i

κiτi(mi, ci,j)mi. (4)

をH0に加える. ここで ci,j は二進自由度で, ci,j=1で構造の競合を引き起こす iと j番目のアミノ酸接触ができていることを表す. 一方で ci,j=0では接触がないことを表す. 式 (3)

は接触によるエネルギー利得 (ηi,j)を表し, 式 (4)は接触が特定構造 (mi=1)の形成を阻害する事に由来するエネルギー負担 (κi)を表す. τiはmaxck,lck,l|k ≤ i ≤ lであり, 各アミノ酸がその接触により影響を受けるかどうかを表す関数である. さらに, この接触による構造の制限を考慮に入れ次のエントロピー損失を S0に加える.

Sµ = −∑i

siµiτi(mi, ci,j)(1−mi), (5)

最終的に, 分配関数は,

Z =∑mi

exp [−βH + S] (6)

で与えられる. ここでH = H0 + Hη + Hκ, かつ, S = S0 + Sµである.

2

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Poster

Page 123: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

k T=0.56ε, η=2.0ε B(b)

0.0 1.00.2 0.4 0.6 0.8

1.0

0.5

0.0

u C

foldedunfolded

misfoldedk T=0.56ε, η=0.0ε B(a)

0.0 1.00.2 0.4 0.6 0.8

1.0

0.5

0.0

u C

foldedunfolded

misfolded

T=0.56,=-2.00,

βF0 2 4 6

T=0.56,η

βF0 2 4 6

βF0 2 4 6

k T=0.56ε, η=4.0ε B(b)

0.0 1.00.2 0.4 0.6 0.8

1.0

0.5

0.0

u C

foldedunfolded

misfolded

図 1: 自由エネルギー地形: (a) αヘリックス (η=0.0ε), (b)天然変性 (η=2.0ε), (c) ヘアピン状態 (η=4.0ε). Cα, Cuはそれぞれヘリックス, ヘアピン構造の秩序変数を表す.

3 結果ここから競合による天然変性の可能性を探索するため, 我々の競合接触を考慮した模型の実際の天然変性領域への応用を考える. 本研究では特にタンパク質天然変性領域として神経特異的転写抑制因子NRSF/REST(PDB:2CZY)[8]を選んだ. この天然変性領域は 15

個のアミノ酸配列からなり,天然ではコリプレッサーmSin3と結合して αヘリックス構造を取る [9]. 配列は主に疎水性からなっているもののmSin3がないと変性状態をとることが知られている. この天然変性領域に関しては全原子計算により αヘリックスやヘアピン状の構造を観測可能なほど取ることが知られている [10]. 従ってこの天然変性領域は α

ヘリックス構造とヘアピン構造の間で構造の競合が起きており, それが変性状態の原因になっている可能性がある. 我々はそれを確かめるため, 変性状態になりうる模型のパラメター探索を数値的に行った. ここでは探索を簡単にするため全てのパラメータをアミノ酸のサイト番号によらないという仮定を置いた ( εi,j = ε, si = s, µi = µ, ηi,j = η, κi=κ.) また, 様々な要件を勘案しここでは s=1, µ=1/4, κ=1を選んだ. さらに, 我々は特定構造として αヘリックス構造, 競合する構造としてヘアピン構造を選んだ. このときアミノ酸ペア集合 ⟨i, j⟩nは前述の αヘリックスのものを, 一方で ⟨i, j⟩uとして 2-14, 5-11, 7-9番目のペアを選んだ.

通常の天然に存在するタンパク質は特定構造状態を最安定状態として持つ. ここでは,

競合がない場合 (η = 0)はその状況が現れることを要求し, 特定構造状態が安定化する特徴温度である折りたたみ温度 (kBTc = 0.58ε)より少し下の温度を選ぶ. 我々は温度 kBT ,

ヘアピンを作る接触の結合定数 ηを変えて天然変性状態を探索し, 全原子計算の結果と整合する結果が得られるパラメータ領域を見出した. 以下天然変性が現れるように温度をkBT = 0.56εに固定し, 代表的な自由エネルギー地形として図 1(a)に αヘリックスを取る場合 (η=0), (b)に天然変性 (η = 2ε), (c)にヘアピン構造を取る場合 (η = 4ε)のものをそれぞれ濃淡プロットした. ここで自由エネルギー地形は βF (Cα,Cu)は

βF (Cα, Cu) = ln∑mi

δ(Cα − Cα(mi))δ(Cu − Cu(mi)) exp [−βH + S] (7)

で与えられる. これらの地形はヘリックスの秩序変数 Cα(mi) =∑

i mi/Nα とヘアピンの秩序変数 Cu(mi) =

∑⟨i,j⟩ ci,j

∏k(1 − mk)/Nu の空間でプロットされている. こ

こでNαとNuは最大値を 1とする規格化定数である. 見てわかるようにヘリックス状態(Cα,Cu)=(1,0)からへアピン状態 (0,1)へ, ヘアピンを作る接触の結合定数 ηを強くすると移っていくのが分かる. その中間で図 1(b)に見えるようにヘリックス状態からヘアピン

3

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Poster

Page 124: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

状態まで広範囲の構造空間に状態が優位に分布する, 天然変性状態が現れている. この天然変性状態は全原子計算で得られた肥後達の結果に整合している.

4 まとめ我々は今回, 天然変性を再現する競合の可能性を理論的に検討した. 競合の効果を考慮するため, WSME模型を拡張し, あるパラメータで全原子シミュレーションの結果に整合する結果を得た. また我々はこの天然変性状態が他のタンパクへ結合する際, 結合と折りたたみの共起に重要な役割を果たすことを示し, 現在論文投稿中である.

謝辞この研究は新学術領域「天然変性タンパク質の分子認識と機能発現」の支援を受け行われた. また阪大蛋白研肥後氏, 早大高野氏, 梅澤氏, 及び阪大サイバーの菊池研メンバーとの議論を大いに参考にさせていただいた. この場を借りて感謝の意を表したい.

参考文献[1] B. Alberts et al., Molecular Biology of the Cell (Garland Science, 2007).

[2] P. E. Wright and H. J. Dyson. J. Mol. Biol. 331 (1999) 293.

[3] P. Tompa, Structure and Function of Intrinsically Disordered Proteins (Chapman

and Hall/CRC, 2009).

[4] A. K. Dunker et al. Pac. Symp. Biocomput. 3 (1998) 473.; K. Sugase, et al. Nature

447 (2007) 1021.

[5] N. Go, Annu. Rev. Biophys. Bioeng., 12 (1983) 183.

[6] J. D. Bryngelson and P. G. Wolynes. J. Phys. Chem. 93 (1989) 6902.

[7] H. Wako and N. Saito. J. Phys. Soc. Jpn. 44 (1978) 1931. ; H. Wako and N. Saito,

J. Phys. Soc. Jpn. 44 (1978) 1939. ; V. Munoz et al., Proc. Nat. Acad. Sci. 95

(1998) 5872. ; V. Munoz and W. A. Eaton. Proc. Nat. Acad. Sci. 96 (1999) 11311.

; P. Bruscolini and A. Pelizzola, Phys. Rev. Lett. 88 (2002) 258101. ; K. Itoh and

M. Sasai. Proc. Natl. Acad. Soc., 107 (2010) 7775.

[8] C. J. Schoenherr and D. J. Anderson, Science 267 (1985) 1360.; J. A. Chong et al.,

Cell 80 (1995) 949.

[9] M. Nomura et al., J. Mol. Bio. 354 (2005) 903.

[10] J. Higo et al., J. Am. Chem. Soc. 133 (2011) 10448.

4

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Poster

Page 125: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

細胞内反応における情報伝達と分子の少数性

東京大学生産技術研究所 †, 東京大学大学院総合文化研究科 ‡,

JST さきがけ ? 上村 淳 †,‡1, 小林 徹也 †,?

1 導入効率的な情報伝達は, 様々な細胞現象において重要である [1, 2]. 例えば, 時間的に変化する環境に応答するためには, 外界の情報をレセプターなどの活性から複数の段階から成る細胞内反応を経て伝達する必要がある. また, 環境変化への迅速な応答として遺伝子を発現する場面においても,

その情報に基づいて正確に関与する分子を転写・翻訳反応によって生成する必要がある.

 しかし, 近年の実験的な知見から, 環境による影響や細胞内分子の少数性などに起因して関与するシグナルや, その伝達を仲介する分子は非常に揺らいでいることが明らかとなってきている[3, 4, 5]. この細胞内における情報伝達の確率性は, 各段階でできる限り S/N比を上げてノイズを押さえようとする工学的な情報伝達の設計とは異なるように思われる. では, 細胞はどのような機構で正確に情報を伝達できているのか, という疑問が生じる.

 本研究では, 揺らぐ環境下における細胞内反応による情報伝達について, 線形遺伝子発現モデルを用いて, 情報がいかに伝達されるかを相互情報量を用いて調べた.

2 線形遺伝子モデル 図 1に示されるような線形遺伝子発現モデルを考える. 各時刻 tにおいて, DNA(Xt)は active

または inactiveのいずれかをとり, 状態間の遷移レートを ron, roff とする. DNAの状態に依存して, mRNAがレート fon

M または foffM で転写反応により生成される. またmRNAから Proteinが

レート fP で翻訳反応により生成される. ここで時刻 tでのmRNAと Proteinの量をそれぞれ Yt,

Ztとする. mRNAおよび Proteinは各々dM ,dP で分解する.

DNAの状態がいかにmRNAおよび Proteinの量に反映されているかをみるために相互情報量を考える. 一般に入力X と出力 Y の間の相互情報量は以下のように定義される.

I[X;Y ] =∫dX

∫dY P (X,Y ) log2

P (X,Y )P (X)P (Y )

. (1)

1E-mail: [email protected]

1

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Poster

Page 126: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

ここで, 相互情報量は以下の 2つの重要な性質を持つ. 一つ目は, 任意の一対一対応の関数 f(X),

g(Y )について I[X;Y ] = I[f(X); g(Y )]が成り立つ. これはX または Y を変換して得られる量に対して相互情報量が不変であることを意味し, 何が重要な量であるかが明確ではない場合や実験的に得られたデータの処理が多い生物学的な場面で重要である. 二つ目は, マルコフ過程によりXから Y が生成され, Y から Z が生成された場合, データ処理不等式 I[X;Y ] ≥ I[X;Z]が成り立つ.

図 1: 線形遺伝子発現モデル

0

0.05

0.1

0.15

0.2

0.25

0.3

0.35

0.4

10-3 10-2 10-1 100 101 102

I[Xt;

Yt],

I[X

t; Z

t]

1/dM = b/fP

YZ

図 2: mRNAの寿命 (1/dM )を変化させたときの相互情報量 I[Xt;Yt], I[Xt;Zt]の変化. ここで,ron = roff = 0.03, fon

M = 14, foffM = 10, b = 1,

dP = 0.1とした.

このモデルをGillespie algorithmを用いて数値計算を行った. 図 2にmRNAの寿命 (1/dM )を変化させた場合の相互情報量 I[Xt;Yt], I[Xt;Zt]を示す. ここで, バーストサイズ b = fP /dM は固定している. まず, I[Xt;Yt]については最大となる最適なmRNAの寿命が存在し, それより寿命が短くなると Ytに含まれるXtの情報は減少する. 一方, I[Xt;Zt]を見るとmRNAの寿命を短くし,

量を減らすほうがより情報が含まれていることがわかる. この結果は, Proteinの段階でより情報を得るにはmRNA寿命は短くし, 平均数を減らしたほうがよいことを示している. また, このパラメータ領域では I[Xt;Zt] > I[Xt;Yt]となりデータ処理不等式を破っているように見える. しかし実際 Proteinの量 Ztは瞬間の Ytのみから得られるのではなく, Y の時系列 Y0:tから生成された結果であるため, データ処理不等式は I[Xt;Y0:t] ≥ I[Xt;Zt] となり, 矛盾しない.

3 議論本研究では線形遺伝子発現モデルを用いて, バーストサイズを固定しながらmRNAの寿命を変化させた. その結果, 寿命を短くしたほうが, より Proteinの量に DNAの状態の情報が含まれることがわかった. また, 中間過程 (mRNA)の瞬間的な量に情報が含まれなくても, その時系列を用いて下流に情報を伝達していることを概念的に示した. 本稿では確率論的シミュレーションの結果を示したが, ノイズをガウス分布で近似すること [2]が妥当な範囲ではより解析的な結果も得られ, 数値計算とも一致している. また, 本研究では線形な反応を扱ったが, 実際に中間過程の時系列

2

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Poster

Page 127: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

Y0:tに含まれる情報を, 複数の反応系で最適に複合できることが示されている [6, 7, 8].

謝辞本研究は JSTさきがけおよび日本学術振興会特別研究員制度の援助を受けている.

参考文献[1] R. Cheong, A. Rhee, C. J. Wang, I. Nemenman, A. Levchenko, Science 334 (2011) 354.

[2] G. Tkacik, A. M. Walczak, J. Phys. Condens. Matter 23 (2011) 153102.

[3] V. Shahrezaei, P. S. Swain, Current Opinion in Biotechnology 19 (2008) 369

[4] A. Eldar, M. B. Elowitz, Nature 467 (2010) 167

[5] M. Ueda, T. Shibata, Biophys. J. 93 (2007) 11.

[6] T. J. Kobayashi, Phys. Rev. Lett. 104 (2010), 228104.

[7] T. J. Kobayashi, A. Kamimura, Phys. Biol. 8 (2011), 055007.

[8] T. J. Kobayashi, Phys. Rev. Lett. 106 (2011), 228101.

3

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Poster

Page 128: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

点事象列のベイズ的解釈— 経路積分法によるアプローチ —

統計数理研究所 小山 慎介 1

神経スパイク発火時刻や地震発生時刻のような点事象の系列として記述される現象を考える。一見規則性がない点事象列に対して、一定の発生率から不規則に生成されたのか、もしくは時間的に揺らぐ発生率から規則的に生成されたのか、というふたつの解釈があり得る。本稿では、これらの解釈の選択に経験ベイズ法を用いる。与えられた点事象列に対して、負の自由エネルギーに相当する周辺尤度関数上にふたつの解釈に対応する極大値があり、もっとも適切な解釈が相転移と同様のメカニズムで一方から他方に移り変わることを、経路積分法を用いた解析により示す。

1 はじめに神経スパイクの発火時刻や地震の発生時刻、文章中の単語の出現位置など、点事象の系列で記述できる現象はたくさんある [1, 10, 11]。観測される点事象列は、現象に内在および外在する要因により、一見規則性がなく確率的に発生していると見なせることが多い。このような観測データから背後にあるメカニズムを抽出することは、現象を理解するための第一歩である。本稿では、観測された一見規則性のない点事象列に対して、その不規則性が生成機構に内在するものなのか、もしくは外因的な非定常性によるものなのかを決定する問題を考える。(神経スパイク時系列解析の文脈でこの問題を論じたものとしては、[6, 10]を参照せよ。)2節では、この問題を経験ベイズ推定の枠組みで定式化し、3節では経路積分を用いた解析を紹介する。

2 経験ベイズ法ti t1, t2, . . . , tnを区間 [0, T ]に観測される点事象の発生時刻とする。λ(t)を発生率にもつ点事象列のモデルとして、非定常リニューアル過程を考える [4, 6]。tiの確率密度関数は

pκ(ti|λ(t)) =∏i

λ(ti)fκ(Λ(ti) − Λ(ti−1)) (1)

1E-mail: [email protected]

1

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Poster

Page 129: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

で与えられる。ここでΛ(t) =∫ t0 λ(u)du、および fκ(x)は平均が 1に規格化された事象発生時刻の

間隔分布である。ここでは、ガンマ分布

fκ(x) = κκyκ−1e−κx/Γ(κ) (2)

を用いることにする [9]。κは分布の形を決めるパラメータであり、値が大きいほど分布の幅は狭くなり、より規則的な点事象列を生成する。λ(t)の推定のため、発生率変動の滑らかさについての事前分布

pγ(λ(t)) =1

Z(γ)exp

[− 1

2γ2

∫ T

0

(dλ(t)dt

)2

dt

](3)

を導入する。ここで γは λ(t)の滑らかさを表すパラメータである。観測データ tiからの λ(t)の推定は、ベイズの公式より導かれる事後分布

pκ,γ(λ(t)|ti) =pκ(ti|λ(t))pγ(λ(t))

pκ,γ(ti)(4)

を最大化するものに選ぶ(maximum a posteriori, MAP推定)。またパラメータ κと γの値は、周辺尤度関数

pκ,γ(ti) =∫Dλ(t)pκ(ti|λ(t))pγ(λ(t)) (5)

を最大化するものに選ぶ。ここで、∫Dλ(t)は経路空間上の積分を表す。以上が経験ベイズ法の

処方箋である [2, 7, 8]。

3 経路積分法による解析周辺尤度関数 (5)は経路積分法を用いて評価することができる [4, 5]。そのために周辺尤度を次のように書き換える。まず、発生率を λ(t) = µ+ x(t)のように平均 µとそのまわりのゆらぎ x(t)

に分解すると、λ(t)の変動の時間スケールが隣り合う事象の平均間隔 1/µよりも大きいという条件下で、周辺尤度は

pκ,γ(ti) = eL(κ) · F(κ, γ) (6)

と因子分解される。ここで L(κ)は発生率が µで与えられるガンマ分布 (2)の対数尤度であり、

F(κ, γ) =1

Z(γ)

∫Dx(t) exp

[−∫ T

0L(x, x)dt

](7)

は発生率ゆらぎ x(t)の寄与を表す。L(x, x)はラグランジュ関数であり、

L(x, x) =1

2γ2x2 + κx(t) − κ

∑i

δ(t− ti) log(

1 +x(t)µ

)(8)

で与えられる。周辺尤度をこのように書き換えると、発生率ゆらぎのMAP推定値 x(t)は、オイラー・ラグランジュ方程式

d

dt

(∂L

∂ ˙x

)− ∂L

∂x= 0 (9)

2

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Poster

Page 130: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

3 4 5 60

0.05

0.1

0.15

0.2

0.25

κ

γ

λ(t)

λ(t)

f (x)κ

f (x)κ

(I)

(II)

図 1: 対数周辺尤度の等高線(左)と、推定した発生率および間隔分布(右)。与えられた点事象列 (右図のラスタープロット)に対して、対数周辺尤度はふたつの極大値を持ち、それぞれ解釈 (I)と (II)に対応する。右図の灰色の線はもとの発生率および間隔分布を表し、太線は推定したものを表す。

を解くことで得られ、F(κ, γ)は準古典近似により、

F =R

Z(γ)exp

[−∫ T

0L( ˙x, x)dt

](10)

と評価できる。ここでRは二次ゆらぎの寄与で、

R =1√

2πγ2T

[det( − ∂2

t + γ2 ∂2L∂x2 )

det( − ∂2t )

]− 12

(11)

で与えられる。この計算には、Gelfand-Yaglomの方法が使える [3]。もとの発生率が λ(t) = µ+ σ sin t

τ で与えられる場合の結果を図 1に示す。与えられた点事象列に対して、対数周辺尤度関数上にふたつの極大値が存在して、それぞれふたつの解釈:(I)「時間的にゆらぐ発生率から規則的に生成された」、もしくは (II)「一定の発生率から不規則に生成された」に対応する。もとの発生率 λ(t)の時間変動が小さいときは、データから変動を検出することはできず、(II)の解釈が選ばれる。発生率の変動の度合いを表す量 κτσ2/µが 2より大きくなると、周辺尤度関数上の (I)に対応する極大値が (II)に対応する極大値よりも大きくなり、解釈 (I)が選ばれる [4]。

4 まとめ本稿では、経験ベイズ法に基づく点事象列の解釈を、経路積分法を用いて解析した。与えられた点事象列に対して、経験ベイズ法はふたつの自然な解釈、「一定の発生率から不規則に生成された」もしくは「時間的にゆらぐ発生率から規則的に生成された」を提示し、もっとも確からしい解釈はもとの発生率変動の度合いに応じて決まる。本稿ではまた、このような連続時間確率過程のベイズ推定の解析に経路積分法が有効であることを示した。

3

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Poster

Page 131: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

参考文献[1] E. G. Altmann, J. B. Pierrehumbert and A. E. Motter, PLoS ONE 4 (2009), e7678.

[2] B. P. Carlin and T. A. Louis, Bayes and Empirical Bayes Methods for Data Analysis. (2000),

Chapman and Hall, 2nd edition.

[3] H. Kleinert, Path Integrals in Quantum Mechanics, Statistics, Polymer Physics, and Finan-

cial Markets. (2009), World Scientific Publishing Company, 5th edition.

[4] S. Koyama, T. Omi, R. E. Kass and S. Shinomoto, Submitted.

[5] S. Koyama, T. Shimokawa and S. Shinomoto, J. Phys. A: Math. Gen. 40 (2007), E383.

[6] S. Koyama and S. Shinomoto, J. Phys. A: Math. Gen. 38 (2005), L531.

[7] D. J. C. Mackay, Neural Comp. 4 (1992), 415.

[8] C. E. Rasmussen and C. K. I. Williams, Gaussian Processes for Machine Learning. (2006),

The MIT Press.

[9] T. Shimokawa, S. Koyama and S. Shinomoto, J. Comp. Neurosci. 29 (2010), 183.

[10] S. Shinomoto et al., PLoS Comp. Biol. 5 (2009), e1000433.

[11] X. Zhao, T. Omi, N. Matsuno, and S. Shinomoto, New J. Phys. 12 (2010), 063010.

4

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Poster

Page 132: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

ランジュバンモデルにおける階層的ノイズ強度ゆらぎ

東京大学大学院理学系研究科生物化学専攻 長谷川 禎彦,有田 正規

1 モデルと解析手法

ランジュバン方程式によるモデル化は,ゆらぎの影響を受ける系の解析において重要性が高ま

っている.一般的に,ゆらぎは時間空間依存性を持つため,ランジュバン方程式におけるノイズ

強度は時間空間的に変動する.我々はノイズ強度変動の時間依存性を考慮するために,ノイズ強

度が Ornstein–Uhlenbeck 過程に従うモデルを考案した[1,2]:

( ) ( ) ( ),x

dxf x g x s t

dt ( ) ( ).s

dss t

dt (1)

式(1)で αは s(t)の平均,ξx(t)と ξs(t)は白色ガウスノイズを表す(<ξx(t’) ξx(t)>=2Dxδ(t’–t)及び<ξs(t’)

ξs(t)>=2Dsδ(t’–t)を満たす.Dxと Dsはノイズ強度).式(1)の sξx(t)の項はノイズ強度が確率的に変動

することから,stochastic intensity noise (SIN)と呼んでいる.図 1 に SIN の典型的な軌跡を示

す.ρを SIN の二乗変動係数とすると(ρ=Ds/α2),(a)–(b)は ρ=0.01 と 100 の場合の時間変化を表

し,(c)–(d)はそれぞれの場合のヒストグラムを示したものである.

図 1.(a)–(b) SIN の時間変化.(c)–(d) SIN のヒストグラム.ρと κはそれぞれ二乗変動係数と尖度を表す.

式(1)を Stratonovich 積分で解釈すると,Fokker–Planck 方程式(FPE)∂tP(x,s;t)=LFPP(x,s;t)

は,FP 演算子

2 22 2 2

2 2( ) ( ) '( ) ( ) ( ) ,FP x x sL f x D g x g x s D s g x s D

x x s s

(2)

で記述される.式(2)はポテンシャルの形で記述できないため,定常分布であっても解析的に解く

ことが出来ない.そこで, sの時間スケールが xの時間スケールより小さいと仮定し(つまり γ>>1),

断熱消去(adiabatic elimination)を用いて(x, s)に関する方程式を x に関する方程式に縮約した.

断熱消去を用いることで,式(2)は以下の式に変形される:

2( ; ) ( ) ( ; ).g g

RP x t f x Q P x t

t x

(3)

ここで,R=Dx Ds(4α2+Ds)と Q= Ds+α

2であり,gは以下で定義される微分演算子である:

22

2( ) '( ) ( ).g g x g x g x

x x

(4)

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Poster

1

Page 133: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

式(3)及び(4)は x に関して二次より高次の微分項を含むため,Higher order Fokker–Planck 方程

式(HFPE)と呼ばれる.ここでは式(3)の定常分布を摂動展開を用いて解く.ε=R/(γQ)とし,ε<<1

を仮定すると式(3)の定常分布は Pst(x)=Π0(x)+εΠ1(x)+…の形で摂動展開される.この展開を式(3)

に代入し,εのオーダーで比較すると二つのカップルした微分方程式が得られる:

(1)O 2

0 0

( )'( ) ( ) ( ) ( ) ( )

f xg x g x x g x x

Q x

(5)

( )O 2

1 1

( )'( ) ( ) ( ) ( ) ( ) ( ).

f xg x g x x g x x x

Q x

(6)

ここで,φ(x)=∂xg(x)2–g’(x)g(x)∂x∂xg(x)

2–g’(x)g(x)Π0(x)である.式(5)–(6)はそれぞれ一次常微分

方程式であるため,多くの問題において解析解を求めることが可能である.

2 モデル計算

得られた手法をいくつかのモデルに適用し,モンテカルロ法と比較した結果を図 2 に示す.図

2(a)–(c)はそれぞれ,(a)単安定加算ノイズモデル(f(x)=–x, g(x)=1),(b)双安定乗算ノイズモデ

ル(f(x)=x–x3, g(x)=x),(c)遺伝子スイッチモデル(f(x)=ax

2/(x

2+k)–bx+c, g(x)=1)における定常分

布を式(5)–(6)で求めたものである.図 2 の実線は HFPE による解,点線は HFPE の高次項を無

視した通常の FPE による解,そして丸印はモンテカルロ法による解である.RMS はモンテカル

ロ法の結果との二乗平均平方根(root mean square)距離を表す(小さい方がモンテカルロ法の

結果に近い).図 2 から明らかなように,HFPE による解はモンテカルロ法の結果とよく一致し

ている.一方で,HFPE の高次の項を除いた FPE による解は,HFPE による解より RMS が大

きい.このことから,HFPE の高次の項が重要であることが分かる.

図 2.式(5)–(6)により得られた定常分布の解析解.(a) 線形加算ノイズ, (b) 双安定乗算ノイズ, (c) 遺伝子スイッ

チモデル.

本報告では SIN による定常分布の計算手法を示したが,文献[3,4]では双安定系やラチェット系

における影響解析を matrix continued fraction method (MCFM)を用いて行なっている.特に,

双安定における平均第一通過時間(MFPT)や確率共鳴の解析から,MFPT と信号増幅率は ρに

関してトレードオフの関係にあることを明らかとしている.

参考文献

[1] Y. Hasegawa and M. Arita, Physica A 389 (2010), 4450

[2] Y. Hasegawa and M. Arita, Physica A 390 (2011), 1051

[3] Y. Hasegawa and M. Arita, Phys. Lett. A 375 (2011), 3450

[4] Y. Hasegawa and M. Arita, arXiv:1112.5287

a b c

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Poster

2

Page 134: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

Cleverest Maxwell’s demon 1

分子科学研究所 鹿野 豊 2

我々は、最もマクスウェルの悪魔がいたときのみ、シラードエンジンの系において平衡

熱力学で定義されるエントロピーと情報論的エントロピーが一致するということを示し

た。何故、そのような問題を考えるのかというモチベーションをこの原稿に寄稿する。

1 本研究の結果

1粒子をシリンダの中に入れ、温度 𝑇 の熱浴につけておくとする。そこに、パーティ

ションを入れ、マクスウェルの悪魔がシリンダの右左どちらに粒子が入っているかを測

定をする。そして、入っている方向に重りをつけ、その後、パーティションのストッパー

を外す。すると、系は等温膨張をし、パーティションはシリンダの端まで移動する。その

際、重りは重力に逆らいあがるので仕事を取り出したことになる。そして、最後にパー

ティションを抜く。これをシラードエンジンと呼ぶ。この系に熱力学的な話を持ち出して

良い場合は、現在までのところ、このエンジンを何個ももってくるか、このエンジンを何

回も回すかし、熱力学が適用できる条件で上記の話は成立する。この回数か個数を𝑁 と

して表し、非常に大きな数とする。というのも、1回のシラードエンジンのサイクルで

は、系が等温膨張をするという過程で齟齬が起きる。片側は粒子が何も入っていなく、本

来であれば真空膨張をしてしまうからである。なので、この点に注意しながら、今後の話

を進める。しかし、これだけでは熱力学サイクルを元に戻したのにも関わらず、熱力学か

ら定義される仕事が取り出されているので熱力学第二法則が破られているとしてパラドッ

クスとして知られていた。その後、ランダウアー・ベネットによるマクスウェルの悪魔の

メモリ消去ということを考えることにより、問題が解決される。それには下記の合理的で

あると考えられる仮定を置く。

1. マクスウェルの悪魔がパーティションや重りをつけたり外したりする際に仕事はか

からない。1この原稿は、基研研究会「情報統計力学の最前線 — 情報と揺らぎの制御の物理学を目指して —」の

プロシーディングス原稿である。会議を主催された安田宗樹氏、小渕智之氏、大関真之氏および京都大学基礎物理学研究所に感謝いたします。

2E-mail: [email protected]

1

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Poster

Page 135: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

2. マクスウェルの悪魔には情報的操作(計算)を許す。その計算のコストはかからない。

3. マクスウェルの悪魔がシリンダの左右の測定の際に、測定のコストはかからない。

2番目の仮定から、メモリの系は対称でなくてはならないということが導かれる。その

際、3番目の仮定はメモリのシステムをシラードエンジンと同じようなシリンダのシステ

ムに真ん中にパーティションを入れた物理的モデルと等価であるということが導かれる。

その際、ボイル・シャルルの法則しかメモリの物理的モデル系には適用しないとする3。こ

れで情報を消去する際には、どれだけの仕事が必要であるのかということを計算できる

ようになった。ここで我々が示したことは、非対称なシラードエンジンを考えた際に、マ

クスウェルの悪魔パラドックスを解決するためには、マクスウェルの悪魔が最適な情報圧

縮を行った後にそれを物理的モデル系にマップして消去すると、𝑁 が大きい極限での評

価で非対称なシラードエンジンからとれる仕事と消去するのに必要な仕事が一致をする。

つまり、平衡熱力学で定義されるエントロピーと情報論的エントロピーとが一致する [1]。

これは、ランダウアー・ベネットがもともと考えていたシナリオでは、最適な情報圧縮と

いう概念が入り込めなかった。というのも、対称なシラードエンジン系では情報圧縮しな

い結果と同じになるからである。これが我々の主要な結果である。

2 モチベーション

何故、このような思考実験を問題にするのかということを以下で議論する。これまで、

エントロピーという概念は平衡熱力学系、平衡統計力学系、およびブラックホールなどの

物理系で議論されてきた。シャノンによる近代的情報科学の勃興以来、情報科学の文脈の

中でもエントロピーという概念が使われてきた。これらの概念は相互に関係しそうなもの

であるが、そのそれぞれが違う文脈で定義されたものである以上、数式としての類似性し

か見出すことが出来なかった。そこで、ブリリアンによる「すべての物理的プロセスを情

報科学的観点から論じなおす」という視点にたち、物理学の中であまり扱うことのできな

かったダイナミクスの視点を情報科学に内在する操作論的思考により、定量化するという

ことを主な論点とする。この問題として最適な系は、もともとダイナミクスを操作論的に

定義をしてきた平衡熱力学であり、本研究 [1]はその第一歩であると思う。今後、マクス

ウェルの悪魔が自然界の中にあるプロセスの中でどのような役割を果たし、最も賢いとい

う条件はどのような場合であるのか。果たして、このような問題を提起することにより、

どれくらい自然科学観に貢献できるのか。これらを確かめるために今後も研究していく。

3熱力学第二法則の矛盾を避けるのに、熱力学第二法則を用いるということを避けるためである。また、この部分に関しては論文 [1]の記述を改善した点である。

2

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Poster

Page 136: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

謝辞

本研究は細谷暁夫氏、丸山耕司氏との共同研究であり、共に議論したことを感謝する。

参考文献

[1] A. Hosoya, K. Maruyama, and Y. Shikano, Phys. Rev. E 84 (2011), 061117.

3

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Poster

Page 137: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

宇宙の非一様性を測るKL情報量

沖縄高専 森田 正亮 1

標準的宇宙論では, 宇宙は大域的には一様・等方であり, いわゆる FLRW 宇宙モデルで十分よ

く記述されると考えられているが, 現実の宇宙は少なくとも局所的には極めて非一様である. その

ような局所的非一様性を含む宇宙を大域的に平均化したとしても, それが FLRW 宇宙モデルに一

致するとは限らない. このことから生じる「非一様宇宙を平均化することによって得られる実質的

なダイナミクスは, FLRW 宇宙モデルのそれとどのくらい違うのか」という問題は宇宙論研究に

おいて「平均化問題」と呼ばれている. この発表では, 非一様宇宙の平均化の手法において, 宇宙

の非一様性を測る自然な尺度としてKL情報量(相対エントロピー)が得られることを示し, この

尺度のエントロピーとしての妥当性, 特に時間的増大性について議論する.

1 序論

現在の標準的宇宙論では,宇宙は大域的には一様・等方なFriedmann-Lemaıtre-Robertson-Walker

(FLRW) 宇宙モデルで十分よく記述されると考えられている. このモデルは様々な観測事実をう

まく説明する一方で, そこでなされている一様・等方という仮定の妥当性は必ずしも自明ではな

い. なぜなら, 現実の宇宙は局所的には極めて非一様であって, そのような局所的非一様性を含む

宇宙を大域的に平均化したとしても, それが FLRW 宇宙モデルに一致するとは限らないからであ

る. これは, 宇宙の時間発展を記述するアインシュタインの重力場方程式が本質的に非線形である

ことと関係している. この事実は宇宙論における「平均化問題」と呼ばれ, 最近の宇宙論研究で主

要な課題となっている「宇宙の加速的膨張の観測」に対する理論的な裏付けにおいて, 可能性の一

つとして, しばしば取り上げられている. (このことに関する包括的なレビューは [1] を参照.)

この発表では, 非一様宇宙を平均化する手法に関する最近の仕事を概観し, 局所的非一様性が大

域的な宇宙膨張にいかに影響を与えるか, また非一様性が実効的なダークエネルギーとなり得る

のか, を調べる. さらに, この平均化の手法において, 宇宙の非一様性を測る尺度として KL情報

量(相対エントロピー)が自然に得られることを示し, この尺度が「宇宙のエントロピー」として

妥当であることの検証として, 特に時間的増大性について「宇宙の加速的膨張」と絡めながら議論

する.

1E-mail: [email protected]

1

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Poster

Page 138: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

2 非一様宇宙の平均化

まず, Buchert [2] によって定式化された非一様宇宙を平均化する手法の概略を述べ, その基本方

程式を導く. 簡単のため, 宇宙は渦がなく, 圧力を無視できるダスト流体で満たされているとし, そ

の密度を ϱ, 4元速度を uµ とする. また, 座標系として以下のようなものを選ぶ:

ds2 = −dt2 + gijdXidXj ; uµ = (1,0) . (1)

これは, この設定で自然な座標系の選び方であり, 「同期化された共動座標系」と呼ばれる. ここ

で, gij は時間一定超曲面上の 3 次元メトリックである.

次に, テンソル Θij := (1/2) ˙gij を導入する. ドット (˙) は時間微分を表す. また, このテンソル

のトレース θ := gijΘij (局所膨張率と呼ばれる) とトレースレス部分 σij := Θij − (1/3)θgij (ずり

テンソルと呼ばれる) を定義する. これらの量を用いると, 連続の方程式と Raychaudhuri方程式

は, それぞれ

ϱ+ ϱθ = 0 , (2)

θ = −4πGϱ− 13θ2 − 2σ2 , (3)

と書かれる. 式 (3)の右辺にある σ2 := (1/2)σijσ

ji は二乗ずり率である.

ここで, コンパクトな空間領域 D 上で, スカラー量 A(t,X i) の平均を次のように定義する:

⟨A(t,Xi)⟩D :=1VD

∫DA(t,Xi)

√g d3X ; VD(t) :=

∫D

√g d3X . (4)

積分中に現れる g := det(gij) は 3 次元メトリック gij の行列式を表す. この領域 D の体積 (及

びその初期時刻での値 VDi) を用いて, 実効的なスケール因子を aD(t) := (VD(t)/VDi)1/3 と定義す

る. すると, 領域 D での平均的な膨張率は ⟨θ⟩D = ∂tVD/VD = 3 ∂taD/aD と表される. この平均

化において注意すべき点は, 空間平均と時間発展という二つの操作の「非可換性」である. これは

スカラー量 A(t,Xi) の平均化に対して, 次のような「交換関係」で表される [2]:

∂t⟨A⟩D −

⟨∂A

∂t

⟩D

= ⟨Aθ⟩D − ⟨A⟩D⟨θ⟩D = ⟨δA δθ⟩D . (5)

ここで, δA := A − ⟨A⟩D と δθ := θ − ⟨θ⟩D は, それぞれの量の平均からのずれを表す. 交換関

係 (5) を使いながら式 (2) と (3) を平均化すると

∂t⟨ϱ⟩D + ⟨ϱ⟩D⟨θ⟩D = 0 , (6)

3aDaD

+ 4πG⟨ϱ⟩D = QD ; QD :=23

(⟨θ2⟩D − ⟨θ⟩2D

)− 2⟨σ2⟩D (7)

を得る. 式 (7)の QD は backreaction 項と呼ばれる, 物質分布の非一様性に由来する項であり, 一

様・等方なFLRW宇宙モデルでは 0 である. したがって, この項があるために平均化された非一様

宇宙の膨張則はFLRWモデルの膨張則からずれることになる. さらに式 (7)から, backreaction 項

は「局所膨張率のゆらぎ」と「ずり率の平均」から成り, 前者は宇宙膨張を加速させる方向に, 後者

は減速させる方向に, それぞれ働くことが分かる. この backreaction 項の例示計算として, FLRW

宇宙モデルの線形摂動を使った場合が文献 [3] で与えられている.

2

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Poster

Page 139: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

3 宇宙論での相対エントロピー

前節で述べた平均化の手法に基づいて, 宇宙の非一様性を測る尺度を導入しよう. その際に注目

するのは, 物質密度分布 ϱ に対する「交換関係」である. それは次のように表される:

∂t⟨ϱ⟩D −

⟨∂ϱ

∂t

⟩D

= ⟨ϱθ⟩D − ⟨ϱ⟩D⟨θ⟩D = ⟨δϱ δθ⟩D . (8)

これは, 平均化された物質密度の時間発展と, 局所的な物質密度を時間発展させた後で平均化した

ものとが, 必ずしも一致しないことを意味する. この二つの差が物質密度に関するエントロピー生

成に寄与する, と考えることにしよう. するとエントロピーを S とすると, 次のように書ける:

∂t⟨ϱ⟩D −

⟨∂ϱ

∂t

⟩D

= − SVD

. (9)

この関係を満たす物質密度の汎関数 S を探すと, 興味深いことに以下のような KL 情報量 (相対

エントロピー) の形が見出される [4]:

Sϱ ∥ ⟨ϱ⟩D :=∫Dϱ ln

ϱ

⟨ϱ⟩D√g d3X . (10)

この S は通常の KL 情報量と同様, 正の物質密度 ϱ に対して ϱ = ⟨ϱ⟩D ならば正定値となり,

ϱ = ⟨ϱ⟩D のときに限り 0 となる. なお, この量の 1-パラメータ拡張である Tsallis 相対エントロ

ピーの形を考えることもできる (そのパラメータを α とする):

Sαϱ ∥ ⟨ϱ⟩D :=1α

∫Dϱ

[(ϱ

⟨ϱ⟩D

− 1]√

g d3X . (11)

パラメータ α は Tsallis パラメータ q と α = q − 1 という関係になっており, α → 0 の極限で

式 (10)が再現される.

こうして式 (10)で定義されたエントロピー S が時間的増大性を持つかどうかを調べるために,

S の時間発展を考えよう. 式 (8)と (9)から, S の時間微分は直ちに

∂tSϱ ∥ ⟨ϱ⟩D = −

∫Dδϱ δθ

√g d3X = −VD⟨δϱ δθ⟩D (12)

となることが分かる. 式 (12)より, 宇宙の構造形成の観点から S の時間微分は正となるであろうと期待される. なぜなら, 重力不安定性のために, 平均よりも物質密度の高い領域 (δϱ > 0) は重力

的に収縮して (δθ < 0) 銀河などを形成するであろうし, 平均よりも物質密度の低い領域 (δϱ < 0)

はより速く膨張して (δθ > 0) ボイドとなると考えられるからである.

しかし, 実際に非一様性がどのように進化するかは初期条件に依存し, それはとりわけ進化の早

期で顕著である. 十分な時間が経った後であれば初期条件の影響が小さくなり, 上述のような進化

をすると考えられるので, より正確には「十分な時間の後には, S の時間微分は正となる」と言うべきであろう. このことから, S の時間二階微分が正かどうか, つまり「時間的凸性」を調べるこ

とが重要となる. 式 (12)を時間について微分し, 式 (3)と (5)を使うと, 以下を得る:

SVD

= 4πG⟨(δϱ)2⟩D +13⟨ϱ(δθ)2⟩D + 2⟨ϱσ2⟩D + ⟨ϱ⟩DQD − 2

3⟨θ⟩D

SVD

. (13)

3

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Poster

Page 140: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

時間微分 S が十分な時間の後に正となるかどうかは, 特に S = 0 となる瞬間 (これを t = tc と

する) における S の符号が決定的に重要である. なぜなら, もし S(t = tc) が正であれば, それ以

後は S が正であり続けることが保証されるからである. 式 (13)より, このようになる場合として,

例えば backreaction 項 QD が (少なくとも t = tc の瞬間に) 非負である場合が挙げられる. これ

は, 「非一様性の存在が実効的な宇宙膨張を加速させる方向に働くならば, 非一様性に伴うエント

ロピー生成が十分な時間の後には正となる」ことを示しており, 観測されている宇宙の加速的膨張

とエントロピー増大則の関係を示唆している点で興味深い.

時間微分 S の正定値性について, FLRW宇宙モデルの線形摂動と球対称な Lemaıtre-Tolman-

Bondi 解を用いた解析が文献 [5] で与えられている.

4 まとめと結論

この発表では, Buchert による非一様宇宙の平均化法の概略を述べ, 実効的なスケール因子に対

して, backreaction 項を持つ Friedmann 的な方程式が導かれることを示した. この backreaction

項のために, 実効的な宇宙膨張が FLRW 宇宙の膨張則からずれることが分かる. また, この平均

化法において, 非一様性に対する自然な尺度が定義され, その尺度が式 (10)のように, 情報理論で

よく知られている KL 情報量 (相対エントロピー) と同じ形となることを明らかにした. この尺度

のエントロピーとしての妥当性を検証するため, その時間的増大性を議論し, 「backreaction 項が

正ならば, この尺度は十分な時間の後には時間的に増大する」ことを示した. この結果は, 宇宙の

加速的膨張とエントロピー増大則を, 非一様性の進化を介して関係づけている点で興味深い.

このように, 非一様宇宙の平均化法における空間平均と時間発展の「非可換性」から, 非一様性

の尺度が自然に KL 情報量の形となること, またその時間的増大性が平均化法の枠組みで明快に

示されることは, KL 情報量が非一様宇宙の記述にうまく適合しており, 情報理論と非一様宇宙の

相対論による記述・平均化法の間に深いつながりがあることを示唆していると考えられる.

参考文献

[1] T. Buchert, Gen. Relativ. Gravit. 40 (2008), 467 [arXiv:0707.2153v3];

Class. Quantum Grav. 28 (2011), 164007 [arXiv:1103.2016v2].

[2] T. Buchert, Gen. Relativ. Gravit. 32 (2000), 105 [arXiv:gr-qc/9906015v2].

[3] N. Li and D. J. Schwarz, Phys. Rev. D 76 (2007), 083011 [arXiv:gr-qc/0702043v3].

[4] A. Hosoya, T. Buchert, and M. Morita, Phys. Rev. Lett. 92 (2004), 141302

[arXiv:gr-qc/0402076v1].

[5] M. Morita, T. Buchert, A. Hosoya, and N. Li, AIP Conf. Proc. 1241 (2010), 1074

[arXiv:1011.5604v1].

4

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Poster

Page 141: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

緩和と情報による冷却限界1

東京大学 理学系研究科 伊藤 創祐 2

1 はじめに

コロイド粒子系におけるフィードバック制御による冷却技術は、重力波検出のためのノイズキャ

ンセレーション [1]や、レーザー冷却に代わる量子効果実現のためのデバイス [2]などを目的とし

て研究が行われている。このフィードバックによる冷却はBrown粒子の速度と逆向きのフィード

バック力を加え続けることで達成され、特に近年になってBrown粒子の瞬間的な速度の測定が可

能になったことより、レーザーピンセットを用いて、コロイド粒子の速度揺らぎをミリケルビン領

域まで下げることが可能になっている [2]。一方で、実験系では常にフィードバック装置の測定誤

差などによってコロイド粒子の冷却限界が存在するが、この冷却限界に対する”一般的”な定量的

議論は行われてこなかった。この問題に対し、Maxwellの悪魔の研究の文脈で得られた、フィード

バック制御下における”情報”と熱力学第二法則同様の構造 [3]の議論から、我々は緩和時間当たり

にフィードバックのために測定した際に、得られる”情報”(系の状態と測定結果の間の相互情報

量)によって、冷却限界が決定されるという式を導出した [4]。本原稿は論文 [4]の内容の一部およ

び『基研研究会「情報統計力学の最前線」』で発表した研究の進展の一部をまとめたものである。

2 設定

ここでは我々が議論した設定について述べる。我々の結果はN 次元の Langevin系でも拡張は可

能であるが、ここでは簡単のため 1次元 Langevin系で議論を行おう。まず、次のような Langevin

方程式を考える。

mx(t) = −γx(t) + F (x(t), λ(t, y)) + ξ(t). (1)

ここでmはコロイド粒子の質量、γは摩擦係数、ξ(t)は平均 0、分散 2γkBT のホワイトガウスノ

イズ、F (x(t), λ(t, y))はフィードバック効果を含む外力で、フィードバック効果はコントロールパ

ラメータ λ(t, y)の測定結果 y = yi(i = 1, . . . , n)の依存性によって導入している。

1本研究は東京大学理学系研究科の佐野雅己教授との共同研究である.2E-mail: [email protected]

1

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Poster

Page 142: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

フィードバックのための測定は次のようなものを考えている。i回目の測定を時刻 ti(0 ≤ t1 <

t2 < · · · < tn ≤ τ = tn+1)に行うとし、そのときのコロイド粒子系の状態 Γ(ti) = x(ti), x(ti)に対して、測定結果 yiが条件付き確率 pi(yi|Γ(ti))によって与えられるとする。この条件付き確率pi(yi|Γ(ti))は yiと Γ(ti)を引数に持つ関数 pi(yi|Γ(ti)) = fi(yi,Γ(ti))であり、他の時刻の測定結

果や系の状態 yj、Γ(tj)(j = i)によらないとする。

このような系で”情報”、つまり i回目の測定結果と i回目の測定時刻での系の状態の間の相互

情報量 ⟨Ii⟩という量は、時刻 ti で系の状態 Γ(ti)をとる確率 ρti(Γ(ti))、測定結果 yi を得る確率

pi(yi) =∫dΓ(ti)ρti(Γ(ti))pi(yi|Γ(ti))、また同時分布関数 pi(yi,Γ(ti)) = pi(yi|Γ(ti))ρti(Γ(ti))を用

いて次のように定義される量である。

⟨Ii⟩ =∫dΓ(ti)dyipi(yi,Γ(ti)) [ln ρti(Γ(ti)) + ln pi(yi)− ln pi(yi,Γ(ti))] . (2)

この相互情報量 ⟨Ii⟩という量は、系の状態Γ(ti)と、測定結果yiが独立 (pi(yi,Γ(ti)) = pi(yi)ρti(Γ(ti)))

であれば 0になる非負の値であり、系の状態 Γ(ti)と、測定結果 yiの相互依存性の尺度となる量で

ある。

我々はこの相互情報量 ⟨Ii⟩が与えられた Langevin系の測度揺らぎ⟨x2(t)

⟩に与える影響を調べ

(⟨· · ·⟩はアンサンブル平均)、得られた結果を用いて測定誤差が存在するときの冷却限界を議論した。

3 緩和と情報による冷却限界

ここでは得られた結果について説明する。具体的な導出は [4]を参考にしていただきたい。ま

ず、揺動応答関係の破れと相互情報量の関係として次の式が成り立つ。

1

kBT

∫ τ

0dtγ

[⟨x2(t)

⟩− 2kBTR(t; t)

]≥ ⟨ln ρ0(Γ(0))− ln ρτ (Γ(t))⟩ −

∑i

⟨Ii⟩ . (3)

ここで、R(t; t′)は応答関数であり、R(t; t′) = δ ⟨x(t)⟩ /δF (x(t′), λ(t′, y))を意味する。式 (3)の左

辺は同時刻での速度に関する揺動応答関係の破れを意味しており、この量の下限が実質的に相互

情報量の和∑

i ⟨Ii⟩で抑えられていることになる。この式は、フィードバックによって粒子の速度揺らぎ

⟨x2(t)

⟩が、熱浴(媒質)からくる揺動力

の応答R(t; t)よりも低くできる限界が、フィードバックに用いたときの”情報”で決まっていると

いうことを意味している。この事実は次のような時間粗視化を導入することでより鮮明になるだ

ろう。十分長い τ に対して、時間粗視化 Eτ [·(t)]を Eτ [·(t)] = (1/τ)∫ τ0 dt · (t)のように定義する。

時間粗視化で系が定常状態に落ち着いてるとみなせる場合、コロイド粒子の温度 Teff は時間粗視

化を用いて、Teff = Eτ [⟨mx2(t)

⟩/kB]と定義できるだろう。またこの温度 Teff で揺動散逸定理を

満たす (Eτ[⟨x2(t)

⟩− 2kBTeffR(t; t)

]= 0)ように R(t; t) = 1/(2m)を仮定すると、十分長い時間

τ で時間粗視化で定常状態を導入できること (⟨ln ρ0(Γ(0))− ln ρτ (Γ(t))⟩ ≃ 0)から、

T − TeffT

≤∑

i ⟨Ii⟩τ

tr, (4)

2

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Poster

Page 143: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

という不等式が成り立つ。ここで trは系の速度に関する緩和時間 tr = m/γであり、不等式 (4)の

右辺は緩和時間当たりの相互情報量という量になっている。不等式 (4)はフィードバック制御下で

の粒子の温度 Teff の冷却限界を与える不等式であり、この式は緩和時間という粒子の速度の情報

を忘れる時間スケールで、どれだけの”情報”をフィードバックに活用可能かという値だけで、粒

子の温度の下限が決まるといういわば、緩和と情報による冷却限界、となっている。

4 具体的な系での応用

ここでは不等式 (4)の具体的な応用を考え、実際の実験系での冷却限界を与える式を考えよう。

測定間隔∆ti = ti+1 − tiやフィードバックのプロトコルが時間に依存しない場合を考える。こ

こで、時間に依存しない、とは測定間隔が一定 (∆t1 = ∆t2 = · · · = ∆tn ≡ ∆t)で、測定誤差の関

数 fiが iによらず (f1 = f2 = · · · = fn ≡ f)、コントロールパラメータ λ(t, y)の yi依存性が、時

刻 ti ≤ t ≤ ti+1でのみ依存し、iによらないということを意味している。このとき系は周期的な定

常状態が実現される。よって周期的定常状態では測定時刻 tiでの分布は iによらず ρti ≡ ρで、各

相互情報量は一定 (⟨I1⟩ = ⟨I2⟩ = · · · = ⟨In⟩ ≡ ⟨I⟩)である。十分長い時間 τ をとると、不等式 (4)はさらに

T − TeffT

≤ tr∆t

⟨I⟩ , (5)

とかけ、測定間隔と緩和時間の比が冷却限界を決定しているという描像が得られる。一般に ⟨I⟩はρから計算されるので粒子の温度 Teff の関数であり、この後のGaussianの測定誤差の場合のよう

に ⟨I⟩ (Teff)が Teff の単調非減少関数であれば、⟨I⟩、tr/∆t、T の非負性から次の自己無撞着方程式で粒子温度の下限 T ∗

eff が決定される。

T ∗eff = T − T

tr∆t

⟨I⟩ (T ∗eff). (6)

これにより、粒子の温度の下限は、熱浴の温度 T と緩和時間と測定時間の比 tr/∆tと相互情報量

⟨I⟩だけで決定されることになる。具体的な場合として、粒子の速度に関する測定を行い、Gaussianの測定誤差がある場合を考え

よう。条件付き確率 pi(yi|(ti)) = f(yi, (ti))は

f(yi, x(ti)) =

√1

2πσ2errexp

[−(yi − x(ti))

2

2σerr

](7)

のように与えられて、時刻 tiでの分布 ρ(x(ti))が温度 T ′eff(≃ Teff)のMaxwell-Boltzmann分布で

与えられるとき、相互情報量 ⟨I⟩は

⟨I⟩ (Teff) =

∫dydxf(y, x)ρ(x) ln

f(y, x)∫dxρ(x)f(y, x)

=1

2ln

[1 +

kBTeffmσ2err

]. (8)

3

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Poster

Page 144: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

と与えられる。この相互情報量が与える粒子の温度の下限 T ∗effは自己無撞着方程式 (6)で与えられ、

∆t

tr=

1

2

T

T − T ∗eff

ln

[1 +

kBT∗eff

mσ2err

], (9)

となる。この式 (9)は、測定誤差 σerrの影響が粒子の温度の下限に与える影響を評価できる式と

なっている。またこの式 (9)から、∆t → ∞の極限では T ∗eff → T となることと、∆t → 0の極限

でのみ T ∗eff → 0となることがいえる。前者の極限はフィードバックのない場合に相当し、通常の

熱力学第二法則同様、系に外力を加えても粒子の温度は下がらないこと (Teff ≥ T )を主張してい

る。また後者の極限は無限回測定によるフィードバックに対応しており、これは有限回操作では

絶対零度に到達できないとする、熱力学第三法則と矛盾しない事実を主張している。

研究会では実際にフィードバックの仕方 F (x(t), λ(t, y))を指定して、その数値計算結果と、式

(9)の比較を行い、式 (9)が冷却限界を与えていることを確認した。また実験のセットアップ [2]で

の物理量を用いて、式 (9)が与える下限との比較を行った。また、N 次元 Langevin系でも、同様

の緩和と情報による冷却限界の式 (4)が導出できることを示した。これらの内容は現在論文準備中

である。

謝辞

本研究に関して特に有益な議論をしていただきました、京都大学次世代研究者育成センター特

定助教の沙川貴大氏、東京大学大学院総合文化研究科の佐々真一教授に感謝いたします。

参考文献

[1] A. Vinante et al., Phys. Rev. Lett. 101, 033601 (2008)

[2] T. Li, S. Kheifets and M. G. Raizen, Nature Phys. 7, 527 (2011).

[3] T. Sagawa and M. Ueda, Phys. Rev. Lett. 104, 090602 (2010).

[4] S. Ito and M. Sano, Phys. Rev. E 84, 021123 (2011).

4

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Poster

Page 145: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

Zon-Cohen特異性の物理的起源

東京大学大学院 総合文化研究科 根本 孝裕 1

1 序論1993年、熱力学第2法則を超えて成り立つ等式、ゆらぎ定理が発見された。この定理はエントロピー生成のまれに起こるゆらぎの性質として表され、この性質は、非平衡物理学に対する理解を飛躍的に前進させた。系が定常状態にあるとき、全系のエントロピー生成の期待値は、系が熱浴に放出する熱の期待値と等しい。そして熱力学第一法則により、その期待値は外界がする仕事の期待値と等しい。従って定常状態を考える上では、仕事と熱、どちらを考えてもゆらぎ定理が成り立つことが期待される。ところが 2004年、ZonとCohenは、仕事に対するゆらぎ定理が常に成り立っている一方で、熱に対するゆらぎ定理は破れ得ることを主張したのである [1]。彼らは、この破れを拡張ゆらぎ定理 (extended fluctuation theorem)と呼んだ。近年の拡張ゆらぎ定理の研究については、[2]を参照されたい。この破れは、熱に対するキュムラント母関数の特異性から得られる。ここではその特異性を Zon-Cohen特異性と呼ぶ。未だに、特異性の物理的起源(粒子のどのような運動が特異性を引き起こすか)や、その特異性の普遍性(同様の特異性が Zon-Cohenが解析した系以外においても現れるのかどうか)について、理解は不十分である。本稿では、この Zon-Cohen特異性を簡単なモデルを用いて概観する。本稿の内容の詳細については [3]を参照されたい。

2 モデル

0

0.2

0.4

0.6

0.8

1

-3 -2 -1 0 1 2 3

Uha

rmo(

x)

x

図 1: k = 2、L = 1と置いた時の周期ポテンシャル (1)。

温度 T の溶媒中の 1個のブラウン粒子を考える。簡単のため、ブラウン粒子の運動は 1次元に制限されているとする。ブラウン粒子の時刻 tでの位置を x(t) (−∞ < x(t) <∞)と書く。今、ブラウン粒子に次の周期ポテンシャルを課す。

U(x) = Uharmo(x) ≡12k(x− 2nL)2. (1)

ただし、nは−L ≤ x− 2nL < Lの不等式によって決定される定数である。(1)の周期ポテンシャルを図 1に示す。次に、この周期ポテンシャルを速度 vで x軸の負の方向に動かすことを考える。すると、そのときのブラウン粒子の運動は、次のランジュバン方程式によって記述される。

x(t) = −1γ

∂yU(y)

∣∣∣∣y=x(t)+vt

+

√2Tγξ(t). (2)

1E-mail: [email protected]

1

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Poster

Page 146: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

ここで、ξ(t)はガウス白色ノイズであり、〈ξ(t)〉 = 0と 〈ξ(t)ξ(s)〉 = δ(t − s)を満たす。また、γは粒子の抵抗係数である。解析を簡単にするために、周期ポテンシャルと一緒に動く座標系を導入する。具体的に、新しい変数 y(t)を y(t) ≡ x(t) + vt − 2nL によって定義する。ここで、nは−L ≤ x(t) + vt− 2nL < Lによって決定される整数である。この y(t)は [−L,L)上の値しか取らない。(2)より、y(t)は次式によって時間発展することが分かる。

y(t) = −1γ

∂yU (y(t)) + v +

√2Tγξ(t). (3)

時刻 tまでに、ブラウン粒子に対して周期ポテンシャルがした仕事をW (t)、ブラウン粒子の運動によって熱浴に吸収された熱をQ(t)と置く。これらは、次の時間発展方程式に従う。

W (t) = (−v)[− ∂

∂yU(y)

∣∣∣∣y=x(t)+vt

], (4)

Q(t) = x [γx−

√2γTξ(t)

]. (5)

ここで、はストラトノビッチ積を表す。これら熱と仕事は次の熱力学第一法則を満たす。∫ t2

t1dt(W (t) − Q(t)

)= U(x(t2) + vt2) − U(x(t1) + vt1). (6)

以下、y(t)の初期分布関数 (y(0)の分布関数)を p(y)と置く。また、その初期分布関数における、ノイズによる期待値を 〈 〉pと書く。

2.1 バイアスされた分布関数とキュムラント母関数

今、キュムラント母関数とバイアスされた分布関数を次式で定義する。

G(h, t|p) =1t

log⟨eQ(t)h

⟩p, (7)

Ph(y0, y, t|p) = e−tG(h,t|p)⟨δ(y(t) − y)δ(y(0) − y0)eQ(t)h

⟩p. (8)

ここで hはバイアス場 (biasing field) と呼ばれるパラメータである。(8)は、バイアス場によってバイアスされた、もともとの系とは別の系における δ(y(t)− y)δ(y(0)− y0)の期待値と見ることが出来る。ただしこの別の系とは、ランジュバン方程式 (3)から得られる (y(s))t

s=0の経路確率に、eQ(t)h−tG(h,t|p)をかけて定義した新しい経路確率に従う系である。例えば、Q(t)が非常に大きいような、実際にはほとんど観測されない(経路確率が小さい)経路が、h > 0のときのバイアスされた系においては、大きな経路確率を持つ。このことからバイアス場は、まれに起こる事象と関係していることが分かる。ここで、バイアスされた分布関数が、熱についての条件付き確率と等しいという公式を紹介する。まず、次式によって同時分布関数を定義する。

P (y0, y, q, t|p) ≡ 〈δ(y(0) − y0)δ(y(t) − y)δ(Q(t)/t− q)〉p . (9)

2

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Poster

Page 147: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

また、同様に熱についての分布関数を P (q, t|p) ≡ 〈δ(Q(t)/t− q)〉p によって定義する。このとき、次式を示すことが出来る [3]。

Ph(y0, y, t|p) =P (y0, y, q

, t|p)P (q, t|p)

+1

1/to(1/t). (10)

ただし qは次式で決定される hの関数である。

q ≡ argmaxq

[hq +

(limt→∞

1t

logP (q, t|p))]

. (11)

3 結果今、Lをどんどんと大きくして行くことを考えよう。すると、以下のように、バイアスされた分布関数がカノニカル分布に収束することを示すことが出来る。yについてのカノニカル分布を

pU,v,can (y) ≡ 1

Z(v, β)e−U(y)+γvy (12)

で定義する。ただし、Z(v, β) =∫ L−L dye

−U(y)+γvy である。このとき、次式が成り立つ [3]。

Ph(y0, y, τ |pU,v,st ) ∼ pU,v,i

can (y0)pU,v,fcan (y) +O(e−aτ ). (13)

ここで左辺中の pU,v,st (y)は yの定常分布である。また、右辺のパラメータ βi, βf は βi = β − h、

βf = β + h で定義されるバイアスされた逆温度である。一方、(10)より、条件付き分布関数についても同様の結果を得ることが出来る。(11)の qと hの関係は、

q = γv2(1 + 2Th) (14)

となり、従って、

P (y0, y, q, t|p)P (q, t|p)

∼ pU,v,ican (y0)pU,v,f

can (y) +1

1/to(1/t) (15)

を得る。ただし、βi, βf は βi = β − (q − γv2)/(2Tγv2)、βf = β + (q − γv2)/(2Tγv2) で定義される。ここで注意したい点は、(13)、(15)の右辺のカノニカル分布の逆温度は、それぞれパラメータhや q によって修正されている点である。とくに、hや qの絶対値がある値よりも大きくなると、その修正された逆温度が負になることに気付く。以下で見るように、この分布の反転がZon-Cohen

特異性を引き起こすことになる。

3.1 負の逆温度とZon-Cohen特異性

キュムラント母関数の定義式 (7)中の⟨eQ(t)h

⟩pU,v,βst

を考えよう。Q(t)は一般に時間 tに比例し

て大きくなる量である。従って tが十分大きいとき、鞍点法により、⟨eQ(t)h

⟩pU,v,βst

の期待値を計算する上で必要になる粒子の軌跡は、Q(t)/t = qを与える軌跡(ここで qは (11)、すなわち (14)

3

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Poster

Page 148: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

で与えられる hの関数)のみであることが分かる。一方 (15)より、その qが−γv2よりも小さくなると、すなわち hが−βよりも小さくなると、その粒子の軌跡の終端分布が負の逆温度になることが分かる(もしくは、qが 3γv2よりも大きくなると、すなわち hが βよりも大きくなると、その粒子の軌跡の初期分布が負の逆温度になることが分かる )。以下、hが−βよりも小さい場合を議論しよう。なお、hが βよりも大きい場合についても、同様に議論することが出来る。まず、イェンゼンの不等式から、

G(h, t|pU,v,st ) ≥ h

t

∫ t

0ds⟨Q(s)

⟩pU,v,βst

= −ht〈U(y(τ)) − U(y(0))〉

pU,v,βst

+h

t

∫ t

0dt⟨W (t)

⟩pU,v,βst

(16)

を得る。ただし、熱力学第一法則 (6)を用いた。上の議論により、この式の最右辺は、終端分布が負である粒子の軌跡を用いて評価することが出来る。その結果、一項目は−hU(L)/τ と置くことが出来る。また二項目は、粒子の運動に対して次の仮定を置くことで無視することが出来る: 『その終端分布が負である粒子の軌跡において、粒子は、時刻 t以外ではほとんどポテンシャルの底を運動しており、時刻が tに近づくと、急にポテンシャルを駆け上がり、そして y(t) ' L となる。』従って以上により、次の不等式を得る。

G(h, t|p) & −htU(L). (17)

この不等式は、hが −β よりも小さいときには、キュムラント母関数において L → ∞の極限とt → ∞の極限が交換しないことを示唆している。L → ∞の極限を最初に取るとキュムラント母関数は発散し、t → ∞の極限を最初に取るとキュムラント母関数は発散しない。この発散がZon-Cohen特異性に他ならない。ここでは直感的な議論を用いて Zon-Cohen特異性を導出したが、別の方法からも上の発散を得ることが出来る。詳しくは文献 [3]を参照されたい。

参考文献[1] R. van Zon and E. G. D. Cohen, Phys. Rev. Lett. 91, 110601 (2003); Phys. Rev. E 69,

056121 (2004).

[2] N. Garnier and S. Ciliberto, Phys. Rev. E 71, 060101(R) (2005), F. Bonetto, G. Gallavotti,

A. Giuliani, and F. Zamponi, J. Stat. Phys. 123, 39 (2006), M. Baiesi, T. Jacobs, C. Maes,

and N. S. Skantzos, Phys. Rev. E 74, 021111 (2006), P. Visco, J. Stat. Mech. (2006) P06006,

R. J. Harris, A. Rakos and G. M. Schutz, Europhys. Lett. 75, 227 (2006), A. Rakos and R.

J. Harris, J. Stat. Mech. (2008) P05005, A. Puglisi, L. Rondoni and A. Vulpiani, J. Stat.

Mech. (2006) P08010, J. D. Noh and J.-M. Park, arXiv:1204.1004.

[3] T. Nemoto, arXiv:1205.1903.

4

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Poster

Page 149: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

射影演算子法による大偏差統計関数の近似計算手法1

京都大学 情報学研究科 松井 克仁,宮崎 修次 2

(概要)森肇が射影演算子法を用いてブラウン運動

を解析してからおよそ半世紀が経った.この手法をカ

オス力学系に適用すると,カオス的に変動する力学変

数の二時間相関関数について,閉じた方程式が得られ

る.これは記憶項を含み,解析が困難であるが,藤坂

らは状態空間を拡張することで記憶項を無視し,二時

間相関関数を近似的に求める手法とともに,これを用

いて大偏差統計関数を計算する手法を提唱した.ここ

では,時間遅れ座標を用いて状態空間を拡張し,可解

カオスモデルの局所軌道拡大率のレート関数を具体的

に求め,厳密な結果と比較する.中尾らが指摘した定

義にしたがったレート関数の数値計算の有限サンプル

効果の制限を受けず,大きな揺らぎが捉えられる.

———————————大偏差統計関数であるレート関数を用いて,様々な

現象を揺らぎの特性という観点から特徴づけることが

できる [1].このレート関数は解析的に求めるのは非常に困難なため,実用的には数値計算で求めることにな

る.そのときに,時系列データから定義にしたがって

レート関数を求めようとすると,有限サイズ効果によ

り長時間平均の近傍の範囲しか求められないことが指

摘されている [2].つまり,長時間平均からの大きな揺らぎを特徴づけるという本来の目的が実際の時系列か

ら求める限り達成できないということである.藤坂は,

レート関数などの大偏差統計関数を森の影演算子法を

適用することによって求めるという一般的な理論的枠

組みを構築した [3] .森の射影演算子法 [4]とは,決定論的な運動方程式から,それと同値な確率論的な運動

方程式(一般化ランジュバン方程式)を導く手法であ

り,カオス力学系においては状態変数の時間相関関数

の計算に応用されるものである.このようにして得ら

れた一般化ランジュバン方程式には,記憶項が含まれ

ているため一般に解くのは困難である.そこで,状態

空間を拡張することによって近似的に解くということ

が提案された [3].本研究では,実際の時系列から射影

1この研究は科学研究費補助金(基盤研究(c) )課題番号「20540376」研究課題名「大偏差統計解析の新たな展開」の支援を受けている.本稿を2011年12月28日に急逝した森肇九州大学名誉教授に捧げる.

2E-mail: [email protected]

演算子法を用いてレート関数を計算し,このようにし

て求めたレート関数は有限サイズ効果の制限を受けな

いことを示す.そして,射影演算子法を用いた計算手

法(提案法)の妥当性を検証するために,レート関数

の解析解が得られる系に対して適用し,解析解,定義

に従った数値解,提案法による解を比較した.

今,定常な時系列x1, x2, . . . を考える.この時系列の

有限時間平均 xT は以下のように tに依存する:xT (t) =1T

t+T−1∑s=t

xs. この xT (t)の確率密度関数 PT (u)は,以

下のように時系列から定義することができる.

PT (u) ≡ limT ′→∞

1T ′

T ′∑t=1

δ (u− xT (t)) = ⟨δ (u− xT (t))⟩t

ここで,⟨. . . ⟩t は tに関しての長時間平均を表す.

時系列 xtの定常性から,PT (u)は T → ∞では,大数の法則より長時間平均 ⟨xt⟩tにピークを持つ δ関数と

なる.すなわち,PT (u) → δ(u−⟨xt⟩t) (T → ∞)である.ここで,大きくはあるが有限の時間幅T における

PT (u)の漸近形は PT (u) ≃ exp(−S(u)T ), S(u) ≥ 0のようになることが大偏差原理として知られている.

S(u)は T によらない,uだけの関数であり,レート関

数を呼ばれている.意味としては,T → ∞にしていったときに,PT (u)がどのように δ関数に近づいていくか

を表し,その時系列を特徴づける量である.このとき,

母関数が次のように定義できる:Zq(T ) ≡ ⟨eqT xT (t)⟩t =∫ ∞

−∞eqTuPT (u) du. これに確率分布 PT (u) を代入す

ると,Zq(T ) =∫ ∞

−∞e[qu−S(u)]T du となる.この式

を鞍点法を用いて計算する.つまり,今 T ≫ 1であることを考えると,積分への寄与の大半を占めるのは

qu−S(u)が最大のときの被積分関数 exp[qu− S(u)]Tであると考えられる.被積分関数 exp[qu− S(u)]T を,qu−S(u)を最大にする u = u∗つまり d

du [qu−Su] = 0を満たす u∗ のまわりで展開し 3次以上を無視するとZq(T ) ≃ e[qu∗−S(u∗)]T が得られる.ここで,十分大き

な T に対して,T uT は平均的に T に比例する量であ

るから,Zq(T ) ≃ eϕ(q)T を満たす特性関数 ϕ(q)が存在すると考えられる.よって,この式と鞍点法の計算

結果から次の関係式が求まる:ϕ(q) = qu∗ − S(u∗) =maxu[qu−S(u)]. これは S(u)と ϕ(q)がルジャンドル変換の関係になっていることを表している.

次に本研究において中心的な役割を果たすレート関

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Poster

1

Page 150: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

数 S(u)を実際の時系列から数値的に計算する方法を示す.S(u)と ϕ(q)がルジャンドル変換の関係になっ

ているので,S(u) = maxq[qu − ϕ(q)] = qdϕ(q)dq

ϕ(q) となり,Zq(T ) ≃ eϕ(q)T より特性関数 ϕ(q) は

ϕ(q) ≃ 1T

lnZq(T )となることから,各 qに対して母関

数Zq(T )を数値的に求めれば,qの関数としてS(u(q))が求まることになる.したがって,S(u(q))と u(q)をプロットすれば S(u)が uの関数として求まることに

なる.母関数Zq(T ) = ⟨eqT xT (t)⟩tについては実際の時系列データから eqT uT の長時間平均を近似的に求めれ

ばよい.以上のことをまとめると,実際の時系列デー

タから母関数 Zq(T )を求めれば,レート関数 S(u)を数値的に求めることができる.

大偏差統計の応用例の一つとして非双曲性による局

所軌道拡大率の大きな揺らぎの特徴づけがある.ここ

では,非双曲性について述べ,これが大偏差統計によっ

てどのように特徴づけられるのかをみる [5] .本研究においては,力学系として一次元写像のみを考える.

非双曲的な一次元写像 xt+1 = f(xt)はリターンマップにおいて,滑らかな極値を持つものであり,例として

はロジスティック写像 xt+1 = 4xt(1 − xt) が挙げられる.非双曲性の特徴を捉えるために,局所軌道拡大率

という量を考える.局所軌道拡大率 λtとはカオスにお

ける軌道不安定性を特徴づける量として次のように定

義される:λt = λt(xt) ≡ ln∣∣∣∣df(xt)dx

∣∣∣∣ . 以下で与えられる局所軌道拡大率 λt の有限時間平均は有限時間リヤ

プノフ指数 ΛT (t)とよばれており,長時間平均はリヤ

プノフ指数Λ∞とよばれている:ΛT (t) ≡ 1T

t+T−1∑s=t

λs,

Λ∞ ≡ limT→∞

ΛT (t) = limT→∞

1T

t+T−1∑s=t

λs. リアプノフ指

数は実用上のカオスの判定としてしばしば用いられて

いることから,局所軌道拡大率はカオス力学系の個性を

反映する量と考えられる.よって,局所軌道拡大率λtの

時系列を考え,その揺らぎを大偏差統計で特徴づけられ

ればカオス力学系を特徴づけることができる.局所軌道

拡大率 λtの時系列の揺らぎを大偏差統計で解析すると

いうことは,以下で与えられる有限時間リアプノフ指数

ΛT (t)の確率分布 PT (u)を考え,そのレート関数 S(u)を調べるということである:PT (u) = ⟨δ(u−ΛT (t))⟩t.このような,局所軌道拡大率(有限時間リアプノフ指

数)のレート関数 S(u)を拡大率スペクトルという.非

双曲的一次元写像ではリターンマップ上に傾きが 0となる位置が存在する.そのため,この位置の近傍を軌

道が通ったとき,負の大きな局所軌道拡大率が生じ有

限時間リヤプノフ指数は大きく揺らぐ.このような大

きな揺らぎを大偏差統計によって捉えることにより,

非双曲性を特徴づけることができると考えられる.こ

のような課題は以前から研究されており,非双曲系に

は拡大率スペクトルに非解析性と直線構造という特徴

が現れることが知られている.なお,一般に拡大率ス

ペクトルの解析的な表現は特別な場合しか求まらない

が,前述のロジスティック写像の拡大率スペクトルは以

下のようになる [5]:S(u) = Λ∞ − u (u ≤ Λ∞ = ln 2),u− Λ∞ (Λ∞ ≤ u ≤ 2Λ∞), ∞ (u > 2Λ∞).森の射影演算子法 [4]を用いて,時間相関関数の従う運動方程式を導くことができる.しかし,この運動

方程式には記憶項があるため,一般に解析的に解くの

は困難である.そこで,この運動方程式を近似的に解

く方法として状態空間の拡張を行う [3] .カオス軌道は不安定なため(ずれが指数関数的に増

大してしまうため),ある一つの軌道が時々刻々どう

なっていくかを調べるよりも,多くの軌道に関して平

均(アンサンブル平均)した様々な統計量を調べた方

が,そのカオスの性質を理解することができる.さら

に,エルゴード性が成り立つときには,アンサンブル

平均は長時間平均に等しくなるので,ある一つの軌道

の長時間の振る舞いに関する統計量を調べればよい

ことになる.カオス軌道 xtの時間相関をみる統計量としては,以下に与えられる時間相関関数 C(τ)がある.ここで,⟨xt⟩t = 0 を仮定している:C(τ) =

limT→∞

1T

T∑t=1

xt+τxt dt ≡ ⟨xt+τxt⟩t. ここで,xtの長時

間平均 ⟨xt⟩t が 0でないときは,時間相関関数を以下のように定義する(これは,自己共分散関数ともよば

れている):C(τ) = ⟨xt+τ − ⟨xt⟩txt − ⟨xt⟩t⟩t =⟨xt+τxt⟩t − ⟨xt⟩2t .森の射影演算子法とは,決定論的な運動方程式から,

一般化ランジュバン方程式とよばれるそれと同値な確

率論的な運動方程式を導く手法である.この射影演算

子法をカオス力学系に適用すると,状態変数に関する

時間相関関数の運動方程式が得られる.

今,一般の一次元カオス力学系 xt+1 = F (xt)に対して,その軌道に付随する任意の物理量 ut = h(xt)を考える.h(x)は任意の関数である.ここでは,ut ≡ ut−

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Poster

2

Page 151: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

⟨ut⟩tの時間相関関数を求めよう.この物理量 utの従う

運動方程式に対して,射影演算子法を適用すると,以下

の一般化ランジュバン方程式が得られる:ut+1 = ζut +t−1∑τ=0

Ψt−1−τuτ +ft.この両辺に対して,u0を掛け不変密

度で積分すると,本来の思惑通りに ⟨ftu0⟩の項が 0となり消える.よって,エルゴード性よりアンサンブル平

均は長時間平均をなるので,以下の時間相関関数の従う

運動方程式が時間相関関数に関して閉じた形で得られ

る:⟨us+t+1us⟩s = ζ⟨us+tus⟩s+t−1∑τ=0

Ψt−1−τ ⟨us+τus⟩s.

ここで,Ct = ⟨us+tus⟩s と置くと,Ct+1 = ζCt +t−1∑τ=0

Ψt−1−τCτ となる.この方程式には,全ての過去

からの寄与を表す記憶項∑t−1

τ=0 Ψt−1−τCτ が含まれて

いる.その中の記憶関数 Ψt−1−τ は一般には未知であ

り,この方程式を解くには連分数展開などの複雑な計

算が強いられる.そこで,ここではこのような立場はと

らずに,記憶項を無視するような近似を考える.それが

状態空間の拡張による近似である.状態空間の拡張と

は,今考えている状態変数(物理量)utから以下のベ

クトルで与えられる新しい状態変数を構成することで

ある:ut ≡ (u(0)t , u

(1)t , . . . , u

(m)t )T. ここで,u(0)

t ≡ ut

であり,u(m)t は ut の任意の関数であるが適切に(異

なる時刻の情報がきちんと含まれるように)選ばない

と意味がない.一般的には,状態空間の拡張の仕方は

いろいろと考えられるが,本研究では直感的にも最も

分かりやすい時間遅れ座標を用いて状態空間を拡張す

ることにする.時間遅れ座標を用いて状態空間を拡張

すると,ut は ut = (ut, ut+1, . . . , ut+m)T となる.この新しい状態変数 ut の従う運動方程式に対して,射

影演算子法を適用することを考える.すると,この新

しい状態変数 ut には,mを適切に選ぶと異なる時刻

の情報が十分に含まれていると考えられるので,記憶

項を無視した方程式 ut+1 ≃ ζut + ft が近似的に導出

できると考えられる.ここで,

⟨us+tuTs ⟩s ≡ ⟨

us+tus . . . us+tus+m

.... . .

...us+t+mus . . . us+t+mus+m

⟩s

⟨us+tus⟩s . . . ⟨us+tus+m⟩s

.... . .

...⟨us+t+mus⟩s . . . ⟨us+t+mus+m⟩s

とすると,時間相関関数に対応する ⟨us+tuTs ⟩sの従う

運動方程式は ⟨us+t+1uTs ⟩s ≃ ζ⟨us+tu

Ts ⟩s となる.こ

こで,

⟨us+tuTs ⟩s =

⟨us+tus⟩s . . . ⟨us+tus+m⟩s

.... . .

...⟨us+t+mus⟩s . . . ⟨us+t+mus+m⟩s

=

Ct Ct−1 . . . Ct−m

Ct+1 Ct . . . Ct−m+1

......

. . ....

Ct+m Ct+m−1 . . . Ct

≡ Ct

とおけば,Ct+1 ≃ ζCt となる.ただし,ζ =⟨us+1u

Ts+0⟩s⟨us+0u

Ts+0⟩−1

s = C1C−10 である.よって,

Ct ≃ ζtC0 = (C1C−10 )tC0 が得られる.注目すること

は,左辺の行列 Ctの (1, 1)成分が本来求めたかった時間相関関数 Ct になっていることである.つまり,右

辺の行列 C0, C1に関する計算をして,その (1, 1)成分を取り出せばよい.このように単純な行列計算から時

間相関関数を求めることができる.時間相関関数の性

質 Ct = C−t より,C0 は対称行列になる.

ここでは,直接数値計算によってレート関数を求める

と有限サイズ効果という問題が生じてしまうことを説

明する.レート関数S(u)は,まず母関数Zq(T )を時系列から求め,それから特性関数ϕ(q)を求め,そのルジャンドル変換として求めることができるというものであっ

た:Zq(T ) = ⟨eqT uT ⟩t, ϕ(q) =1T

lnZq(T ), S(u) =

maxq[qu − ϕ(q)] = qdϕ(q)dq

− ϕ(q). 母関数 Zq(T ) =

⟨eqT uT (t)⟩tを求めるには,長時間平均を時系列から計算する.後の図で示すが,時系列の長さ N が 8.0 ×104, 8.0 × 105, 8.0 × 106 のときの定義に従った直接

数値計算によって求めた拡大率スペクトルは解析解が

−∞ ≤ u ≤ 2 ln 2で定義されているにもかかわらず,直接数値計算で得られる結果は長時間平均 ln 2 の近傍しか得られていない.さらに,時系列の長さのオー

ダーを大きくしていっても,ほとんど変化がないこと

がわかる.このような問題は有限サイズ効果とよばれ

ており,直接数値計算ではレート関数の大きな揺らぎ

の範囲が再現できないことになる.このような問題が

起こってしまう原因は,数値計算においては時系列の

長さ N と粗視化する時間幅 T が有限になってしまう

ことによる.大きな揺らぎの部分というのは,非常に

稀な運動(有限時間平均が非常に稀な値となるとき)

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Poster

3

Page 152: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

に対応しているので,そのような稀な運動というのは,

時系列の長さが無限大に近い値をとらない限り観測さ

れないということに起因していると考えられる.

このような問題点を解決する手法として,射影演算

子法を用いた大偏差統計量の近似計算について説明す

る.母関数Zq(t)をある変数 st(τ)の時間相関関数に見立てることがポイントである.今,変数 st(τ)を次のよ

うに定義する:st(τ) ≡ Ltq1 = exp

(q

τ+t−1∑k=τ

uk

).する

と,母関数 Zq(t)は Zq(t) ≡ ⟨eqtut(τ)⟩τ = ⟨st(τ)⟩τ =⟨st(τ)s0(τ)⟩τ のようにかける.これは,母関数 Zq(t)が変数 st(τ)における t,つまり有限時間平均の幅 tに

ついて着目すると時間相関関数の形になっているとい

うことである.

ここで,前述のとおり,射影演算子法は状態

変数についての時間相関関数を求める手法で

あったから,ここでもそれが適用できることが

わかる.よって,同様にして射影演算子法を適

用すると,st = st(xτ ) の従う運動方程式は,st+1(τ) = ζqst(τ) +

∑t−1k=0 Ψq(t− 1 − k)sk(τ) + fq(t)

となり,時間相関関数の従う運動方程式は,

⟨st+1(τ)s0(τ)⟩τ = ζq⟨st(τ)s0(τ)⟩τ +∑t−1

k=0 Ψq(t −1 − k)⟨sk(τ)s0(τ)⟩τ となる.ここで,記憶項を

無視する近似を行うために,時間遅れ座標を用い

て状態空間を拡張する.すなわち,次の新しい状

態変数 st(τ) ≡ (st(τ), st+1(τ), . . . , st+m(τ))T を

考えると,st に対する時間相関関数の従う運動

方程式は ⟨st+1(τ)s0(τ)T⟩τ ≃ ζq⟨st(τ)s0(τ)T⟩τ ,ζq ≡ ⟨s1(τ)s0(τ)T⟩τ ⟨s0(τ)s0(τ)T⟩−1

τ となる.ゆ

えに,⟨st(τ)s0(τ)T⟩τ ≃(ζq

)t

⟨s0(τ)s0(τ)T⟩τ =⟨s1(τ)s0(τ)T⟩τ ⟨s0(τ)s0(τ)T⟩−1

τ

t ⟨s0(τ)s0(τ)T⟩τにおいて,左辺の (1, 1)成分に母関数 Zq(t)が現れる.次に,非双曲系であるロジスティック写像の拡大率ス

ペクトルを提案法で求め,解析解,直接数値計算解と

比較した.時系列の長さはN = 8.0×105で,粗視化す

る時間幅は T = 30とした.図 1がその結果である.提案法(m = 0, 1, · · · , 5)で求めた結果は直接数値計算解に比べて非常に大きな揺らぎの範囲まで捉えており,

有限サイズ効果の制限を受けていないことがわかる.

近似の精度を上げていくと(mを大きくしていくと)

再現できる範囲が小さくなっていくのは,今考えてい

る状態変数が st(τ) ≡ (st(τ), st+1(τ), . . . , st+m(τ))T

0

2

4

6

8

10

12

14

16

-12 -10 -8 -6 -4 -2 0

( )uS

u

analytical × direct * m=0 m=1 m=2 m=3 m=4 m=5 図 1: ロジスティック写像の拡大率スペクトルの比較

のように元々の時系列m+ 1個で新しい状態変数 1つが定義されているため,st でみたときに mを大きく

していくとサンプル数の減少ということが起こるから

だと考えられる.

時系列データから定義に従ってレート関数を求める

と,稀な現象がその時系列において実現しているか否

かが直接反映し,有限サンプル効果の影響を受ける.

提案法では,時系列データから少数の相関係数を計算

し,二時間相関関数や大偏差統計関数の従う運動方程

式の係数として利用し,それを近似的に解いているこ

とになる.従って,時系列において実現していない稀

な確率で起こる現象を含み,有限サンプル効果に束縛

されない広い範囲で,カオス力学系の数値解析データ

や実験の実測データから大偏差統計関数が得られる.

参考文献

[1] Fujisaka, Prog. Theor. Phys. 70, 1264 (1983).[2] Nakao et al., Phys. Rev. E 74, 026213 (2006).[3] Fujisaka, Prog. Theor. Phys. 114, 1 (2005).[4] Mori, Prog. Theor. Phys. 33, 423 (1965).[5] Mori and Kuramoto, Dissipative Structures andChaos (Springer, Berlin 1998).

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Poster

4

Page 153: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

周期的ランダムテレグラフノイズによる同時エスケープ

豊田中央研究所 一木 輝久1, 田所 幸浩

1 はじめに

雑音に埋もれた弱い信号を取りだすには、摂動(外部入力)に対する応答の大きな系をデバイ

スとして用いればよい。この発想のもと、大きな応答を用いて微弱信号を増幅するよう設計され

たデバイスとしては、系の分岐を利用した bifurcation amplifier [1, 2]等が挙げられる。一方、統

計力学でよく知られるように、(H定理が成立するという意味で、筋のいい)雑音存在下では、熱

力学極限を取らない限り分岐現象は起こらない。従って、分岐を利用して、雑音に埋もれた微弱

信号を取りだすには、ウィーナー過程などの確率論的に筋のいい雑音を回避するトリックが必要

となる。

「筋のいい」雑音を回避する方法はさまざまに考えられるが、ここでは、白色ガウス雑音を閾値素

子で2値化することを考える。このようにして得られる雑音はランダムテレグラフノイズ [3, 4, 5]

の性質を持っている。

白色ガウス雑音を成型することで得られた雑音を、サドル・ノード分岐を示すポテンシャル系

に印加することで分岐を引き起こし、これによって微弱信号を抽出したい。このとき問題となる

のは、入力データ長である。信号は雑音に埋もれていると考えているので、閾値素子に入ってく

るのは雑音と微弱信号の重ね合わせである。この重ね合わせ信号は、受信データ列とみなせるが、

実用上、そのようなデータ列は有限長である。では、与えられた有限時間の雑音で系に分岐を起

こさせることができるか?この問題を解決するため、受信した有限長データを繰り返しポテンシャ

ル系に入力することを考える。これがタイトルにある周期ランダムテレグラフノイズである。

サドル・ノード分岐を示すポテンシャル系に、周期的ランダムテレグラフノイズを印加した場

合、初期条件をそろえた独立な系で、ポテンシャルの準安定状態からより安定な状態への遷移が

同時に起こることが観測されたので紹介する。独立な系では雑音の実現値が異なるため、同時的

なエスケープは一見、直観に矛盾している。しかし、この現象は、簡単な時間粗視化によって説

明することができる。また、この同時エスケープは、ここで取り扱うランダムテレグラフノイズ

のように、離散的な値を取る雑音を周期的に印加しなければ起こらないことも示す。

1E-mail: [email protected]

1

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Poster

Page 154: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

2 モデル

ここで取り扱うモデルは極めて単純である。サドル・ノード分岐を示す離散時間力学系

Xn+1 −Xn = ∆[−U ′(Xn) + F (sn + zn)], (1)

U(X) = X4/4−X2/2− (ac − ϵ)X (2)

を考えることにしよう。ここで、∆, ϵはともに正のパラメータであり、ac = 2/3√3とする。ちょ

うど ϵ = 0が分岐点に対応するため、ϵは分岐点までの距離と呼ばれる。さて、雑音 znに埋もれ

た弱い信号 snを取りだすことを考えよう。簡単のため、znは白色ガウスノイズとする。我々が手

にしているのは雑音混じりの信号 sn + znであって、直接 sn単独を得ることはできない。前節で

述べたように分岐現象を利用して信号 snを取りだすことを考えたいが、znが白色ガウスでは、H

定理のために分岐が起こらない。そこで、手元にある雑音混じりの信号 sn + znを関数 F で加工

して系に加えるのである。ここでは簡単のため、F (y) = θsgn(y − ξ)とする。すなわち、sn + zn

と閾値 ξの比較に応じて、2値±θのどちらかを外力として系に加えることにするのである。この外力によって誘起される分岐を捉えることで、信号 snを取りだそうというのである。ここで、今

作った2値の雑音はランダムテレグラフノイズと呼ばれる種類の雑音であり、明らかにH定理の

成立条件の外に位置する雑音であることに注意しておこう。

また、我々が手にしている雑音混じりの信号 sn + znは有限個しかないという、現実の信号処理

に付きまとう状況を考えてみよう。受信信号は sn+ zn (n = 0, · · · , N − 1)だけである。今我々は、

信号 snを分岐を利用して取り出そうと考えているわけだが、適当な初期条件から系を時間発展さ

せた場合、分岐が起こるまでにかかる時間が問題となる。というのは、分岐が起こるまでにかか

る時間が受信信号の長さN よりも長ければ、有限個の信号によって誘起される分岐は観測されな

い。したがって、N が分岐の起こるまでにかかる時間に対して不足している場合に備えて、系に加

える外力 F (sn + zn)に何らかの対策を施しておく必要がある。その対策としてもっとも単純なの

は、手元にある受信信号を繰り返し使いまわすことであろう。すなわち、sn+N + zn+N = sn + zn

と思って、外力 F (sn + zn)をひたすら加え続けるのである。信号処理の場合、メモリに保存され

た sn + znを使えば、このようなことは容易に行える。このようにして作成した外力 F (sn + zn)

は周期的な雑音という性質を持っている。では、ランダムテレグラフノイズのような離散的な雑

音が、周期的に加わった場合、系 (1)はどのように振る舞うのであろうか?次節でシミュレーショ

ン結果を紹介する。

3 シミュレーション結果:同時エスケープ

前節で述べたような系の設定のもとで、何が起こるかというと、独立な系の集団に同期的なエ

スケープが見られる。分岐点までの距離 ϵが正の場合、十分大きなX0を初期値として出発した系

は、外力 F (sn+ zn)が存在しなければ、Xnが正の値を取る準安定点にトラップされてしまう。し

2

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Poster

Page 155: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

かし、外力 F (sn + zn)が存在する場合、Xnが負の値を取る安定固定点への遷移が起こる場合が

ある。このような準安定状態からのエスケープが、独立な系で同時に起こるというわけである。

-1.2

-0.6

0

0.6

110

210

310

410n

nX

5=N

10=N

30=N

50=N

100=N

300=N

500=N

1000=N

3000=N

図 1: Xnのアンサンブル平均の時間変化とその雑音周期N への依存性。

このことを示したのが図 1である。シミュレーションでは簡単のため、任意時刻 nで sn = 0と

し、初期条件はX0 = 1/√3とした。また、∆ = 1/2, ϵ = 0.0005, θ = 0.00075, ξ = 1.0とし、白色

ガウス雑音 znの分散は 1.0とした。図 1は多数の独立な系にわたるXnのアンサンブル平均をプ

ロットしたものである。したがって、図に見られるキンク状の変化は、独立な系たちが集団的に

同時エスケープを起こしたことを意味している。ここで、シミュレーションに用いた雑音 znは系

ごとに独立に生成したことに注意しておこう。すなわち、無相関に生成された雑音から、同時エ

スケープという集団秩序が生まれたのである。

図 1から、雑音の周期N が比較的小さい場合のみ、同時エスケープが起こっていることが見て

取れる。N が大きな場合には、⟨Xn⟩は滑らかに変化しており、独立な系が個々に準安定状態からのエスケープをしていることが分かる。

4 粗視化による同時エスケープの説明

実は、図 1に見られたような同時エスケープは、時間粗視化で簡単に説明することができる。雑

音周期 N が小さい場合、準安定状態からのエスケープが起こるまでの時間は N より十分大きい

と考えられるため、外力の時間平均 I =∑N−1

n=0 F (sn + zn)/N で系の長時間の振る舞いは記述され

ると考えられる。したがって、エスケープを見るには式 (1)の F (sn + zn)を I で置き換えた

Xn+1 −Xn = ∆[−U ′(Xn) + I] (3)

を考えれば十分である。このとき、I は 2 項分布 Prob[I = θk/N ] =N C(N+k)/2p(N+k)/2(1 −

p)(N−k)/2に従う確率変数である。ただし、p = Prob[z − ξ > 0]であり、kは−N ≤ k ≤ N かつ

(N + k)/2は整数とする。

3

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Poster

Page 156: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

一つのサンプル系に対して I の値が確定すると、Xnは I の関数Xn(I)として決定論的に振る

舞うことになる。したがって、アンサンブル平均は ⟨Xn⟩ =∑

I Prob[I]Xn(I)として与えられるこ

とになる。実は、このようにして見積もった ⟨Xn⟩が、N が比較的小さな時には、非常に良い精度でシミュレーション結果を再現している。一方、N が大きい時には、雑音周期とエスケープの起

こる時間との間にクロスオーバーが起こるため、上述のような近似は成立しない。このときには、

I だけでなく雑音の詳細に応じた取り扱いが必要となる。

また、同時エスケープが起こるには、雑音がランダムテレグラフノイズのように離散的であっ

たことも強く効いていることに注意しよう。F (sn + zn)が離散的なため、Iが離散分布となり、そ

れが図 1に見られるようなキンクの発生する原因となっている。さらには、分岐点までの距離 ϵと

Iの分布との関係の調節も、同時エスケープに欠かせない項目である。Iは有限の領域にしか分布

を持たない。一方、時間粗視化の観点から、エスケープにかかる時間は I の関数として τ(I)と与

えられるが、τ(I)は I → −ϵで発散することが分かる。したがって,図 1に見られるようなキン

クを大きくしたいなら、I が I = −ϵ付近に分布するようにしなければならない。つまり、I のわずかな違いで τ が大きく異なるよう、メリハリをつけてやれば、キンクが大きく出るというわけ

である。逆に、I = −ϵから大きく外れたところに分布が位置していると、τ(I)がどの Iに対して

もほぼ等しいため、キンクは見られなくなる。

5 おわりに

本稿では、ランダムテレグラフノイズという離散的な雑音を周期的に印加した系で見られる同

時エスケープという現象について、現象の発見から発現原理まで見てきた。しかし、はじめに述

べた本研究の目的たる、雑音に埋もれた信号を分岐現象を利用して取り出す、というところまで

はたどり着けていない。この目標達成には、さらなる研究を必要としている。本稿が、雑音の利

用・制御を目指した統計物理の新たな展開の1ページに少しでも貢献できれば幸いである。

参考文献

[1] M. I. Dykman and M. V. Fistul, Phys. Rev. B 71 (2005), 140508(R).

[2] M. I. Dykman, Phys. Rev. E 75 (2007), 011101.

[3] K. Kitahara, W. Horsthemke, and R. Lefever, Phys. Lett. A 70 (1979), 377.

[4] C. R. Doering, W. Horsthemke, and J. Riordan, Phys. Rev. Lett. 72 (1994), 2984.

[5] A. Ichiki, Y. Tadokoro, and M. I. Dykman, Phys. Rev. E 85 (2012), 031106.

4

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Poster

Page 157: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

熱場ダイナミクスを用いた量子エンタングルメントの研究

東京理科大学理学部 橋爪洋一郎1

理化学研究所 鈴木増雄2

量子エンタングルメントを理解する新しい方法として、熱場ダイナミクスを用いた議論が有用であるこ

とを示す。ここでは主に熱平衡状態についての方法を述べるが、一般の非平衡状態においても熱場ダイナミ

クスを用いた議論は可能であることもわかった。また、密度行列を 2重ヒルベルト空間に拡張して定義す

ることで、状態を表現する空間が広がり、その結果として、エンタングルメントには 2種類の現れ方がある

こともわかった。すなわち、状態間の非対角要素としての現れ方と、チルダ空間と元の空間の相関を示す要

素としての現れ方である。

1 序論

我々は熱場ダイナミクスの方法を用いて、量子エンタングルメントの振る舞いを調べることができるこ

とを示した。熱場ダイナミクスの方法は状態に注目することができる点で、量子エンタングルメントを調

べる時に非常に便利である。以下、熱場ダイナミクスを用いた量子エンタングルメントの取り扱いについ

てその要点を説明する。

1.1 熱場ダイナミクス

密度行列 ρ(t)あるいは ρ(β) = e−βH/Z(β)(ただし、Z(β)は分配関数)を用いると、物理量 Aの統計力

学的期待値 ⟨A⟩tおよび ⟨A⟩eqなどは ⟨A⟩t = TrAρ(t)および ⟨A⟩eq = TrAρ(β)と表される。一方、量子力学

的期待値 ⟨A⟩qは状態ベクトル |ϕ⟩を用いて、⟨A⟩q = ⟨ϕ|A|ϕ⟩と表される。

熱場ダイナミクスでは、状態の概念を拡張することで、これらの期待値の表現方法を統合する [1–5]。通

常、状態はヒルベルト空間内のベクトルとして表すことができる。このヒルベルト空間と、全く同形の空

間(すなわちチルダ空間)との直積によって表される 2重のヒルベルト空間に新しい状態を定義する。も

とのヒルベルト空間の基底として |n⟩を選んだとき、チルダ空間の基底は |n⟩と表す [1–5]。すなわち、

2重ヒルベルト空間の基底は |n⟩ ⊗ |m⟩(≡ |n⟩|m⟩または |n, m⟩)である。このような 2重ヒルベルト

空間内に、有限温度の状態ベクトル |ψ(β)⟩を

|ψ(β)⟩ = 1√Z(β)

e−βH/2|I⟩; |I⟩ =∑n

|n, n⟩ (1)

1E-mail:[email protected]:[email protected]

1

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Poster

Page 158: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

と定義すれば、

⟨ψ(β)|A|ψ(β)⟩ =∑n

∑m

1

Z(β)⟨n|e−βH/2Ae−βH/2|m⟩⟨n|m⟩

=∑n

∑m

1

Z(β)⟨n|e−βH/2Ae−βH/2|m⟩δn,m = ⟨A⟩eq (2)

となり、統計力学的期待値が物理量の演算子 Aと状態ベクトル |ψ(β)⟩の内積で表される [4,5]。(2)の導出

は Fano [1], Prigogine [2],高橋-梅沢 [3] にしたがって |I⟩をハミルトニアンHの固有状態 |n⟩を用いて表

したが、任意の完備直交系 |α⟩を用いても |I⟩は不変である事が鈴木によって示されている [4, 5]。これ

を一般表現定理という。また、時間発展については

ih∂

∂t|ψ(t)⟩ = (H(t)− H(t))|ψ(t)⟩ (3)

によって与えられることが知られている [5]。

このような熱場ダイナミクスでは、直接状態に注目することができるため、状態が複雑に絡み合う問題に

適している。実際、良く知られた問題の見直しだけでなく、三角格子反強磁性体におけるRVB状態の解

析 [6] や次近接相互作用を含む 1次元系のDMRGに応用された [7] 他、ブラックホールの状態解析にも使

われている [8]。

1.2 量子エンタングルメント

量子系では、量子揺らぎの影響を受け、状態が複雑に絡み合う状況が生じる。典型的にはシングレット状

態の存在などがそれに当たるが、このような量子系の振る舞いを量子エンタングルメントと呼ぶ。

一般にエンタングルメントの強さを表すために、エンタングルメントエントロピーという指標が利用さ

れる。すなわち、系全体を部分系AとBに分割し、Bの揺らぎがAにどの程度影響を与えるかを表す量で、

SA = −kBTrAρA log ρA ; ρA = TrBρA+B (4)

と表される。ここで、ρA+B は系全体のとりうる状態に対する密度行列である。また、TrA および TrBは、そ

れぞれ部分系 A および Bについてのトレースを表す。

量子エンタングルメントは、例えば量子計算など [9,10]において非常に重要な役割を果たす [11]だけで

なく、近年、AdS/CFT対応などとの関連 [12–16]でも見直されている。また、スピン系の統計力学として

も研究が進んでおり、量子相転移における秩序変数の一種としても扱われることがある [17–23]。さらに、

鈴木-トロッター変換 [24]によって、エンタングルメントエントロピーが古典系でのどのような量に対応す

るかの研究も進んでいる [25]。

2 熱場ダイナミクスを用いた平衡状態におけるエンタングルメントの解析

本研究では、まず、最も典型的な量子系の熱平衡状態におけるエンタングルメントを熱場ダイナミクスを

用いて検討する。ハミルトニアンは

H1 = −JS1 · S2 − µBH(Sz1 + Sz

2 ), H2 = −JS1 · S2 − µBH(Sz1 − Sz

2 ) (5)

2

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Poster

Page 159: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

である。相互作用はともに J > 0であるとし、強磁性的であるが、H1 では外場H が相互作用と競合しな

いのに対し、H2 では外場 H が相互作用と競合している。これを一種のフラストレーションであるとみな

す。ただし、スピンの大きさはともに S = 1/2である。

これらの系が取りうる状態は 22 = 4通りであり、|+,+⟩ ≡ |1⟩, |+,−⟩ ≡ |2⟩, |−,+⟩ ≡ |3⟩, |−,−⟩ ≡ |4⟩と

する。|1⟩, |2⟩, |3⟩, |4⟩はハミルトニアンの固有状態ではないが、完備直交基底であるので、一般表現定理

により熱場ダイナミクスの状態の基底として |1⟩, |2⟩, |3⟩, |4⟩⊗ |1⟩, |2⟩, |3⟩, |4⟩が利用できる。すなわち、

熱場ダイナミクスの状態ベクトルは

|ψ(β)⟩x =1√Z(β)

e−βHx/2(|1, 1⟩+ |2, 2⟩+ |3, 3⟩+ |4, 4⟩) x = 1, 2 (6)

である。このように (1)式における状態ベクトルは 2重ヒルベルト空間のすべての基底の線形結合ではない

ことに注意を要する。

ここで、拡張された密度行列 ρ(β)を、一般に、

ρ(β) = |ψ(β)⟩⟨ψ(β)| (7)

として導入する。これは 2重ヒルベルト空間で定義されるものであり、チルダ空間の状態の情報も含むもの

で、通常のヒルベルト空間に定義される密度行列 ρ(β)とは異なるが、

Trρ ≡∑l

⟨l|ρ|l⟩ = 1

Z(β)

∑n,m,l

e−βH/2|n⟩⟨m|e−βH/2⟨l|n⟩⟨m|l⟩

=Nstate

Z(β)

∑l

e−βH/2|l⟩⟨l|e−βH/2 = Nstateρ(β) (8)

であり、チルダ空間に関するトレースを取れば定数倍(とりうる状態の数Nstate)の違いを除いて一致する。

すなわち (6)式に対して拡張された密度行列 (7)は ρx(β) = |ψ(β)⟩x⟨ψ(β)|xとなる。そして、スピン1と

スピン2のエンタングルメントを調べるために、(4)式にしたがってスピン1の部分トレースをとると

ρxspin2(β) ≡ Trspin1ρx(β)

= Ax(K,h)|+, +⟩⟨+, +|+Bx(K,h)|−, −⟩⟨−, −|

+ Cx(K,h)(|+, +⟩⟨−, −|+ |−, −⟩⟨+, +|

)+Dx(K,h)

(|+, −⟩⟨+, −|+ |−, +⟩⟨−, +|

)(9)

となる。ただし、Ax(K,h), Bx(K,h), Cx(K,h), Dx(K,h)はそれぞれK = J/kBT, h = µBH/kBT を変数と

する解析関数である。もちろんこのときの+,−はスピン2の状態を表す。(6)式において、ハミルトニアン

Hxが作用するのはもとのヒルベルト空間の成分だけであり、チルダ空間の成分には作用しない。また、(9)

式でチルダ空間のスピンと元の空間のスピンの振る舞いが異なるのはDx(K,h)を係数に持つ項である。し

かも、この項は |+, −⟩, |−, +⟩の部分空間で非対角成分を持たない。したがって、この項がチルダ空間と

元の空間との相関に対応していてエンタングルメントの現れ方の一つとなっている。一方、Cx(K,h)を係

数に持つ項は |+, +⟩, |−, −⟩の非対角成分となっている。このことから、エンタングルメントの現れ方に

は 2種類存在して、これまでの定義 (4)ではそれらが与えるエントロピーの総和を表していたのだと理解で

3

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Poster

Page 160: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

きる。また、µBH ≃ J の時すべての温度領域でD2(β) > D1(β)となる。このことから、フラストレーショ

ンがエンタングルメントに対してどのような効果を及ぼしているのかを知ることができる。すなわち、フ

ラストレーションに起因する高度な縮退のために、すべての状態が同程度に起こりやすくなるため、チルダ

空間でも元の空間でも揺らぎが強く、密度行列中でもその項が大きく寄与していることがわかる。

3 まとめ

熱場ダイナミクスの表現を用いると、状態を定義する空間が 2重ヒルベルト空間に広がるため、量子状

態のエンタングルした様子が理解しやすい。そして、フラストレーションがある場合には状態の縮退のため

に揺らぎが強く、エンタングルメントを表す項が支配的になることがわかった。ここでは、特に少数スピン

系の平衡系を中心に議論したが、一般の非平衡系でも同様の議論ができる。その結果、エンタングルメント

は縮約された部分系の情報に起因していることもわかった。

参考文献[1] U. Fano, Rev. Mod. Phys. A42 (1957), 74.

[2] I. Prigogine et al., Chemica Scripta4 (1973), 5.

[3] Y. Takahashi and H. Umezawa, Collect Phenom.2 (1975), 55.

[4] M. Suzuki, J. Phys. Soc. Jpn.54 (1985), 4483.

[5] 鈴木増雄,現代物理学叢書「統計力学」(岩波書店,2000,東京)

[6] M. Suzuki, J. Stat. Phys.42 (1986), 1047.

[7] A. E. Feiguin and S. R. White, Phys. Rev. B72 (2005), 220401.

[8] W. Israel, Phys. Lett.57A (1976), 107.

[9] P. Benioff, J. Stat. Phys.22 (1980), 563.

[10] P. Benioff, Phys. Rev. Lett.48 (1982), 1581.

[11] W. K. Wooters and W. H. Zurek, Nature299(1996), 802.

[12] J. M. Maldacena, Phys. Rev. D55 (1997), 7645; ibid Adv. Theor. Math. Phys.2 (1998), 231; ibid Int. J. Theor. Phys.38(1999) 1113.

[13] S. Ryu and T. Takayanagi, Phys. Rev. Lett.96 (2006), 181602.

[14] P. Calabrese and J. Cardy, J. Stat. Mech. (2004), P06002.

[15] A. Kitaev and J. Preskill, Phys. Rev. Lett.96 (2006), 110404.

[16] M. Cadoni and M. Melis, Entropy12 (2010), 2244.

[17] H. H. Lin, Commun. Theor. Phys.55 (2011), 349.

[18] J. Ren, S. Zhu and X. Hao, J. Phys. B42 (2009), 015504.

[19] G. Vidal, J. I. Latorre, E. Rico and A. Kitaev, Phys. Rev. Lett.90 (2003), 227902.

[20] F. Verstraete, M. Popp and J. I. Cirac, Phys. Rev. Lett.92 (2004), 027901.

[21] J. A. Hoyos, A. P. Vieira, N. Laflorencie and E. Miranda, Phys. Rev. B76 (2007), 174425.

[22] F. Alet, S. Capponi, N. Laflorencie and M. Mambrini, Phys. Rev. Lett.99 (2007), 117204.

[23] G. Refael and J. E. Moore, Phys. Rev. Lett.93 (2004), 260602.

[24] M. Suzuki, Prog. Theor. Phys.56 (1976), 1454.

[25] H. Matsueda, Phys. Rev. E85 (2012), 031101.

4

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Poster

Page 161: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

彩色問題に関する量子アルゴリズム彩色問題に関する量子アルゴリズム彩色問題に関する量子アルゴリズム彩色問題に関する量子アルゴリズム

日本大学理工学部 山中雅則1

グラフの彩色の問題は古典的な問題であるが、今もなお活発に研究が行われている。グラフの

彩色は、主に頂点彩色と辺彩色に分けられる。四色問題は頂点彩色の典型的な例であり、肯定的

に解決されたが、命題自体を理解することは比較的簡単であるにも関わらず、解決までに100

年以上を要したことは有名である。また、証明過程に計算機支援証明を用いており、これらの点

に関して現在でも論争が続いている。

グラフの彩色可能性、染色数(彩色に必要十分な色の数の最小数)、染色の表現の算出について

は、頂点数の小さなグラフや規則的なグラフについては解決されているものが多い。しかし、頂

点数の大きなランダムグラフについて彩色可能性の判定を行うこと、染色数を求めること、全て

の異なる染色の表現とその個数を求めることはいずれも NP困難であることが知られている。

例えば、球面に同相な曲面に描かれた平面グラフの頂点彩色を行う場合、四色定理により4色

あれば十分であることが証明されている。一方で、彩色を行うのに4色も必要ではなく、例えば

二部グラフのように2色あれば十分なグラフも存在するし、3色あれば十分なグラフも存在する。

これらのグラフはそれぞれ染色数が2と3であるという。このような平面グラフの場合は、染色

数を求めるとはいうものの、染色数は2か3か4で尽きている。種数1のトーラス上で平面的な

グラフについては、7色あれば十分であることが証明されているが、これは十分条件であり、よ

り少ない色の数で染色可能なグラフも多数存在する。一般的に、平面的ではないランダムグラフ

の染色数は、ヒーウッドの公式でその十分条件が与えられるが、グラフの埋め込まれるトーラス

の種数が大きくなると必要条件としての染色数も大きくなる。このように、与えられた個々の具

体的なグラフの染色数を求めることは、頂点数の増大とともに困難となっていくことがより実感

として感じられるはずである。

この研究では、これらの問題について量子アルゴリズムを提案することでアプローチを試みた。

頂点彩色については、以下の手順で全ての異なる染色の表現を量子力学的な重ね合わせ状態とし

て得ることができる。

(1) 与えられたグラフについて染色数を予想する。

(2) グラフの頂点に染色数個の基底を用意して同じ重みで重ね合わせる。

(3) 全ての頂点について同じ重みで重ね合わせた状態の直積の状態を作る。

(4) 連結する頂点について、同じ状態を排除する変換を作用させる。

(5) 全ての辺についてこの操作を1回ずつ実行する。

(6) 最終結果がヌル状態である場合、正しい染色数は予想した染色数よりも大きいので、各

1 E-mail: [email protected]

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Poster

1

Page 162: 情報統計力学の最前線-情報と揺らぎの制御の物理学を目指 …...情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して 2012

頂点に用意する状態を1つ増やして上記(1)から(5)の操作を行い、最終結果がヌ

ルでない状態が得られるまで繰り返す。

(7) 最終結果がヌル状態でなかった場合、正しい染色数は予想した染色数よりも小さい可能

性があるので、各頂点に用意する状態を1つ減らして上記(1)から(5)の操作を行

い、最終結果がヌルとなるまで繰り返す。

(8) 最終結果がヌルとならない初めての状態の個数が染色数の正解となる。また、その際に

生じた終状態は全ての異なる染色を量子力学的な重ね合わせ状態として得られている。

作用させる演算の回数は、与えられたグラフの辺の数に比例するので、このアルゴリズムは辺

の数の関数として多項式回の演算で結果を得ることができることがわかる。

情報統計力学の最前線-情報と揺らぎの制御の物理学を目指して- Poster

2