言い換えを用いたテキスト要約の自動評価

平原　一帆、難波　英嗣竹澤　寿幸、奥村　　学

情報処理学会論文誌（TOD）pp91-101.2010

プレゼンテーション：小平　知範

1

言い換えを用いた テキストの自動評価

• 抜粋形式の要約を正解要約との文字列の一致度により評価する従来の方法を、言い換え技術を用いることによる改善を試みる。

• 提案手法（ParaEval手法）を用いて実験を行った。

• 提案手法は抜粋要約と生成要約のいずれの評価においても従来の手法を改善できることが確認された。

2

関連研究✤テキスト自動評価・従来、参照要約とシステム要約との間の類似度を　計算するもので、類似度が高いほど良い要約

✤同義語および言い換えの自動抽出・統計的機械翻訳技術を用いたもの　　　　→言い換え知識抽出の方法で利用・分布類似度を用いたもの　　　→大規模コーパスを用いた分布類似度を　　　　言い換え知識の獲得に用いる

3

テキストの自動評価• 要約評価の自動評価法ROUGE-N

• 参照要約とシステム要約の間で一致するNグラムの割合

• 今回は比較実験のベースラインとしてN=1を用いる

4

テキスト評価における 言い換えの必要性の調査

• 調査には自動要約ワークショップTSC２で用いられたデータベースの社説10記事を用いた

• 要約率２０％、原文にない表現を自由に用いて良いという条件で１０人が作成した１００要約に調査

• 比較した結果３１８個の言い換えが存在

5

テキスト評価にどのような言い換えの必要性があるか

テキスト評価に 出現する言い換え

A. 表記の揺れレベルの言い換え表現(64件)20.1%

B. 語レベルの言い換え表現(78件)24.5%

C. 句レベル言い換え表現(28件)11.9%

D. 節・付属語レベル言い換え表現(39件)12.3%

E. その他言い換え(99件)31.2%

✤A～Dについて言い換え知識を用いて自動評価をする6

提案手法 ParaEval手順と逆ParaEval手順ParaEval手順（逆ParaEval手順は3を先に行うのみ）

1.テキストを走査し、句と句の言い換えの一致を検索（CとD)

2.不一致語に対し、単一語レベルの言い換え（B）や表記の揺れによる言い換え（A）の一致を検索

3.不一致語に対し、語彙マッチングを行う

4. 1,2,3で参照要約に一致した語のうち名詞・形容詞・動詞を内用語として数え、参照要約に対する再現率をスコアとする

7

言い換えの知識同義語辞書と日本語テキスト評価に利用可能な以下を用いる

★ SMT（自動収集）：統計的機械翻訳技術を用いて 　　　　　　　　　　獲得した言い換え知識

★ DS(自動収集)：分布類似度に基づいて得た言い換え知識

★WN(手動収集)：WordNet(日本語)を用いた言い換え知識

★NTT(手動収集)：NTT日本語彙大系を用いた言い換え知識

• 提案手法では、これらを組み合わせた１５種類を用いる8

言い換えの分類と 言い換え知識の対応

• 提案手法として４種をそれぞれ組み合わせ１５種類

9

実験データ評価結果の分布

10

20 %の要約率で１０名は抜粋要約、１０名は自由作成の要約 評価基準は「重要な内容をどの程度含んでいるか」 基本点８点とし、良い点プラス１悪い点マイナス１

実験手法• (逆)ParaEval手順を以下の表の組み合わせで行う評価対象の要約は９個。テーマ毎に最も評価値の高いものを参照要約とした

11

実験結果

12

各手法の評価方法• 実験結果の値と人手に基づいた順位の相関を、 スピアマンの順位相関係数を用いて計算し評価

• ただし、３名の評価が矛盾している場合は除外 　　　　順位が全て同一場合でも除外

13スピアマンの順位相関係数：www.weblio.jp/content/スピアマンの順位相関係数

考察

• テキスト評価における言い換えの効果

• ParaEval手順と逆ParaEval手順の比較

• 言い換え知識

• トピック別・手順別の言い換え適用数

14

おわりに

• 様々な言い換え知識を用いたテキスト要約の評価方法を提案した。

• 逆ParaEval手順を用いた場合に提案手法の有効性が確認された。

15