感性ai 〜コンテンツに対する⼈の感受性感性の分析と利活⽤ › newsmanager...

Data Base service company

『データベースで⼈と⽂化をつなぐ』

感性AI〜コンテンツに対する⼈の感受性

感性の分析と利活⽤

2018/9/19


ソニー (〜2014)•  プレイステーション PS3, PS4のネットワークサービスの開発に従事

–  全世界向けのネットワークサービスにおける膨⼤なアクセスログを活⽤–  BIビジネスインテリジェント–  ゲーム推薦 / ⾳楽推薦–  不正利⽤ユーザーの検出、ブロック

Quelon (2015〜2016)•  AI による不正投稿の⾃動ブロック

Sockets (現職 2016〜) R&D emotion NLP Group リーダー •  感性エンジンの開発•  Voice Assist エンジンの開発

発表者略歴

2Copyright ©2018 SOCKETS All Rights Reserved.

•  東京⼯業⼤学５類卒業•  東京⼯業⼤学⼤学院電気電⼦⼯学科修⼠



ソケッツのミッション



進化するエンターテイメント×テクノロジー

専⾨AIデータ開発データ分析レコメンドパーソナライズ

主なライセンス先

強み

UNIVESAL MUSIC WARNER MUSIC

KDDI docomo Yahoo!

楽天レコチョク TSUTAYA LINE MUSIC

Data Base service company感性情報の種別

5

感性情報感情 (⾃分⾃⾝の感情)–  嬉しい、楽しい、好き、安堵 …–  悲しい、泣きたい、嫌い、退屈 …–  怒り、驚き、恐ろしい、不安 … ：

印象 (物から受ける印象)–  美しい、綺麗、可愛い …–  さわやか、すがすがしい, スッキリ …–  汚い、野暮ったい、かっこ悪い …–  ベタベタ、ゴツゴツした、ざらついた …　　　　　　　：

Copyright ©2018 SOCKETS All Rights Reserved.


•  会話や⽂章からユーザーの印象や感情を抽出する技術•  脳が受けるコンテンツの印象と感性ワードを関連付ける技術

•  ⾳声から感情を推定する技術

•  顔の表情から感情を推定する技術の利⽤

感性情報に対する技術開発


「いいよ」（良いですよ / お断りします）「どうも」（ありがとう / すみません）「そうだね」（合意 / 迷い）

•  研究開発⼿法例 (ディープラーニング関係)–  Attention Based-CNN: 局所的な特徴を抽出する–  RNN / Bi-LSTM : ⻑期的な依存関係を獲得する–  Hierarchical Attention Neural Networks–  VHRED : 会話モデル–  Memory Network: 会話QAアシスト

これらを総合的に使ってユーザーの気分を判断

Data Base service company感性認識モデルの構築

聴覚に対する脳の情報処理過程では、1.  ⽐較的単純な⾳の要素（パワーやピッチ）に反応する領域2.  ⾳楽の歌詞やメロディに反応する領域 (経験により学習される)

このモデルに従って、⾳楽の周波数成分から畳み込みにより特徴を抽出する処理と、個⼈の経験によって得られる周波数帯指向の感じ⽅を学習する処理とに分離したモデルを構築している。


CNN RNN(Bi-LSTM)+ Attention

周波数スペクトラムからの特徴抽出

時系列分析による⼤枠の特徴抽出

畳み込みによる局所的な特徴抽出

ニューラルネットワークによる学習

⾳楽データ（周波数スペクトラム）

+感性ワード(教師データ）

マルチラベル分類⼀つの⾳楽に対して複数の感性ワードをもつ



•  信頼性の⾼い教師データ–  コンテンツに精通したエキスパートによる評価–  複数の評価者によるブレを防ぐための評価基準を定義、運⽤–  評価結果のダブルチェック

•  ⾼品質なメタデータ–  ⾳楽・映像コンテンツ・書籍・⼀般消費材といったさまざま

なコンテンツに関する詳細なメタ情報を蓄積・管理

•  ⼤量のユーザー利⽤データ–  実運⽤されているシステムのアクセスデータからユーザーの

⾏動パターンや嗜好情報の解析結果をパーソナライズ推薦の内容として反映

機械学習、推薦に重要な情報

Data Base service companyMSDB (Media Service Data Base)


⼈の気持ちが求める漠然とした感覚に的確に応えるための、⼈の⼿による作品情報分類・編集と情報論理化技術により、コンテンツを受け取る⼈間の感情の側⾯から洞察を重ね、蓄積・体系化している。

Data Base service companyVoice Assist x 感性AI


Data Base service company対象ドメインにマッチした意味解釈


•  ストレートなギターサウンドが聴きたい

まっすぐな , 直球の ×⼼の奥深くにダイレクトに訴えかけてくる清々しいほど真っ直ぐ、シンプルで素直⻭切れがよい駆け抜ける、突き抜ける不純物のない

物理的な特徴に変換して解釈 ex. BPM, 周波数スペクトラム、ジャンルボーカルの特徴、歌詞特徴、⾳楽スタイル :

Data Base service company「もっと」といった追加条件への対応


「明るい」＋「楽しい」という複数の感性にマッチするコンテンツを⾒つける必要があるが、「感性ワード」は名義尺度のため直接的な演算ができない

2010年代前半の曲が聴きたい

2010〜2014年の曲をお聴きください

もっと新しい曲が聴きたい

2015〜2017年の曲を流します

「年代」は間隔尺度のため直接加減算が可能

明るい曲が聴きたい軽快で明るい曲をお聴きください

もっと楽しい曲が聴きたい


•  コンテンツに対する印象や⼈の感情を表現する感性的な語彙に対して，その意味や潜在的な使われ⽅に基づいてソケッツの保有する体系化されたコンテンツ情報、メタ情報、関連辞書から感性ベクトル空間を⽣成する。–  語彙の類似性を偏⾓とする（偏⾓が近い = 意味が近い）–  抽象度の⾼い語彙を原点近くに、頻度の低い語彙を原点から遠くにする

(頻度の低い語彙は意味的な集まりを集約させるため）

分散表現による感性ベクトル空間の⽣成

喜ばしいウキウキ

楽しい

元気な

軽快な明るい


暗鬱暗い陰気

もの悲しい薄幸

悲壮

悲しい


•  word2vecでは⾃然⾔語をユークリッド空間に埋め込んでおり、意味の上下関係が明⽰的に表せていないが、双曲空間（Poincaré Ball) に埋め込むことで、意味や階層構造を効率的に表すことができるようになる。

•  Poncaré Ballへ埋め込んだときに中⼼近くに配置されるデータはより抽象度が⾼く、周縁部に配置されるデータは具象度が⾼くなる。

Poincaré Embeddings (ボアンカレエンベディング）

14

Poincaré Embeddings for Learning Hierarchical Representationshttps://arxiv.org/abs/1705.08039

ポアンカレエンベッディングhttp://catindog.hatenablog.com/entry/2018/01/31/203511

参考文献


15

虚しい

憎い

陰気な気落ちした

つらい

Poincaré Embeddings によるマッピング例



柔らかい---------------------軟らかい 0.9300マイルド 0.8527物柔らか 0.8410 ：

穏やかな ---------------------温順な 0.7518和やかな 0.7506紳⼠的 0.7379 ：

穏やかな & 柔らかい -----------------------懐の深い 0.7834物腰が柔らか 0.7797柔和な 0.7766 ：

感性ベクトル空間上での感性ワードの重ね合わせ


17

Voice Assist ⽤会話エンジン

選曲の理由を応答ユーザーが曖昧なリクエストで選曲した場合に、その選曲理由を伝えることで、納得感や気づきを与えることが出来ます

User: 今の時間に合うやつある？

Copyright ©2018 SOCKETS All Rights Reserved.

AI:昼下がりのコーヒータイム、ティーカップにほっと⼀息できるメロディを注ぎましょう

Data Base service companyユーザーの感覚的で曖昧な要求への対応

感覚的なイメージしかない

要求内容の明確化具体的な情報の取得

⾃分でも何か欲しいか

曖昧

感性的な要求の解釈

ユーザーのぼんやりした要求に対して、対話でのやり取りを通して具体化していく

要求の絞り込み


Data Base service company感性メタを中⼼とした多様な情報への関連付け


感性メタデータベース

悩みファッション

場面女性イメージ

感覚的で曖昧な要求への対応

最近、ストレスが溜まっているんだ

アクティブで可愛い女性に

なりたい

今日は花柄のスカートを着て出かけたいな

週末はデートなんだ

具体的な情報の提供


•  紅⽩歌合戦の勝敗予測

•  テレビドラマの視聴率の予測

•  アーティスト分析、ヒット予測

予測モデル X 感性



•  歌詞の感性分析による勝敗予測モデルの構築–  対象期間：第40回1989（平成元年）〜第68回2017（平成29年）

全29回、全対象楽曲1,396曲うち紅組712曲、⽩組684曲メドレーなどの除外を含む対象期間全披露楽曲1,509 分析対象率93％

紅⽩歌合戦の勝敗予測


•  紅⽩歌合戦で演奏される各楽曲の歌詞データに対して、独⾃の感情分析エンジンで感情スコアを算出。

•  それらを年代・紅⽩の組ごとに数値を集計、正規化。

•  ロジスティック回帰分析による予測モデルを作成。

h#ps://www.sankei.com/entertainments/photos/171231/ent1712310001-p1.html


•  感情分析エンジンでは、対象テキスト内に直接的に感情を表すワードがなくても、いわゆる“⾏間を読む”ような、⼈の複雑な気持ちを読み取ったり、「希望」や「不安」、「哀しみ」や「安らぎ」といった、⼊り混じった感情を考慮したスコアリングをおこなっている。




•  歌詞の感性分析による勝敗予測モデルの構築



à2年連続的中

h#p://www.sockets.co.jp/kansei/kansei_report07.html

より詳しい情報はこちらに掲載されています

Data Base service company連続テレビドラマの視聴率の予測


•  2017年 4⽉期の連続テレビドラマに対して、ジャンル、俳優、原作者情報、過去の視聴率データ、あらすじデータ, ネット上の反響をもとに視聴率予測モデルを構築。

h#p://www.sockets.co.jp/kansei/kansei_report06.htmlより詳しい情報はこちらに掲載されています

1. あらすじの感情スコア値2. 主役・出演者などの過去視聴率寄与スコア3. 公式Twitterアカウントに対する「いいね」数4. ネット上でのドラマの反響度を関⼼指数として重み付け

Data Base service company連続テレビドラマの視聴率の予測


•  2017年 4⽉期の連続テレビドラマ

•  ±1.0ポイント以上の誤差を負け、±0.5ポイント以上の誤差を引き分けとした結果、7勝2敗2引き分けで正解率78% となった。•  災害、有名⼈のスキャンダルといった予期せぬイベントの発⽣や、スポーツなどの特番、⽣中継があると予測に誤差が⽣じる要因になる。•  事前に視聴率が予測できるとドラマの制作会社にとって価値がある。

Data Base service companyテレビドラマの視聴率の予測


•  ドラマのあらすじデータの感情スコアー値の分析例

「半沢直樹」と「下町ロケット」は同じ原作者（池井⼾潤）で、これらのドラマのあらすじの感情スコア値は、どちらも「怒り・苛⽴ち」が⾼く、「希望」「嫌い・不愉快」のスコアー値の⽐率傾向も類似している。

「下町ロケット」の制作側は「半沢直樹」を意識し、視聴者もそのように認識・期待していたと思われ、それより、両者の視聴率の傾向にも類似性が現れている。

Data Base service companyアーティスト分析、ヒット予測


アーティスト分析

ヒット予測モデル構築

ネットでの評判・反響フォロワーの属性

MSDBアーティスト情報楽曲情報タイアップ情報

•  興味・関⼼分析•  反響分析•  ファンの属性分析•  フォロワーの他のアーティストとの重複分析•  印象分析•  視聴状況分析•  楽曲分析

Data Base service companyアクションに対する効果測定


ネット上での反響(効果）

フェスやテレビ出演といったイベント

時間

•  イベントに対するネット上での反応、効果分析•  ファン（フォロワー）の属性分析•  フォロワーの他のアーティストとの重複

Data Base service companyアーティストのデビューからの業界価値の変化


デビューからの年数

業界での価値

次に打つべきアクションは？

デビュー

•  対象アーティストが次に打つべき効果的なアクションの提案•  新⼈アーティストが⽬標となるアーティストのポジションを

確保するまでのアクションプランの提案

全盛期

現在

Data Base service company予測技術をつかったビジネス展開


•  映像コンテンツ制作会社向け–  宣伝・広告に対する効果測定–  シナリオや出演者といった情報からのヒット予測

•  コンテンツ配信会社向け–  ユーザーの視聴傾向分析、⾏動分析–  配信中のコンテンツに対して、新規ユーザー獲得率、解約率の

改善への貢献度の分析と、新規配信のために購⼊予定のコンテンツに対しての改善効果の分析

•  その他、さまざまな業界向けにビジネスを展開中

感性ai 〜コンテンツに対する⼈の感受性 感性の分析と利活⽤ › newsmanager...

Documents

感性ai 〜コンテンツに対する⼈の感受性感性の分析と利活⽤ › newsmanager...