知能情報・高度情報処理マルチメディア・コンテンツの高次処理の研究

1

JSPS - RFTF AMCP Project

知能情報・高度情報処理

マルチメディア・コンテンツの

高次処理の研究

西尾章治郎大阪大学大学院工学研究科

情報システム工学専攻[email protected]

平成９年度開始

2


プロジェクトリーダー

西尾章治郎（大阪大学）

コアメンバー

有木康雄（龍谷大学）

岸野文郎（大阪大学）

田中克己（京都大学）

参加研究者

上原邦昭（神戸大学）

下條真司（大阪大学）

有川正俊（東京大学）

北村喜文（大阪大学）

塚本昌彦（大阪大学）

角谷和俊（京都大学）

春本　要（大阪大学）

　田島敬史（北陸先端大）

正城敏博（大阪大学）

原隆浩（大阪大学）

AMCP‐Project 　参加研究者

3


Hardware Software

MultimediaContents

void main()

・・

・・}

4


マルチメディア・コンテンツと情報化社会

コンテンツ

データベース

アクセス環境

インターネット

放送

家庭・娯楽（放送など）

文化（電子図書館・

博物館・美術館）

国土（空間データ基盤 , GIS ）

教育（遠隔教育）

ビジネス(e コマース，仮想組

織 )

5


マルチメディア・コンテンツの流通の現状の課題

クリエータ

ユーザ

不正ユーザ

適切な収入が得られない

ユーザ

購入したコンテンツを不正利用

購入

不正入手

求めるサービスを適切な価格で利用できない

効果的な検索が困難

コンテンツ

データベース

登録

検索

6


マルチメディア・コンテンツ

② 内容記述・検索モデルユーザ

③ アクセス管理機構④ 配送・フィルタリング

DB

① 組織化機構

部品化・蓄積

⑤ 提示機構

⑥ 生成支援機構共有・再利用

マルチメディアコンテンツ処理技術･

7


プロジェクトの成果の例

8


マルチメディア・コンテンツの特徴 (1)

s

時間

Video image (1-D data)

Map (2-D data)Computer graphics (3-D data)

品質空間

３つの連続性

9


マルチメディア・コンテンツの特徴 (2)半構造性

Web コンテンツの場合

10


マルチメディア・コンテンツの特徴 (2)半構造性

ニュース番組の場合

•同一トピックのニュース•同一地域のニュース•同一ジャンルのニュース．．．

ニュース番組間の半構造ネットワー

ク

個々のニュース番組にも半構造性

11


マルチメディアシステム開発の要件

適応性 (Adaptation)ネットワーク環境端末環境コンテンツ制作者の意図 (author intention)ユーザの嗜好 (user preference)

個別化 (Personalization)ユーザの嗜好によるコンテンツ適応

User adaptation = Personalization

12


1. 組織化機構2. 内容記述・検索モデル3. アクセス管理機構4. 配送機構5. 提示機構6. 生成支援機構

AMCP-Project のねらい

マルチメディアデータベース　　の新しいソフトウェアプラット　　フォームの確立新分野の開拓の可能性

連続メディアの科学演出工学放送とデータベース

マルチメディア・コンテンツの高次処理の実現マルチメディアデータベースとしての高度機能

• 連続メディア，半構造メディア処理機能など

マルチメディアデータベースの 6 機構

情報の配送と提示情報組織化

情報検索

情報流通

課題へのアプローチ

情報フィルタリング

情報の組織化・構造化

コンテンツ権利処理

コンテンツのアクセス管理

情報のパーソナライゼーション

協調アノテーション

情報の検索と探査

連続メディアデータと半構造データ

14


3 研究主題と 6 機構の関わり

有木：メディア解析上原：人工知能技術

　田中：データベース技術　下條：ネットワーク技術

岸野：拡張現実技術西尾：

マルチメディアデータ工学

組織化機構内容記述・検索モデル管理機構

配送機構

提示機構

生成支援機構

組織化機構内容記述・検索モデル提示機構

内容記述・検索モデル提示機構

アクセスアーキテクチャ

知的構造化

仮想空間・拡張現実

空間の生成と活用

15


研究の方法

要素技術に関する提案とシステムの開発・実装

マルチメディア・コンテンツの特性を考慮

高次処理のための重要な要素技術の洗い出し

全体で一つの大きな統一システムの構築は

目指さない

できうるかぎり現実の具体的な応用システム

を対象とする

16


応用システムの例各研究グループでの成果が核となって構築されたシステム

– 放送番組検索のための自動索引付けシステム組織化機構

– テレビニュース，ドラマの要約版自動作成システム内容記述・検索モデル

– 建築物データサービスの版権・課金管理システム管理機構

– ニュース・オン・デマンドシステム配送機構

– 歴史的遺産のウォークスルーシステム提示機構

– インタラクティブ仮想水族館生成支援機構

17


基礎研究に関する最終成果のイメージ

従来のデータベース技術の枠組みを超えたマルチメディア・コンテンツの処理技術のための研究開発

連続性半構造性空間メディアの有効性

適応化・個別化

QoS 機構

マルチメディア・コンテンツの特性

基本アーキテクチャの提案基礎的要素技術の開発

組織化

検索

編集

管理

配送

提示

18


これまでの研究業績（平成 9 年度のプロジェクト開始以降）

– 6 件 ( ＋手続き中 2 件 )

特許出願

– 19 件 ( 一部，公開予定も含む )

公開を目的としたソフトウェア開発

– 48 件 ( うち国際会議 8 件 )

招待講演

– 5 件招待論文 ( 英文誌 )

– NGC, Vol.18, No.4, 2000

本プロジェクトを紹介した特集英文論文誌

– 90 編学術雑誌掲載論文

– 182 編国際会議録掲載論文

– 409 件

国内シンポジウム・研究会・学会大会等

– 19 編解説記事

– 4 件新聞掲載

– 2 件テレビ番組取材

– 11 回研究成果の出展

19


プロジェクト成果の要約

• 流通コンテンツを部品化する技術

• 部品から編集技術への発展

組織化精度に関する国際的な

競争で評価を得る

• コンテンツの検索に関する数学的基盤の確立 (IEEE TKDE)

• Web コンテンツの代数的な扱いへの挑戦 (ACM Hypertext)

内容記述・検索・アクセス管理

• コンテンツフィルタリングの数学的基盤の確立 (VLDB2001)

• QoS 機構に関する基盤技術の確立と大規模実験の実施

配送・フィルタリング

• 時空間を活用した効果的な提示方法の提案とシステム開発

提示学会において受賞多数

• 拡張現実＋データベース＋インタラクションの統合技術

生成支援マスコミ取材

受賞18件

20


プロジェクトの情報分野における貢献

従来のハードウェア・ソフトウェアの重要性＋

コンテンツの重要性

第2期科学技術基本計画 (2001 年開始 )

本プロジェクトはその重要性を先取りして

さまざまな成果をあげた

21


学問体系の確立に寄与

– 第 3 巻「情報の表現」– 第 5 巻「画像と空間の情報処理」– 第 6 巻「情報の可視化」– 第 7 巻「情報の共有と統合」– 第 8 巻「情報の構造化と検索」– 第 12 巻「相互の理解」

編集・執筆にプロジェクトメンバーが積極的に参画

特に以下の巻の刊行に貢献

情報学の体系の確立を目指した

岩波講座「マルチメディア情報学」（長尾，安西，岸野，西尾編）

22


国内外との連携・交流

– 継続した研究交流AMCP’98 で関連分野の著名な研究者 6 名を招聘

– 同様な国家プロジェクトを推進

オランダ CWI ， Univ.of Twente の研究グループとの交流

– 協調的な研究の継続米国 San Jose の NEC の研究所，シンガポール NUS

– 我が国のデータベース研究領域における最大規模のシンポジウム

DBWeb2000 の共催

– データベース， Web 分野の研究者との交流を図るDBWeb2001 の招待講演特別セッション ( 本報告会 )

– 2000 年 11月

「マルチメディア・コンテンツの知的構造化」研究会共催

– 意見交換，共同研究の可能性を探る

DBWeb2001 で関連分野で活発な研究を展開している研究者 5 名を招聘

23


AMCP-Project の大規模応用システム

実コンテンツと関連したプロトタイプバーチャル適塾・懐徳堂

•エデュテイメントとデータベースの一例•ＡＭＣＰプロジェクトの最終年

　　　２００１年５月完成予定大阪大学グループ大阪大学７０周年

記念事業

24


適塾塾生データベース

検索画面

人物情報画面

25


バーチャル適塾ナビゲーションシステム

大阪大学創立 70周年記念事業として作成された3次元仮想空間バーチャル適塾において効率的なウォークスルーを支援

座標系対連動法により，等身大視点と環境を大局的に眺める鳥瞰視点を関連付けて操作

26


バーチャル適塾ナビゲーションシステム

プラズマディスプレイ

プロジェクタ

半透明スクリーン

インタフェース

回転盤

スライド機構

パッド

知能情報・高度情報処理 マルチメディア・コンテンツの 高次処理の研究

Documents

知能情報・高度情報処理マルチメディア・コンテンツの高次処理の研究