タイルドディスプレイのためのタブレット端末を用いた

シームレスな操作手法の開発

鈴木拓馬1、◯清川清1,2 、竹村治雄1,2

1大阪大学 大学院情報科学研究科2大阪大学 サイバーメディアセンター

1

研究の背景• タイルドディスプレイ(Tiled Display Walls, TDW)

– 大規模で複雑なデータの可視化などの用途で注目• SAGE[1] など TDW 用ミドルウェアの研究開発が盛ん

2

[1] L. Renambot, A. Rao, A., R. Singh, B. Jeong, N. Krishnaprasad, V.Vishwanath, V. Chandrasekhar, N. Schwarz, A. Spale, C. Zhang, G.Goldman, J. Leigh, and A. Johnson, ``SAGE: the Scalable AdaptiveGraphics Environment,'' in Proceedings of the 4th Workshop on Advanced Collaborative Environments (WACE), 2004.

スレーブノード

マスターノード

縦4 × 横6の24面 TDW高さ2.4 m , 幅6.5 m

サイバーメディアセンター大型可視化装置（大阪大学吹田キャンパス）

タイルドディスプレイの問題点 1

画面から離れた位置画面全体を閲覧可能

テキストやカーソルなどの詳細な情報は閲覧不可能

3

情報に応じて前後左右に頻繁に移動する必要性⇒立位でのマウスやキーボードの使用は困難

画面から近い位置テキストやカーソルなどの詳細な情報を閲覧可能

画面の一部しか閲覧不可能

タイルドディスプレイの問題点 2• スレーブノードでは TDW 用ミドルウェアは使用不可– スレーブノードごとに入力先を切り替える必要性– アプリケーションウィンドウは他列に移動不可

• 離れたディスプレイ間の作業では何度も往復する必要がありユーザの身体的・心理的負荷が大きい

4

関連研究

5

Badam らの研究[3]・タブレット端末を用いて専用アプリケーションを閲覧・操作する研究

・文字入力は可能、入力先切替えは不可。・ネイティブアプリの操作は不可能。[3]S. K. Badam, E. Fisher, and N. Elmqvist, “Munin: A peer-to-peer middleware for ubiquitous analytics and visualization spaces,” IEEE Transactions on Visualization and Computer Graphics, Vol. 21, No. 2, pp. 215–228, 2015.

Cheng らの研究[2]・タブレット端末を用いて専用アプリケーションを閲覧・操作する研究。

・文字入力は不可能。・ネイティブアプリの操作は不可能。

[2]K. Cheng, J. Li, and C. M¨uller-Tomfelde, “Supporting interaction and collaboration on large displays using tablet devices,” in Proceedings of ACM International Working Conference on Advanced Visual Interfaces, pp. 774–775, 2012.

研究の目的以下の要件を満たすシステムを実現し作業時間の短縮・作業負荷の軽減を目指す

• ネイティブアプリに対応（ミドルウェア不要）• 立位に適した操作• 立ち位置に依らない情報閲覧• TDW全体の一括操作

6

提案システム• タブレット端末を用いた TDW の操作システム

– 全てのスレーブノードに同時に VNC 接続

7

クライアント：HTML5 対応ブラウザ(Google Chrome)

サーバ：ThinVNC

スレーブノード

VNC接続

iframeタブレット端末(Microsoft Surface Pro3 )

機能1 映像の閲覧・操作• TDW 全体の映像の閲覧• 映像の拡大・縮小• カーソル操作・文字入力

8

機能2 画像の部分抽出• タッチした2点を対角とする矩形範囲を画像オブジェクトとして抽出– 画像オブジェクトを移動させることでディスプレイ間の比較検討作業を易化

9

評価実験• 実験概要

– 左端の列に表示される読取り用GUIから入力情報を読み取り他列に表示される設定用GUIに入力を行う

10読取り用GUI

設定用GUI

入力情報

評価実験

11列A 列B 列C 列D 列E 列F

読取り用GUI 設定用GUI

• 被験者6名• マウス・キーボード（手法MK）と提案手法（手法TB）で比較

• 列Aに読取り用GUIを表示• 列B～列Fに設定用GUIを表示

実験の様子1

12

手法MK（従来手法） 手法TB（提案手法）

実験の様子2

13

手法MK（従来手法） 手法TB（提案手法）

頻繁な移動が必要 移動はほぼ不要

実験結果1 作業時間• 各列における設定用GUIの編集所要時間

14

0

50

100

150

B C D E F

手法MK手法TB

*

(秒)

+

列Cにおいて作業時間を短縮

実験結果2 身体的負荷• 手法ごとの歩数

15

0100200300400

手法MK 手法TB

**(歩)

歩数を 97% 削減身体的負荷の軽減を実現

列B 列C 列D 列E 列F1

2

3

4

5

手法MK手法TB

実験結果3 心理的負荷• 各列における編集作業のしやすさ

(5：とても編集しやすい、3：どちらともいえない、1:とても編集しにくい)

16

**** ***

列C～Fにおいて心理的負荷を軽減

まとめ• タブレット端末を用いたTDWの操作手法を提案

– ネイティブアプリに対応（ミドルウェア不要）– 立位に適した操作手法– 立ち位置に依らない情報閲覧– TDW全体の一括操作

• 評価実験により提案手法の性能を評価– 比較検討作業の一部において作業時間を短縮– 被験者の身体的・心理的負荷を軽減

• 今後の展望– 通信負荷軽減によるタブレット端末の応答性の向上– 画像オブジェクトのサイズ調整・リアルタイム更新

17

30