sword tracer : visualization of sword trajectories …sword tracer : visualization of sword...

6
02 報告 フェンシングの剣先表示システム (ソードトレーサー) 高橋正樹  横澤真介  三ッ峰秀樹 Sword Tracer : Visualization of Sword Trajectories in Fencing Masaki TAKAHASHI, Shinsuke YOKOZAWA and Hideki MITSUMINE ABSTRACT 2 020年を見据えて,スポーツ競技の分析や理解 に対するニーズが高まっている。中でもフェンシ ングは,剣が高速で移動するため,スロー映像でもプ レーの詳細を理解することが困難な競技である。そこ で,赤外映像中から剣先領域を自動追跡し,その移動 軌跡をCG(Computer Graphics)でリアルタイムに 描画するシステム(ソードトレーサー)を開発した。赤 外画像と可視画像を同じ光軸で撮影可能なカメラを開 発し,赤外画像上の剣先領域を機械学習により追跡し て軌跡を描画した。2017年全日本フェンシング選手 権大会において,本システムを初めて運用し,放送に 使用した。本稿では,本システムの概要,評価実験の 結果,および中継での実運用の結果について報告する。 T his paper describes a system for visualizing sword trajectories in fencing. Fencing swords are very thin and move so fast that it is difficult for audiences to follow their movements. The system thus tracks the tips of the swords in the image coordinates and visualizes their movements with computer graphics (CGs). We call it “Sword Tracer.” Sword Tracer measures each sword’s position in the infrared (IR) image by detecting IR light reflected from reflective tape put on the tip of the sword. The system composites the trajectory CGs of the sword tips on the broadcast image in real-time. The system was used in the broadcast of the All Japan Fencing Championships in 2017 for the first time. 37 NHK技研 R&D No.173 2019.1

Upload: others

Post on 22-May-2020

38 views

Category:

Documents


0 download

TRANSCRIPT

02報 告フェンシングの剣先表示システム

(ソードトレーサー)高橋正樹  横澤真介  三ッ峰秀樹

Sword Tracer : Visualization of Sword Trajectories in FencingMasaki TAKAHASHI, Shinsuke YOKOZAWA and Hideki MITSUMINE

要   約 A B S T R A C T

2 020年を見据えて,スポーツ競技の分析や理解に対するニーズが高まっている。中でもフェンシ

ングは,剣が高速で移動するため,スロー映像でもプレーの詳細を理解することが困難な競技である。そこで,赤外映像中から剣先領域を自動追跡し,その移動軌跡をCG(Computer Graphics)でリアルタイムに描画するシステム(ソードトレーサー)を開発した。赤外画像と可視画像を同じ光軸で撮影可能なカメラを開発し,赤外画像上の剣先領域を機械学習により追跡して軌跡を描画した。2017年全日本フェンシング選手権大会において,本システムを初めて運用し,放送に使用した。本稿では,本システムの概要,評価実験の結果,および中継での実運用の結果について報告する。

T h is paper descr ibes a sys tem for visualizing sword trajectories in fencing.

Fencing swords are very thin and move so fast that it is difficult for audiences to follow their movements. The system thus tracks t h e t i p s o f t h e s w o r d s i n t h e i m a g e coordinates and visualizes their movements with computer graphics (CGs). We call it “Sword Tracer.” Sword Tracer measures each sword’s position in the infrared (IR) image by detecting IR light reflected from reflective tape put on the tip of the sword. The system composites the trajectory CGs of the sword tips on the broadcast image in real-time. The system was used in the broadcast of the All Japan Fencing Championships in 2017 for the first time.

37NHK技研 R&D ■ No.173 2019.1

1.はじめに

2020年を見据えてスポーツ競技への関心が高まっており,これに伴いスポーツ映像の分析を目的とした映像解析技術に注目が集まっている。中でもフェンシングは,選手が細い剣を高速に操るため,その勝敗をカメラ映像から理解することが困難であり,視認性を高める新たな映像表現が求められている。そこで,フェンシングの剣先軌跡を分かりやすく可視化するシステム(ソードトレーサー)を開発した1)。

このシステムは,赤外映像上で剣先からの赤外反射光を検出し,その位置座標を基に軌跡CGを描画して,放送カメラ映像へリアルタイムに合成する。当所では,NHK放送技術局と連携して赤外・可視一体型カメラを開発し,カメラ1台による軌跡合成映像の制作を可能とした。また,オブジェクト追跡技術を用いて,赤外反射光の高精度な検出を可能とした。具体的には,機械学習を用いて剣先以外のノイズ領域の影響を抑えながら,予測アルゴリズムを用いて各々の選手の剣先を頑健に追跡した。

2017年全日本フェンシング選手権大会において本システムを初めて運用し,軌跡合成映像を放送に使用した。さらに

「スポーツイノベーション」や「超人たちのパラリンピック」などの収録番組においても,剣先軌道を可視化し,選手の技術や戦術を分かりやすく解説した。

2.従来手法と課題

フェンシングの剣は細く,また高速移動時にはモーションブラー(動きのぼやけ)が生じて背景の画像領域に溶け込むため,カメラ画像から視認できないことが多い。このことは,映像解析においても同様で,通常の放送映像からの剣先検出は非常に困難な課題である。このような可視カメラ映像からの計測困難なオブジェクト(対象物)の位置計測には,光学式モーションキャプチャーシステムが用いられることが多い。このシステムでは,反射マーカーを身体や追跡対象に貼り,複数の赤外線カメラから照射した赤外線の反射光を赤外画像上で検出し,三角測量の原理を用いて各マーカーの3次元位置を計測する2)。外乱となる他の赤外照明や,計測対象以外の反射素材がない撮影環境では,赤外画像の背景が平坦となるため,可視画像よりも高い精度でマーカーを検出することが可能である。ただし,安定運用には多数の赤外線カメラが必要になるため,スポーツの公式試合での運用は難しい。

剣先は細く,また高速移動するため,赤外映像からの剣先検出にも課題が生じる。赤外映像には,剣先からの反射光以外にも,選手のユニフォームや剣のガード部分(手を

保護するための金属製のつば)からの反射光が含まれる。これらのノイズ領域の影響を抑えながら,剣先のみを高精度に検出する必要がある。また,フェンシングは2人で行われるため,2つの剣先領域を区別しながら追跡する必要がある。さらに,プレー直後に剣先軌跡を表示するためには,上記のすべてをリアルタイムで処理する必要がある。

映像から特定のオブジェクトを追跡する技術は古くから研究されており,近年では機械学習を用いた高精度な追跡手法が提案されている3)~7)。この手法は,追跡対象の画像特徴を事前に学習しておく事前学習型追跡手法と,フレームごとに学習し直す逐次学習型追跡手法に分けられる。逐次学習型追跡手法は,頑健な追跡処理が可能な反面,識別器の更新に多くの処理時間が必要となる。一方,事前学習型追跡手法は,識別器の更新が不要なため高速処理が可能であり,リアルタイム処理が求められる生中継での追跡処理に適している。本提案では,生中継での利用を考慮し,事前学習型追跡手法とともにパーティクルフィルター(後述)による位置予測処理を適用し,高速かつ頑健な剣先追跡処理を実現した。

3.提案システム

3.1 システムの概要本システムの系統図を1図に示す。まず,選手の剣先の

2cm程度の範囲に再帰性反射素材のテープを貼る。再帰性反射素材は,光源から入射した光線を光源方向に強く反射する光学特性を持つ材料である。フルーレ種目*1では,剣先の15cm以上をテープなどで絶縁する必要があるため,反射テープの使用はルールに抵触しない。

続いて赤外・可視一体型カメラから赤外線投光器で赤外線を照射し,剣先の反射テープからの反射光を赤外カメラで撮影する。そして,赤外画像上で両選手のそれぞれの剣先反射光を検出・追跡し,取得した剣先位置に基づいて軌跡CGを描画する。最後に,CG画像を可視画像へ映像合成器(インサーター)により合成し,軌跡合成映像として出力する。

本システムでは撮影から追跡処理,CG描画,出力までをリアルタイムで処理するため,生中継にも利用できる。

3.2 赤外・可視一体型カメラ赤外・可視一体型カメラの外観とブロック図を2図に示

す。本システムで扱う赤外光(IR:Infrared)は,中心波長850nmの近赤外域の光である。放送用レンズから入射した光は分光プリズムを通して赤外光と可視光に分かれ,赤外

*1 フェンシングの3種目のうち,最も基本的となる突きだけを用いる種目。

38 NHK技研 R&D ■ No.173 2019.1

カメラと可視光カメラ(放送用)へそれぞれ入射する。この光学的構造により,画角の等しい赤外画像と可視画像を取得できる。これにより,軌跡CGを描画する際の座標変換は不要となり,赤外画像上で検出した剣先位置に軌跡CGを描画し,可視画像へそのまま合成できる。一般的な他の光学式モーションキャプチャーシステム2)とは異なり,1台のカメラで軌跡合成映像を作成できるため,運用性に優れている。事前のカメラキャリブレーション作業も不要であり,運用時にはカメラを自由に操作(パン,チルト,ズーム)できる。

3.3 剣先検出・追跡処理赤外画像には,選手のユニフォームや剣のガード部分な

ど,剣先の反射テープからの光以外にも多くの反射光が含まれる。これらが安定した追跡を阻害する要因となるため,

機械学習を用いて剣先検出の高精度化を図った。剣先検出・追跡処理の概要を3図に示す。3図の処理は,

学習フェーズと運用フェーズから成る。本システムにおける機械学習は,前述の事前学習型に分類される。

学習フェーズにおいては,剣先と非剣先の画像を1,000枚程度収集し,各画像からローカルバイナリーパターン8)*2等の低次元画像特徴を抽出した。これらの画像特徴を入力とし,サポートベクターマシン(Support Vector Machine:SVM)9)*3により,剣先/非剣先の識別器を作成した。

運用フェーズにおいては,赤外画像中から剣先の候補領

2図 赤外・可視一体型カメラ

*2 局所的な輝度の分布を,バイナリーコードとして捉えた画像特徴量。

*3 線形しきい素子を利用して,データを2つのクラスに分類するパターン識別器を構成する手法。

1図 本システムの系統図

反射テープ赤外線投光器

可視映像

赤外映像

赤外映像 軌跡合成映像

反射光

軌跡CG

反射テープ

赤外・可視一体型カメラ インサーター

PC (追跡/描画)

ソードトレーサー

赤外LED

放送用レンズ分光アダプター

赤外カメラ(ヘッド)

可視カメラ

赤外カメラ赤

外LED

放送用

レンズ

分光アダプター

分光プリズム IR

RGB可視カメラ(放送用)

赤外画像

可視画像

同じ画角

39NHK技研 R&D ■ No.173 2019.1

域を抽出し,各領域が剣先か否かを2クラス判定*4した。この処理により,ノイズ領域の誤検出を軽減した。また低次元(64次元)の画像特徴を用いたことにより,放送カメラのフレームレート(59.94コマ/秒)での識別が可能となった。

また,フェンシングは2人で行われるため,複数の反射光を追跡する必要がある。そこで2つの探索範囲を用意し,それぞれの探索範囲内で剣先を探索した。探索範囲の位置,サイズ,形の決定には,予測アルゴリズムの一種であるパーティクルフィルター10)*5を用いた。そして,剣先の検出位置と各パーティクルが予測した位置との距離から尤度を算出し,パーティクル尤度*6の重み付き平均で次フレームの予測位置を定めた。また,パーティクルの分布に応じて探索範囲の大きさや形状を随時変更し,2つの剣先を頑健に識別した。この探索範囲の利用により,処理の高速化と追跡精度向上の双方を実現でき,生中継での運用が可能となった。

4.実験

開発したシステムの性能を評価するために,フェンシング映像(10シーケンス)を用いた実験を行った。各シーケンスで,剣先の検出位置と手動アノテーション*7による正解データとの平均誤差(pixel),およびフレームごとの平均処理時間

(msec/frame)を算出した。また,従来手法として2種類の逐次学習型追跡手法(MIL, KCF)を用意し,それらとの性能を比較した。

MIL(Multiple Instance Learning)は追跡対象の周辺領域から正例,外側領域から負例を抽出しながら識別器を毎フレーム更新する手法であり11),学習データの誤りにも頑健

に対応できるという特徴を有する。一方,KCF(Kernelized Correlation Filter)は,巡回行列*8を用いて処理速度を飛躍的に高めた逐次学習型追跡手法であり,最先端の追跡手法の1つとされている12)。

評価結果を1表に示す。平均誤差,処理速度ともに,提案手法が最も良い結果が得られた。フェンシングの剣先は動きが速く,毎フレーム識別器を更新する逐次型追跡手法では安定した追跡が困難であった。また,一度追跡に失敗すると,更新後の識別器による再検出が難しく,検出誤差が広がる傾向があった。これに対して,事前学習型追跡手法を用いた本システムは,識別器の更新が不要であるため高速に動作し,剣先の速い動きにも対応できた。また追跡に失敗した際も,パーティクルの分布に応じて探索範囲を

*4 “真”か“偽”かの2種類にグループ分けする分類作業。

*5 動的システムの状態推定問題を,多数の粒子(パーティクル:状態空間内のベクトル)の数値計算により近似的に解く方法。

*6 各パーティクルのもっともらしさの度合い。

*7 人手によりメタデータ(あるデータについて記述したデータ)を付与すること。

*8 各行ベクトルが,1つ前の行ベクトルの各要素を1つずらしたベクトルとなっている行列。

3図 剣先検出・追跡処理

1表 追跡性能の比較MIL11) KCF12) 提案手法

平均誤差(pixel) 127.6 42.0 5.7

処理速度(msec/frame) 54.6 11.2 2.8

学習フェーズ

SVM識別器

学習

運用フェーズ

剣先

非剣先

剣先候補の抽出 剣先検出

40 NHK技研 R&D ■ No.173 2019.1

また,2018年5月のNHK技研公開では,フェンシングの実演を基に,剣先軌跡映像を作成した。その例を5図に示す。

6.まとめ

フェンシングの剣先軌跡をリアルタイムで可視化する装置(ソードトレーサー)を開発した。赤外画像と可視画像を同じ光軸で撮影可能なカメラを独自に開発し,赤外画像から機械学習を用いて剣先の反射光を追跡した。第70回全日本フェンシング選手権で初めて運用し,公式試合での選手の剣先軌跡を可視化した。さらに収録番組でも競技解説に利用し,活用の幅を広げた。

今後は,追跡性能の更なる改善を図るとともに,他競技への応用を視野に入れた改修を行う予定である。

本稿は,ACM SIGGRAPH Proceedingsに掲載された以下の論文を元に加筆・修正したものである。M. Takahashi, S. Yokozawa, H. Mitsumine, T. Itsuki, M. Naoe and S. Funaki:“Sword Tracer: Visualization of Sword Trajectories in Fencing,” Proc. ACM SIGGRAPH 2018, doi: 10.1145/3214745.3214770, 2018.

拡大することで,頑健に再追跡することができた。以上の結果より,本システムがフェンシング中継において有効に機能することを確認できた。

5.中継での実運用

本システムを2017年12月の第70回全日本フェンシング選手権大会において初めて運用した。競技場から25m離れた2階の観客席に赤外・可視一体型カメラを設置し(4図(a)),試合を撮影した。撮影した可視映像と赤外映像を操作ブース(4図(b))へ送り,PC(パソコン)で剣先の反射光を追跡しながら軌跡CGを描画し,元の可視映像へリアルタイムで合成した。さらに,作成した軌跡合成映像を中継車へ伝送し,収録機で常時収録した。

試合中,得点シーンなどの特徴的なプレーの直後に,収録した軌跡合成映像をスロー再生した。公式試合での剣先軌跡表示は,今回が初の試みであり,視聴者からは「軌跡表示によって試合内容が分かりやすくなった」という好評を得た。また「スポーツイノベーション」や「超人たちのパラリンピック」などの収録番組でも軌跡合成映像を利用し,剣先の動きに現れる選手同士の駆け引きを,軌跡を基に詳細に解説した。

4図 第70回全日本フェンシング選手権大会におけるシステムの外観

5図 剣先軌跡の合成映像例 (2018年のNHK技研公開)

赤外・可視一体型カメラ

(a)2階客席に設置したカメラ (b)操作ブース

41NHK技研 R&D ■ No.173 2019.1

参考文献 1) M. Takahashi, S. Yokozawa, H. Mitsumine, T. Itsuki, M. Naoe and S. Funaki:“Sword Tracer: Visualization of Sword Trajectories in Fencing,” Proc. ACM SIGGRAPH 2018, doi: 10.1145/3214745.3214770, 2018.

2) G. B. Guerra-Filho:“Optical Motion Capture: Theory and Implementation,” Journal of Theoretical and Applied Informatics (RITA),Vol.12,pp.61-90 (2005)

3) M. Kristan, A. Leonardis, J. Mates, M. Felsberg, R. Pflugfelder, et al.:“The Visual Object Tracking VOT2017 Challenge Results,” Proc. International Conference on Computer Vision Workshop (ICCV2017 Workshop),pp.1949-1972 (2017)

4) Al-Hussein, A. El-Shafie and S. E. D. Habib:“A Survey on Hardware Implementations of Visual Object Trackers,” arXiv:1711.02441 (2017)

5) M. Parmar:“A Survey of Video Object Tracking Methods,” International Journal of Engineering Development and Research (IJEDR),Vol.4,No.1,pp.519-524 (2016)

6) A. W. M. Smeulders, R. Cucchiara and A. Dehghan:“Visual Tracking: An Experimental Survey,” IEEE Trans. Pattern Anal. & Mach. Intell.,Vol.36,No.7,pp.1442-1468 (2014)

7) B. Deori and D. M. Thounaojam:“A Survey on Moving Object Tracking in Video,” International Journal on Information Theory (IJIT),Vol.3,No.3,pp.31-46 (2014)

8) T. Ojala, M. Pietikäinen and T. T. Mäenpää:“Multiresolution Gray-scale and Rotation Invariant Texture Classification with Local Binary Pattern,” IEEE Trans. on Pattern Anal. & Mach. Intell.,Vol.24,No.7,pp.971-987 (2002)

9) G. Anusha and E. G. Julie:“Improving the Performance of Video Tracking Using SVM,” Proc. International Journal of Engineering Trends and Technology (IJETT),Vol.11,No.3,pp.133-139 (2014)

10) M. S. Arulampalam, S. Maskell, N. Gordon and T. Clapp:“A Tutorial on Particle Filters for Online Nonlinear/Non-Gaussian Bayesian Tracking,” IEEE Trans. Signal Process.,Vol.50,No.2,pp.174-188 (2002)

11) B. Babenko, M. H. Yang and S. Belongie:“Robust Object Tracking with Online Multiple Instance Learning,” IEEE Trans. Pattern Anal. & Mach. Intell.,Vol.33,No.8,pp.1619-1632 (2011)

12) M. Tang and J. Feng:“Multi-kernel Correlation Filter for Visual Tracking,” Proc. International Conference on Computer Vision (ICCV2015),pp.3038-3046 (2015)

高たか

橋はし

正まさ

樹き

横よこ

澤ざわ

真しん

介すけ

1999年入局。山形放送局を経て,2002年から放送技術研究所において,被写体の認識・追跡,人物の動作認識,スポーツ映像解析の研究に従事。現在,放送技術研究所空間表現メディア研究部に所属。博士(情報学)。

2012年入局。福岡放送局を経て,2015年から放送技術研究所において,コンピュータービジョン,次世代衛星放送システムの研究に従事。現在,放送技術研究所伝送システム研究部に所属。

三み

ッつ

峰みね

秀ひで

樹き

1991年入局。名古屋放送局を経て,1993年から放送技術研究所において,被写体の映像部品化,映像合成,バーチャルスタジオ,スポーツ映像表現の研究に従事。現在,放送技術研究所空間表現メディア研究部上級研究員。博士

(工学)。

42 NHK技研 R&D ■ No.173 2019.1