ddmixer2.5d : 動画内オブジェクトを容易に操作可能な2.5次元動画編集ソフト
TRANSCRIPT
![Page 1: DDMixer2.5D : 動画内オブジェクトを容易に操作可能な2.5次元動画編集ソフト](https://reader034.vdocuments.net/reader034/viewer/2022052413/55991df21a28abd4158b461c/html5/thumbnails/1.jpg)
動画内オブジェクトを容易に操作可能な
2.5次元動画編集ソフト
![Page 2: DDMixer2.5D : 動画内オブジェクトを容易に操作可能な2.5次元動画編集ソフト](https://reader034.vdocuments.net/reader034/viewer/2022052413/55991df21a28abd4158b461c/html5/thumbnails/2.jpg)
これからは2.5次元の時代
![Page 3: DDMixer2.5D : 動画内オブジェクトを容易に操作可能な2.5次元動画編集ソフト](https://reader034.vdocuments.net/reader034/viewer/2022052413/55991df21a28abd4158b461c/html5/thumbnails/3.jpg)
2.5次元?
2次元(虚構)と3次元(現実)の狭間
フィギュア,コスプレ,声優
違います
![Page 4: DDMixer2.5D : 動画内オブジェクトを容易に操作可能な2.5次元動画編集ソフト](https://reader034.vdocuments.net/reader034/viewer/2022052413/55991df21a28abd4158b461c/html5/thumbnails/4.jpg)
2.5次元?
“2.5次元は、物体の3次元的形状を、1つの方向から見える範囲で表したもの。2次元と3次元の中間という意味でこう呼ばれる。” (Wikipediaより)
2.5次元は1方向から見た3次元
![Page 5: DDMixer2.5D : 動画内オブジェクトを容易に操作可能な2.5次元動画編集ソフト](https://reader034.vdocuments.net/reader034/viewer/2022052413/55991df21a28abd4158b461c/html5/thumbnails/5.jpg)
2.5次元動画?
•2次元動画(色)に距離情報を加えたもの
色情報 距離情報
+
![Page 6: DDMixer2.5D : 動画内オブジェクトを容易に操作可能な2.5次元動画編集ソフト](https://reader034.vdocuments.net/reader034/viewer/2022052413/55991df21a28abd4158b461c/html5/thumbnails/6.jpg)
2.5次元動画編集でどんな動画が出来るか
実際にご覧ください
![Page 7: DDMixer2.5D : 動画内オブジェクトを容易に操作可能な2.5次元動画編集ソフト](https://reader034.vdocuments.net/reader034/viewer/2022052413/55991df21a28abd4158b461c/html5/thumbnails/7.jpg)
♪ Sparkling Daydream / ZAQ
http://www.nicovideo.jp/watch/sm19916098
![Page 8: DDMixer2.5D : 動画内オブジェクトを容易に操作可能な2.5次元動画編集ソフト](https://reader034.vdocuments.net/reader034/viewer/2022052413/55991df21a28abd4158b461c/html5/thumbnails/8.jpg)
•今の動画,編集がとても大変
•同じ人が複数いたりとか
•人の周りを人がぐるぐる回るとことか
•カメラが動くとことか
ではない
編集にかかった時間は15分程度
![Page 9: DDMixer2.5D : 動画内オブジェクトを容易に操作可能な2.5次元動画編集ソフト](https://reader034.vdocuments.net/reader034/viewer/2022052413/55991df21a28abd4158b461c/html5/thumbnails/9.jpg)
動画内オブジェクトを容易に編集可能な2.5次元動画編集ソフト
機能紹介&デモ
![Page 10: DDMixer2.5D : 動画内オブジェクトを容易に操作可能な2.5次元動画編集ソフト](https://reader034.vdocuments.net/reader034/viewer/2022052413/55991df21a28abd4158b461c/html5/thumbnails/10.jpg)
2.5次元の動画を撮影
ドラッグ&ドロップ操作で動画に映ったオブジェクトを編集
![Page 11: DDMixer2.5D : 動画内オブジェクトを容易に操作可能な2.5次元動画編集ソフト](https://reader034.vdocuments.net/reader034/viewer/2022052413/55991df21a28abd4158b461c/html5/thumbnails/11.jpg)
撮影ソフト深度センサ(Kinect, XtionProLive)を用いて撮影
RGB値に加えて深度値を保存
![Page 12: DDMixer2.5D : 動画内オブジェクトを容易に操作可能な2.5次元動画編集ソフト](https://reader034.vdocuments.net/reader034/viewer/2022052413/55991df21a28abd4158b461c/html5/thumbnails/12.jpg)
編集ソフト
1.オブジェクトの切り抜き
2.オブジェクトの配置
3.オブジェクトの削除
4.タイムライン
5.カメラ移動
6.レンダリング
![Page 13: DDMixer2.5D : 動画内オブジェクトを容易に操作可能な2.5次元動画編集ソフト](https://reader034.vdocuments.net/reader034/viewer/2022052413/55991df21a28abd4158b461c/html5/thumbnails/13.jpg)
編集ソフト
1.オブジェクトの切り抜き
2.オブジェクトの配置
3.オブジェクトの削除
4.タイムライン
5.カメラ移動
6.レンダリング
![Page 14: DDMixer2.5D : 動画内オブジェクトを容易に操作可能な2.5次元動画編集ソフト](https://reader034.vdocuments.net/reader034/viewer/2022052413/55991df21a28abd4158b461c/html5/thumbnails/14.jpg)
1.オブジェクトの切り抜き
ユーザがドラッグを開始した瞬間(=クリックした時)に自動的に切り抜き処理を行う
![Page 15: DDMixer2.5D : 動画内オブジェクトを容易に操作可能な2.5次元動画編集ソフト](https://reader034.vdocuments.net/reader034/viewer/2022052413/55991df21a28abd4158b461c/html5/thumbnails/15.jpg)
1.オブジェクトの切り抜きクリック地点から上下左右+前後(フレーム)を探索していき,
深度の差が閾値以下ならオブジェクトの一部とする。
ただし、床の部分はオブジェクトに含めないようにする。
深度画像 赤い部分は床平面
![Page 16: DDMixer2.5D : 動画内オブジェクトを容易に操作可能な2.5次元動画編集ソフト](https://reader034.vdocuments.net/reader034/viewer/2022052413/55991df21a28abd4158b461c/html5/thumbnails/16.jpg)
床平面抽出・描画
• オブジェクト切り抜きの際に床を一緒に切り抜くことを防ぐため,床を検出
• RANSACでパラメータ推定
• ランダムに点を選んで,平面のパラメータ計算
• 他の点を当てはめて適合度チェック,再び↑へ
• これを繰り返してパラメータ推定
• 推定したパラメータにあわせて床を描画
![Page 17: DDMixer2.5D : 動画内オブジェクトを容易に操作可能な2.5次元動画編集ソフト](https://reader034.vdocuments.net/reader034/viewer/2022052413/55991df21a28abd4158b461c/html5/thumbnails/17.jpg)
2.オブジェクトの配置
ドロップした場所にオブジェクトを配置
![Page 18: DDMixer2.5D : 動画内オブジェクトを容易に操作可能な2.5次元動画編集ソフト](https://reader034.vdocuments.net/reader034/viewer/2022052413/55991df21a28abd4158b461c/html5/thumbnails/18.jpg)
2.オブジェクトの配置
奥行き方向の移動方法は2通り
・ドラッグ中にホイールを回す
・床にオブジェクトを接地させて奥行き方向に移動
![Page 19: DDMixer2.5D : 動画内オブジェクトを容易に操作可能な2.5次元動画編集ソフト](https://reader034.vdocuments.net/reader034/viewer/2022052413/55991df21a28abd4158b461c/html5/thumbnails/19.jpg)
編集ソフト
1.オブジェクトの切り抜き
2.オブジェクトの配置
3.オブジェクトの削除
4.タイムライン
5.カメラ移動
6.レンダリング
![Page 20: DDMixer2.5D : 動画内オブジェクトを容易に操作可能な2.5次元動画編集ソフト](https://reader034.vdocuments.net/reader034/viewer/2022052413/55991df21a28abd4158b461c/html5/thumbnails/20.jpg)
3.オブジェクトの削除
削除した後の穴を自動的に補完する
![Page 21: DDMixer2.5D : 動画内オブジェクトを容易に操作可能な2.5次元動画編集ソフト](https://reader034.vdocuments.net/reader034/viewer/2022052413/55991df21a28abd4158b461c/html5/thumbnails/21.jpg)
3.オブジェクトの削除
まず,他のフレームで見えている背景を使って補完
![Page 22: DDMixer2.5D : 動画内オブジェクトを容易に操作可能な2.5次元動画編集ソフト](https://reader034.vdocuments.net/reader034/viewer/2022052413/55991df21a28abd4158b461c/html5/thumbnails/22.jpg)
3.オブジェクトの削除
足りない部分は同フレームの似てる部分で補完深度で範囲を絞ってから近似最近傍探索
![Page 23: DDMixer2.5D : 動画内オブジェクトを容易に操作可能な2.5次元動画編集ソフト](https://reader034.vdocuments.net/reader034/viewer/2022052413/55991df21a28abd4158b461c/html5/thumbnails/23.jpg)
同フレームの似てる部分を使って補完
• 同じフレームから似た部分を引っ張ってきて補完する
• 普通に検索するととても時間がかかるので,近似最近傍探索を使う
http://gfx.cs.princeton.edu/pubs/Barnes_2009_PAR/index.php
PatchMatch: A Randomized Correspondence Algorithm for Structural Image Editing
![Page 24: DDMixer2.5D : 動画内オブジェクトを容易に操作可能な2.5次元動画編集ソフト](https://reader034.vdocuments.net/reader034/viewer/2022052413/55991df21a28abd4158b461c/html5/thumbnails/24.jpg)
2.5次元用PatchMatch• 深度による探索範囲絞込み
• 消えたものより後ろから選ぶ
• ただし,パッチ内の元から見えていた範囲の最大より後ろは無視
![Page 25: DDMixer2.5D : 動画内オブジェクトを容易に操作可能な2.5次元動画編集ソフト](https://reader034.vdocuments.net/reader034/viewer/2022052413/55991df21a28abd4158b461c/html5/thumbnails/25.jpg)
2.5次元用PatchMatch
• 色と深度を合わせて距離を計算
• PropagationとRandomSearchを繰り返して良い場所に乗り換えていく
![Page 26: DDMixer2.5D : 動画内オブジェクトを容易に操作可能な2.5次元動画編集ソフト](https://reader034.vdocuments.net/reader034/viewer/2022052413/55991df21a28abd4158b461c/html5/thumbnails/26.jpg)
編集ソフト
1.オブジェクトの切り抜き
2.オブジェクトの配置
3.オブジェクトの削除
4.タイムライン
5.カメラ移動
6.レンダリング
![Page 27: DDMixer2.5D : 動画内オブジェクトを容易に操作可能な2.5次元動画編集ソフト](https://reader034.vdocuments.net/reader034/viewer/2022052413/55991df21a28abd4158b461c/html5/thumbnails/27.jpg)
4.タイムライン
オブジェクト,ビデオ,背景,音を一覧表示
時間調整やトリミング,その他編集がここから可能
音楽と映像を同期再生しながら編集もできる
![Page 28: DDMixer2.5D : 動画内オブジェクトを容易に操作可能な2.5次元動画編集ソフト](https://reader034.vdocuments.net/reader034/viewer/2022052413/55991df21a28abd4158b461c/html5/thumbnails/28.jpg)
5.カメラ移動
固定カメラで動画を撮影した後にカメラを擬似的に移動することが可能
![Page 29: DDMixer2.5D : 動画内オブジェクトを容易に操作可能な2.5次元動画編集ソフト](https://reader034.vdocuments.net/reader034/viewer/2022052413/55991df21a28abd4158b461c/html5/thumbnails/29.jpg)
5.カメラ移動
カメラのキーポイントをタイムラインに追加していくと,
徐々にカメラが移動していく
キーポイント
![Page 30: DDMixer2.5D : 動画内オブジェクトを容易に操作可能な2.5次元動画編集ソフト](https://reader034.vdocuments.net/reader034/viewer/2022052413/55991df21a28abd4158b461c/html5/thumbnails/30.jpg)
編集ソフト
1.オブジェクトの切り抜き
2.オブジェクトの配置
3.オブジェクトの削除
4.タイムライン
5.カメラ移動
6.レンダリング
![Page 31: DDMixer2.5D : 動画内オブジェクトを容易に操作可能な2.5次元動画編集ソフト](https://reader034.vdocuments.net/reader034/viewer/2022052413/55991df21a28abd4158b461c/html5/thumbnails/31.jpg)
6.レンダリング (補間)
カメラを移動した場合など,欠落部分が出るのでレンダリング時に誤魔化す
![Page 32: DDMixer2.5D : 動画内オブジェクトを容易に操作可能な2.5次元動画編集ソフト](https://reader034.vdocuments.net/reader034/viewer/2022052413/55991df21a28abd4158b461c/html5/thumbnails/32.jpg)
6.レンダリング(補間)① 3次元点群のアップサンプリング
② 一旦2次元画像に落としてから補間処理
処理前 ① ②
![Page 33: DDMixer2.5D : 動画内オブジェクトを容易に操作可能な2.5次元動画編集ソフト](https://reader034.vdocuments.net/reader034/viewer/2022052413/55991df21a28abd4158b461c/html5/thumbnails/33.jpg)
7. 3D出力(アナグリフ)
•普通の動画だけでなく3D動画も出力可能
•カメラを左右に動かして視差画像を擬似的に生成
左視差 右視差元画像
![Page 35: DDMixer2.5D : 動画内オブジェクトを容易に操作可能な2.5次元動画編集ソフト](https://reader034.vdocuments.net/reader034/viewer/2022052413/55991df21a28abd4158b461c/html5/thumbnails/35.jpg)
2.5次元の動画を撮影
ドラッグ&ドロップ操作で動画に映ったオブジェクトを編集
![Page 36: DDMixer2.5D : 動画内オブジェクトを容易に操作可能な2.5次元動画編集ソフト](https://reader034.vdocuments.net/reader034/viewer/2022052413/55991df21a28abd4158b461c/html5/thumbnails/36.jpg)
応用・公開
![Page 37: DDMixer2.5D : 動画内オブジェクトを容易に操作可能な2.5次元動画編集ソフト](https://reader034.vdocuments.net/reader034/viewer/2022052413/55991df21a28abd4158b461c/html5/thumbnails/37.jpg)
何を目的としたソフトにするか
•「オブジェクトが簡単に編集できる!!!!」だけだとインパクトがよわい(よくわからない)
•何か目的・応用対象を設定したい
発表冒頭の動画
![Page 38: DDMixer2.5D : 動画内オブジェクトを容易に操作可能な2.5次元動画編集ソフト](https://reader034.vdocuments.net/reader034/viewer/2022052413/55991df21a28abd4158b461c/html5/thumbnails/38.jpg)
「踊ってみた動画」編集
•「踊ってみた動画」は無編集のものが多い
• “普通の部屋” “演出が物足りない”
•簡単な編集加えるだけで何か新しい面白動画が生まれるのでは
•編集対象となるオブジェクト(人)もわかりやすい
![Page 39: DDMixer2.5D : 動画内オブジェクトを容易に操作可能な2.5次元動画編集ソフト](https://reader034.vdocuments.net/reader034/viewer/2022052413/55991df21a28abd4158b461c/html5/thumbnails/39.jpg)
「踊ってみた」を編集してみた
ニコ動でいろいろ公開中(現在7件)マイリスト:http://www.nicovideo.jp/mylist/35131131
【ラブライブ!】1人で9人分Snow halation踊ってみた
http://www.nicovideo.jp/watch/sm19881172- 2013/01/21投稿 591再生20コメ10マイリス
1人で分身してSparkling Daydream
http://www.nicovideo.jp/watch/sm19599747- 2012/12/17投稿 1070再生120コメ53マイリス
![Page 40: DDMixer2.5D : 動画内オブジェクトを容易に操作可能な2.5次元動画編集ソフト](https://reader034.vdocuments.net/reader034/viewer/2022052413/55991df21a28abd4158b461c/html5/thumbnails/40.jpg)
公開中
※PointCloudLibraryというそこそこ容量あるライブラリが必要なので,既に入ってる希少な方以外は後ほどお試しください。
Ver. 0.01
http://ddm25.blogspot.jp
イメージキャラクター
![Page 41: DDMixer2.5D : 動画内オブジェクトを容易に操作可能な2.5次元動画編集ソフト](https://reader034.vdocuments.net/reader034/viewer/2022052413/55991df21a28abd4158b461c/html5/thumbnails/41.jpg)
DDMixer2.5D?
• 簡単に混ぜられるのでMixer
• DDは「Dance」「Depth」「Drag & Drop」の複数の意味
![Page 42: DDMixer2.5D : 動画内オブジェクトを容易に操作可能な2.5次元動画編集ソフト](https://reader034.vdocuments.net/reader034/viewer/2022052413/55991df21a28abd4158b461c/html5/thumbnails/42.jpg)
展望
野望
![Page 43: DDMixer2.5D : 動画内オブジェクトを容易に操作可能な2.5次元動画編集ソフト](https://reader034.vdocuments.net/reader034/viewer/2022052413/55991df21a28abd4158b461c/html5/thumbnails/43.jpg)
2.5次元を普及させたい
![Page 44: DDMixer2.5D : 動画内オブジェクトを容易に操作可能な2.5次元動画編集ソフト](https://reader034.vdocuments.net/reader034/viewer/2022052413/55991df21a28abd4158b461c/html5/thumbnails/44.jpg)
2.5次元は面白い
• 色情報(環境によって変化)に距離情報(不変)が加わるとやれることがいっぱい増える
• このシステムもその一例。2次元では無理。
• しかもKinectとかいう都合のいいデバイスが2000万台以上売れてる
•普及すれば面白い応用がいっぱい生まれるはず
![Page 45: DDMixer2.5D : 動画内オブジェクトを容易に操作可能な2.5次元動画編集ソフト](https://reader034.vdocuments.net/reader034/viewer/2022052413/55991df21a28abd4158b461c/html5/thumbnails/45.jpg)
2.5次元が普及した世界の一部
2.5次元動画投稿サイト上の動画を素材として編集
全部簡単に再編集可能に
![Page 46: DDMixer2.5D : 動画内オブジェクトを容易に操作可能な2.5次元動画編集ソフト](https://reader034.vdocuments.net/reader034/viewer/2022052413/55991df21a28abd4158b461c/html5/thumbnails/46.jpg)
2.5次元が普及した世界の一部
2次元との融和,3次元との融和
• 3次元CGのステージと現実のオブジェクトを合わせたり
• アニメに深度情報を後付けして現実にキャラクターを配置したり
2次元 3次元2.5次元 近い近い
![Page 47: DDMixer2.5D : 動画内オブジェクトを容易に操作可能な2.5次元動画編集ソフト](https://reader034.vdocuments.net/reader034/viewer/2022052413/55991df21a28abd4158b461c/html5/thumbnails/47.jpg)
まとめ
•これからは2.5次元の時代
•2.5次元で動画に映ったオブジェクトをD&Dで簡単に編集するシステムを作った
![Page 48: DDMixer2.5D : 動画内オブジェクトを容易に操作可能な2.5次元動画編集ソフト](https://reader034.vdocuments.net/reader034/viewer/2022052413/55991df21a28abd4158b461c/html5/thumbnails/48.jpg)
Welcome to 2.5D
http://www.nicovideo.jp/mylist/35131131
http://ddm25.blogspot.jp