指による構図決定の 写真撮影方法の提案

See the world through your hands

Leon & Matilda

メンバー紹介 ニックネーム Leon Matilda

本名 Wei He Bui Duc Binh

大学･専攻 早稲田大学 基幹理工研究科 情報理工･情報通信専攻

研究分野 C++の自動並列化コンパイラ Androidの電力制御

好きなスポーツ 登山 バドミントン

役割分担 画像処理･サーバー 端末アプリ･通信

背景 未来の流行：ウェアラブル端末

Google Glass

LG G Watch

東芝グラス

写真撮影機能が重要

素早く

簡単に

いつでもどこでも

作成物 Google Glassのアプリ

指で構図決定出来るカメラ

特徴 一瞬をキャッチ

瞬時に撮影可能

チャンスを逃さず

ハンズフリーな操作

手が汚れても操作可能

自由に構図決定

指のみ

直感的

可愛い猫がいたのに、カメラを取り出したら

逃げてしまった

手が濡れてカメラ触りた

くない

既存デバイスとの比較 提案手法 既存のカメラ

撮影手順 手で構図決定→撮影命令 取り出し→カメラ起動→構図決定→撮影ボタン押下

一瞬キャッチ 速い 遅い

操作性 直感的 複雑

接触性 ハンズフリー ボタン操作必須

ファインダー 目そのもの モニターなど

機能

Take this picture

画像処理(重い)

指で範囲指定 写真撮影

処理後の写真表示

画像処理の検証 画像処理の検証

テストサンプル

総件数

38件

正解画像

30件

不正画像

8件

精度：87%

採用技術 Google Glass

GDK

サーバー

Apache Tomcat

JNA (Java Native Access)

JavaからCライブラリをアクセス

画像処理

C++

OpenCV

処理モデル 処理モデル：重い処理をサーバーに委任

Google Glass

I/O、画面描写のみ

サーバー

画像処理

分離の理由

Google Glass

処理能力不足

オーバーヒート対策

電力削減 → バッテリー長持ち

画像処理 (1/4) 肌領域の抽出

肌領域の抽出

メディアンフィルタでノイズリダクション

HSVで閾値を定めて2値画像で肌領域抽出

拡大･縮小でノイズリダクション

画像処理 (2/4) 手領域の決定

手領域の決定

肌領域の輪郭を抽出

輪郭内部の空洞を塗りつぶし

距離画像に変換

最も遠い点を含む2つの領域を手と決定

画像処理 (3/4) 指先の位置の決定

指先の位置の決定

手の輪郭を等間隔でリサンプル

輪郭の曲率より指の候補を探索

手の中心から最も遠い2点を指先と決定

画像処理 (4/4) 出力領域の探索

出力領域の探索

指で囲む四角を特定

指領域を分割

K平均法

指を含まない最大の四角を探索

工夫した点･苦労した点 工夫した点

消費電力の考慮

重い処理をサーバーに委任

通信量の削減

画像圧縮

レスポンスは領域情報のみ

画像処理

テストを重ねてパラメーターの最適化

不正画像の検出

苦労した点

テスト･評価

Google Glassのエミュレーターがない

画像処理

手の領域抽出

指先認識

まとめと課題 まとめ

写真撮影方法の提案

指で範囲指定

素早く撮影可能

不接触で撮影

処理モデル

重い処理をサーバーで動作

Google GlassにI/Oのみ

電力削減

課題

画像認識の精度向上

肌色の物体

手の型

斜め領域の対応

処理速度の向上