flat cam: replacing lenses with masks and computationの解説
TRANSCRIPT
![Page 1: FLAT CAM: Replacing Lenses with Masks and Computationの解説](https://reader036.vdocuments.net/reader036/viewer/2022062823/5873da091a28abd72e8b46cb/html5/thumbnails/1.jpg)
FLAT CAMReplacing Lenses with Masks and
Computationの解説
デンソーアイティーラボラトリ関川雄介
![Page 2: FLAT CAM: Replacing Lenses with Masks and Computationの解説](https://reader036.vdocuments.net/reader036/viewer/2022062823/5873da091a28abd72e8b46cb/html5/thumbnails/2.jpg)
世界の変わったカメラたち
名前 キャッチコピーPinhole camera(BC) 紀元前に発明Pinspeck camera(BC) Pinhole camera の逆Accidental Pinhole and Pinspeck Cameras(2013) 自然に起きるピンホールカメラRandom Lens Imaging(2006) 鏡を砕いてレンズにCORNAR(2012) 見えない曲がりかどの先を見るLensless Imaging with a Controllable Aperture(2006) 光の速度で相関演算Rice Single Lens camera(2006) 1 ピクセルカメラ CS 画像応用の火付け役 ?
Pico Cam(2014) 直径髪の毛の 1/10 Flatcam(2015) 激薄 厚さ 0.5mm
![Page 3: FLAT CAM: Replacing Lenses with Masks and Computationの解説](https://reader036.vdocuments.net/reader036/viewer/2022062823/5873da091a28abd72e8b46cb/html5/thumbnails/3.jpg)
準備簡単に用語・記号の定義をします
![Page 4: FLAT CAM: Replacing Lenses with Masks and Computationの解説](https://reader036.vdocuments.net/reader036/viewer/2022062823/5873da091a28abd72e8b46cb/html5/thumbnails/4.jpg)
カメラ :シーンの情報を観測する装置
シーン観測PSF
http://av.jpn.support.panasonic.com/support/global/cs/dsc/knowhow/knowhow01.html
カメラ( 観測行列 )
注 : 観測行列は簡単のため 1 次元の場合のイメージを記載しています.カメラのセンサーは 2 次元なので,実際の観測行列はこれを循環させたものをブロック状に配置したようなものになります.次頁以降の説明も同様です.また,一部観測行列でなく PSF を記載しているスライドもあるます.
![Page 5: FLAT CAM: Replacing Lenses with Masks and Computationの解説](https://reader036.vdocuments.net/reader036/viewer/2022062823/5873da091a28abd72e8b46cb/html5/thumbnails/5.jpg)
PSF/Reconstruction• Point Spread Function(PSF): 点光源を撮影したときに得られる画像
• Reconstruction:得られた観測 yからシーン xを復元 (推定 )すること線形 / 非線形
![Page 6: FLAT CAM: Replacing Lenses with Masks and Computationの解説](https://reader036.vdocuments.net/reader036/viewer/2022062823/5873da091a28abd72e8b46cb/html5/thumbnails/6.jpg)
EXTREME CAMERASOverview
![Page 7: FLAT CAM: Replacing Lenses with Masks and Computationの解説](https://reader036.vdocuments.net/reader036/viewer/2022062823/5873da091a28abd72e8b46cb/html5/thumbnails/7.jpg)
PSF
Pinhole camera(BC)
シーン観測 カメラ( 観測行列 )
https://ja.wikipedia.org/wiki/ ピンホールカメラ
![Page 8: FLAT CAM: Replacing Lenses with Masks and Computationの解説](https://reader036.vdocuments.net/reader036/viewer/2022062823/5873da091a28abd72e8b46cb/html5/thumbnails/8.jpg)
Pinspeck camera(BC)
http://www.northlight-images.co.uk/article_pages/Canon_1ds_pinhole.html
カメラ シーン観測
PSF
![Page 9: FLAT CAM: Replacing Lenses with Masks and Computationの解説](https://reader036.vdocuments.net/reader036/viewer/2022062823/5873da091a28abd72e8b46cb/html5/thumbnails/9.jpg)
Accidental Pinhole and Pinspeck Cameras(2013)カーテンの隙間
壁の模様 : 除去したい!
http://people.csail.mit.edu/torralba/publications/shadowsIJCV.pdf
Algorithm: 窓の外の風景 = 観測 (y) の微分画像からエッジ部分 ( カーテンをしめた画像から計算)を除いた積分画像
![Page 10: FLAT CAM: Replacing Lenses with Masks and Computationの解説](https://reader036.vdocuments.net/reader036/viewer/2022062823/5873da091a28abd72e8b46cb/html5/thumbnails/10.jpg)
Pinhole Pinspeck
![Page 11: FLAT CAM: Replacing Lenses with Masks and Computationの解説](https://reader036.vdocuments.net/reader036/viewer/2022062823/5873da091a28abd72e8b46cb/html5/thumbnails/11.jpg)
Rice Single Pixel camera(2006)時刻 t におけるミラーパターン
ラスタスキャンの1/10 の観測から復元
PSF
1pixel センサー
ミラーアレー
http://dsp.rice.edu/cscamera
![Page 12: FLAT CAM: Replacing Lenses with Masks and Computationの解説](https://reader036.vdocuments.net/reader036/viewer/2022062823/5873da091a28abd72e8b46cb/html5/thumbnails/12.jpg)
Random Lens Imaging(2006)
砕いたガラス
PSF
http://people.csail.mit.edu/billf/publications/Random_Lens_Imaging.pd
![Page 13: FLAT CAM: Replacing Lenses with Masks and Computationの解説](https://reader036.vdocuments.net/reader036/viewer/2022062823/5873da091a28abd72e8b46cb/html5/thumbnails/13.jpg)
CORNAR: Looking Around Corners using Femto-Photography(2012)
http://web.media.mit.edu/~raskar/cornar/
![Page 14: FLAT CAM: Replacing Lenses with Masks and Computationの解説](https://reader036.vdocuments.net/reader036/viewer/2022062823/5873da091a28abd72e8b46cb/html5/thumbnails/14.jpg)
http://web.media.mit.edu/~raskar/cornar/
![Page 15: FLAT CAM: Replacing Lenses with Masks and Computationの解説](https://reader036.vdocuments.net/reader036/viewer/2022062823/5873da091a28abd72e8b46cb/html5/thumbnails/15.jpg)
Lensless Imaging with a Controllable Aperture(2006)
http://www1.cs.columbia.edu/CAVE/projects/pi_con/
光の速度で相互相関を計算
透明ディスプレー
PSF
![Page 16: FLAT CAM: Replacing Lenses with Masks and Computationの解説](https://reader036.vdocuments.net/reader036/viewer/2022062823/5873da091a28abd72e8b46cb/html5/thumbnails/16.jpg)
PicoCam(2014)PSF
CCD
PicoCamhttp://arxiv.org/pdf/1509.00116v2.pdf
![Page 17: FLAT CAM: Replacing Lenses with Masks and Computationの解説](https://reader036.vdocuments.net/reader036/viewer/2022062823/5873da091a28abd72e8b46cb/html5/thumbnails/17.jpg)
FLAT CAMERAOverview
![Page 18: FLAT CAM: Replacing Lenses with Masks and Computationの解説](https://reader036.vdocuments.net/reader036/viewer/2022062823/5873da091a28abd72e8b46cb/html5/thumbnails/18.jpg)
FlatCam: Replacing Lenses with Masks and Computation(2015)
PSF
http://news.rice.edu/2015/11/23/no-lens-no-problem-for-flatcam-2/
![Page 19: FLAT CAM: Replacing Lenses with Masks and Computationの解説](https://reader036.vdocuments.net/reader036/viewer/2022062823/5873da091a28abd72e8b46cb/html5/thumbnails/19.jpg)
うれしさ (vs conventional camera)
明るい 安い 薄い薄い
![Page 20: FLAT CAM: Replacing Lenses with Masks and Computationの解説](https://reader036.vdocuments.net/reader036/viewer/2022062823/5873da091a28abd72e8b46cb/html5/thumbnails/20.jpg)
うれしさ (vs other Lens Less cameras)
vs Coded Lens(SIGGRAPH2014)
vs PicoCam
薄い
明るい
![Page 21: FLAT CAM: Replacing Lenses with Masks and Computationの解説](https://reader036.vdocuments.net/reader036/viewer/2022062823/5873da091a28abd72e8b46cb/html5/thumbnails/21.jpg)
復元結果
demo video
![Page 22: FLAT CAM: Replacing Lenses with Masks and Computationの解説](https://reader036.vdocuments.net/reader036/viewer/2022062823/5873da091a28abd72e8b46cb/html5/thumbnails/22.jpg)
ポイント1. コンパクトな H/W設計2.高速な復元⇨ 30fps
1. レンズ設計2. Calibration3. Reconstruction
CCD
Coded Aperture
![Page 23: FLAT CAM: Replacing Lenses with Masks and Computationの解説](https://reader036.vdocuments.net/reader036/viewer/2022062823/5873da091a28abd72e8b46cb/html5/thumbnails/23.jpg)
レンズ (マスクパターン )設計
従来法:システム行列が巨大
マスクパターン :M 系列の外積
(Rank1)( 注 ) システム行列≠ Rank1
小さなシステム行列のサンドイッチに分解 高速な復元を実現
M 系列: 特異値スペクトルがフラット
ポイント
![Page 24: FLAT CAM: Replacing Lenses with Masks and Computationの解説](https://reader036.vdocuments.net/reader036/viewer/2022062823/5873da091a28abd72e8b46cb/html5/thumbnails/24.jpg)
Calibration=:システム行列を求める
ポイントシーン X がSeparable=rank1
h:Hadmard 行列の列 観測の rank1 近似
![Page 25: FLAT CAM: Replacing Lenses with Masks and Computationの解説](https://reader036.vdocuments.net/reader036/viewer/2022062823/5873da091a28abd72e8b46cb/html5/thumbnails/25.jpg)
![Page 26: FLAT CAM: Replacing Lenses with Masks and Computationの解説](https://reader036.vdocuments.net/reader036/viewer/2022062823/5873da091a28abd72e8b46cb/html5/thumbnails/26.jpg)
Reconstruction(最小二乗誤差 )
小さな行列との積による高速な復元処理 (>15FPS! ) ポイント
Separable Mask による効果
![Page 27: FLAT CAM: Replacing Lenses with Masks and Computationの解説](https://reader036.vdocuments.net/reader036/viewer/2022062823/5873da091a28abd72e8b46cb/html5/thumbnails/27.jpg)
その他の復元方法との比較Tiknov 正則化 : 75ms/frame LS と同じ位の計算量で十分綺麗
TV 正則化 : 75s/frame エッジが少し綺麗 ?
![Page 28: FLAT CAM: Replacing Lenses with Masks and Computationの解説](https://reader036.vdocuments.net/reader036/viewer/2022062823/5873da091a28abd72e8b46cb/html5/thumbnails/28.jpg)
参考資料
![Page 29: FLAT CAM: Replacing Lenses with Masks and Computationの解説](https://reader036.vdocuments.net/reader036/viewer/2022062823/5873da091a28abd72e8b46cb/html5/thumbnails/29.jpg)
関連論文&サイト一覧本資料の画像は以下のサイト若しくは論文のものを使用しています.• http
://news.rice.edu/2015/11/23/no-lens-no-problem-for-flatcam-2/
• http://www.northlight-images.co.uk/article_pages/Canon_1ds_pinhole.html
• http://people.csail.mit.edu/torralba/publications/shadowsIJCV.pdf
• http://people.csail.mit.edu/billf/publications/Random_Lens_Imaging.pd
• http://dsp.rice.edu/cscamera• http://arxiv.org/pdf/1509.00116v2.pdf• http://web.media.mit.edu/~raskar/cornar/• http://doshomachi.net/camera-obscura/• http://fluid.media.mit.edu/sites/default/files/a59-sckikawa.pdf