deep learningを使って前立腺のセグメンテーションからvr化
TRANSCRIPT
Holoeyes Inc.
医師はこのようなシーケンスから頭の中で3次元の構築をしています
https://www.youtube.com/watch?v=ncAkc1yaJPw
肝臓がん術前カンファレンス 都立墨東病院
https://www.youtube.com/watch?v=nrYlsSldXSM&t=9s
前立腺ガン
Segmentation
Introduction• 医療画像セグメンテーション
– CT画像やMRIから特定臓器、病変部位を抽出
• 目的– セグメンテーションの自動化
• 手動/半自動のセグメンテーション– 自動診断システムの開発– 指標の定量化
• 盛んな研究分野の一つ– 機械学習・ディープラーニング技術の発達– 医療関連
先行研究/公開データセットの調査• ターゲット
– 前立腺、肝臓、膵臓、歯
• 先行研究– 2015年以降の16報
• 公開データセット– 17データセット
先行研究例• Holger R. Roth, et al. 2015
– 膵臓– SLIC + CNN
• O. Ronneberger, et al 2015– 歯科– UNet
先行研究例• P. F. Christ, et al. 2017
– 肝臓– UNet + CRF
• F. Milletari, et al 2016– 前立腺– VNet
医療画像セグメンテーションの特徴• データセット
– セット数が少ない: 大体数十セット• 論文16報• 公開データセット 15セット
– PROMISE12, 3DIRCADB
• Data Augmentation– 数十万オーダにデータを増やす– 対象の特徴に合わせた手法
• elastic deformationなど
• ネットワーク– CNN (U-net含む)– VNet, Cumedなど3次元セグメンテーションもある
• loss関数– クロスエントロピー, DICE係数など
• データフォーマット– DICOM形式 / MHD形式– CT値/MRI信号強度
実験データセット
• PROMISE12
– タイプ: MRI
–解像度: 320 x 320 x 20
–セット数: 50
https://www.youtube.com/watch?v=EeqacNJcEMA
こちらのMRIシーケンスから前立腺をセグメンテーションします。
セグメンテーションシステムの構成
前処理(正規化)
Data Augmentation(ヒストグラムマッチング、Image Deformation)
VNet
後処理(connected component analysis
画像入力
セグメンテーション結果
Data Augmentation• 数十セットの原画像を数十万セットに拡張
• ヒストグラムマッチング– ヒストグラムを変換し、原画像のコントラスト変える
• Image Deformation– B-spline変換
• B-splineでの近似曲線のパラメータを変換
VNet• 3Dのセグメンテーションモデル
• ネットワーク– Down Conv工程とUp Conv工程– Residual Function
• 学習条件・環境– 30000 step– azure GPU K80 – Caffe
後工程
• Connected Component Analysis
–空間連結
–非連結領域の除去
Segmentation result
https://www.youtube.com/watch?v=EeqacNJcEMA
元のMRIシーケンス
セグメンテーションされた前立腺
https://www.youtube.com/watch?v=6cLSFqF6Sgs