摆顿尝轮読会闭医用画像解析におけるセグメンテーション
Download as pptx, pdf3 likes4,664 views
2019/03/1 Deep Learning JP: http://deeplearning.jp/seminar-2/
![1
DEEP LEARNING JP
[DL Papers]
http://deeplearning.jp/
Deep Learning in Medical Image Segmentation
Toru Fujino, SCSLab, UTokyo](https://image.slidesharecdn.com/20190301fujino4-190322072121/85/DL-1-320.jpg)
![U-Net [O. Ronneberger+ 2015]
? Downsampling -> Upsampling
? Skip connectionによりUpsamling時に元画像の情報を有効に活用
? 医用画像以外でも広く
利用される
O. Ronneberger et al., “U-Net: Convolutional Networks for Biomedical Image Segmentation”, MICCAI (2015)](https://image.slidesharecdn.com/20190301fujino4-190322072121/85/DL-8-320.jpg)
![3D U-Net [?. ?i?ek+ 2016]
? 3D画像版のU-Net
? MRI画像などに適用
?. ?i?ek et al., “3D U-Net: Learning Dense Volumetric Segmentation from Sparse Annotation”, MICCAI (2016)](https://image.slidesharecdn.com/20190301fujino4-190322072121/85/DL-9-320.jpg)
![病変セグメンテーション [M. Havaei+2017]
? 画像内のpatchごとにCNNに入力
? globalな情報 (下図の左上) とlocalな情報 (下図の左下) の両方を
考慮
? その後, さらに異なるサイズのカーネルで畳み込み
M. Havaei et al., “Brain Tumor Segmentation with Deep Neural Networks”, Medical Image Analysis (2017)](https://image.slidesharecdn.com/20190301fujino4-190322072121/85/DL-11-320.jpg)
![病変セグメンテーション [M. Havaei+2017]
? Dice: F値
? Specificity: 病変部位に対するprecision
? Sensitivity: 非病変部位に対するprecision
M. Havaei et al., “Brain Tumor Segmentation with Deep Neural Networks”, Medical Image Analysis (2017)](https://image.slidesharecdn.com/20190301fujino4-190322072121/85/DL-12-320.jpg)
![LadderNet [J. Zhuang 2018]
? U-Netを2つ繋げることで複数のpathを実現
? アンサンブル学習のような効果
J. Zhuang, “LadderNet: Multi-path networks based on U-Net for medical image segmentation”, arXiv (2018)](https://image.slidesharecdn.com/20190301fujino4-190322072121/85/DL-14-320.jpg)
![LadderNet [J. Zhuang 2018]
? U-Net等と比べて精度向上
J. Zhuang, “LadderNet: Multi-path networks based on U-Net for medical image segmentation”, arXiv (2018)](https://image.slidesharecdn.com/20190301fujino4-190322072121/85/DL-15-320.jpg)
![Probabilistic U-Net [Kohl+ 2018]
? Conditional VAE + U-Net
? セグメンテーションの生成分布を学習する
? (以前DL輪読会で谷村さんが発表)
S. A. A. Kohl et al., ”A Probabilistic U-Net for Segmentation of Ambiguous Images”, NeurIPS (2018)](https://image.slidesharecdn.com/20190301fujino4-190322072121/85/DL-17-320.jpg)
![損失関数の工夫[Brosch+ 2016]
? 通常の誤差関数: 二乗誤差
? 病変部位?非病変部位の誤差に重みをつける
? r (sensitivity ratio): 病変部位の損失に対する重み
病変部位 非病変部位
T. Brosch et al., “Deep 3D Convolutional Encoder Networks With Shortcuts for Multiscale Feature Integration
Applied to Multiple Sclerosis Lesion Segmentation”, IEEE Transactions on Medical Imaging (2016)](https://image.slidesharecdn.com/20190301fujino4-190322072121/85/DL-19-320.jpg)
![損失関数の工夫[Brosch+ 2016]
? r (sensitivity ratio) は0.01 ~ 0.1. 結果はほぼ同じ.
T. Brosch et al., “Deep 3D Convolutional Encoder Networks With Shortcuts for Multiscale Feature Integration
Applied to Multiple Sclerosis Lesion Segmentation”, IEEE Transactions on Medical Imaging (2016)
ROC曲線](https://image.slidesharecdn.com/20190301fujino4-190322072121/85/DL-20-320.jpg)
摆顿尝轮読会闭医用画像解析におけるセグメンテーション
- 1. 1 DEEP LEARNING JP [DL Papers] http://deeplearning.jp/ Deep Learning in Medical Image Segmentation Toru Fujino, SCSLab, UTokyo
- 2. 発表概要 ? 医用画像解析におけるセグメンテーション ? タスク ? 医用画像特有の問題 ? 主に次のReview論文のsegmentationの章に従って発表 ? G. Litjens et al., “A survey on deep learning in medical image analysis”, Medical Image Analysis (2017)
- 3. 医用画像解析とは ? 医用画像から有用な情報を抽出するタスク ? 画像の種類 ? MRI画像, CT画像, X線画像, 顕微鏡画像, 超音波画像, マンモグラフィ ? 部位 ? 脳, 肺, 細胞, 網膜血管, etc.
- 4. 医用画像解析の主なタスク ? 分類 ? セグメンテーション ? 位置特定 / 検出 ? 位置合わせ (Registration)
- 5. セグメンテーション ? 画像の各ピクセルに対してクラスの予測確率を付与する ? 交差エントロピーを最小化 出典: Stanford University CS231n: Convolutional Neural Networks for Visual Recognition
- 6. 医用画像におけるセグメンテーション ? 大きく2つに分けられる ? 臓器 / 下部構造 (substructure) セグメンテーション ? 心臓の心室, 脳の部位, 細胞 ? 画像内の比較的大きい部位に対してのセグメンテーション ? 病変セグメンテーション ? 脳腫瘍, 目の網膜の異常部位 ? 画像内の物体の位置を特定 -> セグメンテーション ? 病変部位は画像全体に対して比較的小さいことが多い
- 7. 臓器 / 下部構造セグメンテーション ? 画像内の比較的大きい部位に対するセグメンテーション ? 細胞のセグメンテーション ? 3D画像からの腎臓のセグメンテーション O. Ronneberger et al., “U-Net: Convolutional Networks for Biomedical Image Segmentation”, MICCAI (2015) ?. ?i?ek et al., “3D U-Net: Learning Dense Volumetric Segmentation from Sparse Annotation”, MICCAI (2016)
- 8. U-Net [O. Ronneberger+ 2015] ? Downsampling -> Upsampling ? Skip connectionによりUpsamling時に元画像の情報を有効に活用 ? 医用画像以外でも広く 利用される O. Ronneberger et al., “U-Net: Convolutional Networks for Biomedical Image Segmentation”, MICCAI (2015)
- 9. 3D U-Net [?. ?i?ek+ 2016] ? 3D画像版のU-Net ? MRI画像などに適用 ?. ?i?ek et al., “3D U-Net: Learning Dense Volumetric Segmentation from Sparse Annotation”, MICCAI (2016)
- 10. 病変セグメンテーション ? 病変の位置が様々 ? 例) 脳腫瘍 (赤い部分) ? 病変部位は画像サイズに対して小さいことが多い ? 病変部位のlocalな情報 + 臓器全体に対する病変の位置情報 (global) の両方が必要 K. Kamnitsas et al., “Efficient multi-scale 3D CNN with fully connected CRF for accurate brain lesion segmentation”, Medical Image Segmentation (2017)
- 11. 病変セグメンテーション [M. Havaei+2017] ? 画像内のpatchごとにCNNに入力 ? globalな情報 (下図の左上) とlocalな情報 (下図の左下) の両方を 考慮 ? その後, さらに異なるサイズのカーネルで畳み込み M. Havaei et al., “Brain Tumor Segmentation with Deep Neural Networks”, Medical Image Analysis (2017)
- 12. 病変セグメンテーション [M. Havaei+2017] ? Dice: F値 ? Specificity: 病変部位に対するprecision ? Sensitivity: 非病変部位に対するprecision M. Havaei et al., “Brain Tumor Segmentation with Deep Neural Networks”, Medical Image Analysis (2017)
- 13. 課題: 教師データがとても少ない ? アノテーションに専門的な知識が必要 ? Privateなデータの共有の難しさ ? 代表的なデータセットでも数十?数千枚程度 ? DRIVE (網膜の血管画像): 学習用データ20枚, テストデータ20枚 ? ISBI (細胞画像): 学習用データ30枚, テストデータ30枚 ? CHASE_DB1 (網膜の血管画像): 28枚 ? Data augmentation ? 転移学習 ? アンサンブル学習
- 14. LadderNet [J. Zhuang 2018] ? U-Netを2つ繋げることで複数のpathを実現 ? アンサンブル学習のような効果 J. Zhuang, “LadderNet: Multi-path networks based on U-Net for medical image segmentation”, arXiv (2018)
- 15. LadderNet [J. Zhuang 2018] ? U-Net等と比べて精度向上 J. Zhuang, “LadderNet: Multi-path networks based on U-Net for medical image segmentation”, arXiv (2018)
- 16. 課題: 複数のground truthが存在する ? 「ここの部位が癌だ！」というのは専門医の間でも意見が分か れる 肺のCT画像 複数の ground truth S. A. A. Kohl et al., ”A Probabilistic U-Net for Segmentation of Ambiguous Images”, NeurIPS (2018)
- 17. Probabilistic U-Net [Kohl+ 2018] ? Conditional VAE + U-Net ? セグメンテーションの生成分布を学習する ? (以前DL輪読会で谷村さんが発表) S. A. A. Kohl et al., ”A Probabilistic U-Net for Segmentation of Ambiguous Images”, NeurIPS (2018)
- 18. 課題: クラスのimbalanceさ ? 画像のほとんどのピクセルが病変でない場合 ? すべてのピクセルを病変ではないと学習してしまう 脳のMRI (印は腫瘍がある箇所) T. Brosch et al., “Deep 3D Convolutional Encoder Networks With Shortcuts for Multiscale Feature Integration Applied to Multiple Sclerosis Lesion Segmentation”, IEEE Transactions on Medical Imaging (2016)
- 19. 損失関数の工夫[Brosch+ 2016] ? 通常の誤差関数: 二乗誤差 ? 病変部位?非病変部位の誤差に重みをつける ? r (sensitivity ratio): 病変部位の損失に対する重み 病変部位 非病変部位 T. Brosch et al., “Deep 3D Convolutional Encoder Networks With Shortcuts for Multiscale Feature Integration Applied to Multiple Sclerosis Lesion Segmentation”, IEEE Transactions on Medical Imaging (2016)
- 20. 損失関数の工夫[Brosch+ 2016] ? r (sensitivity ratio) は0.01 ~ 0.1. 結果はほぼ同じ. T. Brosch et al., “Deep 3D Convolutional Encoder Networks With Shortcuts for Multiscale Feature Integration Applied to Multiple Sclerosis Lesion Segmentation”, IEEE Transactions on Medical Imaging (2016) ROC曲線
- 21. まとめ ? 臓器/下部構造セグメンテーションではシンプルなCNN ? 病変セグメンテーションではlocalな情報とglobalな情報を組み合 わせる必要がある ? 医用画像特有の課題 ? 教師データの少なさ ? 複数のground truth ? クラスのimbalance ? etc.