ae-5. 物体検出，セグメンテーション
Download as PPTX, PDF0 likes1,000 views
ディープラーニング（スライドとプログラム例，Python を使用）（全１５回） トピックス：画像理解, 物体検出, セグメンテーション, セグメンテーションの仕組み, セグメンテーションの種類, ディープラーニング, 人工知能 https://www.kkaneko.jp/ai/ae/index.html 金子邦彦研究室ホームページ https://www.kkaneko.jp/index.html
ae-5. 物体検出，セグメンテーション
- 4. コンピュータによる画像理解 ? 一般的な画像（実験室で撮影などの制約が無い） ? さまざまな応用：スマホ，デジカメ，自動車，ロ ボット ? さまざまな種類：画像分類，物体検出，セグメン テーション，超解像，３次元化など 4
- 5. 画像理解の主な種類 ① 画像分類 「何があるか」を理解 ② 物体検出 場所と大きさも理解 ③ セグメンテーション 画素単位で領域を理解 5 person bicycle person bicycle
- 8. 畳み込みニューラルネットワーク（CNN） さまざまなバリエーション 8 畳み込みニューラルネットワークは，畳み込み 層と，プーリング層を交互に繰り返すディープ ニューラルネットワーク 畳 み 込 み 層 ? 畳み込み層 ??? 畳み込みによるパターンの識別 ? プーリング層 ??? 画像の小移動に対して，出力が不 変になる 畳 み 込 み 層 畳 み 込 み 層 畳 み 込 み 層 畳 み 込 み 層 プ ー リ ン グ 層 プ ー リ ン グ 層 プ ー リ ン グ 層 プ ー リ ン グ 層 プ ー リ ン グ 層
- 9. アウトライン 9 番号 項目 5-1 ディープラーニングによる物体検出の仕組み 5-2 ディープラーニングによるセグメンテーション の仕組み 5-3 物体検出の演習 5-4 セグメンテーションの演習 各自、資料を読み返したり、課題に取り組んだりも行う
- 17. R-CNN の Selective Search（2014年発表の物体検出 手法） 17 Ross Girshick, Jeff Donahue, Trevor Darrell, Jitendra Malik, Rich feature hierarchies for accurate object detection and semantic segmentation, arXiv:1311.2524, 2014. 1. 入力画像 2. 領域の候補 単純に画像を区切る ? 課題：あらゆる可能性を試すので，区切りの数が多すぎる ? 解決策：領域の候補（さまざまな場所，大きさ）を 自動で得る．領域の候補の数は，数千以下に絞る． 3. 畳み込みニューラル ネットワークでの処理 4. 領域について，画像 分類の結果を得る
- 20. FCN （2015年発表） ? 画素ごとに分類結果の正解を与えての学習を可能にする技術 ? 最終層を畳み込み層にする ＝ FCN と呼ぶ 20 Jonathan Long, Evan Shelhamer, Trevor Darrell, Fully Convolutional Networks for Semantic Segmentation, arXiv:1411.4038, 2015. 畳み込みニューラルネット ワークによる画像分類 元画像 結果 元画像 結果 最終層は 全結合層 最終層は FCN 畳み込みニューラルネットワー クと FCN によるセマンティッ ク?セグメンテーション
- 21. FCN （2015年発表）まとめ ? 画像分類を行う畳み込みニューラルワーク（出力は分類結 果）で，最終層を FCN に置き換え ? セマンティック?セグメンテーションに応用 21 Jonathan Long, Evan Shelhamer, Trevor Darrell, Fully Convolutional Networks for Semantic Segmentation, arXiv:1411.4038, 2015.
- 23. U-Net (2015年発表) の仕組み 23 元画像 特 徴 マ ッ プ 特 徴 マ ッ プ セマンティック?セグメンテーションの結果を鮮明にするための Skip connection の導入．画像縮小の際に輪郭情報が失われるという問題を解決． マルチスケール の特徴マップ サイズを拡大しながら 結果を得る サ イ ズ 縮 小 サ イ ズ 縮 小 特 徴 マ ッ プ サ イ ズ 拡 大 途 中 結 果 サ イ ズ 拡 大 途 中 結 果 途 中 結 果 最 終 結 果 全体で多層のニューラルネットワーク Skip connection Skip connection 両方を入力と して使用 両方を入力と して使用 Olaf Ronneberger, Philipp Fischer, Thomas Brox, U-Net: Convolutional Networks for Biomedical Image Segmentation, arXiv:1505.04597, 2015.
- 24. U-Net (2015年発表) の仕組み 24 Olaf Ronneberger, Philipp Fischer, Thomas Brox, U-Net: Convolutional Networks for Biomedical Image Segmentation, arXiv:1505.04597, 2015. 元論文では次のように図解． 畳み込みニューラルネットワークであることが確認できる．
- 25. まとめ ? ニューラルネットワークの層の種類 ? 畳み込み層 ? プーリング層 ? 全結合層 ? 物体検出、セグメンテーションを可能にする追加 の技術 ? マルチスケール ? 特徴マップ、特徴マップを用いた画像の区切り ? FCN （最終層を畳み込み層にする） ? Skip connection 25
- 26. セグメンテーションの種類 26 ? OneFormer のデモサイトを使用 ? URL: https://huggingface.co/spaces/shi-labs/OneFormer ? 訓練データは COCO ? バックボーンは DiNAT-L を使用 元画像 パノプティック?セグメンテーション インスタンス?セグメンテーション セマンティック?セグメンテーション
- 28. 5-3. 物体検出の演習 28
- 29. ① 物体検出を動かしてみる 1. 使用するページ: https://colab.research.google.com/github/tensorflow/ hub/blob/master/examples/colab/object_detection.ip ynb 2. 必要な事前知識 ? 物体検出が行うこと：物体のバウンディングボッ クス、ラベル、確率を得る ? 事前学習済みのモデルを使用 3. 各自で実行すること 実際に実行し、物体検出を試す． スピード、精度も確認 29
- 30. ① 物体検出を動かしてみる 30
- 32. Google Colaboratory の使い方概要 ① 32 Google Colaboratory ノートブック コードセルの再実行や変更には， Google アカウントでのログインが必要 実行 コードセル
- 33. テキストセル コードセル コードセル ? WEBブラウザでアクセス ? コードセルは Python プログラム． 各自の Google アカウント でログインすれば， 変更，再実行可能 Google Colaboratory の使い方概要 ② 33 実行 一番上のコードセルから順々に実行 実行
- 34. ② セマンティック?セグメンテーション 1. 使用するページ: https://colab.research.google.com/drive/1NKmQfbD G0XCR0bO6vcFP304gy4iqeD7L?usp=sharing 2. 必要な事前知識 ? セマンティック?セグメンテーション用のモデル がさまざまあること ? 事前学習済みのモデルを使用 3. 各自で実行すること ページを読み、確認する （実行したい人は実行できるようにしている） 34
- 35. 35
- 36. ③ パノプティック?セグメンテーション 1. 使用するページ: https://colab.research.google.com/drive/1xWaQuJt50Lq Ywyw9ohsYERZ_Ix1gy1rN?usp=sharing#scrollTo=az0N ragleQUI 2. 必要な事前知識 ? パノプティック?セグメンテーションは，セマン ティック?セグメンテーションとインスタンス?セグ メンテーションをあわせもつ ? 事前学習済みのモデルを使用 3. 各自で実行すること ページを読み、確認する （実行したい人は実行できるようにしている） 36
Editor's Notes
- #7: 画像分類の例 画像に対して，いくつかのラベル， それぞれのラベルに対しての確率が得られています． 例えば，この結果を見ると，この画像，ラベルが lab_coat である確率が，約 0.98 のように結果が得られています． このように，１枚の画像に対して，複数のラベルとそれぞれの確率を得ること． それが画像分類です． 画像分類は，画像を扱う他の人工知能，例えば，物体検出などの基礎になっています． 画像分類の説明は以上です． 視聴ありがとうございました．
- #8: 画像分類の例 画像に対して，いくつかのラベル， それぞれのラベルに対しての確率が得られています． 例えば，この結果を見ると，この画像，ラベルが lab_coat である確率が，約 0.98 のように結果が得られています． このように，１枚の画像に対して，複数のラベルとそれぞれの確率を得ること． それが画像分類です． 画像分類は，画像を扱う他の人工知能，例えば，物体検出などの基礎になっています． 画像分類の説明は以上です． 視聴ありがとうございました．