mi-8. 人工知能とコンピュータビジョン
Download as PPTX, PDF0 likes1,043 views
トピックス：人工知能, ニューラルネットワークの性質, ドロップアウト, コンピュータビジョン, 物体検出, セグメンテーション, 顔情報処理, キーポイント, 姿勢推定, 画像分類システム, MNIST データセット コンピュータビジョンはコンピュータが実世界を理解?活用する技術で、 画像理解、物体検出、セグメンテーションなどが重要な要素である。 ディープニューラルネットワークや畳み込みにより、これらの精度向上が進んでいる。 畳み込みはデータとカーネルを重ね合わせて一つの値にまとめる手法である。 コンピュータビジョンは他にもある。 顔情報処理は顔検出、顔ランドマーク、顔のコード化、顔識別などがあり、 本人確認や表情推定、年齢判定など多岐にわたり利用される。 姿勢推定は人体の姿勢をAIで把握する技術で、 状況把握、行動予測、行動検知、危険察知などに応用される。 【関連するページ】 ?人工知能の基礎（全１５回） https://www.kkaneko.jp/ai/mi/index.html ?金子邦彦研究室ホームページ https://www.kkaneko.jp/index.html ?YouTube 動画 https://youtu.be/8e6YqUl32gQ ?畳み込みニューラルネットワーク, 学習, 検証, 学習曲線について https://colab.research.google.com/drive/18IPPkY96Oc6jkYD2su4cFgWcoYAskLo_?usp=sharing 【関連する外部ページ】 ?CNN Explainer ジョージア工科大学 Polo Club 畳み込み層などの仕組みをビジュアルに学ぶことができるサイト https://poloclub.github.io/cnn-explainer/ ?OneFormer のデモサイト 画像のセグメンテーション https://huggingface.co/spaces/shi-labs/OneFormer ?コンピュータビジョンのデモサイト https://cloud.google.com/vision/docs/drag-and-drop
![ニューラルネットワーク作成のプログラム例
40
import tensorflow as tf
m = tf.keras.models.Sequential([
tf.keras.layers.Conv2D(32, kernel_size=(3, 3),
activation='relu',
input_shape=(28, 28, 1)),
tf.keras.layers.Conv2D(64, (3, 3), activation='relu'),
tf.keras.layers.MaxPooling2D(pool_size=(2, 2)),
tf.keras.layers.Dropout(0.25),
tf.keras.layers.Flatten(),
tf.keras.layers.Dense(units=128, activation='relu'),
tf.keras.layers.Dropout(0.5),
tf.keras.layers.Dense(units=10, activation='softmax')
])
←畳み込み層
←畳み込み層
←プーリング層
←全結合層
←全結合層
https://colab.research.google.com/drive/18IPPkY96Oc6jkYD2su4cFgWcoYAskLo_?usp
=sharing](https://image.slidesharecdn.com/aa-8-230610015137-9b5c81e9/85/mi-8-40-320.jpg)
![[論文紹介] Convolutional Neural Network(CNN)による超解像](https://cdn.slidesharecdn.com/ss_thumbnails/cnn-presen-161218113749-thumbnail.jpg?width=560&fit=bounds)
More Related Content
Similar to mi-8. 人工知能とコンピュータビジョン (20)
More from kunihikokaneko1 (20)
mi-8. 人工知能とコンピュータビジョン
- 2. アウトライン 1. コンピュータビジョン 2. 画像を扱うための畳み込み 3. 畳み込み、プーリング、畳み込み ニューラルネットワーク 4. 畳み込みニューラルネットワーク の演習 5. 物体検出 6. 顔情報処理 7. 姿勢推定 8. 演習 2
- 5. 画像理解の主な種類 ① 画像分類 「何があるか」を理解 ② 物体検出 場所と大きさも理解 ③ セグメンテーション 画素単位で領域を理解 5 person bicycle person bicycle
- 6. 画像分類での教師あり学習 6 画像 分類結果 （正解） mammal placental carnivore canine dog など 文献 J. Deng, W. Dong, R. Socher, L. -J. Li, Kai Li and Li Fei-Fei, "ImageNet: A large-scale hierarchical image database," 2009 IEEE Conference on Computer Vision and Pattern Recognition, 2009, pp. 248-255, doi: 10.1109/CVPR.2009.5206848. 人工知能 訓練データ person bicycle 画像分類
- 8. 画像分類の精度の向上 ? ディープラーニングの進展 ? 画像分類は，場合によっては，AI が人間と同等の精度 とも考えら るように 画像分類の誤り率 (top 5 error) 人間: 5.1 % PReLU による画像分類: 4.9 % （2015年発表） 8 ImageNet データセット の画像分類の結果 文献: Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jian Sun, Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification arXiv:1502.01852, 2015.
- 9. コンピュータビジョンまとめ ? コンピュータビジョン：コンピュータが実世界の様子 を理解し活用する ? 画像理解の主な種類: ? 画像分類：「何があるか」を理解 ? 物体検出：場所と大きさも理解 ? セグメンテーション：画素単位で領域を理解 ? 教師あり学習を用いるのが主流 ? ディープニューラルネットワーク（DNN）：層が多い ニューラルネットワークで、画像分類の精度向上に貢 献。 ? 進歩により、2015年の時点で、AIの画像分類は人間と 同等の精度（誤り率：人間5.1%、AI4.9%）を達成可 能。 9
- 12. 畳み込み 12 畳み込みは，あるデータを移動しながら，カーネルと 重ね合わせる．重ね合わせの結果は１つの値になる． 移動 カーネルと同じ長さに切り出し 重ね合わせ （掛け算と合計） データ カーネル
- 13. 畳み込みの例 13 0 1 0 1 0 0 1 1 1 0 0 1 0 1 0×1 1×0 0×1 この部分を切り出す 重ね合わせの結果： 0×1 + 1×0 + 0×1 = 0 データ カーネル
- 14. 畳み込みの例 14 0 1 0 1 0×1 1×0 0×1 1 0 1 1×1 0×0 1×1 1 0 1 0×1 1×0 0×1 2 0 0 1 0 1 0 0 1 1 1 0 1 0 1 1×1 0×0 0×1 1 0 1 0×1 0×0 0×1 1 0 1 0×1 1×0 1×1 1 0 1 1×1 1×0 1×1 1 0 1 1×1 1×0 0×1 1 1 1 2 1 移動
- 15. 畳み込み 15 1 0 1 畳み込みは，「特定のパターンに強く反応する」と考える こともできる 0 2 0 1 1 1 2 1 0 1 0 1 0 0 1 1 1 0 畳み込み結果 畳み込み結果が大きくなる部分 データ カーネル
- 17. 画像での畳み込み 17 元画像（５×５マス） 畳み込み 0×1 1×0 1×1 0×1 1×1 1×1 0×0 1×0 1×1 切り出し（３×３マス） カーネル （３×３マス） 合計: 4 （これが畳み込み結果） カーネルと同じサイズ で切り出す 切り出した部分とカーネルの 掛け算の合計
- 18. 画像での畳み込み 18 元画像（５×５マス） 畳み込み結果 切り出し（３×３マス） カーネル （３×３マス） 畳み込み結果 切り出し領域を横にずらす 4 3 0×1 1×0 1×1 0×1 1×1 1×1 0×0 1×0 1×1 合計: 4 1×1 1×0 0×1 1×1 1×1 0×1 1×0 1×0 0×1 合計: 3
- 19. 画像での畳み込み 19 元画像（５×５マス） 畳み込み結果 4 3 5 4 3 5 4 3 5 切り出し（３×３マス） カーネル （３×３マス） 切り出し領域を縦横にずらす 画像全体について 畳み込み
- 21. 畳み込みまとめ 畳み込み: データに対し移動しながらカーネルと重ね合わ せ、その結果を１つの値にまとめる。 ? 特定のパターンに強く反応する性質を持つ。 ? コンピュータビジョンに欠かせない技術 ? 人工知能以外でも使用可能。例えば、画像のぼかしやエッ ジ抽出などに活用。 21
- 24. 畳み込み層 ? 畳み込み層は，畳み込みを行う ? 結合の重みが，畳み込みのカーネルになる ? 前の層の，一部分のユニットとのみ結合 24 前の層 畳み込み層 〇 〇 〇 〇 〇 〇 〇 〇 〇 〇 〇 〇 〇 〇 〇 〇 〇 〇 〇 〇 〇 〇 0×1 + 1×0 + 0×1 = 0 畳み込みのカーネルのサ イズが 2×2 のとき： 前の層の 4つのユニット とのみ結合
- 25. プーリング ? プーリングにより，画像サイズが小さくなる ? Max pooling （マックス?プーリング）は，最大 値を利用するプーリング 25 出典: https://github.com/jeffheaton/t81_558_deep_learning/blob/084023876b6cf09c931b452584dbd44c56314a03/t81_558_class_06_2_cnn.ipynb ?4, 8, 7, 1 の最大値は 4 ?「4, 8, 7, 1」の 4マス から，最大値の 8 を選ぶ． すると，サイズは ? にな る
- 26. 畳み込みニューラルネットワーク（CNN） さまざまなバリエーション 26 畳み込みニューラルネットワークは，畳み込み 層と，プーリング層を交互に繰り返すディープ ニューラルネットワーク 畳 み 込 み 層 ? 畳み込み層 ??? 畳み込みによるパターンの識別 ? プーリング層 ??? 画像の小移動に対して，出力が不 変になる 畳 み 込 み 層 畳 み 込 み 層 畳 み 込 み 層 畳 み 込 み 層 プ ー リ ン グ 層 プ ー リ ン グ 層 プ ー リ ン グ 層 プ ー リ ン グ 層 プ ー リ ン グ 層
- 27. 畳み込みニューラルネットワークの特徴 全結合層のみの場合と比べて． ? ユニット間の結合を局所に限定 ? 結合の数を，大幅に削減 ? 結合の数が減り，過学習の問題を緩和 27
- 29. 演習 【トピックス】 ? 畳み込みニューラルネット ワーク ? CNN Explainer ? 畳み込み層 ? プーリング層 29
- 30. CNN Explainer ? CNN Explainer ジョージア工科大学 Polo Club ? 畳み込み層などの仕組みをビジュアルに学ぶこと ができるサイト Webブラウザで次の URL を開く https://poloclub.github.io/cnn-explainer/ 30
- 32. ② ニューラルネットワークの構成 畳み込み層とプーリング層を含む 32 全結合層 conv relu conv relu max_pool conv relu conv relu max_pool 畳み込み層 畳み込み層 プーリング層 畳み込み層 畳み込み層 プーリング層 conv は畳み込み層で，max_pool はプーリング層 全結合層 全結合層 全結合層
- 36. 畳み込みニューラルネットワークまとめ ? 全結合層：前の層の全てのユニットと結合 ? 畳み込み層：前の層の一部のユニットと結合し、 畳み込みを行う ? プーリング：画像サイズを小さくする。マックス プーリングは最大値を利用。 ? 畳み込みニューラルネットワーク：畳み込み層と プーリング層を含むニューラルネットワーク。 ? ユニット間の結合を局所に限定し、結合の数を大幅に 削減して過学習を緩和する。 ? 画像分類、物体検出、セグメンテーションなどで高性 能を発揮。 36
- 38. 次のページを使用 ? 畳み込みニューラルネットワークを用いた画像分 類 ? 学習と検証を行うプログラム ? 学習曲線をプロット https://colab.research.google.com/drive/18IPPkY96 Oc6jkYD2su4cFgWcoYAskLo_?usp=sharing 38
- 39. 畳み込み層を含むニューラルネットワー クの例 39 入力データ 出力データ ユニット 10 個 softmax ユニット間 の結合 最終層 ユニット 128 個 relu 畳 み 込 み 層 畳 み 込 み 層 プ ー リ ン グ 層
- 40. ニューラルネットワーク作成のプログラム例 40 import tensorflow as tf m = tf.keras.models.Sequential([ tf.keras.layers.Conv2D(32, kernel_size=(3, 3), activation='relu', input_shape=(28, 28, 1)), tf.keras.layers.Conv2D(64, (3, 3), activation='relu'), tf.keras.layers.MaxPooling2D(pool_size=(2, 2)), tf.keras.layers.Dropout(0.25), tf.keras.layers.Flatten(), tf.keras.layers.Dense(units=128, activation='relu'), tf.keras.layers.Dropout(0.5), tf.keras.layers.Dense(units=10, activation='softmax') ]) ←畳み込み層 ←畳み込み層 ←プーリング層 ←全結合層 ←全結合層 https://colab.research.google.com/drive/18IPPkY96Oc6jkYD2su4cFgWcoYAskLo_?usp =sharing
- 41. 学習のための準備 ? ニューラルネットワークの作成 ? 訓練データ （学習用） ? 検証データ （検証用） 41 60000枚の画像と正解 10000枚の画像と正解 抜粋 抜粋
- 45. 45 MIT Introduction to Deep Learning | 6.S191, https://www.youtube.com/watch?v=5tvmMX8r_OM の「Why Deep Learning」のページ うまく設計されたニューラルネットワークは，「データ からのパターンの抽出」を行っているという考え方も ニューラルネットワークが扱うさまざまなレベルのパターン
- 46. 演習 【トピックス】 ? 畳み込みニューラルネット ワーク ? 学習 ? 学習曲線 46
- 47. 次のページを使用 https://colab.research.google.com/drive/18IPPkY96 Oc6jkYD2su4cFgWcoYAskLo_?usp=sharing 47
- 48. 8-5 物体検出 48
- 49. 49 物体検出
- 51. 51
- 52. 52
- 53. 8-6 顔情報処理 53
- 55. 顔ランドマーク (facial landmark)） ? 目，鼻，口，眉毛，あごなどがランドマークになる ? 位置合わせ，表情分析，人物特定の手がかり 55
- 56. 顔のコード化 ? 顔のコードは，複数の数値（ふつう１００以上）の組み合 わせ ? 顔画像から，顔ランドマークを求め，顔のコードを得る ? さまざまな用途：顔識別（本人の特定），顔認識，年齢の 推定，性別の推定，表情の推定，顔の３次元再構成など 56 顔検出， 顔ランドマーク 数値化
- 57. 表情の推定 57 ? ここでは，７種の表情 Angry, Disgust, Fear, Happy, Neutral, Sad, Surprised のそれぞれの確率を推定 ? https://github.com/ezgiakcora/Facial-Expression-Keras で公開されている成果物
- 58. 年齢の推定，性別の推定 58
- 59. 人物特定の例 59 younes
- 60. 顔写真からの３次元再構成 3DFFA 法（2022年発表） ? 元画像から，３次元の顔を生成（３次元再構成） ? 顔検出，顔ランドマーク（顔の目印となるポイント）の検 出ののち，ランドマークに顔の３次元モデルをあてはめる 60 元画像 顔ランドマーク ３次元再構成
- 61. Face aging 元の顔画像から，さまざまな年齢の顔画像を生成 61 Ali Elmahmudi, H. Ugail, A framework for facial age progression and regression using exemplar face templates, 2020.
- 62. 顔情報処理のバリエーション ? 顔検出 ? 顔のアラインメント ? 顔ランドマーク検出 ? 顔のコード化 ? 顔検証 ? 顔識別（本人の特定）や顔認識 ? 年齢の推定，性別の推定，表情の推定 ? さまざまな応用 群衆のカウント，マスク有り顔に関する処理， 顔の３次元再構成など 62
- 65. 65 過去，写真の中の顔が誰であるかを，自動で 特定， SNS のタグ付けが行われてきた この機能を廃止するというニュースも (2021年) 便利さより ? プライバシー，人権が重要に
- 67. 群衆のカウント ? 群衆のカウント（画像内の人数を数える） ? 監視等に役立つ． 67 元画像 FIDTM 法による群衆のカウント FIDTM 法（2021年発表）は， それ以前の手法よりも，さまざま な大きさの顔を精度よく検出 できるとされている
- 68. マスク有りの顔，マスク無しの顔検出 Chandrika Deb の顔マスク検出法では，次を同時に実行 ? 顔検出 ? マスク有りの顔とマスク無しの顔の画像分類 68 マスク有りの顔検出 マスク無しの顔検出 訓練データ：顔のデータセット（マス ク有り: 2165 枚，マスク無し 1930 枚）
- 69. 顔情報処理の用途 ? 顔による本人確認 ? 集団行動解析，人流解析，人数推定 ? その他 表情の推定，年齢判定，３次元再構成， 顔のセグメンテーション，顔画像の生成 など 69
- 70. 顔情報処理まとめ 顔情報処理は次の要素から成り立つ ? 顔検出: 顔の数をカウントし、顔情報処理の初期ステップ を行う。 ? 顔ランドマーク: 目、鼻、口などの特定のポイントを使用 して、位置調整（アラインメント）や表情分析、人物特定 を行う。 ? 顔のコード化: 顔画像からランドマークを抽出し、これを もとに顔を数値で表現。これは顔識別、顔認識、年齢?性 別?表情の推定、顔の3次元再構成などに利用される。 ? 3次元再構成: 元の画像から3次元の顔を生成する。 これらの技術はさまざまな応用が可能ですが、プライバシー や人権の観点から慎重な使用が求められます。 70
- 71. 8-7 姿勢推定 71
- 75. 75 （Detectron2 の DensePose を使用）
- 76. 人体の姿勢推定の例 76
- 77. ビデオの例 77
- 78. 人体の姿勢推定の例（動画） 78
- 86. 姿勢推定の用途⑦ ? 集団行動の観察，分析，監視 86 Qi Dang, Jianqin Yin, Bin Wang, Wenqing Zheng, Deep Learning Based 2D Human Pose Estimation: A SurveyDeep Learning Based 2D Human Pose Estimation: A Survey, Tsinghua Science and TechnologyTsinghua Science and Technology, Volume 24 Issue 6 Article 5, 2019.
- 88. 姿勢推定まとめ ? 姿勢推定：AIを用いて画像やビデオから人体の姿勢を 把握する技術。 ? 特別な機材を使わずに姿勢推定が可能。 ? ランドマークと呼ばれる特定の位置情報を元に、3次 元（縦、横、奥行き）での姿勢を推定する。 ? 姿勢推定は多様な用途で利用され、以下が含まれる: ? 状況把握や行動予測 ? 行動検知 ? 危険の察知や救援?救護 ? 監視や防犯 ? フィットネスやエクササイズのトレーニング ? アバター操作 ? 集団行動の観察や分析 88
- 89. 全体まとめ ? コンピュータビジョン：コンピュータが実世界の情報を理 解?活用する技術。 ? 画像理解：画像分類(何があるか)、物体検出(場所と大きさ)、 セグメンテーション(画素単位の領域理解)など。 ? ディープニューラルネットワーク：画像分類等の精度向上 に貢献。 ? 畳み込み：データとカーネルを重ね合わせ、１つの値にま とめる技術。コンピュータビジョンで重要。 ? 顔情報処理：顔検出、顔ランドマーク、顔のコード化、3D 再構成から成る。プライバシーや人権の観点から注意が必 要。 ? 姿勢推定：AIを用いて画像から人体の姿勢を把握する技術。 状況把握、行動予測、行動検知、危険察知等に利用。 89
Editor's Notes
- #9: AIが画像分類する時代 ただし，ImageNet にぴったりあてはまるものの限る
- #50: しばらく待つと， 最後のコードセルまで，すべてのコードセルの実行が終わります． コードセルを実行することにより， いくつかの画像について物体検出が行われます． ここにありますように， バウンディングボックス，ラベル，確率が得られます． コードセルのプログラムは Python です． ここにあるたくさんの コードセルのプログラム全体で，設定や，画像データのダウンロードや読み込み， 人工知能を動かすための，学習済みモデルのダウンロード，物体検出の実行結果の確認などを行っています． プログラムの説明は省略します． このように，Python で書かれたプログラムを Web ブラウザで， オンラインで実行し，確認できます． みなさんも，このページなどを使って，パソコンのWEBブラウザで動かしてみてはいかがでしょうか． 以上，物体検出について説明しました． 視聴ありがとうございました．