![chainer付属nin.pyのforward計算
h = F.relu(self.conv1(x))
h = F.max_pooling_2d(h, 3, stride=2)
h = F.relu(self.conv2(h))
h = F.max_pooling_2d(h, 3, stride=2)
h = F.relu(self.conv3(h))
h = F.max_pooling_2d(h, 3, stride=2)
h = self.conv4(F.dropout(h, train=self.train))
y = F.reshape(F.average_pooling_2d(h, 6), (x.data.shape[0], 1000))](https://image.slidesharecdn.com/ltfounditproject3-161223103006/85/NIN-for-LT-34-320.jpg)
![chainer付属nin.pyのforward計算
h = F.relu(self.conv1(x))
h = F.max_pooling_2d(h, 3, stride=2)
h = F.relu(self.conv2(h))
h = F.max_pooling_2d(h, 3, stride=2)
h = F.relu(self.conv3(h))
h = F.max_pooling_2d(h, 3, stride=2)
h = self.conv4(F.dropout(h, train=self.train))
y = F.reshape(F.average_pooling_2d(h, 6), (x.data.shape[0], 1000))
畳み込み
プーリング
↓
畳み込み
プーリング
↓
畳み込み
プーリング
↓
畳み込み
Global Average
Pooling](https://image.slidesharecdn.com/ltfounditproject3-161223103006/85/NIN-for-LT-35-320.jpg)
![モデルの改善（forward計算）
h = F.relu(self.conv1(x))
h = F.max_pooling_2d(h, 3, stride=2)
h = F.relu(self.conv2(h))
h = F.average_pooling_2d(h, 3, stride=2)
h = F.relu(self.conv3(h))
h = F.average_pooling_2d(h, 3, stride=2)
h = F.relu(F.dropout(self.conv4(h), ratio=0.5,train=train))
h = F.average_pooling_2d(h, 3, stride=2)
y = F.reshape(F.average_pooling_2d(h, 6), (x.data.shape[0],48))
畳み込み
プーリング
↓
畳み込み
プーリング
↓
畳み込み
プーリング
↓
畳み込み
プーリング
↓
Global Average
Pooling](https://image.slidesharecdn.com/ltfounditproject3-161223103006/85/NIN-for-LT-39-320.jpg)
![[AI05] 目指せ、最先端 AI 技術の実活用！Deep Learning フレームワーク 「Microsoft Cognitive Toolkit 」...](https://cdn.slidesharecdn.com/ss_thumbnails/ai05-170602095345-thumbnail.jpg?width=560&fit=bounds)
![SSII2022 [TS3] コンテンツ制作を支援する機械学習技術?? イラストレーションやデザインの基礎から最新鋭の技術まで ??](https://cdn.slidesharecdn.com/ss_thumbnails/ts32022ssiiess-220607054523-e80be8dc-thumbnail.jpg?width=560&fit=bounds)
More Related Content
Similar to 狈滨狈と画像分类 for 人工知能LT祭 (20)
Recently uploaded (11)
狈滨狈と画像分类 for 人工知能LT祭
- 2. 自己紹介 名前： 大郷 友海 (だいごう ともみ) 職業： プログラマ(VB.net, C++, ) 最近はまっていること： ディープラーニング（画像分類）。自作モデルで分類精度を上げたい。
- 9. データセット内訳 2． エリンギ １． エノキダケ 3． シイタケ 4． シメジ 5． タモギタケ 6． ナメコ ７． マイタケ
- 10. プログラム ? chainer v1.5.0１ 付属のexamplesより、imagenetをコピー ? ブログ記事等を参考に動かす ? threadingなどコードが難しいため、簡略化 ? モデルは3層CNN + 2層全結合層 を作成 試行錯誤の末??? １ https://github.com/pfnet/chainer/releases?after=v1.6.2
- 12. 内訳???アルゴリズム ? 学習用画像は540枚（全データの75％） ? (画像-平均画像) / 標準偏差 で正規化 ? 元画像を２２４*２２４（カラー）にランダム切り抜き ? 16枚ずつミニバッチ学習 ? epoch（学習回数）=50 ? optimizer（学習率の決定方法）はAdam ? WeightDecay（重み減衰）=0.0005， 骋谤补诲颈别苍迟颁濒颈辫辫颈苍驳（重み上限）=8.75
- 13. 内訳???モデル定義 L.Convolution2D(3, 6, 7), L.Convolution2D(6, 3, 5), L.Convolution2D(3, 2, 3), F.Linear(1152,500), F.Linear(500,7), in, out, ksize
- 14. 内訳???forward計算 h = F.relu(self.conv1(x)) h = F.max_pooling_2d(h, 3, stride=2) h = F.relu(self.conv2(h)) h = F.average_pooling_2d(h, 3, stride=2) h = F.relu(self.conv3(h)) h = F.average_pooling_2d(h, 3, stride=2) h = F.dropout(F.relu(h=self.l1(h)),ratio=0.3,train=train) y = self.l2(h) 畳み込み プーリング ↓ 畳み込み プーリング ↓ 畳み込み プーリング ↓ 全結合 全結合
- 18. アルゴリズム見直し ? 学習用画像は540枚（全データの75％） →10,017枚 ? (画像-平均画像) / 標準偏差 で正規化 ? 元画像を２２４*２２４（カラー）にランダム切り抜き →192,128,64,32,28px等??? ? 16枚ずつミニバッチ学習 →20, 8枚（20枚以上は厳しい） ? epoch（学習回数）=50 →２００など（上げると過学習する） ? optimizer（学習率の決定方法）はAdam ? WeightDecay（重み減衰）=0.0005， 骋谤补诲颈别苍迟颁濒颈辫辫颈苍驳（重み上限）=8.75→調整
- 19. モデル見直し ? 畳み込み層L.Convolution2D(in_channels, out_channels, ksize)をひたすら調整 ? Convolution→BatchNormalization→relu→maxPooling とするとaccuracy改善 するらしい１ が、今回は観測できず。 ? Convolution層のチャネル数が入力から出力側へ向けて大きくなっていく構造をよく 見かけた。どういうことかというと??? 1 http://hirotaka-hachiya.hatenablog.com/entry/2016/08/06/175824
- 20. モデル見直し ? L.Convolution2D(3, 6, 7), ? L.Convolution2D(6, 3, 5), ? L.Convolution2D(3, 2, 3), ? l1=F.Linear(1152,500), ? l2=F.Linear(500,7), こうではなくて、 L.Convolution2D(3, 6, 7), L.Convolution2D(6, 9, 5), L.Convolution2D(9,12, 3), l1=F.Linear(1152,500), l2=F.Linear(500,7), こう。（値は適当） ksizeはその逆パターン？（未確認） in, out, ksize in, out, ksize
- 21. モデル見直し 先の層へ行くほどフィーチャーマップの サイズが小さくなるため出力チャネル 数が一定だとメモリに空きが出来る。 →チャネル数を増やして自由度を上げ つつメモリを有効活用するためでは？ という意見を頂いた。 L.Convolution2D(3, 6, 7), L.Convolution2D(6, 9, 5), L.Convolution2D(9,12, 3), l1=F.Linear(1152,500), l2=F.Linear(500,7), in, out, ksize
- 22. 見直し結果 良さそうなものもあったが、全体的に過学習気味。 （学習 と テスト の差が非常に大きい???）
- 24. 見直し結果 一気に未学習気味になった。epochを上げても改善せず。 （学習データ も テストデータ も正解率が小さい???）
- 25. 【参考】 過学習 / 未学習 ● 過学習に有効 ○ 学習データを増やす ○ 変数を減らす ○ λ（正則化パラメータ）を大きくする ● 高バイアスに有効 ○ 変数増やす ○ 多項式にする（モデルを複雑にする） ○ λ減らす ※２ ※１ "Python Machine Learning" より引用 参考： http://chezou.hatenablog.com/entry/2016/05/29/215739 ※２ http://lab.synergy-marketing.co.jp/blog/tech/machine-learning-stanford-3 ※１
- 29. NIN（Network in Network） ? Min Linら（2014）の提案したニューラルネットワークアーキテクチャ１ ? 従来のCNNの線形フィルタを多層パーセプトロン（MLP）に置き換える ? CNNは層が進むほど広域をフィルタして高次の概念を生成するが、この提案は局 所的な画像が統合されて高次の概念になる前により良い抽象化をすることに意義が ある。 1 https://arxiv.org/abs/1312.4400
- 30. NIN（Network in Network） http://qiita.com/muddydixon/items/11ce0e7352c82bc07fcc ↑ 論文中にあるNINの全体図。3つのMLP層とGlobalAveragePooling層が使 用されている ←NIN内の各レイヤ出力の計算式。活性化関数にreluが使われている。 i,jは入力フィーチャマップpixelのインデックス。ｋはチャネルのインデックス、 ｎはMLP層の数
- 32. chainer付属nin.pyのモデル定義 w = math.sqrt(2) mlpconv1=L.MLPConvolution2D(3, (96, 96, 96), 11, stride=4, wscale=w), mlpconv2=L.MLPConvolution2D(96, (256, 256, 256), 5, pad=2, wscale=w), mlpconv3=L.MLPConvolution2D(256, (384, 384, 384), 3, pad=1, wscale=w), mlpconv4=L.MLPConvolution2D(384, (1024, 1024, 1000), 3, pad=1,wscale=w),
- 33. chainer付属nin.pyのモデル定義 w = math.sqrt(2) mlpconv1=L.MLPConvolution2D(3, (96, 96, 96), 11, stride=4, wscale=w), mlpconv2=L.MLPConvolution2D(96, (256, 256, 256), 5, pad=2, wscale=w), mlpconv3=L.MLPConvolution2D(256, (384, 384, 384), 3, pad=1, wscale=w), mlpconv4=L.MLPConvolution2D(384, (1024, 1024, 1000), 3, pad=1,wscale=w), MLPConvolution2D（入力チャネル数、出力チャネル数、フィルタサイズ、ストライド、重み初期化）
- 34. chainer付属nin.pyのforward計算 h = F.relu(self.conv1(x)) h = F.max_pooling_2d(h, 3, stride=2) h = F.relu(self.conv2(h)) h = F.max_pooling_2d(h, 3, stride=2) h = F.relu(self.conv3(h)) h = F.max_pooling_2d(h, 3, stride=2) h = self.conv4(F.dropout(h, train=self.train)) y = F.reshape(F.average_pooling_2d(h, 6), (x.data.shape[0], 1000))
- 35. chainer付属nin.pyのforward計算 h = F.relu(self.conv1(x)) h = F.max_pooling_2d(h, 3, stride=2) h = F.relu(self.conv2(h)) h = F.max_pooling_2d(h, 3, stride=2) h = F.relu(self.conv3(h)) h = F.max_pooling_2d(h, 3, stride=2) h = self.conv4(F.dropout(h, train=self.train)) y = F.reshape(F.average_pooling_2d(h, 6), (x.data.shape[0], 1000)) 畳み込み プーリング ↓ 畳み込み プーリング ↓ 畳み込み プーリング ↓ 畳み込み Global Average Pooling
- 36. 4. 自作モデルを改善する
- 37. モデルの改善 w = math.sqrt(2) conv1=L.Convolution2D(3, 8, 7,wscale=w), conv2=L.Convolution2D(8, 16, 5,wscale=w), conv3=L.Convolution2D(16, 32, 3,wscale=w), conv4=L.Convolution2D(32, 48, 3,wscale=w),
- 38. モデルの改善 w = math.sqrt(2) conv1=L.Convolution2D(3, 8, 7,wscale=w), conv2=L.Convolution2D(8, 16, 5,wscale=w), conv3=L.Convolution2D(16, 32, 3,wscale=w), conv4=L.Convolution2D(32, 48, 3,wscale=w), in, out, ksize 重みの初期値を設定 NINに倣って４層に増やした Linear（全結合層）をなくした 層が進むほどチャネル数が増える構造
- 39. モデルの改善（forward計算） h = F.relu(self.conv1(x)) h = F.max_pooling_2d(h, 3, stride=2) h = F.relu(self.conv2(h)) h = F.average_pooling_2d(h, 3, stride=2) h = F.relu(self.conv3(h)) h = F.average_pooling_2d(h, 3, stride=2) h = F.relu(F.dropout(self.conv4(h), ratio=0.5,train=train)) h = F.average_pooling_2d(h, 3, stride=2) y = F.reshape(F.average_pooling_2d(h, 6), (x.data.shape[0],48)) 畳み込み プーリング ↓ 畳み込み プーリング ↓ 畳み込み プーリング ↓ 畳み込み プーリング ↓ Global Average Pooling
- 44. ご清聴ありがとうございました。