狠狠撸

1Copyright ?2020 NS Solutions Corporation. All Rights Reserved.
ディープラーニングを用いた
ワインブドウの収穫量予測
日鉄ソリューションズ株式会社
IoXソリューション事業推進部
徳竹眞人

自己紹介?メンバー紹介
? 徳竹眞人 (分析?モデリング担当)
? 誕生～学生時代
– 長野県中野市出身?
– 名古屋大学素粒子宇宙物理学専攻（修士）
? 就職～現在
– 2016/4 新日鉄住金ソリューションズ入社
エンベデッドユビキタスシステムセンター配属
– 2017/9 IoXソリューション事業推進部異動
– 2019/4 農業分野の案件を担当
? 休日の過ごし方
– キャンプ（ソロキャン8割）
– ピアノ（月2回レッスン）
– 天鳳（八段）
? メンバー紹介
? 森屋和喜（2020年度 PM）
? 高畑紀宏（インフラ担当）
? 飯田健一郎（2019年度 PM）
? 山岡信介（技術サポート）

イントロダクション1

タスク概要
? 「ブドウの収穫２週間前に、収穫量[kg]を予測したい！」
? 収穫は１年間で最も大変な作業のため、計画的に実施する必要あり
収穫醸造出荷
必要な人数は？
- 事前にアルバイト雇う必要も
必要な時間は？
- ワインの品質にも影響する
ワイナリー側の
受け入れ計画どうする？
これらは全て収穫量に依存する！
? スマート農業実証プロジェクト（農水省）
– サントリーワインインターナショナル様、日本総合研究所様、ジャパンプレミアムヴィンヤード様
? 2019年度データ収集?モデル作成、2020年度評価

〇〇 kg
房検出 ×平均重量
〇〇 kg
A案
B案
収穫量予測の方針
領域検出回帰
C案〇〇 kg

〇〇 kg
〇〇 kg
A案
B案
領域検出回帰
C案〇〇 kg
〇直接的でシンプル
×重量データ数が
足りない可能性あり
〇隠れたブドウに頑健
〇モデル再調整しやすい
×平均重量が年毎?圃場毎
に異なる
〇普遍性の高いモデル
〇モデル再調整しやすい
×隠れたブドウによって
誤差が生じる

〇〇 kg
〇〇 kg
A案
B案
領域検出回帰
C案〇〇 kg

収穫量予測フロー
ブドウ大きさ推定
- 大きさ = ピクセル数×距離^2
大きさー重量回帰
- 事前に作成した回帰モデルに
より大きさを重さに変換
ブドウの領域推定
- 事前に学習させたディープ
ラーニングモデルにより推定
フレーム抽出
- Depth情報と自己位置情報により、
ブドウの重複のないフレーム抽出が可能
台車＋カメラで圃場内を移動しながら撮像
- カメラはIntel RealSense D435 + T265
- D435でRGB + Depth画像(距離情報)を撮像
- T265でカメラの自己位置を推定
収
量
推
定
値
=
〇
〇
㎏
大きさ(ピクセル数×距離^2)
重量
距
離
に
よ
る
補
正
×

収穫量予測フロー
ブドウ大きさ推定
- 大きさ = ピクセル数×距離^2
台車＋カメラで圃場内を移動しながら撮像
- カメラはIntel RealSense D435 + T265
- D435でRGB + Depth画像(距離情報)を撮像
- T265でカメラの自己位置を10cm程度の誤差で推定
収
量
推
定
値
=
〇
〇
㎏
大きさ(ピクセル数×距離^2)
重量
距
離
に
よ
る
補
正
×
②大きさー重量回帰
- 事前に作成した回帰モデルに
より大きさを重さに変換
③フレーム抽出
- Depth情報と自己位置情報により、
ブドウの重複のないフレーム抽出が可能
①ブドウの領域推定
- 事前に学習させたディープ
ラーニングモデルにより推定

収穫量予測モデル構築2

①ブドウ領域推定モデル
データ収集学習評価
Fig.1 学習データの一例
? データ収集
? 合計760枚の画像を取得
? D435 + 台車
? アノテーション
? 760枚の画像をグループ会社＋私で
? アノテーション基準統一が極めて重要
– 実際アノテーション修正によってF値 85% → 94%に
Fig.2 D435を搭載した台車が
畝間を走行し撮像する
Fig.3 アノテーション基準ばらつきの例
アノテーション

Fig.1 Ronneberger, Olaf, Philipp Fischer, and Thomas Brox,
“U-Net: Convolutional Networks
for Biomedical Image Segmentation”, International
Conference on Medical image computing and computer-
assisted intervention. Springer, Cham, 2015.
①ブドウ領域推定モデル
データ収集アノテーション学習評価
? 学習?評価
? Unet
? Data augmentation
– Shift, Zoom, Horizontal flip
? 5-Foldで評価
? 圃場A, B個別に評価値を算出
A, Bのブドウに対してadversarial validationの正解率70%のため
Fig.3 圃場別のテストデータを用いた評価．
P : Precision, R : Recall, F_1 : F-measure
Fig.2 （左）圃場Aのブドウ（右）圃場Bのブドウ

? データ収集と回帰
? D435 + 台車
? 撮像 → 収穫 → 計量
? 2人×2日
? 129房の大きさー重量データを取得
? 線形回帰（MAPE = 18%）
②大きさ－重量回帰モデル
Fig.2 画像中の房の重量を推定することができる.
Fig.1 収集したデータと回帰関数
大きさ（ピクセル数×距離^2）
重量

③フレーム抽出
畝
台車の
進行方向
Fig.1 フレーム抽出方法. D435とT265により測定した自己位置情報により、撮像した畝領域の特定が可能.
Fig.2 フレーム抽出の精度評価.
（左）0.5m毎にマーカーを付与し、撮像した動画に対してフレーム抽出を行った.
（右）抽出された各フレーム同士のダブり?抜け誤差の平均±1σ.
台車の
軌跡 ↓

全体評価（は2020年度実施します）3

共有したいこと?その他4
領域検出回帰
C案〇〇 kg
Fig.1 タスク分割
Fig.2 現場の方々へのヒアリング Fig.3 アノテーション

共有したいこと
〇問題を分割し各タスクに適切なアルゴリズムを採用
画像データ多 → ブドウ認識をCNNで
重量データ少 → 重量を線形回帰で
〇現場の方々のご協力?ヒアリングが成否のカギ
ドメイン知識の有無がアルゴリズム選択に大きく影響する
×アノテーション基準統一が極めて重要 (外注や複数人で行う場合は特に)
実際アノテーション修正によってF値 85% → 94%に
Fig.1 アノテーション基準ばらつきの例

試したこと?試したいこと
? 重複カウント対策
△ パノラマ画像生成
○ 自己位置推定
× ブドウのトラッキング
? 隠れたブドウ対策
○ 画角の工夫
× 隠れたブドウの生成（VAE）
？隠れるブドウ率のサンプリング
? 他の圃場への展開
？甲州以外の品種ではどうか
？異なる仕立てではどうか
？ブドウ以外の作物ではどうか
Fig.2 隠れたブドウ
畝
台車の
軌跡 ↓
Fig.1 ブドウの重複カウント

FIN
本文記載の会社名及び製品名は、それぞれ各社の商標又は登録商標です。

狠狠撸

[Track1-2] ディープラーニングを用いたワインブドウの収穫量予測

More Related Content

[Track1-2] ディープラーニングを用いたワインブドウの収穫量予測