機械学習システムを受託開発 する時に気をつけておきたい事
- 2. 自己紹介 名前 平木悠太 職種 エンジニア 所属 アナリティクスサービス本部 開発部 仕事 機械学習システムの開発 他 エディタは emacs + evil, vim シェルは zsh 2
- 3. Google Cloud Next 2018 Tokyo で開催されたCloudHeroというイベントで2位になりました。 http://blog.brainpad.co.jp/entry/2018/10/03/112702 謎のマントをかぶらされた… 3
- 6. お話しないこと ? 一般的なシステム開発 ? 多くの点において機械学習システムは一般的なシステム開発と一緒ですが 今回は特に断りなく一般的な話を割愛することがあります ? 機械学習モデルの作成方法 ? 数式とか難しいことは一切出てきません*1 ? システムの細かい話 ? インフラ構築とかアプリケーション設計とか*2 *1: 登壇者は機械学習に詳しいわけではないので… *2: CloudHeroなんだからGCPの話しろよって感じですよねすみません 6
- 8. 受託開発の流れ 1. 企画 ? テーマ選定?データ取得 2. PoC ? 分析要件定義?検証 3. プロトタイプ開発 ? クライアントからのフィードバック 4. システム開発 ? 要件定義?開発 5. 運用 ? システム運用?モデル運用 8
- 9. 受託開発の流れ 1. 企画 ? テーマ選定?データ取得 2. PoC ? 分析要件定義?検証 3. プロトタイプ開発 ? クライアントからのフィードバック 4. システム開発 ? 要件定義?開発 5. 運用 ? システム運用?モデル運用 9 今回お話する範囲
- 10. 登場人物紹介 12
- 12. 企画 → PoC → プロトタイプ開発 → システ 14
- 16. 構想を語る クライアントに構想を語ってもらいましょう。 例えば、教育コストがかかる社内の専門的な作業の自動化を考えてみます。 1. 専門的な作業を機械学習システムで置き換え 2. 社内で積極的にツールを使って工数削減 3. 同業他社に横展開する ちょっと待てよ… 18
- 18. 企画と現場 企画 ● 運用コストを削減したい ● 属人化を排除したい ● 教育コストを抑えたい ● ビジネスを継続したい ● 古いツールにセキュリティリスクがある 現場 ● 使い慣れたツールを使い続けたい ● 業務変更の学習コストを払えない ● 人員削減されたくない 20
- 19. 納得していただく 我々は企画をする立場なので、現場の皆様に納得してもらいます。 例えば、以下のような説明をします。 ● システムは属人化を排除するためのものなので人員削減はしない ● システムを理解するためのトレーニング講習や学習期間を設ける ● システムを使用することで一部の作業が自動化される 21
- 21. PoC → プロトタイプ開発 → システム開発 → 23
- 22. PoC (Proof of Concept) PoCとは、Proof of Conceptの略で、「概念実証」という意味です。 新しい概念や理論、原理、アイディアの実証を目的とした、 試作開発の前段階における検証やデモンストレーションを指します。 https://www.keyence.co.jp/ss/general/iot-glossary/poc.jsp 24
- 23. つまり 企画段階で業務改善のシナリオがある程度出来た！ ● 現場の技術者が普段から撮影している写真を使って ● 作成された教師データを ● 機械学習アルゴリズムに読み込ませてモデルを作る！ ? 本当にできるかどうか検証してみよう！ 25
- 24. "できる" とは？ 26
- 25. 何ができれば良いのか？ 27 ● モデルの精度 ● 定性評価 ● 定量評価 ● メトリクス開発 ● 継続的な教師データの作成方法 *クライアント要望やデータの形式、業務内容によってはこの限りではない モデルの精度を追い求める作業は 全体工数の1/3程度なんです！！
- 27. 定性評価 要は、見て確認する。 PoCの初期段階では定性評価をすることもあり ますが… 効率を考えて後述の定量評価と組み合 わせます。 29 赤い箇所がコンクリートの 劣化として検出されている
- 30. データ 一般的に機械学習するために必要なデータ ● 学習データ(教師データ*) ○ GoganGoでは河川技術者が撮影した写真 ○ 護岸の劣化部分に印がつけられたもの ○ これ、誰がどうやって作るか？ ● テストデータ ○ 訓練データの一部をテストデータとして使用することが多い *教師あり学習の場合 32
- 33. ところで 35
- 36. お客さんが学習データを… ? 持っている ? 持っていない ? にげる 38
- 37. 学習データがないとき 逃げちゃダメです プラン1 Webからデータを集める 公開データセットを使える場合もあります。自然言語ならWebスクレイピングを使ってある程度集め ることが出来ます。恐るべしGoogle。 プラン2 データを集めるためシステム 業務に直結した機密データを使う場合。大抵、データを蓄積する設計になっていないシステムに問題 があるので、その蓄積システム構築を含め提案しちゃいましょう。長期的な運用をするためにはどう せ必要になるものです。 39
- 38. プロトタイプ開発 → システム開発 → 運用 40
- 41. なんか思ってたんと違う 43
- 45. 簡素化していますが、だいたいこんな業務フローです。 1. 技術者が現場で写真を撮ってくる 2. 写真を共有サーバーにアップロードする 3. 写真を1枚づつ確認して劣化がないか確かめる 4. 劣化が見つかった写真だけを抜き出す 5. レポートを作成する 画像から異常を見つけてレポートする人の業務 47
- 46. 1. 技術者が現場で写真を撮ってくる 2. 写真をシステムにアップロードして 「開始」ボタンを押すと異常画像だけ出てくる 3. 4. レポートを作成する システムで置き換わる部分 48
- 48. 正確に伝えましょう 50
- 50. システム開発 → 運用 52
- 52. プロトタイプは捨てます 54
- 54. フィードバック 例えば、こんなフィードバックが考えられます ● 現場の作業PCやネットワークの環境への対応 ● 作業フローの過不足 ● UIの画面遷移、ボタンの配置など など 56
- 56. そして運用へ… 58
- 57. まとめ 59
- 58. 企画 ● 機械学習で何を解決したいのかを明確に ● 検証可能な形にする ● 企画と現場のジレンマを解消する 60
- 59. PoC システムに組み込むモデルを作るために何が必要か ● モデルの精度 ● 定性評価 ● 定量評価 ● メトリクス開発 ● 継続的な教師データの作成方法 ● … 61