【顿尝尝３】20170904冲础滨ガイドライン冲笔贵狈丸山
- 3. 3 AI生成物の共有?再利用に関するワークショップ ● 産総研?経産省?PFN?UEIなどが中心となって議論し てきたもの — https://sites.google.com/view/srai-2017/ — 学習済みモデルの共有?再利用に必要な技術?ルールは何か？ — 画期的な日本の著作権法47条7
- 5. 学習済みモデルの再利用パターン 5 同タスク 新タスク 同タスク 2. Fine Tuning White box再利用 1. Copy : 3. Distillation Black box再利用 同タスク 4. Ensemble 元モデルをそのまま使う NNの一部あるいは全部を再利用、 新たな訓練データを加えて、似た 領域の異なるタスクに利用する 元モデルを教師として、新 たなモデルを訓練する 複数の元モデルの出力を組 み合わせて精度を向上させ る
- 6. 機械学習の知財をめぐる動き ● RIETI, 企業において発生するデータの管理と活用に関する実証研究, 「IoT,BD,AIデータ知財に関する研究会」 — http://www.rieti.go.jp/jp/projects/program_2016/pg-04/005.html ● 内閣府 知的財産戦略本部「新たな情報財検討委員会」 — http://www.kantei.go.jp/jp/singi/titeki2/tyousakai/kensho_hyoka_kikaku/2017/joho zai/dai1/gijisidai.html ● 経済産業省、「第四次産業革命を視野に入れた知財システムの在り方に関 する検討会」 — http://www.meti.go.jp/committee/kenkyukai/sansei/daiyoji_sangyo_chizai/001_hai fu.html ● MLEP (機械学習利用促進勉強会) ● Deep Learning懇談会（松尾先生）
- 8. 8 総務省「AI開発ガイドライン」の議論（2016年12月） ● トロッコ問題、「野良AI」、などの問題意識からスタート ● 「実効性のある」ガイドラインとして「開発者」に責任を負わせる ● ただし「AI」を定義せず — 機械学習など「人工知能技術」と、それを応用した「システム」を区 別せず ● 「透明性（説明可能性）」を要求 — 深層学習には無理 ● 「開発者」と「利用者」の二元論（ものづくりパラダイム） ● 深層学習の開発?利用を萎縮させる効果を考慮せず ● ：
- 10. 10 2017年7月 ● 国際的な議論のための ＡＩ開発ガイドライン案 ● 「開発者が遵守すべき基準を定めるものとしてではなく、開発者が留意し て対応し、対応状況について利用者等に対しアカウンタビリティを果たす ことが期待される事項に関し国際的に共有されることが期待される非拘束 的な指針」 ● AIとは、「学習等により自らの出力やプログラムを変化させるソフトウェ ア」 ● Googleやamazon.comがまずガイドラインを守ってくれるのなら歓迎
- 12. 「人工知能」の２つの語義 ● 汎用人工知能（「強い人工知能」） — あらゆる状況で人間と同等以上の知性を示す機械 — ターミネーター、HAL9000、鉄腕アトム… ● 特化型人工知能（「弱い人工知能」） — （それまで自動化が困難であった）特定のタスクを解くシステム — 経路探索、かな漢字変換、物流最適化、売上予測、…、機械翻訳、画像認識、 — 現在注目されている要素技術は 深層学習 （統計的機械学習の一分野） 12 大きなギャップ
- 13. 13 IJCAIにおける自律性に関する議論 ● Keynote by Stuart Russell, “Provably Beneficial AI” — ロボットにキルスイッチをつけると？ ◆ 人：「コーヒーをとってきて」 ◆ ロボット： “自分が動けなくなったら目的が達成できない” → まず キルスイッチを無効化 — 人の意図が常に曖昧であることを教えなければならない ● Tom Everitt, “Reinforcement Learning with a Corrupted Reward Channel” — “Wirehead”問題。強化学習において報酬関数が正しくなかったら何が起 きるか。 どちらも、最適化問題における「正しい仕様のあり方」の問題を提起
- 14. 14 機械学習工学に向けて
- 15. 機械学習システムは、高金利クレジット！ ? CACE (Changing Anything Changes Everything) 原理 – すべてが絡み合っ ている ? グルーコード、試験的なコード片な ど、すべてが将来のメインテナスの 悪夢につながる ? … https://static.googleusercontent.com/media/research.google.com/en//pubs/archive/43146.pdf
- 16. パイプラインとインスツルメンテーション ETL Data prep Training Serving Data prep Data Source Raw Data Training data set Trained Model Pipeline Instrumentation
- 17. ハイパーパラメタのチューニング モデルの複雑さが足りない領域 - More layer / nodes 過学習の領域 - Reduce model size - More generalization (dropout etc.) - More training data “Typical relationship between capacity and error”, p. 115 of Goodfellow, I., Bengio, Y., and Courville, A.: Deep Learning, MIT Press, 2016
- 18. Learning Rate はいろいろ試してみるべき “If you have time to tune only one hyperparameter, tune the learning rate”, p. 431 of Goodfellow, I., Bengio, Y., and Courville, A.: Deep Learning, MIT Press, 2016
- 22. 22 同様に、今こそ “機械学習工学” を! ● 要求工学 — 機械学習のメリット?限界をどのようにステークホルダと共有するか？ — 目的関数をどのように設定するか ● ツール — 機械学習におけるIDEとは? — 機械学習の成果物、特に訓練データセットと学習済みモデルをどのようにリポ ジトリ管理するか？ — 過度に自動化されたツールによる過学習をどのように避けるか? ● テスト — 機械学習における “リグレッション?テスト” とは? — テスト駆動開発(TDD)から学べることは何か? ● 運用 — 学習済みモデルの「賞味期限」をどのように検出するか?