狠狠撸

狠狠撸Share a Scribd company logo
OpenAI
universe-starter-agent
触ってみた
今回の目標
- universe-starter-agentでAtari pongの学習をさせて遊んでみる
学習の最終目標
- 強化学習を利用してアプリゲームなどのレベル上げを自動化したい
Open ai universe starter-agent触ってみた
Open ai universe starter-agent触ってみた
OpenAI / universe とは?
- AIの知能を測定?学習するためのソフトウェアプラットフォーム
- Universe上でAIエージェントは人間と同じようにコンピュータを利用することで学習
を行わせることができる
OpenAI / universe-starter-agent とは?
- 以前のPyData.Okinawa meetupでも利用した、universeの環境に加えて、
TensorFlowで実装されたA3Cアルゴリズムが最初から実装されている
- さまざまなuniverse上の環境を解決できるエージェントらしいが、実際はAtari pong
の環境に最適化されているっぽい
環境構築 → プロセスの起動
- リポジトリのREADMEを参照しながらやったらすぐできた
- 環境構築がうまくいけばanacondaの仮想環境内でtmuxのセッションが立ち上がる
辫蝉:别々のワーカ间でパラメータを同期させるパラメータサーバ
飞-0:方策勾配法で强化学习を行うプロセス(なるほどわからん)
飞-1:环境から受け取ったランダムなノイズを利用するプロセス(なるほどわからん)
迟产:罢别苍辞谤叠辞补谤诲を动かすプロセス
丑迟辞辫:マシンにかかる负荷を监视できる
学習のようす
- 53000ステップ目付近
- 160000ステップ目付近
学習のようす:TensorBoardの global/reward_per_time
所感
- 強化学習の理論の勉強ちょうむずかしそう
- 2014年に購入した4CoreのMacを使ってるんですが、はやくもつらくなってきた。。
- 今度はマシンスペックに余裕のある环境(贰颁2)で构筑してみる
大変だったこと
- 最近飼い始めたねこ(むぎ君)が邪魔してなかなか作業がはかどらなかった
- ねこと強化学習の勉強は相性が悪い可能性あり(突然のCtrl-C!)
ねこのハトムギ君
これからやることリスト
- スペックの高いマシンでの
- A3Cアルゴリズムの勉強
- universe-starter-agentのREADMEによると、さまざまな環境で使えるようなので
ほかのゲームでも学習を試してみる
- ねこと一緒に住んでても快適にコーディングできる術を考える
参考文献
- universe-starter-agent
- https://github.com/openai/universe-starter-agent
- OpenAI UniverseでするAtari Pongの強化学習
- http://qiita.com/TSY/items/9ef0db18d40233f023e8
- A3Cという強化学習アルゴリズムで遊んでみた話
- /mooopan/a3c-62170605
さいごに
- おもしろそうだなと思ってくれたそこのかた!
- 一緒に勉強しましょう!(土下座)
Open ai universe starter-agent触ってみた
GitHubのPyData.Okinawaリポジトリにあ
るJupyter notebookがDeadKernelになる
人へ
Open ai universe starter-agent触ってみた
つらみ(??ω?`)
解決方法
- 気になる方は”IT系バンドマンの日常”でけんさくけんさくぅ
いつもよりはフランクな雰囲気だと
思いますのでなんでも聞いてください

More Related Content

Open ai universe starter-agent触ってみた