狠狠撸
Submit Search
Open ai universe starter-agent触ってみた
?
0 likes
?
20,583 views
Nakanishi Tetsuhiro
Follow
PyData.Okinawa meetup23で利用したLTの資料です
Read less
Read more
1 of 27
Download now
Download to read offline
More Related Content
Open ai universe starter-agent触ってみた
1.
OpenAI universe-starter-agent 触ってみた
2.
今回の目標 - universe-starter-agentでAtari pongの学習をさせて遊んでみる
3.
学習の最終目標 - 強化学習を利用してアプリゲームなどのレベル上げを自動化したい
6.
OpenAI / universe
とは? - AIの知能を測定?学習するためのソフトウェアプラットフォーム - Universe上でAIエージェントは人間と同じようにコンピュータを利用することで学習 を行わせることができる
7.
OpenAI / universe-starter-agent
とは? - 以前のPyData.Okinawa meetupでも利用した、universeの環境に加えて、 TensorFlowで実装されたA3Cアルゴリズムが最初から実装されている - さまざまなuniverse上の環境を解決できるエージェントらしいが、実際はAtari pong の環境に最適化されているっぽい
8.
環境構築 → プロセスの起動 - リポジトリのREADMEを参照しながらやったらすぐできた - 環境構築がうまくいけばanacondaの仮想環境内でtmuxのセッションが立ち上がる
9.
辫蝉:别々のワーカ间でパラメータを同期させるパラメータサーバ
10.
飞-0:方策勾配法で强化学习を行うプロセス(なるほどわからん)
11.
飞-1:环境から受け取ったランダムなノイズを利用するプロセス(なるほどわからん)
12.
迟产:罢别苍辞谤叠辞补谤诲を动かすプロセス
13.
丑迟辞辫:マシンにかかる负荷を监视できる
14.
学習のようす - 53000ステップ目付近 - 160000ステップ目付近
15.
学習のようす:TensorBoardの global/reward_per_time
16.
所感 - 強化学習の理論の勉強ちょうむずかしそう - 2014年に購入した4CoreのMacを使ってるんですが、はやくもつらくなってきた。。 -
今度はマシンスペックに余裕のある环境(贰颁2)で构筑してみる
17.
大変だったこと - 最近飼い始めたねこ(むぎ君)が邪魔してなかなか作業がはかどらなかった - ねこと強化学習の勉強は相性が悪い可能性あり(突然のCtrl-C!)
18.
ねこのハトムギ君
19.
これからやることリスト - スペックの高いマシンでの - A3Cアルゴリズムの勉強 -
universe-starter-agentのREADMEによると、さまざまな環境で使えるようなので ほかのゲームでも学習を試してみる - ねこと一緒に住んでても快適にコーディングできる術を考える
20.
参考文献 - universe-starter-agent - https://github.com/openai/universe-starter-agent -
OpenAI UniverseでするAtari Pongの強化学習 - http://qiita.com/TSY/items/9ef0db18d40233f023e8 - A3Cという強化学習アルゴリズムで遊んでみた話 - /mooopan/a3c-62170605
21.
さいごに - おもしろそうだなと思ってくれたそこのかた! - 一緒に勉強しましょう!(土下座)
23.
GitHubのPyData.Okinawaリポジトリにあ るJupyter notebookがDeadKernelになる 人へ
25.
つらみ(??ω?`)
26.
解決方法 - 気になる方は”IT系バンドマンの日常”でけんさくけんさくぅ
27.
いつもよりはフランクな雰囲気だと 思いますのでなんでも聞いてください
Download