1. ? 2015-2017 Research Institute of Systems Planning, Inc.
兜めてのAzureで
Brainwave乾ってみた
幄塀氏芙システム鮫冩梢侭ISP
表云 寔望
2018定8埖24晩
DLLAB容ナイト
2. ? 2015-2017 Research Institute of Systems Planning, Inc.
0. 徭失B初
? 幄システム鮫冩梢侭ISP 侭奉
C 1977定Iの鏡羨狼冩梢_k侏のソフトウェア_k
氏芙
C 除定は、匳秤鵝⇒佚?ネットワ`ク、崙囮?嚴
帑、鮫I尖などの並II囃で、AI並Iに廣薦
? 徭各Mみzみエンジニア
C 叨は仝エキスパ`ト々といて仝[び繁々とiみ
ます
C 中易そうな室gを冥してくるのがミッションです
? Brainwave を乾るまで、Azure聞喘UYまった
くなし
1
3. ? 2015-2017 Research Institute of Systems Planning, Inc.
アジェンダ
1. Brainwaveとは
2. チュ`トリアル┌娃娃を尖盾する
3. Brainwave を咾せるようにするまで
2
5. ? 2015-2017 Research Institute of Systems Planning, Inc.
1.Brainwaveとは
? Brainwave┘廛譽咼紿`井はざっくり冱うと
? FPGAとは、きQえ辛嬬な H/Wですが、
Brainwave┘廛譽咼紿`井では、ユ`ザ`は
徭喇には FPGAをきQえられません
4
FPGA貧にあらかじめg廾された
CNNのモデルを
ネット埆しに澣いて
容させようという旗麗
6. ? 2015-2017 Research Institute of Systems Planning, Inc.
1.Brainwaveとは
? Brainwave┘廛譽咼紿`井は古ね參和の返で聞
喘します
1. ロ`カルで容モデルを峰する
駅勣に鬉犬董▲螢皎`トからモデルをダウンロ`ドします
2. リモ`トにデプロイする
3. リモ`トでサ`ビスをg佩する
? それぞれ參和の室gに羨重しています
1. 容モデルの峰 ??? Tensorflow
2. デプロイ ??? REST API
3. リモ`トサ`ビス ??? gRPC
5
10. ? 2015-2017 Research Institute of Systems Planning, Inc.
Pipeline
Tensorflow Tensorflow
Stage Stage
CPU
Brainwave
Stage
2.チュ`トリアル┌娃娃を尖盾する
? REST APIgRPCはラッパ`に頼畠にL盈
? Tensorflowのコ`ドがかろうじてを竃す殻業
? つまり、採をやってるかかいことは畠隼わかりません
? Tensorflow の Graph は Pipeline にL盈されてます
10
ResNet50
Featurizer
snow leopard, ounce, Panthera
uncia confidence: 0.85421455
leopard, Panthera pardus
confidence: 0.13914554
cheetah, chetah, Acinonyx jubatus
confidence: 0.0020039019
lynx, catamount confidence:
0.0019892405
great grey owl, great gray owl, Strix
nebulosa confidence: 0.0011571224
念I尖
蒙
楚
ResNet50
Classifier
11. ? 2015-2017 Research Institute of Systems Planning, Inc.
2.チュ`トリアル┌娃娃を尖盾する
? Stageとは
C 和の3Nの Stageがあります
1. TensorflowStage
2. BrainWaveStage
3. KerasStage
? このうち、BrainWaveStage は FPGAでg佩され、麿の
2つは CPUでg佩されます
? チュ`トリアルでは、參和の撹になってます
1. 鮫颪稜I尖 ´ TensorFlowStage
2. 蒙翮審薐 ´ BrainWaveStage
3. クラス蛍 ´ TensorFlowStage
11
12. ? 2015-2017 Research Institute of Systems Planning, Inc.
2.チュ`トリアル┌娃娃を尖盾する
? リモ`トモデル
C ResNet50による FeaturizerClassifierのモデルが
戻工されています
C チュ`トリアルでは、これらをダウンロ`ドして、
Classifier を Pipelineに俊Aした瘁に、リモ`トに
アップロ`ドしています
C Featurizer はリモ`トの FPGAで咾ので、アップ
ロ`ドしません
? では、採でダウンロ`ドするのか というと、ロ`カ
ルで Pipeline がちゃんと咾か_Jするときなどに聞
えるようです
12
13. ? 2015-2017 Research Institute of Systems Planning, Inc.
2.チュ`トリアルでやってること
? チュ`トリアルでやってることのまとめ
13
チュ`トリアルの竃し 古勣
1 Image_processing 念I尖の協x
2 Featurizer リモ`トモデルの download
3 Classifier 貧モデルから Classifier の Graph恬撹
4 Service Definition Stage を Pipeline List に Append
デプロイ喘の zipファイル恬撹
5 Deploy REST APIk佩
Zipファイルのアップロ`ド
デプロイ
6 Client Clientを恬る
Imagenet のラベル秤鵑鬟殴奪
gRPC でリモ`トの Predictサ`ビスをg佩し
てY惚を燕幣
14. ? 2015-2017 Research Institute of Systems Planning, Inc.
BRAINWAVE を咾せるよう
にするまで
14
15. ? 2015-2017 Research Institute of Systems Planning, Inc.
2.Brainwave を咾せるようにするまで
https://github.com/Azure/aml-real-time-ai
Azure ML Hardware Accelerated Models Quickstartより
(1) Azure のo創アカウントを恬る
(2) MMAModel Management Accountを恬る
(3) quota を賦する
(4) 卦並を棋つ
(5) 棋っているgにh廠B
(6) SSL 俊Aの
(7) 卦並が栖る
(8) Jupyter notebook の軟
15
16. ? 2015-2017 Research Institute of Systems Planning, Inc.
2.Brainwave を咾せるようにするまで
? 歌深サイト
https://github.com/Azure/aml-real-time-ai/blob/master/README.md
https://github.com/Azure/aml-real-time-ai/blob/master/docs/README.md#set-up-environment
https://docs.microsoft.com/ja-jp/azure/machine-learning/service/quickstart-installation
https://docs.microsoft.com/en-us/azure/machine-learning/service/how-to-deploy-fpga-web-service
? サイトにより富しずついてあることがなるので
ご廣吭ください
? ラッパ`クラスの嶄附についてはこちらがしいで
す。Microsoft エバンジェリスト防鍋さんの並
です
https://tsmatz.wordpress.com/2018/05/22/project-brainwave-fpga-realtime-prediction-service-in-azure-machine-learning-model-management/
17
17. ? 2015-2017 Research Institute of Systems Planning, Inc.
(1) Azure のo創アカウントを恬る
? 鮫中キャプチャし梨れたので}はありません
? 兜めてだと伽かった泣
C クレジットカ`ド桑催を秘れろと冱われる
? 絶やかし貨です
? o創豚gを^ぎて、嗤創アカウントに卞佩しなかっ
たら、ちゃんと採も箔されなかったので囮芦伉を
C 桑催を秘れろと冱われる
? ベリフィケ`ションコ`ドをBうためです
? PHSの桑催を秘れてもちゃんとSMSが僕られてきま
した
? 訊れることは採もないです
18
18. ? 2015-2017 Research Institute of Systems Planning, Inc.
(2) MMAModel Management Accountを恬る
19
? Azure Portal 鮫中
machine learning
19. ? 2015-2017 Research Institute of Systems Planning, Inc.
(2) MMAModel Management Accountを恬る
21
兆念狼はm輝に`う
兆念をO協
Free_experiment
Free_resource
など
Free Trialをxk
致忽|何 2
仝孃棋々をxkして、
徭蛍を孃棋
S1 をxk
20. ? 2015-2017 Research Institute of Systems Planning, Inc.
(3)quota を賦する(4)卦並を棋つ(6)卦並が栖る
22
? フォ`ムにMMAの秤鵑鯣訌Δ靴董△い
つかのアンケ`トに指基して僕佚
? 謹蛍、FPGAを旋喘するためのリソ`スを
_隠するための返Aき
? 1指朕は2晩磯ほどで、2指朕は5晩瘁に
仝FPGA quota allocated々のメ`ルが曙きま
した
? ここの秤鵑駅勣に? Azure Portal ★ すべてのリソ`ス? MMAxk? フォ`ムに秘薦
21. ? 2015-2017 Research Institute of Systems Planning, Inc.
(5) 棋っているgにh廠B
? h廠Bの返は和を歌深に、
https://github.com/Azure/aml-real-time-ai/blob/master/docs/README. md#set-up-environment
? 貧では miniconda をインスト`ルしているが、暴は、
anaconda3 をインスト`ルして、和の恬Iをg仏
(1) Brainwave のh廠匯塀を github からクロ`ンする
(2) Brainwave g佩喘のh廠を恬る
- anaconda3/envs/amlrealtimeai 塘和にh廠がBされます
- du で amlrealtimeal の聞喘楚をたら@きの2G階でした
(3) Brainwave g佩喘のh廠に俳り紋える
C すときは、conda deactivate とする
23
git clone https://github.com/Azure/aml-real-time-ai
conda env create -f aml-real-time-ai/amlrealtimeai.yml
conda activate amlrealtimeai
22. ? 2015-2017 Research Institute of Systems Planning, Inc.
(6) SSL 俊Aの
? ここには、SSL俊AのO協をしろといてあり
ますが、蒙に採もしないでもチュ`トリアルは
咾ます
https://docs.microsoft.com/en-us/azure/machine-learning/service/how-to-deploy-fpga-web-service
? g`った聞い圭をしているといけないので、徭
失販でおいします
24
23. ? 2015-2017 Research Institute of Systems Planning, Inc.
(8) Jupyter notebook の軟
? Amlrealtimeai のh廠で軟
? チュ`トリアルのnotebookは、參和にあります
aml-real-time-ai/notebooks/resnet50
? 兜指軟rは和のようなメッセ`ジに惄 token
を秘薦します。2指朕參週は音勣です
VCopy/paste this URL into your browser when you connect for the first time, to login with a token:
http://localhost:8888/?token=bb2ce89cc8ae931f5df50f96e3a6badfc826ff4100e78075
? h廠によって、
C Running at仝0.0.0.0:8080々と竃るが、そこでは俊Aできず、箭
えば仝localhost:8080々でないとダメだったり、
C Running at仝localhost:8888々と竃て、そのままでOKだったり、
弼?なのでm卷鬉ださい
25
jupyter notebook
24. ? 2015-2017 Research Institute of Systems Planning, Inc.
(8) Jupyter notebook の軟
? チュ`トリアル鮫中
26
25. ? 2015-2017 Research Institute of Systems Planning, Inc.
Appendix:創署_J
27
晩
MMA
FPGA
Storage
o創蛍のt~ 火~
*Azure Potal
★ すべてのサ`ビス
★ サブスクリプション
★ Free Trial をxk
26. ? 2015-2017 Research Institute of Systems Planning, Inc.
ご賠ありがとうござました
ISP www.isp.co.jp
室ラボ wazalabo.isp.co.jp
28