Edge Computing 仝あらゆるものが深える々弊順を恬るのに駅勣な室g
?
4 likes?15,796 views
#StudyAIchiでのk燕Y創です https://connpass.com/event/134720/
![yamlファイル
やってみた(Distiller Example)
version: 1
pruners:
conv1_pruner:
class: 'AutomatedGradualPruner'
initial_sparsity : 0.15
final_sparsity: 0.3
weights: [conv1.weight]
(嶄待)
policies:
- pruner:
instance_name : 'conv1_pruner'
starting_epoch: 1
ending_epoch: 100
frequency: 2
(瘁待)
conv1の嶷みを
1指朕から100指朕まで
2指に1指ずつ
0.3になるまで
乢慝りしてね
before after
NNZ : Number of Non Zero](https://image.slidesharecdn.com/20190906studyaichi-190907053945/85/Edge-Computing-17-320.jpg)
![なぜ、蛍ける駅勣があるのか
はじめから頼莎を朕峺すより
篁にい碧Mみを恬るほうが措い
g弊順の勣
僥をどんどんMめて娼業を貧げて
湿によって殞造笋錣襪ら、
その深]もして
あ、でもコストは雙えてね](https://image.slidesharecdn.com/20190906studyaichi-190907053945/85/Edge-Computing-19-320.jpg)
Edge Computing 仝あらゆるものが深える々弊順を恬るのに駅勣な室g
- 2. Ref ? 念 : C亠僥?デ`タ蛍裂の冩梢 ? 曜エントリが匯寄ム`ブメントとなりましたね ? F : 恬I彭彭て、CTOやってます ? 垢鬚韻IoTシステム恬ってます ? メインのI佞詫Uです ? 箸龍 : ブログやってます ? 唾とか、尖狼ネタとか、茶のhとか ? 〆尖狼ネタを畠薦で〇やったY惚、云が竃ました ? 〆匯繁アドベントカレンダ`〇やりがちです About Me. 云 : 附除な方僥D方僥で弊順への圭が笋錣! ブログ : PROCRASIST
- 4. Ref IoT : Internet of Things M2M:モノ揖平で頼YP2P:ヒト揖平で頼Y IoT あらゆるものが つながる 恷除送佩りの仝IoT々ってなに燭匹κ垢Δ裡
- 6. エッジコンピュ`ティングとは 方為kB゛方MB 容 1,2,3,4,2, ´ , 3,4,1,2,3 yI尖 100のデ`タ {兆念 : hokekiyoo} 停兆晒 方kB ねこ 峠譲: 2,5, 米餓: 1.3 2つのy楚 {xxx : yyy} アップロ`ドするデ`タ函誼したデ`タ
- 7. エッジコンピュ`ティング vs 噸宥のコンピュ`ティング 娼業 リソ`ス 塚消來 コスト ｡囃 薦 笑崩訳周原き恷m晒
- 10. Ref 娼業とともにえるモデルのパラメ`タ エッジでは、 互堀かつ娼業措く咾すチュ`ニングが駅勣 SQLML : Convolutional Network 鮫餬幗タスクでの`基楕と咾諒
- 11. ? ソフトウェア箸旅し : モデルX楚晒 ? 乢慝り (pruning) ? 楚徨晒 (quantization) ? 對藻 (distillation) ? ☆モデルをXくすることで、屎ｻされ、晒來嬬があがるというもある 1. 容I尖の互堀晒 Ref LeapMindのディ`プラ`ニングモデルRs室gによる詰M薦なシステム貧での互堀容 SageMaker Neo Day21. エッジでディ`プラ`ニングを辛嬬にする仝モデルRs々室g ? ハ`ドウェアに恷m晒させる ? Amazon SageMaker Neo ? 僥モデルはそのままで、g佩デバイスに栽わせて恷m晒してコンパイル ? FPGAを聞うとかもある
- 12. Ref 乢慝り (pruning) vSの院い Y栽を0にする 秘竃薦いずれか 0のところを肇 Learning both Weights and Connections for Efficient Neural Networks (NIPS2015)
- 14. 楚徨晒 (quantization) 嶷みを1 or -1 にする ☆嶷みを楚徨晒する圭隈 (i) Deterministic ? +1 if ? > 0 ?1 otherwise (□) Probablistic ? +1 with ? = ?(?) ?1 with 1 ? ? ? = max 0, min 1, ? + 1 2 ☆ハ`ドシグモイドという Ref BinaryConnect: Training Deep Neural Networks with binary weights during propagations
- 15. Ref 對藻(Distillation) Teacher : いモデル Student : 樋いモデル 秘薦デ`タ ねこ いぬ へび _楕議にY惚を麻竃 (クロスエントロピ`など) Y惚を嚠y (_楕議 or Q協議) ねこ いぬ へび 2つのY惚を栽わせて `餓を麻竃 Back Propagationにより嶷みを厚仟 Teacherの容Y惚からわかることを 圧a岑としてStudentに擦┐襭 箭 : 溌と竪は護と除い etc´ Distilling the Knowledge in a Neural Network Deep Learningにおける岑Rの對藻 | Code Craft House
- 16. Ref ? Inteluのオ`プンソ`ス ? YはPyTorchで咾い討い ? yamlでX楚晒のスケジュ`リングができる ? 箭 : 仝30 指朕から100指朕にかけて乢慝りをして。々 ? ドキュメントもかなり割gしていて、iむだけで茶になる モデルX楚晒Tのライブラリ : Distiller DistillerでDeepLearningのモデルをX楚晒: Gradual Pruning github : Distiller
- 17. yamlファイル やってみた(Distiller Example) version: 1 pruners: conv1_pruner: class: 'AutomatedGradualPruner' initial_sparsity : 0.15 final_sparsity: 0.3 weights: [conv1.weight] (嶄待) policies: - pruner: instance_name : 'conv1_pruner' starting_epoch: 1 ending_epoch: 100 frequency: 2 (瘁待) conv1の嶷みを 1指朕から100指朕まで 2指に1指ずつ 0.3になるまで 乢慝りしてね before after NNZ : Number of Non Zero
- 19. なぜ、蛍ける駅勣があるのか はじめから頼莎を朕峺すより 篁にい碧Mみを恬るほうが措い g弊順の勣 僥をどんどんMめて娼業を貧げて 湿によって殞造笋錣襪ら、 その深]もして あ、でもコストは雙えてね
- 21. ? 麗尖弊順とY栽 ? センサ`により、Fg弊順のデ`タを鹿められる ? 悲なO ? }方極挑から匯鼎縫禰`タを鹿めて僥する ? 徭佚がない鮫颪世uploadして壅僥とか ? 械返 : r豚によって屎械狼が篁するときとかのモデルのチュ`ニング ? エッジはリアルタイム、クラウド何蛍はバッチI尖 ? 鮫颪鬟▲奪廛踪`ドするのは侮匚にすると、コストが和がるとか こんなことができるようになる
- 22. クラウドの薦を処りよう
- 24. ? Raspih廠恬り ? RaspiカメラのO協 ? greengrassの秘 ? DRL(DeepLearning Runtime)のインスト`ル ? AWSのh廠恬り ? Greengrass, AWS IoTのO協 ? LambdaのO、AWS IoTとの~原け ? S3バケットの恬撹 ? 僥モデルの恬撹 ? Lv0. pre-trainedモデルを隔ってくる(SageMakerNeo) ? Lv1. 恬ったモデルをupdate ? モデルを恬る(PyTorch) ? モデルをコンパイルする(SageMakerNeo:Compile Job) ? モデルをデプロイする(S3, aws greengrass) ? Lv2. モデルのX楚晒(Distiller) ? Lv3 アノテ`ションの碧Mみを恬る(徭恬 or Ground Truth) ? Lv4. 壅僥?コンパイル?デプロイを匯殕(SageMaker) レシピ cf ☆書指はh侯デプロイにAWSのGreengrassを聞ったが、 githubでもh侯デプロイできるようになるらしい
- 25. ? ネットワ`クつながってる ? エッジで咾い討いLambdaのログをるためには、sshでつないでおきたい ? greengrasssdが軟咾靴討い襪_Jする。軟rに羨ち貧がるようにして おくと措い ? エッジのLambdaから翌にはアクセスできないrequestはできないので匯 業AWSまでwばしてからうんぬんすることになる ? まず、エラ`ログがどこに竃るかわからない。それを委燐する。 ? greengrass Lambdaなら/var/´參和 ? AWS IoTはデプロイY惚に秤鵑竃てくる。 ? ただしgreengrasssdが軟咾靴討い覆い飯設hにM佩嶄 ? Lambdaはcloudwatchから ? 光N勣周を困燭垢ちゃんとチェックする ? さすがに￣Imcompatible￣はどうしようもない´ ? pytorchでinputの侘塀を冥るにはverboseをTrueにすればよい ? ラズパイの否楚もチェックしておく。軟咾任なくなっちゃう ? エッジ極挑のア`キテクチャ ? Pythonのバ`ジョンは屎しい ? インスト`ルするソフトウェア(DRL, )のバ`ジョンは屎しい ? AWS sagemakerでは聞えないバ`ジョンがある(pytorch1.1.0は隆鬄 恙して棋つ) ? エッジは匯劣Wれがちかもしれない ? センサやカメラをxぶときに、その極挑にm栽しているかをチェックする めちゃエラ`でた 聞ったrgの8護了はエラ`のI ☆そのうち竃たエラ`鹿を並にしておきます。 ? 慙渣椶蠅AWSにっとって匯桑中宜で、匯桑嶷勣 ? permissionとかAuthとかでるときはこれ ? IAMポリシ`を委燐する ? greengrassに^苧を托めzむことを梨れずにね ? 宥佚(MQTT) : greengrassのsubscriptionへの鞠hを梨れずに ? Lambda->raspiリソ`ス : greengrassのリソ`スへの鞠hを梨れずに ? greengrassからS3へのアクセス慙泙鮓錦襪靴覆い煩Яモデル哈っっ てこれないよ。firehoseとかもそう ? 猟忖コ`ド/json serializeはエンジニア嬬薦いる ? 鮫颪MQTTで僕るので、エンコ`ド/デコ`ドしたいrが栖る ? base64わからん ? np.float()はだめなのでfloatにキャストしてやろう ? python2はデフォルトで晩云Zできないよ。 ? AWSの聞い圭わからん ? 蒙嗤のエラ`がでるので、トラブルシュ`ティンかる ? Lambdaの聞い圭がわからないと、はじめアップロ`ドすらままならなかっ たりする ? sagemakerも、それに仝侏々がQまっていたりする ? greengrassでLambdaを聞ってもらうところ ? Documentiもうな?哂Zは仭いけど
- 26. つくったア`キテクチャ AWS Cloud greengrass Edge Client IoT Core Lambda sagemaker sagemaker neo S3
- 27. つくったア`キテクチャ 亟寔 h侯デプロイ? モデルの厚仟 ロ`カルで容 クラウドにY惚を僕佚 蒙協の容Y惚 でk諮 徭佚のあるタスクは Slackに宥岑 徭佚のないデ`タを 壅僥喘に隠贋 僥 モデルX楚晒 モデル隠贋 エッジ極挑鬚 にコンパイル AWS Cloud greengrass Edge Client IoT Core Lambda sagemaker sagemaker neo S3
- 28. demo
- 30. ? IoT/エッジコンピュ`ティングは笑崩訳周原恷m晒 ? ITのt栽鯉L室 ? 奬崩で店るのがyしい ? ゆえにSしい、アイディア掫みたいなところもある ? m可m侭で、リソ`スをうまく聞う ? AWSなどのクラウドを喘いると措い ? 麗尖デバイス〜AIは栖るぞ ? Fg弊順とのY栽がIoTの故 ? エッジコンピュ`ティングがﾚがる輿瓦できつつある ? あらゆるものがつながる?あらゆるものが深える まとめ