【LTセッション】推論をエッジで？いえ、PaaSです。 paasで推論を運用するとこんなに楽チン。_DLLAB推論ナイト
?
0 likes?296 views
推論をエッジで？いえ、PaaSです。 paasで推論を運用するとこんなに楽チン。
![tensorflowを使ったモデルのLoadとPredict
byte[] graphDef =
IOUtils.toByteArray(
this.getClass()
.getClassLoader()
.getResourceAsStream(modelPbName));
g = new Graph();
g.importGraphDef(graphDef);
Iterator<Operation> operations = g.operations();
this.s = new Session(g);
FloatBuffer fb = FloatBuffer.wrap(vector(title, maxLength));
Tensor<Float> inputTensor = Tensor.create(new long[] { 1, maxLength }, fb);
List<Tensor<?>> results = this.s.runner().feed(inputName, inputTensor)
.fetch(outputName).run();](https://image.slidesharecdn.com/20180824dllpaas-180903062521/85/LT-PaaS-paas-_DLLAB-18-320.jpg)
【LTセッション】推論をエッジで？いえ、PaaSです。 paasで推論を運用するとこんなに楽チン。_DLLAB推論ナイト
- 2. 问题
- 5. 品川 推奨パターン
- 12. よく見るPaaS vs Container の図
- 13. クラウドでの実际
- 14. 宿題！ (今日のブログに書くこと) Web Apps(PaaS)とAKS(k8s環境)での 10req/sec 100req/sec 1000req/sec 10000req/sec コスト比較！
- 16. 笔补补厂でどうやって动かす?
- 17. C#, Python ,, etc Python Java, go, C++ Menoh
- 18. tensorflowを使ったモデルのLoadとPredict byte[] graphDef = IOUtils.toByteArray( this.getClass() .getClassLoader() .getResourceAsStream(modelPbName)); g = new Graph(); g.importGraphDef(graphDef); Iterator<Operation> operations = g.operations(); this.s = new Session(g); FloatBuffer fb = FloatBuffer.wrap(vector(title, maxLength)); Tensor<Float> inputTensor = Tensor.create(new long[] { 1, maxLength }, fb); List<Tensor<?>> results = this.s.runner().feed(inputName, inputTensor) .fetch(outputName).run();
- 22. 言語別レイテンシ 0 2 4 6 100 rps 500 rps 1000 rps 2000 rps RPSとレイテンシ(Java) S1 S2 S3 0 500 1000 1500 100 rps 500 rps 1000 rps 2000 rps RPSとレイテンシ(Python) S1 S2 S3 (グラフはイメージです。) (グラフはイメージです。)
- 23. 宿題！ (今日のブログに書くこと) ２ PythonとC#(or Java)での パフォーマンス比較 10req/sec 100req/sec 1000req/sec でのレイテンシ比較！
- 25. 闯滨罢な言语
- 27. （再）宿題！ (今日のブログに書くこと) 1. Web Apps(PaaS)とAKS(k8s環境)でのコスト比較！ 2. PythonとC#(or Java)でのレイテンシ比較！