インテルFPGAのDeep Learning Acceleration SuiteとマイクロソフトのBrainwaveをHW泣から曳^してみる MS
?
1 like?392 views
インテルFPGAのDeep Learning Acceleration SuiteとマイクロソフトのBrainwaveをHW泣から曳^してみる インテルFPGAのDeep Learning Acceleration SuiteとマイクロソフトのBrainwaveは、どちらもFPGAを喘いてインファレンスI尖を佩うものでありながら、その坪何撹は180業なります。ここではI宀を曳^しつつ、インテルのインファレンスソリュ`ションについて盾hします。
![Pretrained DNN モデル を ソフト DPU にコンパイルするための
フレ`ムワ`ク嶄羨のB栽コンパイラとランタイム
倭娼業 DNN 容のためのm魹 ISA
篁朕まぐるしいAI アルゴリズムをサポ`トする悲來と來
BrainWave Soft DPU マイクロア`キテクチャ
互娼業、詰W决バッチに恷m
Intel の FPGA を スケ`ルする HW マイクロサ`ビスに婢_
[マイクロ ' 16]
FPGA 貧でモデルパラメ`タを頼畠に喟A晒するオンチップメモリは、
謹方の FPGA にまたがってスケ`リングすることにより、
寄ﾄなモデルをサポ`ト](https://image.slidesharecdn.com/dllab20180824ms-180828050312/85/FPGA-Deep-Learning-Acceleration-Suite-Brainwave-HW-MS-5-320.jpg)
インテルFPGAのDeep Learning Acceleration SuiteとマイクロソフトのBrainwaveをHW泣から曳^してみる MS
- 2. Catapult v0 Catapult v1 スケ`ル v1 Catapult v2 2011 2012 2013 2014 2015 2016 ... Ignite 云桑婢_
- 3. Web search ranking Traditional software (CPU) server plane QPICPU QSFP 40Gb/s ToR FPGA CPU 40Gb/s QSFP QSFP Hardware acceleration plane Web search ranking Deep neural networks SDN offload SQL CPUs FPGAs Routers
- 4. f f f l0 l1 f f f l0 Pretrained DNN モデル CNTK などで スケ`ラブルな DNN ハ`ドウェア マイクロサ`ビス BrainWave Soft DPU Instruction Decoder & Ctrl Neural FU ネットワ`クスイッチ FPGA
- 5. Pretrained DNN モデル を ソフト DPU にコンパイルするための フレ`ムワ`ク嶄羨のB栽コンパイラとランタイム 倭娼業 DNN 容のためのm魹 ISA 篁朕まぐるしいAI アルゴリズムをサポ`トする悲來と來 BrainWave Soft DPU マイクロア`キテクチャ 互娼業、詰W决バッチに恷m Intel の FPGA を スケ`ルする HW マイクロサ`ビスに婢_ [マイクロ ' 16] FPGA 貧でモデルパラメ`タを頼畠に喟A晒するオンチップメモリは、 謹方の FPGA にまたがってスケ`リングすることにより、 寄ﾄなモデルをサポ`ト
- 6. FPGA0 FPGA1 Add500 1000-dim ベクトル 1000-dim ベクトル 蛍護 500x500 マトリックス MatMul500 500x500 マトリックス MatMul500 MatMul500 MatMul500 500x500 マトリックス Add500 Add500 Sigmoid500 Sigmoid500 蛍護 Add500 500 500 concat 500 500 500x500 マトリックス タ`ゲット コンパイラ FPGA タ`ゲット コンパイラ CPU-CNTK フロント ポ`タブル IR タ`ゲット コンパイラ CPU-カフェ トランスフォ`ム IRs グラフスプリッタ と オプティマイザ 婢_パッケ`ジ Caffe モデル FPGA ハ`ドウェア マイクロサ`ビス CNTK モデル Tensorflow モデル
- 7. = O(N2) data O(N2) compute 秘薦アクティベ`ション 竃薦念のアクティベ`ション N ウェイトカ`ネル O(N3) data O(N4K2) compute =
- 13. FPGA2xCPU
- 14. 2xCPU Qy
- 15. 2xCPU
- 16. 2xCPU