FPGAX2016 ドキュンなFPGA
9 likes6,325 views
FPGAエクストリ`ムコンピュ`ティング┌横娃隠仰蝪股醍_岸で聞ったスライドです。Deep Q-learning NetworkをFPGAで咾したとディ`プニュ`ラルネットワ`クのB初です。
![Deep Neural Networkの
JR娼業
10
0
5
10
15
20
25
30
2010 2011 2012 2013 2014 2015 Human
JR娼業[%]
Year
Deep Convolutional
Neural Network (CNN)による
ゝ弔文追
?のJR娼業を
貧指る
O. Russakovsky et al. ＾ImageNet Top 5 Classification Error (%),￣ IJCV 2015.](https://image.slidesharecdn.com/fpgax2016augnakahara-160824131159/85/FPGAX2016-FPGA-10-320.jpg)
![[DLi氏]A Higher-Dimensional Representation for Topologically Varying Neural R...](https://cdn.slidesharecdn.com/ss_thumbnails/ahigher-dimensionalrepresentationfortopologicallyvaryingneuralradiancefields1-210924021911-thumbnail.jpg?width=560&fit=bounds)
More Related Content
What's hot (20)
Viewers also liked (13)
Similar to FPGAX2016 ドキュンなFPGA (20)
More from Hiroki Nakahara (7)
FPGAX2016 ドキュンなFPGA
- 2. 坪否 ? ??B初 ? AIとディ`プニュ`ラルネットワ`クのF彜 ? ディ`プニュ`ラルネットワ`クについて ? ディ`プニュ`ラルネットワ`クの冩梢嗜 ? ?了栽撹+FPGAでディ`プニュ`ラルネットワ`ク ? ドキュンなFPGA(デモあり) ? 湖襪箸泙箸 2
- 3. ??B初 ? Hiroki Nakahara (嶄圻 F) ? 35r (飛?´?) ? JK@?云?モテない?僥の縮T ? FPGAは?試のZ ? 媛椎議房深 ? ?k塁 ? 髄? 3
- 4. Custom Computing Machine 4 Multi\valued?logic Pattern?matching?circuit ? Regular?expression matching?circuit ? Packet?classifier ? IP?address?look\up 40m Radio?telescope Deep?neural?network
- 5. AIはどこにでも? 5
- 6. AIにおけるDeep Neural Network (DNN) 6 J. Park, ＾Deep Neural Network SoC: Bringing deep learning to mobile devices,￣ Deep Neural Network SoC Workshop, 2016. Brain?Inspired AI Machine? Learning Deep? Learning DNN?RNN Silicon?retina Neuromorphic Attention based?processing Electronic cochlea Bio\mimic Fuzzy?logic Knowledge representation Natural?lang. proc. Genetic algorithm SVM Decision?Tree K\nearest neighbor Bayesian
- 7. Artificial Neuron (AN) + x0=1 x1 x2 xN ... w0?(Bias) w1 w2 wN f(u) u y xi:?Input?signal wi:?Weight u:?Internal?state f(u):?Activation?function? (Sigmoid,?ReLU,?etc.) y:?Output?signal y ? f (u) u ? wi xi i?0 N ? 7
- 9. DNNのs雰 9 58 69 74 95 98 06 12 Perceptron XOR} Back\ propagation SVM Convolutional Neural?Network Restricted Boltzmann Machine Google Brain?Project AlexNet が弊順?に
- 10. Deep Neural Networkの JR娼業 10 0 5 10 15 20 25 30 2010 2011 2012 2013 2014 2015 Human JR娼業[%] Year Deep Convolutional Neural Network (CNN)による ゝ弔文追 ?のJR娼業を 貧指る O. Russakovsky et al. ＾ImageNet Top 5 Classification Error (%),￣ IJCV 2015.
- 11. DNNが岬^した嘘尚 11 ?來嬬コンピュ`タ?ﾄデ`タに紗え アルゴリズムのk婢が瘁兀し (恣): ＾Single-Threaded Integer Performance,￣ 2016 (嘔): 嶄圻, ＾インタ`ネットにおける碧エンジンの室g嗜,￣ 2014
- 12. Google I/O 2015v處より ? わずか１定で?蕗JRの`JR楕が23%から 8%に和がった ? ?嗤鑑耨尖とインテリジェント亟寔碧によって、 まさに冥していたイメ`ジを?つけることができる ? ?}を尖盾し、?隼?ZI尖??Z鍬Uによって、 ユ`ザ`に軸恙に卦並ができる by スンダル?ピチャイ (Google 険芙?) 12
- 15. FPGAとDeep Neural Network ? Microsoft Open Computer Server (亟寔C) ? Xeon@2.1GHz x 2 ? 64GB DRAM ? 4〜HDDs@2TB, 2〜SSDs@512GB ? Catapult FPGA accelerator card (亟寔B) ? Altera Stratix V D5 ? PCIe Gen 3〜8 ? 8GB DDR3@1333 ? Torus network ? GPUよりも?紳覆る ? ラックが?さい(福スペ`ス)こともメリット ? 玉豚g_k(玉TAT) ? CNNの僥(!)も_k嶄 15
- 17. Artificial Neuron (AN) + x0=1 x1 x2 xN ... w0?(Bias) w1 w2 wN f(u) u y xi:?Input?signal wi:?Weight u:?Internal?state f(u):?Activation?function? (Sigmoid,?ReLU,?etc.) y:?Output?signal y ? f (u) u ? wi xi i?0 N ? 17
- 19. 勣箔スペック ? サ`バ`におけるディ`プラ`ニングでは20|指のe才 (MAC)處麻が駅勣?? 19 J. Park, ＾Deep Neural Network SoC: Bringing deep learning to mobile devices,￣ Deep Neural Network SoC Workshop, 2016. J. Cong and B. Xiao, ＾Minimizing computation in convolutional neural networks,￣ Artificial Neural Networks and Machine Learning (ICANN2014), 2014, pp. 281-290.
- 20. 20|指のe才處麻´だと? ? 20|指のMAC處麻=20〜109 ? △100K双DSPブロック@100MHz嘛 (方認DSPブロック聞えるが1000K双i竃しはo尖ゲ`´) ◎ 20〜107指MAC處麻@100MHz (10ns嘛, つまり108指g?辛嬬) ◎ １昼gに0.5指JRI尖が辛嬬 (2昼gに1指, Wい??) 20
- 22. DNNの冩梢n} ? ということでMAC處麻をなんとかしたい ? 堀い(=たくさんg?できる) ? ?eが?さい(=たくさんg廾できる) ? ５つのMAC處麻p隈 ? 玉娼業辛筌咼奪函阿縫船紿`ニング, 梢Oは２ｻ ? 乢慝り★LeNet5 ? Rs★恃勸枠?! ? 慌嗤晒(壅旋?)★Pixelシフトレジスタ+?デ`タパス ? ア`キテクチャのり岷し★RNS ? ただし, JR娼業はキ`プ 22
- 23. Convolution Operation 2 3 Image Source: http://i.stack.imgur.com/GvsBA.jpg
- 24. Convolution Operation 24 1 2 1 2 4 2 1 2 1 ? ??鮫颪してカ`ネルをずらしながらみzむ ? 箭?ぼかしフィルタ J. Anderson (トロント?, RegUpの恬宀), ＾Synthesizing Circuits from Software with LegUp High-Level Synthesis,￣ 2016.
- 25. Pixelシフトレジスタ ? 哀汽ぅルごとに鮫殆をシフトレジスタに?れる ? 輝するピクセルを柵び竃してみzみ 25 C. Farabet, C. Poulet, J. Y. Han and Y. LeCun, ＾CNP: An FPGA-based processor for convolutional networks,￣ FPL2009, 2009, pp.32-37.
- 26. LeNet5?for?MNIST ? 乢慝りによる互堀晒?福中e晒 ... ... 120?nodes 10?nodes 16?F.?maps 5x5 16?F.?maps 10x10 6 F.?maps 14x14 6 Feature?maps 28x28 Gray?scale image 32x32 5x5 2x2 5x5 2x2 5x5 Convolution?(C) Average Pooling?(A) C??????????????????A??????Fully??????F Connected?(F) ?何を俳僅
- 27. Parallel?Multiplication 絇方狼による\麻匂のp ? Moduli?setヾ3,4,5ゝ,?X=8,?Y=2 ? Z=X〜Y=16=(1,0,1) ? X=(2,0,3),??????Y=(2,2,2) Z=(4?mod?3,0?mod?4,6?mod?5) =(1,0,1)=16 27 Binary2RNS?Conversion RNS2Binary?Conversion ? ?
- 28. DCNN Architecture using the Nested RNS 28 ... 16?parallel?modulo?mi 2D?convolutional?units ... ... .?.?. BRAM BRAM BRAM... BRAM BRAM BRAM... BRAM BRAM BRAM... .?.?. Parallel?Bin2NRNS Converters Tree\based?NRNS2Bin Converters Sequencer????????????? External?DDR3SODIMM DDR3?Ctrl. On\chip Memory RNS 2 Bin RNS 2 Bin RNS 2 Bin RNS 2 Bin RNS 2 Bin ......... ... H. Nakahara et al., ＾A deep convolutional neural network based on nested residue number system,￣ FPL2015.
- 29. Stochastic Multiplication ? \麻匂をANDゲ`トでgFできる? ? 紗麻匂はMUXで ? 娼業を貧げようとするとWくなる 29
- 30. Deterministic Binarized Multiplication ? ?(-1/+1)の\麻 ? \麻匂をXNORゲ`トで ? ?堀だが、娼業が詰い 30 x1 x2 Y \1 \1 1 \1 +1 \1 +1 \1 \1 +1 +1 1 x1 x2 Y 0 0 1 0 1 0 1 0 0 1 1 1
- 31. Binarized DCNN ? Treats only binarized (+1/-1) values (weights and inouts) ? Except for the first and the last layers + x0=1 x1 x2 xN ... w0?(Bias) w1 w2 wN sign(u) u s X:?Input?(8bit?for?the?layer?1) si:?Output wi:?Weight U:?Internal?state?(integer) Sign(U):?Sign?bit?for?U +1?or?\1 M. Courbariaux, I. Hubara, D. Soudry, R.E.Yaniv, Y. Bengio, ＾Binarized neural networks: Training deep neural networks with weights and activations constrained to +1 or -1,￣ Computer Research Repository (CoRR), Mar., 2016, http://arxiv.org/pdf/1602.02830v3.pdf 31
- 32. Prediction (Recognition) Accuracy 32 Method Error?Rate BinaryNet 11.40% Binary?Connect 8.27% Gated?pooling 7.62% Method Error?Rate BinaryNet 2.80% Binary?Connect 2.15% Gated?pooling 1.69% CIFAR\10?Benchmark?DNN SVHN?Benchmark?DNN
- 34. High-Level Synthesis (HLS) ? 玉豚gかつ?來嬬g廾 ? ファミコンを1Lgで恬ったよ ? 2ｻDNNを1か?で恬ったよ 玉TATというFPGAのメリットを哈き竃す 34
- 35. Deep Convolutional Neural NetworkのHLSg廾 ? 卆贋來のない7嶷ル`プの恷m晒 ★?了栽撹でも恷m晒しやすい ... ... 120?nodes 10?nodes 16?F.?maps 5x5 16?F.?maps 10x10 6 F.?maps 14x14 6 Feature?maps 28x28 Gray?scale image 32x32 5x5 2x2 5x5 2x2 5x5 1 2 1 2 4 2 1 2 1 ∠ ⊥ ⌒ ∂
- 37. DNN Design with HLS 37 C/C++ HDL High\Level Synthesis Logic?Synthesis DatasetParameter?set DNN?Software?on?GPUs? (Tensolflow,?Theano,?Caffe,?Chainer)
- 38. DNN Design Time の玉s 38 C/C++ HDL High\Level Synthesis Logic?Synthesis DatasetParameter?set DNN?Software?on?GPUs? (Tensolflow,?Theano,?Caffe,?Chainer) 方Lg 方? \\\
- 39. DQNなFPGA 39
- 40. 晒僥(Q-learning) ? C亠僥の?N ? F壓の彜Bから恷鋲の?(=?)をxkしたい ? ?咾する鶻蠅鰉襪┐晒 40 〜 ＄ ＄ 〜 ＄ 〜 ＄ ＄ 〜 ＄ ＄ F壓の彜B どの?がベスト?
- 41. 晒僥における僥 ? 戮層けから?zみの鶻蠅鰉襪┐ 41 〜 ＄ ＄ 〜 ＄ 〜 ＄ ＄ 〜 ＄ ＄ F壓の彜B ＄ 〜 ＄ ＄ 〜 ´ 戮 ●● ◎ ◎
- 42. Deep Q-learning Network ? 畠何の?をすのは音辛嬬 ? 鶻蠅鰈?にする?咾Deep Neural Networkで嚠y Deep Neural Network Q-learning ◎ Deep Q-learning Network (DQN) 42
- 43. AtariのPongをゲ`ムするDQN 43 ... 512?neurons 3?neurons ★貧?和?棋C 4x4 3x3 Arcade Learning Environment (ALE)とかOpenAI Gym ６咾Convolutional Deep Neural Network 荷恬ゲ`ム鮫? hしておく
- 44. AtariのPongを茶するDQN 44 ... 512?neurons 3?neurons ★貧?和?棋C 4x4 3x3 Arcade Learning Environment (ALE)とかOpenAI Gym ６咾Convolutional Deep Neural Network 誼泣が貧がる荷恬 (恷?とはしない) を僥 ゲ`ム鮫? シャッフルする
- 45. テクニック ? gにDQNにしただけではくならない ? ε-greedy: eO議に措い?をxぶがたまにランダム? ? Experience Replay: hしたデ`タをシャッフルして 僥に壅旋? ? 鶻蠅clipping: 鶻蠅+1/-1に浙 ? つまり、DQNは仝櫃泙阿譟后固效禺辧后o圀々?? 45
- 46. デモ 46
- 47. FPGA DQN 47 ... 512?neurons 3?neurons ★貧?和?棋C 4x4 3x3 ６咾倫ЯgみConvolutional Deep Neural Network 荷恬 by UART ゲ`ム鮫? by UART Digilent芙 Nexys4 DDR (Xilinx芙 Artix7 100T喜d)
- 48. Oしてみて ? 僥: Python on GPU ? JR: Python★C++★HDL★嘛 ? ?了栽撹ツ`ルでもそれなりの來嬬 ? DQNだときちんとリアルタイム嘛しました ? DQNのOに１Lg, FPGA晒に1?(!) (ただしHLSの恷m晒はほとんどしていませんが) ? エラ`を?つけるのが? ? ごくまれにオ`バ`フロ`するんです´ ? 僥に払，靴rのロスがでかい ★僥rgが方?ってのがまた ? とにかくDNNの僥rg堀くしてくださいおながしいます たのみますよろしく 48
- 49. まとめ ? Deep Neural NetworkをgにB初 ? まだまだ冩梢_k余貧 ? 僥rgの玉sがカギに ? ?來嬬紳?玉TATなFPGAにチャンス ? 屡贋のフレ`ムワ`クとのB亊による玉豚g_k ? ?並箭としてDQNを咾してみた ? GPUより詰M??コンパクト ? CPUよりも?堀 49
- 50. x看 ? Xilinxユニバ`シティプログラム ? Alteraユニバ`シティプログラム ? DQN-chainer恬宀 ? Toronto Univ. Anderson枠? ? KAIST Yoo枠? 50 ?の嗔よ?