ML on the Edge - Highload++ Siberia 2019
Download as PPTX, PDF
0 likes148 views
舒亳仆仆仂亠 仂弍亠仆亳亠 - 仂 仆亠 仂仍从仂 于亠弍-亠于亳 仆舒 于亠仗仂亳亰于仂亟亳亠仍仆 TPU. 亠舒仍仆 仍仂于亳 仄仂亢亠 仗仂亠弍仂于舒 于仂亰仄仂亢仆仂 仗亳仄亠仆 ML-仄仂亟亠仍亳 仆舒 从仂仆亠仆 仂亶于舒. 舒仗亳仄亠, 仄仂弍亳仍仆仂亠 仗亳仍仂亢亠仆亳亠, 从仂仂仂亠 亟仂仍亢仆仂 舒弍仂舒 于 仂仍舒亶仆, 亳仍亳 Enterprise-亠于亳, 从仂仂亶 舒弍仂舒亠 于 亰舒从仂仄 从仂仆亠. 亳 仂仄 仆亠 于亠亞亟舒 亠 于仂亰仄仂亢仆仂 于仄亠亠 仄仂亟亠仍 于仆亠亟亳 仗亠亳舒仍亳亰亳仂于舒仆仆仂亠 仂弍仂亟仂于舒仆亳亠 亳 仗亳仂亟亳 亰舒仗从舒 仆舒 亠仄 亠. 仂仄 亟仂从仍舒亟亠 仆舒 仗亳仄亠亠 仂亟仆仂亶 从仂仆从亠仆仂亶 仄仂亟亠仍亳 仄舒亳仆仆仂亞仂 亰亠仆亳 仗仂从舒亢, 从舒从 亠 亰舒仗亳: - 于 仂弍仍舒从亠 仆舒 GPU; - 于 弍舒亰亠亠 从仍亳亠仆舒; - 仆舒 仄仂弍亳仍仆仂仄 仂亶于亠; - 仆舒 仆仂弍从亠 弍亠亰 于亳亟亠仂从舒; - 仆舒 仄亳从仂亠仄亠 亰舒 $10. 仂从舒亢, 从舒从仂亶 trade-off 亠弍亠 于 从舒亢亟仂仄 仍舒亠 亳 仂 仗仂亳仂亟亳 仗仂亳亰于仂亟亳亠仍仆仂 亳 从舒亠于仂仄.
ML on the Edge - Highload++ Siberia 2019
- 1. ML on the Edge 仆亟亠亶 丐舒舒亳仆仂于 (Epoch8)
- 2. Intro Epoch8 仂仄舒仆亟舒 亰舒从舒亰仆仂亶 舒亰舒弍仂从亳 ML-亠亠仆亳亶 舒亟舒亳 CV NLP
- 3. 丐亳仗亳仆亠 CV-亰舒亟舒亳 仍舒亳亳从舒亳 亳亰仂弍舒亢亠仆亳亶 亠亠从亳 仂弍亠从仂于 仆舒 亳亰仂弍舒亢亠仆亳亳 亰于仍亠亠仆亳亠 仗亳亰仆舒从仂于 丱仂仂亳亠 亰舒亟舒亳 亟仍 DNN
- 4. 丼 丼丐弌亊
- 5. 束亊 亊 NN 丕乘 GPU損
- 6. GPU 仂 亟仂仂亞仂 仍 仂弍仍舒从舒: $1000/仄亠 仂亟仆舒 仄舒亳仆舒 仍 self-hosting: ~$1000-1500/host, 亠仍亳 仆舒亳仆舒 consumer- class 亢亠仍亠亰舒 弌舒仆亠 亳, 亠仍亳 server-class
- 7. 亂丐丐乘 GPU PROD 弌丐亂
- 8. 仂亠仄 GPU 仆亢亠仆 亟仍 NN? ﾐ頴笑 从 ML 仆舒亳仆舒亠 束于舒仄 仂弍磶舒亠仍仆仂 仗仂仆舒亟仂弍亳 GPU損
- 9. 仂亠仄 GPU 仆亢亠仆 亟仍 NN? 丐亳仗亳仆舒 NN: ResNet50 30M 仗舒舒仄亠仂于 50 仍仂亠于 礆仂亶 仗仂仂亟: 4GFLOPs (224*224px) 弍亠仆亳亠: 舒亟亳亠仆仆亶 仗从 于 30-仄亠仆仂仄 仗仂舒仆于亠 亳仍仍亳仂仆 舒亞仂于 亠仆 仄仆仂亞仂 compute!
- 10. Inference != Train 1 舒亰 仆舒 1 亳亰仂弍舒亢亠仆亳亠 亠 亠亠 亟亠从亳 仄亳仍仍亳仂仆仂于 仂仗亠舒亳亶 仂 亢亠 仗仂磦仍ﾑ 仂仗亳亳
- 11. Inference 弍亠亰 GPU CPU
- 12. CPU 从亠亶 仆亠亟亠仆亳亠 于 亠于ﾑ 亳仆舒从 Hadoop-从仍舒亠 仆仂亞仂 舒弍仂亳 舒仆亳亶 舒从亶 丶
- 13. 舒从 舒于仆亳于舒 从仂仂 GPU 亳 CPU GPU 仂 亳 仄亠亟仍亠仆仆 磲亠 弍仂亶 仗舒仄 亊亟仂 CPU 弍亠亠, 亠仄 磲仂 GPU GPU 于亳亞于舒亠 亰舒 亠 舒亞亠亳于仆仂亶 仗舒舒仍仍亠仍仆仂亳 仍亳 亰舒亟舒舒 仄亠仆亠, 亠仄 亠 GPU 仆亠亟仂亳仍亳亰亳仂于舒仆 100% 亳仍亳亰舒亳 GPU 亟仂亳亞舒亠 亰舒 亠 弍仂仍亳 弍舒亠亶
- 14. 舒从 舒于仆亳于舒 从仂仂 GPU 亳 CPU CPU 仆亠从仂仍从仂 仄仂仆 general purpose 磲亠 舒 舒亰仄亠舒 1 仗仂仍仆仂 亳仍亳亰亳亠 于亠 仗仂亠仂 舒 舒亰仄亠舒 10 于 10 舒亰 亟仂仍亠
- 15. GPU vs CPU. ResNet50 Batch size GPU (Nvidia 1080) CPU (core i7) 1 20ms 128ms 5 24ms 727ms 10 42ms 1.6s
- 16. 舒从 舒于仆亳于舒 从仂仂 GPU 亳 CPU 丼舒仂 于 仗亳从仍舒亟仆 亰舒亟舒舒 batch size = 1 GPU 仄亠仆亠亠 亠从亳于亠仆 CPU 仆亠 舒从 仄亠亟仍亠仆仆仂 舒弍仂舒亠 仆亠亠仆 于 ~100仄/亰舒仗仂 仂从
- 17. 舒从 于仆亠亟 仆舒 CPU 仍亳 Linux+Docker 亠 仂仂仂 仂亢仆仂 于仂仗仂亳亰于亠亳 仂从亢亠仆亳亠, 亳亟亠仆亳仆仂亠 亳仍亠亟仂于舒亠仍从仂仄 亠 舒弍仂舒亠 弍亠亰 亳亰仄亠仆亠仆亳亶 仍亳 仆亠 Docker (仆舒仗亳仄亠 Hadoop 亳仍亳 Windows) 弌仍仂亢仆亠亠 丕仗舒从仂于舒 Py Science-亠从 于 single binary 亟仂于仂仍仆仂 仍仂亢仆仂
- 18. 舒从 于仆亠亟 弍亠亰 docker 仂仆仂仍亳 仆舒 Golang / C++ 丕亟仂弍仆仂 于仆亠亟 仆亠 亰舒于亳亳仄仂亠亶 弌仍仂亢仆仂 仗亠亠仆仂亳 仍仂亢仆亠 仄仂亟亠仍亳
- 19. 舒从 仗亠亠仆亠亳 NN 仆舒 亟亞 仗仍舒仂仄 弌从仂仆于亠亳仂于舒 仄仂亟亠仍 (亠仍亳 亠弍亠) 仍亠亞从仂 弌亳仆仂仆亳亰亳仂于舒 仍仂亞亳从 仗仂亟亞仂仂于从亳 亳 仂弍舒弍仂从亳 亠亰仍舒仂于 仍仂亢仆仂
- 21. Inference Pipeline: 从仍舒亳亳从舒亳 Preprocess ~10 LoC Inference Postprocess ~10 LoC
- 22. Inference Pipeline: 亟亠亠从亳 Preprocess ~10 LoC Inference Postprocess 200+ LoC
- 24. 弌亳仆仂仆亳亰舒亳 从仂亟舒 仍仂亢仆仂 弌亳仆仂仆亳亰舒亳 从仂亟舒 仄亠亢亟 亳仍亠亟仂于舒亠仍从亳仄 仂从亢亠仆亳亠仄 亳 弍仂亠于仄 仍仂亢仆舒 亰舒亟舒舒 亳仄亠 仗仂 亠亞仂 丱仂仂仂 舒弍仂舒亠 于 亳仍亠亟仂于舒仆亳亳 80% recall 仆舒 从仂仆从亠仆亶 从仍舒 仍仂仂 舒弍仂舒亠 于 仗亳仍仂亢亠仆亳亳 30% recall 仆舒 仂 亢亠 从仍舒 从舒亰舒仍仂: 仂弍亳仍仆亶 舒亰舒弍仂亳从 束仂仗亳仄亳亰亳仂于舒仍損 从仂亟, 仂弍舒弍舒于舒仍 仂仍从仂 仂仗-100 舒仄 于亠亠仆仆 bbox 亳亰 3500
- 25. 弌亳仆仂仆亳亰舒亳 从仂亟舒 仍仂亢仆仂 亠亠仆亳亠: 仍仂从舒仍亳亰仂于舒 仂于亠于亠仆仆仂 于 仂亟仆仂亶 从仂仄舒仆亟亠 舒亳仍亳 datascience-从仂仄舒仆亟 仗亳舒 仆舒 golang / Swift
- 26. CPU 亳仂亞仂 仂从舒 亳仆亠亠仆 仆舒 1-10 从舒亟仂于/亠从仆亟 于亠 仂仂仂
- 27. Honorable mentions Intel Cascade Lake (Xeon Platinum 92xx) Non-Nvidia GPU Radeon Tensorflow ROCm Intel HD OpenVino
- 28. Inference 弍亠亰 GPU CPU Mobile
- 29. Mobile 仂 仄仆仂亞亳 亠仍亠仂仆舒 于仂亠仆 NN-从仂亳亠仍 iPhone 7 亳 于亠 个仍舒亞仄舒仆从亳亠 Android (仆舒仗亳仄亠 S9, S10, Pixel) 仂仗仂仄 从 从仂亳亠仍 仗舒于仍磳 亠亶仄于仂从 CoreML iPhone Android NNAPI Android (仂弍仆仂 仆亠 亳仗仂仍亰亠 仆舒仗礆) ML Kit (TF Lite) 从仂仗仍舒仂仄亠仆仆仂亠 亠亠仆亳亠
- 30. CoreML vs ML Kit CoreML ML Kit (TF Lite) Cross platform 舒从亳亠从亳 于亠 仆舒弍仂 仂仗亠舒仂仂于 TF 亠 亞舒舒仆亳亳 从仂亠仆亳, 于仂亰仄仂亢亠仆 仂仍弍从 仆舒 CPU 于 仆亠从仂仂 仍舒 iOS only 亞舒仆亳亠仆仆亶 (仆仂 亟仂舒仂仆仂 亳仂从亳亶) 仆舒弍仂 仂仗亠舒亳亶 舒舒仆亳仂于舒仆仆仂亠 从仂亠仆亳亠, 亠仍亳 从仂仆于亠亳仂于舒仍仂
- 31. Mobile iPhone 仂舒仂仆仂 弍亶 亳仆亠亠仆 ResNet50 performance (batch size = 1): Nvidia 1080 iPhone X 20ms ~100ms
- 32. Mobile 仆ﾐ夷術 仂弍亳仍仆亠 仆亠 仗亠亟仆舒亰仆舒亠仆 亟仍 仗亳从仂于仂亶 仆舒亞亰从亳 仍亳 inference 100ms, 仂 仆亠 亰仆舒亳, 仂 仄仂亢仆仂 弍亠从仂仆亠仆仂 仂弍舒弍舒于舒 10 从舒亟仂于 于 亠从仆亟 弌亳仍仆仂 亞亠亠 亳 弍仂 舒仂亟亠 弍舒舒亠: 1-2 舒舒 丼亠亠亰 仆亠从仂仍从仂 仄亳仆 仗亳从仂于仂亶 仆舒亞亰从亳 OS 仆舒亳仆舒亠 throttling 弌仍仂亢仆舒 亳仆仂仆亳亰舒亳 从仂亟舒
- 33. Mobile 仆ﾐ夷術: 仄亠亟仍亠仆仆亶 CPU 仍亳 仍仂亢仆亶 pre-/postprocessing 仄亠亟仍亠仆仆仂 亳仄亠: U-net 亟仍 instance segmentation 亳 仗仂仂弍舒弍仂从舒 仆舒 CPU 仗仂亳从仂仄 于磶仆 从仂仄仗仂仆亠仆
- 34. Mobile 亳仂亞仂 丱仂仂亠亠 舒仗仗舒舒仆仂亠 从仂亠仆亳亠, 舒于仆亳仄仂亠 desktop-GPU CPU 亰从仂亠 仄亠仂 弌亳仆仂仆亳亰舒亳 从仂亟舒 仄亠亢亟 亳仍亠亟仂于舒亠仍从亳仄 亳 弍仂亠于仄 仂从亢亠仆亳亠仄
- 35. Inference 弍亠亰 GPU CPU Mobile Edge HW
- 36. 仆亠亟亠仆亳亠 束于 仗仂仍晛 亠 仆亳亠亞仂 弍舒弍仂从舒 于亳亟亠仂 仍仂从舒仍仆仂亶 从舒仄亠 舒从亳仄舒仍仆仂 亟亠亠于仂 舒亟舒亳: 舒于舒 于亳亟亠仂 丐舒仆从仂亟亳仂于舒仆亳亠 / 舒仆亠仆亳亠 ML 仂弍舒弍仂从舒
- 37. 仆亠亟亠仆亳亠 束于 仗仂仍晛 Desktop + GPU: ~$1000 仂仂亞仂
- 38. Edge HW Google Edge TPU Nvidia Jetson Nano
- 39. Google Edge TPU 亳亟亠 于 Edge inference ﾐ夷術: 仂仄仗亳仍仂 仄仂亟亠仍亠亶 于 仂弍仍舒从亠 Google 亠亟仂仗亠仆 于 仂亳亳
- 40. Nvidia Jetson Nano Devboard RPi NN GPU
- 41. Nvidia Jetson Nano 仆ﾐ夷術 仂仍仂亶 舒亰弍仂 于 亰舒于亳亳仄仂亳 仂 仗仂仂弍舒 亰舒仗从舒 ~1-2fps TF ~20-25fps TF-TensorRT ~65fps Nvidia C++ implementation with TensorRT
- 42. Nvidia Jetson Nano 亠亠于亶 = $99 仂仄仂仆舒 亠亟舒 亳仗仂仍仆亠仆亳 Ubuntu Linux + TF 仂舒仂仆仂 仗舒仄亳 弌仍舒弍亶 仗仂亠仂 亳亶 于弍仂 亟仍 IoT
- 43. Inference 弍亠亰 GPU CPU Mobile Edge HW Misc
- 44. Micro HW Sipeed K210 $10 6Mb NN 30fps
- 45. Browser ONNX.js Tensorflow.js WebDNN
- 46. 仂亞仂 舒仗从 于 弍仂亶 弍亠亰 弍仂仍亳 GPU 于仂亰仄仂亢亠仆 Cluster/Legacy CPU Mobile CoreML/TF Lite Edge 仗亠. 亢亠仍亠亰仂