Профайлинг.
•Download as PPTX, PDF•
0 likes•199 views
Оптимизация GO-фронтенда на примере. Как мы это делаем в Lazada.
![• Пустой тип (с нулевой длинной) переданный в interface{} не
аллоцируется.
• Для map m типа map[string]T и []byte b, m[string(b)] не вызовет
аллокации. (временная string копия слайса байт не делается)
• Так же, аллокаций не произойдет если выполнить range по []byte(s) от
string
• Escape анализ
• Function inlining - только короткие и простые функции могут быть
“заинлайнены”. Функция должна содержать менее 40 выражений и не
содержать вызова функций, циклов, лейблов, замыканий, паник,
восстановлений, селектов, свитчей, и т.д.
Оптимизации в GO
https://github.com/golang/go/wiki/CompilerOptimizations 22](https://image.slidesharecdn.com/final-170601081039/85/-22-320.jpg)
![Было:
result := strings.Split(key.Str, “;”)
key.Set = result[0]
key.Pk = result[1]
Еще мелочи
Стало:
if index := strings.Index(key.Str, sep); index >= 0
{
key.Set = key.Str[:index]
key.Pk = key.Str[index+1:]
}
28](https://image.slidesharecdn.com/final-170601081039/85/-28-320.jpg)
![Еще одна оптимизация от GO.
Non-scannable objects
type Key [64]byte // SHA-512 hash
type Value struct {
Name [32]byte
Balance uint64
Timestamp int64
}
m := make(map[Key]Value, 1e8)
Что дальше?
https://github.com/golang/go/wiki/CompilerOptimizations 36](https://image.slidesharecdn.com/final-170601081039/85/-36-320.jpg)
Профайлинг.
- 1. Hong Kong Indonesia Malasya Philippines Russia Singapore Thailand Vietnam Профайлинг. Оптимизация GO-фронтенда на примере. Как мы это делаем в Lazada. Никита Романов
- 2. О компании 2
- 7. Метрики 7
- 8. Метрики 8
- 9. Метрики 9
- 10. Метрики 10
- 11. Метрики 11
- 12. Профайлинг Вывод: Конкуренция за map в данном случае была очень высока. Решение: Шардирование. 12
- 13. ● runtime/pprof/ ○ https://github.com/lazada/goprof Профайлинг ● net/http/pprof 13
- 14. go test -o goblin.test -benchmem -cpuprofile cpu.out -memprofile mem.out -timeout 30s -bench '.' Benchmarks 14
- 15. go tool pprof goblin.test cpu.out Pprof 15
- 16. go tool pprof -alloc_objects goblin.test mem.out Pprof 16
- 18. (pprof) web runtime.convT2E Pprof Вывод: Interface{} - зло когда запросов много. Касты - дорогое удовольствие. Метрики и логирование - это не бесплатно Решение: Типизировать кеш (ключ кеширования - string), закешировать инстансы мониторинга и логера. 18
- 19. Pprof + Callgrind + objdump (binutils) 19
- 20. Pprof + Callgrind + objdump (binutils) 20
- 21. Pprof + Callgrind + objdump (binutils) Вывод: Debug как и любую ошибку стоит выводить по условию. Форматированный вывод = аллокация. Решение: Избегать ненужных логирований, не использовать форматирующие методы там где можно обойтись без них.. 21
- 22. • Пустой тип (с нулевой длинной) переданный в interface{} не аллоцируется. • Для map m типа map[string]T и []byte b, m[string(b)] не вызовет аллокации. (временная string копия слайса байт не делается) • Так же, аллокаций не произойдет если выполнить range по []byte(s) от string • Escape анализ • Function inlining - только короткие и простые функции могут быть “заинлайнены”. Функция должна содержать менее 40 выражений и не содержать вызова функций, циклов, лейблов, замыканий, паник, восстановлений, селектов, свитчей, и т.д. Оптимизации в GO https://github.com/golang/go/wiki/CompilerOptimizations 22
- 23. Измеряем 23
- 24. Измеряем 24
- 25. Измеряем 25
- 26. • sync.Pool • Позволяет сократить количество аллокаций за счет переиспользования объектов. • atomic.Values • Реализация copy-on-write Sync, Atomic 26
- 27. Скопипастили Избавились от interface{} Добавили методы PushElementBack, PushElementFront Двусвязный список container/list 27
- 28. Было: result := strings.Split(key.Str, “;”) key.Set = result[0] key.Pk = result[1] Еще мелочи Стало: if index := strings.Index(key.Str, sep); index >= 0 { key.Set = key.Str[:index] key.Pk = key.Str[index+1:] } 28
- 29. Результат - 50 % memory usage - 30 % CPU + ~1000 RPS во время стрессов 29
- 30. Результат - 50 % memory usage - 30 % CPU + ~1000 RPS во время стрессов 30
- 31. Результат - 50 % memory usage - 30 % CPU + ~1000 RPS во время стрессов 31
- 32. Результат - 50 % memory usage - 30 % CPU + ~1000 RPS во время стрессов 32
- 33. • Новая реализация ничего не аллоцирует • После реализации тротлинга (уже тестируется) накладные расходы стремятся к минимальным значениям (+20% к значениям без неё) Metrics 33
- 35. GO 1.8.1 35
- 36. Еще одна оптимизация от GO. Non-scannable objects type Key [64]byte // SHA-512 hash type Value struct { Name [32]byte Balance uint64 Timestamp int64 } m := make(map[Key]Value, 1e8) Что дальше? https://github.com/golang/go/wiki/CompilerOptimizations 36
- 37. Вопросы? Никита Романов Email: nikita.romanov@lazada.com Github: https://github.com/lazada/ Наши открытые вакансии: http://hh.ru/employer/1753271 Наша русскоязычная группа: https://www.facebook.com/lazadarussia Наша международная группа: https://www.facebook.com/lazadatechhub 37