ݺߣ

ݺߣShare a Scribd company logo
ВЫЖАТЬ МАКСИМУМ:
ПРАВИЛЬНО РАСПРЕДЕЛЯЕМ
ПРОЦЕССОРНУЮ МОЩНОСТЬ В
РАМКАХ ВИРТУАЛИЗАЦИИ VMWARE
ХМАРИ – ЦЕ
Кирилл Науменко, GigaCloud
Сайзинг и резервация
• RAM
TSP, Ballooning, shares
• HDD
Deduplication, compression
• CPU
Oversubscription ??
Основные показатели CPU со стороны хоста
• CPU ready
• Co-Stop
• Limits
Основные показатели CPU со стороны ВМ
Установленные VMware tools
портируют показатели с хоста внутрь
виртуальной машины:
1) CPU stolen time
2) % Processor Time
Варианты нагрузки на ВМ
READY – Time that the virtual machine was ready, but could not get scheduled to run on the physical CPU during last measurement interval
COSTOP – Time the virtual machine is ready to run, but is unable to run due to co-scheduling constraints
Без
лимитов
одним 7z
Внутри ВМ
Запущен
еще один
7z
Лимит в
30GHz
Лимит в
23GHz
Внутри ВМ
выключен
второй 7z
Рекомендации
• Совместимое железо и прошивки
• Настройки BIOS
 включение VT-X, HT;
 отключить Numa node interleaving или включить Enable NUMA. ESXi – Numa-
awared OS;
 отключить все неиспользуемые устройсва для высвобождения прерываний;
 Power-Saving – OS Contolled Mode/Best performance.
• Настройки ВМ
 начинать с минимума;
 принимать во внимание NUMA ноды;
 VMware Tools.
NUMA
NUMA (Non-Uniform Memory Access) – «неравномерный доступ к памяти» – схема реализации памяти,
используемая в мультипроцессорных системах, когда время доступа к памяти определяется её
расположением по отношению к процессору.
vNUMA (Virtual NUMA) – способность гипервизора экспортировать в виртуальную машину данные о
NUMA физического сервера
vNUMA
Топология vNUMA состоит из:
1) VPD Virtual Proximity Domain или виртуальный домен родства;
2) PPD Physical Proximity Domain или физический домен родства.
VPD виден из виртуальной машины, PPD – это физические NUMA-узлы.
Пример ВМ, разделенной на 2 PPD
esxtop – switch to M – f for advanced options – G for NUMA information
cat vmware.log | grep NUMA
Пример ВМ, разделенной на 2 PPD
esxtop – switch to M – f for advanced options – G for NUMA information
cat vmware.log | grep NUMA
Правила vNUMA
• Не трогайте то, что по дефолту, если не понимаете о чем речь.
• Всегда выставляйте 1 ядро-сокет до момента, пока ЦПУ меньше, чем
ядер в сокете хоста, и памяти меньше половины.
• Если необходимо больше процессоров или памяти, делите количество
ядер на минимальное число нод NUMA.
• Не устанавливайте нечетное количество процессоров, если превышаем
ноду.
• При включении hot add CPU отключается vNUMA.
• Живите в рамках физических ядер.
Рекомендации для работы vNUMA
Показатели тестирования 7zip
Вариант теста Hot-add CPU ON/vNUMA off Hot-add CPU OFF/vNUMA on
7zip Benchmark 20 Cores 34027 MIPS/30561 MIPS 40548 MIPS/ 41645 MIPS
7zip Benchmark 10 Cores 44555 MIPS 43769 MIPS
• В случае 20 ядер при включении Hot Add отключается vNUMA – падение
производительности.
• В случае 10 ядер включение Hot Add не влияет на производительность.
• В случае 10 ядер – производительность сжатия выше, чем при 20 ядрах. С
учетом работы в рамках одной квоты.
На почитать
• vSphere Troubleshooting - VMware Docs
• Virtual Machine vCPU and vNUMA Rightsizing
• vSphere Monitoring and Performance - VMware Docs
• Performance Best Practices for vSphere 6.5 - VMware
• Decoupling of Cores per Socket from Virtual NUMA Topology in
vSphere 6.5
Cпасибо за внимание!

More Related Content

What's hot (20)

Тюним память и сетевой стек в Linux: история перевода высоконагруженных серве...
Тюним память и сетевой стек в Linux: история перевода высоконагруженных серве...Тюним память и сетевой стек в Linux: история перевода высоконагруженных серве...
Тюним память и сетевой стек в Linux: история перевода высоконагруженных серве...
odnoklassniki.ru
Highload на GPU, опыт Vinci / Олег Илларионов (ВКонтакте)
Highload на GPU, опыт Vinci / Олег Илларионов (ВКонтакте)Highload на GPU, опыт Vinci / Олег Илларионов (ВКонтакте)
Highload на GPU, опыт Vinci / Олег Илларионов (ВКонтакте)
Ontico
130413 net app-сюртуков
130413 net app-сюртуков130413 net app-сюртуков
130413 net app-сюртуков
Expolink
Защита датацентров и данных от катастроф на базе технологий Nutanix / Максим ...
Защита датацентров и данных от катастроф на базе технологий Nutanix / Максим ...Защита датацентров и данных от катастроф на базе технологий Nutanix / Максим ...
Защита датацентров и данных от катастроф на базе технологий Nutanix / Максим ...
Ontico
Выступление Юрия Насретдинова, Badoo, на High Performance Conference
Выступление Юрия Насретдинова, Badoo, на High Performance ConferenceВыступление Юрия Насретдинова, Badoo, на High Performance Conference
Выступление Юрия Насретдинова, Badoo, на High Performance Conference
EYevseyeva
процессоры и кулеры
процессоры и кулерыпроцессоры и кулеры
процессоры и кулеры
KozinskaIS
процессоры и куллеры
процессоры и куллерыпроцессоры и куллеры
процессоры и куллеры
KozinskaIS
RootConf 2015
RootConf 2015RootConf 2015
RootConf 2015
Evgeny Uskov
Максим Шапошников, Nutanix
Максим Шапошников, NutanixМаксим Шапошников, Nutanix
Максим Шапошников, Nutanix
Ontico
"Кластеры баз данных: делаем сложные вещи просто" Андрей Тихонов (Avito)
"Кластеры баз данных: делаем сложные вещи просто" Андрей Тихонов (Avito)"Кластеры баз данных: делаем сложные вещи просто" Андрей Тихонов (Avito)
"Кластеры баз данных: делаем сложные вещи просто" Андрей Тихонов (Avito)
AvitoTech
Android Telegram S Optimizations
Android Telegram S OptimizationsAndroid Telegram S Optimizations
Android Telegram S Optimizations
Stepan Korshakov
Gpgpu
GpgpuGpgpu
Gpgpu
Anastasiia Kucherenko
Как и зачем создавать NginX-модуль — теория, практика, профит. Часть 2 / Васи...
Как и зачем создавать NginX-модуль — теория, практика, профит. Часть 2 / Васи...Как и зачем создавать NginX-модуль — теория, практика, профит. Часть 2 / Васи...
Как и зачем создавать NginX-модуль — теория, практика, профит. Часть 2 / Васи...
Ontico
Максим Исаев, IBS. Практика использования комплекса Veritas NetBackup для мод...
Максим Исаев, IBS. Практика использования комплекса Veritas NetBackup для мод...Максим Исаев, IBS. Практика использования комплекса Veritas NetBackup для мод...
Максим Исаев, IBS. Практика использования комплекса Veritas NetBackup для мод...
IBS
Использование ленточных технологий для сокращения стоимости файловых хранилищ
Использование ленточных технологий для сокращения стоимости файловых хранилищИспользование ленточных технологий для сокращения стоимости файловых хранилищ
Использование ленточных технологий для сокращения стоимости файловых хранилищ
Alexander Reytman
Тюним память и сетевой стек в Linux: история перевода высоконагруженных сер...
Тюним память  и сетевой стек в Linux: история перевода высоконагруженных  сер...Тюним память  и сетевой стек в Linux: история перевода высоконагруженных  сер...
Тюним память и сетевой стек в Linux: история перевода высоконагруженных сер...
Dmitry Samsonov
Суперкомпьютеры сегодня и завтра архитектура, проблемы, перспективы (Андрей С...
Суперкомпьютеры сегодня и завтра архитектура, проблемы, перспективы (Андрей С...Суперкомпьютеры сегодня и завтра архитектура, проблемы, перспективы (Андрей С...
Суперкомпьютеры сегодня и завтра архитектура, проблемы, перспективы (Андрей С...
Ontico
Selectel Meetup OpenStack GPU in Cloud
Selectel Meetup OpenStack GPU in CloudSelectel Meetup OpenStack GPU in Cloud
Selectel Meetup OpenStack GPU in Cloud
AlekseyStepanenko
Гидродинамическое моделирование: возможности оптимизации ИТ-инфраструктуры
Гидродинамическое моделирование: возможности оптимизации ИТ-инфраструктурыГидродинамическое моделирование: возможности оптимизации ИТ-инфраструктуры
Гидродинамическое моделирование: возможности оптимизации ИТ-инфраструктуры
Vsevolod Shabad
Управление облачной инфраструктурой
Управление облачной инфраструктуройУправление облачной инфраструктурой
Управление облачной инфраструктурой
dddpaul
Тюним память и сетевой стек в Linux: история перевода высоконагруженных серве...
Тюним память и сетевой стек в Linux: история перевода высоконагруженных серве...Тюним память и сетевой стек в Linux: история перевода высоконагруженных серве...
Тюним память и сетевой стек в Linux: история перевода высоконагруженных серве...
odnoklassniki.ru
Highload на GPU, опыт Vinci / Олег Илларионов (ВКонтакте)
Highload на GPU, опыт Vinci / Олег Илларионов (ВКонтакте)Highload на GPU, опыт Vinci / Олег Илларионов (ВКонтакте)
Highload на GPU, опыт Vinci / Олег Илларионов (ВКонтакте)
Ontico
130413 net app-сюртуков
130413 net app-сюртуков130413 net app-сюртуков
130413 net app-сюртуков
Expolink
Защита датацентров и данных от катастроф на базе технологий Nutanix / Максим ...
Защита датацентров и данных от катастроф на базе технологий Nutanix / Максим ...Защита датацентров и данных от катастроф на базе технологий Nutanix / Максим ...
Защита датацентров и данных от катастроф на базе технологий Nutanix / Максим ...
Ontico
Выступление Юрия Насретдинова, Badoo, на High Performance Conference
Выступление Юрия Насретдинова, Badoo, на High Performance ConferenceВыступление Юрия Насретдинова, Badoo, на High Performance Conference
Выступление Юрия Насретдинова, Badoo, на High Performance Conference
EYevseyeva
процессоры и кулеры
процессоры и кулерыпроцессоры и кулеры
процессоры и кулеры
KozinskaIS
процессоры и куллеры
процессоры и куллерыпроцессоры и куллеры
процессоры и куллеры
KozinskaIS
Максим Шапошников, Nutanix
Максим Шапошников, NutanixМаксим Шапошников, Nutanix
Максим Шапошников, Nutanix
Ontico
"Кластеры баз данных: делаем сложные вещи просто" Андрей Тихонов (Avito)
"Кластеры баз данных: делаем сложные вещи просто" Андрей Тихонов (Avito)"Кластеры баз данных: делаем сложные вещи просто" Андрей Тихонов (Avito)
"Кластеры баз данных: делаем сложные вещи просто" Андрей Тихонов (Avito)
AvitoTech
Android Telegram S Optimizations
Android Telegram S OptimizationsAndroid Telegram S Optimizations
Android Telegram S Optimizations
Stepan Korshakov
Как и зачем создавать NginX-модуль — теория, практика, профит. Часть 2 / Васи...
Как и зачем создавать NginX-модуль — теория, практика, профит. Часть 2 / Васи...Как и зачем создавать NginX-модуль — теория, практика, профит. Часть 2 / Васи...
Как и зачем создавать NginX-модуль — теория, практика, профит. Часть 2 / Васи...
Ontico
Максим Исаев, IBS. Практика использования комплекса Veritas NetBackup для мод...
Максим Исаев, IBS. Практика использования комплекса Veritas NetBackup для мод...Максим Исаев, IBS. Практика использования комплекса Veritas NetBackup для мод...
Максим Исаев, IBS. Практика использования комплекса Veritas NetBackup для мод...
IBS
Использование ленточных технологий для сокращения стоимости файловых хранилищ
Использование ленточных технологий для сокращения стоимости файловых хранилищИспользование ленточных технологий для сокращения стоимости файловых хранилищ
Использование ленточных технологий для сокращения стоимости файловых хранилищ
Alexander Reytman
Тюним память и сетевой стек в Linux: история перевода высоконагруженных сер...
Тюним память  и сетевой стек в Linux: история перевода высоконагруженных  сер...Тюним память  и сетевой стек в Linux: история перевода высоконагруженных  сер...
Тюним память и сетевой стек в Linux: история перевода высоконагруженных сер...
Dmitry Samsonov
Суперкомпьютеры сегодня и завтра архитектура, проблемы, перспективы (Андрей С...
Суперкомпьютеры сегодня и завтра архитектура, проблемы, перспективы (Андрей С...Суперкомпьютеры сегодня и завтра архитектура, проблемы, перспективы (Андрей С...
Суперкомпьютеры сегодня и завтра архитектура, проблемы, перспективы (Андрей С...
Ontico
Selectel Meetup OpenStack GPU in Cloud
Selectel Meetup OpenStack GPU in CloudSelectel Meetup OpenStack GPU in Cloud
Selectel Meetup OpenStack GPU in Cloud
AlekseyStepanenko
Гидродинамическое моделирование: возможности оптимизации ИТ-инфраструктуры
Гидродинамическое моделирование: возможности оптимизации ИТ-инфраструктурыГидродинамическое моделирование: возможности оптимизации ИТ-инфраструктуры
Гидродинамическое моделирование: возможности оптимизации ИТ-инфраструктуры
Vsevolod Shabad
Управление облачной инфраструктурой
Управление облачной инфраструктуройУправление облачной инфраструктурой
Управление облачной инфраструктурой
dddpaul

Similar to Кирилл Науменко. "Выжать максимум". IT-пятница, сентябрь 2018. (20)

Как обслужить 60 миллионов абонентов, Артем Руфанов (ПЕТЕР-СЕРВИС)
Как обслужить 60 миллионов абонентов, Артем Руфанов (ПЕТЕР-СЕРВИС)Как обслужить 60 миллионов абонентов, Артем Руфанов (ПЕТЕР-СЕРВИС)
Как обслужить 60 миллионов абонентов, Артем Руфанов (ПЕТЕР-СЕРВИС)
Ontico
Zherdev icinga 20120423
Zherdev icinga 20120423Zherdev icinga 20120423
Zherdev icinga 20120423
kuchinskaya
Call of Postgres: Advanced Operations (part 2)
Call of Postgres: Advanced Operations (part 2)Call of Postgres: Advanced Operations (part 2)
Call of Postgres: Advanced Operations (part 2)
Alexey Lesovsky
NVMf: 5 млн IOPS по сети своими руками / Андрей Николаенко (IBS)
NVMf: 5 млн IOPS по сети своими руками / Андрей Николаенко (IBS)NVMf: 5 млн IOPS по сети своими руками / Андрей Николаенко (IBS)
NVMf: 5 млн IOPS по сети своими руками / Андрей Николаенко (IBS)
Ontico
Считаем Рунет или миллион pps в секунду / Дмитрий Смирнов (TNS Russia)
Считаем Рунет или миллион pps в секунду / Дмитрий Смирнов (TNS Russia)Считаем Рунет или миллион pps в секунду / Дмитрий Смирнов (TNS Russia)
Считаем Рунет или миллион pps в секунду / Дмитрий Смирнов (TNS Russia)
Ontico
Практический опыт использования некоторых современных решений репликации MySQL
Практический опыт использования некоторых современных решений репликации MySQLПрактический опыт использования некоторых современных решений репликации MySQL
Практический опыт использования некоторых современных решений репликации MySQL
Alex Chistyakov
Call of Postgres: Advanced Operations (part 1)
Call of Postgres: Advanced Operations (part 1)Call of Postgres: Advanced Operations (part 1)
Call of Postgres: Advanced Operations (part 1)
Alexey Lesovsky
Mysql replication DevConf 2012
Mysql replication DevConf 2012Mysql replication DevConf 2012
Mysql replication DevConf 2012
Alex Chistyakov
Контейнеры в OpenStack: простое решение сложных проблем
Контейнеры в OpenStack: простое решение сложных проблемКонтейнеры в OpenStack: простое решение сложных проблем
Контейнеры в OpenStack: простое решение сложных проблем
Yandex
Контейнеры в OpenStack: простое решение сложных проблем
Контейнеры в OpenStack: простое решение сложных проблемКонтейнеры в OpenStack: простое решение сложных проблем
Контейнеры в OpenStack: простое решение сложных проблем
OpenVZ
High performance computing - принципы проектирования сети
High performance computing - принципы проектирования сетиHigh performance computing - принципы проектирования сети
High performance computing - принципы проектирования сети
MUK
Обработка спйсмоданных: возможности оптимизации ИТ-инфраструктуры
Обработка спйсмоданных: возможности оптимизации ИТ-инфраструктурыОбработка спйсмоданных: возможности оптимизации ИТ-инфраструктуры
Обработка спйсмоданных: возможности оптимизации ИТ-инфраструктуры
Vsevolod Shabad
HPC file systems (160761)
HPC file systems (160761)HPC file systems (160761)
HPC file systems (160761)
Vsevolod Shabad
Тюним память и сетевой стек в Linux: история перевода высоконагруженных серве...
Тюним память и сетевой стек в Linux: история перевода высоконагруженных серве...Тюним память и сетевой стек в Linux: история перевода высоконагруженных серве...
Тюним память и сетевой стек в Linux: история перевода высоконагруженных серве...
Ontico
Уроки нагрузочного тестирования Naumen Contact Center, Андрей Хитрин, Naumen
 Уроки нагрузочного тестирования Naumen Contact Center, Андрей Хитрин, Naumen  Уроки нагрузочного тестирования Naumen Contact Center, Андрей Хитрин, Naumen
Уроки нагрузочного тестирования Naumen Contact Center, Андрей Хитрин, Naumen
it-people
Aппаратное обеспечения для решения задач механики сыпучих сред
Aппаратное обеспечения для решения задач механики сыпучих средAппаратное обеспечения для решения задач механики сыпучих сред
Aппаратное обеспечения для решения задач механики сыпучих сред
Yury Novozhilov
Обзор новых моделей EMC VNX
Обзор новых моделей EMC VNXОбзор новых моделей EMC VNX
Обзор новых моделей EMC VNX
КРОК
TMPA-2013 Sartakov: Genode
TMPA-2013 Sartakov: GenodeTMPA-2013 Sartakov: Genode
TMPA-2013 Sartakov: Genode
Iosif Itkin
Ibm megatrade шиндак xiv v3.0
Ibm megatrade шиндак xiv v3.0Ibm megatrade шиндак xiv v3.0
Ibm megatrade шиндак xiv v3.0
Nick Turunov
История небольшого успеха с PostgreSQL – Владимир Бородин
История небольшого успеха с PostgreSQL – Владимир БородинИстория небольшого успеха с PostgreSQL – Владимир Бородин
История небольшого успеха с PostgreSQL – Владимир Бородин
Yandex
Как обслужить 60 миллионов абонентов, Артем Руфанов (ПЕТЕР-СЕРВИС)
Как обслужить 60 миллионов абонентов, Артем Руфанов (ПЕТЕР-СЕРВИС)Как обслужить 60 миллионов абонентов, Артем Руфанов (ПЕТЕР-СЕРВИС)
Как обслужить 60 миллионов абонентов, Артем Руфанов (ПЕТЕР-СЕРВИС)
Ontico
Zherdev icinga 20120423
Zherdev icinga 20120423Zherdev icinga 20120423
Zherdev icinga 20120423
kuchinskaya
Call of Postgres: Advanced Operations (part 2)
Call of Postgres: Advanced Operations (part 2)Call of Postgres: Advanced Operations (part 2)
Call of Postgres: Advanced Operations (part 2)
Alexey Lesovsky
NVMf: 5 млн IOPS по сети своими руками / Андрей Николаенко (IBS)
NVMf: 5 млн IOPS по сети своими руками / Андрей Николаенко (IBS)NVMf: 5 млн IOPS по сети своими руками / Андрей Николаенко (IBS)
NVMf: 5 млн IOPS по сети своими руками / Андрей Николаенко (IBS)
Ontico
Считаем Рунет или миллион pps в секунду / Дмитрий Смирнов (TNS Russia)
Считаем Рунет или миллион pps в секунду / Дмитрий Смирнов (TNS Russia)Считаем Рунет или миллион pps в секунду / Дмитрий Смирнов (TNS Russia)
Считаем Рунет или миллион pps в секунду / Дмитрий Смирнов (TNS Russia)
Ontico
Практический опыт использования некоторых современных решений репликации MySQL
Практический опыт использования некоторых современных решений репликации MySQLПрактический опыт использования некоторых современных решений репликации MySQL
Практический опыт использования некоторых современных решений репликации MySQL
Alex Chistyakov
Call of Postgres: Advanced Operations (part 1)
Call of Postgres: Advanced Operations (part 1)Call of Postgres: Advanced Operations (part 1)
Call of Postgres: Advanced Operations (part 1)
Alexey Lesovsky
Mysql replication DevConf 2012
Mysql replication DevConf 2012Mysql replication DevConf 2012
Mysql replication DevConf 2012
Alex Chistyakov
Контейнеры в OpenStack: простое решение сложных проблем
Контейнеры в OpenStack: простое решение сложных проблемКонтейнеры в OpenStack: простое решение сложных проблем
Контейнеры в OpenStack: простое решение сложных проблем
Yandex
Контейнеры в OpenStack: простое решение сложных проблем
Контейнеры в OpenStack: простое решение сложных проблемКонтейнеры в OpenStack: простое решение сложных проблем
Контейнеры в OpenStack: простое решение сложных проблем
OpenVZ
High performance computing - принципы проектирования сети
High performance computing - принципы проектирования сетиHigh performance computing - принципы проектирования сети
High performance computing - принципы проектирования сети
MUK
Обработка спйсмоданных: возможности оптимизации ИТ-инфраструктуры
Обработка спйсмоданных: возможности оптимизации ИТ-инфраструктурыОбработка спйсмоданных: возможности оптимизации ИТ-инфраструктуры
Обработка спйсмоданных: возможности оптимизации ИТ-инфраструктуры
Vsevolod Shabad
Тюним память и сетевой стек в Linux: история перевода высоконагруженных серве...
Тюним память и сетевой стек в Linux: история перевода высоконагруженных серве...Тюним память и сетевой стек в Linux: история перевода высоконагруженных серве...
Тюним память и сетевой стек в Linux: история перевода высоконагруженных серве...
Ontico
Уроки нагрузочного тестирования Naumen Contact Center, Андрей Хитрин, Naumen
 Уроки нагрузочного тестирования Naumen Contact Center, Андрей Хитрин, Naumen  Уроки нагрузочного тестирования Naumen Contact Center, Андрей Хитрин, Naumen
Уроки нагрузочного тестирования Naumen Contact Center, Андрей Хитрин, Naumen
it-people
Aппаратное обеспечения для решения задач механики сыпучих сред
Aппаратное обеспечения для решения задач механики сыпучих средAппаратное обеспечения для решения задач механики сыпучих сред
Aппаратное обеспечения для решения задач механики сыпучих сред
Yury Novozhilov
Обзор новых моделей EMC VNX
Обзор новых моделей EMC VNXОбзор новых моделей EMC VNX
Обзор новых моделей EMC VNX
КРОК
TMPA-2013 Sartakov: Genode
TMPA-2013 Sartakov: GenodeTMPA-2013 Sartakov: Genode
TMPA-2013 Sartakov: Genode
Iosif Itkin
Ibm megatrade шиндак xiv v3.0
Ibm megatrade шиндак xiv v3.0Ibm megatrade шиндак xiv v3.0
Ibm megatrade шиндак xiv v3.0
Nick Turunov
История небольшого успеха с PostgreSQL – Владимир Бородин
История небольшого успеха с PostgreSQL – Владимир БородинИстория небольшого успеха с PostgreSQL – Владимир Бородин
История небольшого успеха с PostgreSQL – Владимир Бородин
Yandex

Кирилл Науменко. "Выжать максимум". IT-пятница, сентябрь 2018.

  • 1. ВЫЖАТЬ МАКСИМУМ: ПРАВИЛЬНО РАСПРЕДЕЛЯЕМ ПРОЦЕССОРНУЮ МОЩНОСТЬ В РАМКАХ ВИРТУАЛИЗАЦИИ VMWARE ХМАРИ – ЦЕ Кирилл Науменко, GigaCloud
  • 2. Сайзинг и резервация • RAM TSP, Ballooning, shares • HDD Deduplication, compression • CPU Oversubscription ??
  • 3. Основные показатели CPU со стороны хоста • CPU ready • Co-Stop • Limits
  • 4. Основные показатели CPU со стороны ВМ Установленные VMware tools портируют показатели с хоста внутрь виртуальной машины: 1) CPU stolen time 2) % Processor Time
  • 5. Варианты нагрузки на ВМ READY – Time that the virtual machine was ready, but could not get scheduled to run on the physical CPU during last measurement interval COSTOP – Time the virtual machine is ready to run, but is unable to run due to co-scheduling constraints Без лимитов одним 7z Внутри ВМ Запущен еще один 7z Лимит в 30GHz Лимит в 23GHz Внутри ВМ выключен второй 7z
  • 6. Рекомендации • Совместимое железо и прошивки • Настройки BIOS  включение VT-X, HT;  отключить Numa node interleaving или включить Enable NUMA. ESXi – Numa- awared OS;  отключить все неиспользуемые устройсва для высвобождения прерываний;  Power-Saving – OS Contolled Mode/Best performance. • Настройки ВМ  начинать с минимума;  принимать во внимание NUMA ноды;  VMware Tools.
  • 7. NUMA NUMA (Non-Uniform Memory Access) – «неравномерный доступ к памяти» – схема реализации памяти, используемая в мультипроцессорных системах, когда время доступа к памяти определяется её расположением по отношению к процессору. vNUMA (Virtual NUMA) – способность гипервизора экспортировать в виртуальную машину данные о NUMA физического сервера
  • 8. vNUMA Топология vNUMA состоит из: 1) VPD Virtual Proximity Domain или виртуальный домен родства; 2) PPD Physical Proximity Domain или физический домен родства. VPD виден из виртуальной машины, PPD – это физические NUMA-узлы.
  • 9. Пример ВМ, разделенной на 2 PPD esxtop – switch to M – f for advanced options – G for NUMA information cat vmware.log | grep NUMA
  • 10. Пример ВМ, разделенной на 2 PPD esxtop – switch to M – f for advanced options – G for NUMA information cat vmware.log | grep NUMA
  • 11. Правила vNUMA • Не трогайте то, что по дефолту, если не понимаете о чем речь. • Всегда выставляйте 1 ядро-сокет до момента, пока ЦПУ меньше, чем ядер в сокете хоста, и памяти меньше половины. • Если необходимо больше процессоров или памяти, делите количество ядер на минимальное число нод NUMA. • Не устанавливайте нечетное количество процессоров, если превышаем ноду. • При включении hot add CPU отключается vNUMA. • Живите в рамках физических ядер.
  • 13. Показатели тестирования 7zip Вариант теста Hot-add CPU ON/vNUMA off Hot-add CPU OFF/vNUMA on 7zip Benchmark 20 Cores 34027 MIPS/30561 MIPS 40548 MIPS/ 41645 MIPS 7zip Benchmark 10 Cores 44555 MIPS 43769 MIPS • В случае 20 ядер при включении Hot Add отключается vNUMA – падение производительности. • В случае 10 ядер включение Hot Add не влияет на производительность. • В случае 10 ядер – производительность сжатия выше, чем при 20 ядрах. С учетом работы в рамках одной квоты.
  • 14. На почитать • vSphere Troubleshooting - VMware Docs • Virtual Machine vCPU and vNUMA Rightsizing • vSphere Monitoring and Performance - VMware Docs • Performance Best Practices for vSphere 6.5 - VMware • Decoupling of Cores per Socket from Virtual NUMA Topology in vSphere 6.5