разработка серверов и серверных приложений лекция №2Eugeniy TyumentcevПричины потерь процессорного времени при организации последовательности вычислений внутри потока: 1. Ожидание ответа на запрос (поток спит). 2. Выполнение дополнительных "лишних" действий. Как способ устранения этих потерь - паттерн Пул потоков. Анализ императивного и функционального подхода к борьбе с "жадными" операциями. Эволюция методов организации параллельных вычислений на основе пула потоков.
Работа с Big Data MATLABМы покажем, как можно перенести разработанные алгоритмы для работы с Big Data с минимальными изменениями исходных программ. Рассмотрим возможности по распараллеливанию счета на многоядерных процессорах (вычислительных кластерах) и графических процессорах, поддерживающих CUDA.
Михаил Белопухов: OpenBSD: Куда катится крипто?YandexВ своем докладе я расскажу о прошлом, настоящем и будущем использования криптографии и криптографического стека в OpenBSD. Мы коснемся поддержки AES-NI и AES-GCM, использования ChaCha20 в качестве замены ARC4 в PRNG. Кроме того, рассмотрим альтернативы алгоритмам, стандартизованным NIST: ChaCha20, Poly1305, Curve25519, и их использование в OpenSSH и OpenBSD.
DataScienceLab2017_Высокопроизводительные вычислительные возможности для сист...GeeksLab OdessaDataScience Lab, 13 мая 2017
Высокопроизводительные вычислительные возможности для систем анализа данных
Михаил Федосеев ( Архитектор инфраструктурных решений, LanTec)
В докладе мы поговорим о hardware стороне систем анализа данных для случаев построения приватных облаков или локальных высокопроизводительных вычислительных кластеров. Рассмотрим какие технологии и комплексные решения от компании Hewlett Packard Enterprise позволяют ускорить процесс анализа данных. Это не только зарекомендовавшие в своей области лучшие в своем сегменте сервера линейки HPE Apollo, а так же высокоскоростные сетевые коммутаторы HPE, но и дополнительные вспомогательные элементы решения, такие как мощные графические карты NVIDIA и хост-процессоры Xeon Phi. Так же будет рассмотрен стек HPE Core HPC Software Stack, который позволяет администраторам контролировать использование ресурсов системы.
Все материалы доступны по ссылке: http://datascience.in.ua/report2017
AdvantiX - российский производитель промышленных компьютеров и встраиваемых с...ProSoft#AdvantiX — российский производитель промышленных компьютеров и встраиваемых систем.
Информация о #AdvantiX на сайтах:
Технический портал #ПРОСОФТ: tp.prosoft.ru
Официальный сайт #ПРОСОФТ: prosoft.ru
Машины баз данных: таксономия, анатомия, эволюция, ареал, воспроизведение / А...OnticoРИТ++ 2017, Web-scale IT Сonference
Зал Владивосток, 6 июня, 16:00
Тезисы:
http://webscaleconf.ru/2017/abstracts/2555.html
Teradata, Exadata, Netezza и другие представители мира машин баз данных в этом докладе будут классифицированы, препарированы, а также будет обсуждена задача создания новых таких машин.
Все эти машины — не просто сбалансированные комплекты из серверных узлов с предустановленной СУБД в той или иной конфигурации. Во всех случаях в них реализованы программные специфики, подразумевающие применение архитектурных или аппаратных возможностей, недоступных «вразвалку» (хотя в некоторых случаях есть возможности по воссозданию отдельных их элементов в лабораторных условиях, и об этом тоже будет в докладе). Таким образом, этот материал не столько о том, в шкаф какого цвета разные вендоры упаковали свою продукцию, сколько об идеях, заложенных внутри этих комплексов.
...
Андрей Николаенко, IBS. NVMf: 5 млн IOPS по сети своими рукамиIBSАндрей Николаенко, системный архитектор в IBS, выступил на конференции HighLoad++ 2016.
Тезисы
В выпуске 4.8 ядра Linux появилась поддержка NVMf (NVM Express over Fabrics) — стандартизованной возможности присоединять по сети как блочные устройства твердотельные накопители, установленные в разъёмы PCI Express. NVMf лишён многих недостатков iSCSI, повторяющего по сети SCSI-команды со всеми их издержками времён дисковых накопителей, и главное — позволяет по полной использовать возможности сетей с прямым доступом к оперативной памяти (RDMA). Таким образом, можно под управлением одного узла собрать сверхбыстрый и сверхотзывчивый пул блочных устройств, не прибегая к покупке дорогого флэш-массива. Но как воспользоваться этим пулом, не загубив теоретические показатели программными обёртками?
В докладе будут рассмотрены варианты применения NVMf для различных конфигураций PostgreSQL, Oracle Database, Hadoop, файловых хранилищ, о разработках в направлении «программно-определяемой памяти» с применением NVMe-устройств, доступных по сети, обсуждены текущие проблемы, ограничения и перспективы. Особое внимание будет уделено практическим способам измерения производительности ввода-вывода с учётом задачи, решаемой подсистемой хранения.
NVMf: 5 млн IOPS по сети своими руками / Андрей Николаенко (IBS)OnticoВ выпуске 4.8 ядра Linux появилась поддержка NVMf (NVM Express over Fabrics) — стандартизованной возможности присоединять по сети как блочные устройства твердотельные накопители, установленные в разъёмы PCI Express. NVMf лишён многих недостатков iSCSI, повторяющего по сети SCSI-команды со всеми их издержками времён дисковых накопителей, и главное — позволяет по полной использовать возможности сетей с прямым доступом к оперативной памяти (RDMA). Таким образом, можно под управлением одного узла собрать сверхбыстрый и сверхотзывчивый пул блочных устройств, не прибегая к покупке дорогого флэш-массива. Но как воспользоваться этим пулом, не загубив теоретические показатели программными обёртками?
В докладе будут рассмотрены варианты применения NVMf для различных конфигураций PostgreSQL, Oracle Database, Hadoop, файловых хранилищ, о разработках в направлении «программно-определяемой памяти» с применением NVMe-устройств, доступных по сети, обсуждены текущие проблемы, ограничения и перспективы. Особое внимание будет уделено практическим способам измерения производительности ввода-вывода с учётом задачи, решаемой подсистемой хранения.
Работа с Big Data MATLABМы покажем, как можно перенести разработанные алгоритмы для работы с Big Data с минимальными изменениями исходных программ. Рассмотрим возможности по распараллеливанию счета на многоядерных процессорах (вычислительных кластерах) и графических процессорах, поддерживающих CUDA.
Михаил Белопухов: OpenBSD: Куда катится крипто?YandexВ своем докладе я расскажу о прошлом, настоящем и будущем использования криптографии и криптографического стека в OpenBSD. Мы коснемся поддержки AES-NI и AES-GCM, использования ChaCha20 в качестве замены ARC4 в PRNG. Кроме того, рассмотрим альтернативы алгоритмам, стандартизованным NIST: ChaCha20, Poly1305, Curve25519, и их использование в OpenSSH и OpenBSD.
DataScienceLab2017_Высокопроизводительные вычислительные возможности для сист...GeeksLab OdessaDataScience Lab, 13 мая 2017
Высокопроизводительные вычислительные возможности для систем анализа данных
Михаил Федосеев ( Архитектор инфраструктурных решений, LanTec)
В докладе мы поговорим о hardware стороне систем анализа данных для случаев построения приватных облаков или локальных высокопроизводительных вычислительных кластеров. Рассмотрим какие технологии и комплексные решения от компании Hewlett Packard Enterprise позволяют ускорить процесс анализа данных. Это не только зарекомендовавшие в своей области лучшие в своем сегменте сервера линейки HPE Apollo, а так же высокоскоростные сетевые коммутаторы HPE, но и дополнительные вспомогательные элементы решения, такие как мощные графические карты NVIDIA и хост-процессоры Xeon Phi. Так же будет рассмотрен стек HPE Core HPC Software Stack, который позволяет администраторам контролировать использование ресурсов системы.
Все материалы доступны по ссылке: http://datascience.in.ua/report2017
AdvantiX - российский производитель промышленных компьютеров и встраиваемых с...ProSoft#AdvantiX — российский производитель промышленных компьютеров и встраиваемых систем.
Информация о #AdvantiX на сайтах:
Технический портал #ПРОСОФТ: tp.prosoft.ru
Официальный сайт #ПРОСОФТ: prosoft.ru
Машины баз данных: таксономия, анатомия, эволюция, ареал, воспроизведение / А...OnticoРИТ++ 2017, Web-scale IT Сonference
Зал Владивосток, 6 июня, 16:00
Тезисы:
http://webscaleconf.ru/2017/abstracts/2555.html
Teradata, Exadata, Netezza и другие представители мира машин баз данных в этом докладе будут классифицированы, препарированы, а также будет обсуждена задача создания новых таких машин.
Все эти машины — не просто сбалансированные комплекты из серверных узлов с предустановленной СУБД в той или иной конфигурации. Во всех случаях в них реализованы программные специфики, подразумевающие применение архитектурных или аппаратных возможностей, недоступных «вразвалку» (хотя в некоторых случаях есть возможности по воссозданию отдельных их элементов в лабораторных условиях, и об этом тоже будет в докладе). Таким образом, этот материал не столько о том, в шкаф какого цвета разные вендоры упаковали свою продукцию, сколько об идеях, заложенных внутри этих комплексов.
...
Андрей Николаенко, IBS. NVMf: 5 млн IOPS по сети своими рукамиIBSАндрей Николаенко, системный архитектор в IBS, выступил на конференции HighLoad++ 2016.
Тезисы
В выпуске 4.8 ядра Linux появилась поддержка NVMf (NVM Express over Fabrics) — стандартизованной возможности присоединять по сети как блочные устройства твердотельные накопители, установленные в разъёмы PCI Express. NVMf лишён многих недостатков iSCSI, повторяющего по сети SCSI-команды со всеми их издержками времён дисковых накопителей, и главное — позволяет по полной использовать возможности сетей с прямым доступом к оперативной памяти (RDMA). Таким образом, можно под управлением одного узла собрать сверхбыстрый и сверхотзывчивый пул блочных устройств, не прибегая к покупке дорогого флэш-массива. Но как воспользоваться этим пулом, не загубив теоретические показатели программными обёртками?
В докладе будут рассмотрены варианты применения NVMf для различных конфигураций PostgreSQL, Oracle Database, Hadoop, файловых хранилищ, о разработках в направлении «программно-определяемой памяти» с применением NVMe-устройств, доступных по сети, обсуждены текущие проблемы, ограничения и перспективы. Особое внимание будет уделено практическим способам измерения производительности ввода-вывода с учётом задачи, решаемой подсистемой хранения.
NVMf: 5 млн IOPS по сети своими руками / Андрей Николаенко (IBS)OnticoВ выпуске 4.8 ядра Linux появилась поддержка NVMf (NVM Express over Fabrics) — стандартизованной возможности присоединять по сети как блочные устройства твердотельные накопители, установленные в разъёмы PCI Express. NVMf лишён многих недостатков iSCSI, повторяющего по сети SCSI-команды со всеми их издержками времён дисковых накопителей, и главное — позволяет по полной использовать возможности сетей с прямым доступом к оперативной памяти (RDMA). Таким образом, можно под управлением одного узла собрать сверхбыстрый и сверхотзывчивый пул блочных устройств, не прибегая к покупке дорогого флэш-массива. Но как воспользоваться этим пулом, не загубив теоретические показатели программными обёртками?
В докладе будут рассмотрены варианты применения NVMf для различных конфигураций PostgreSQL, Oracle Database, Hadoop, файловых хранилищ, о разработках в направлении «программно-определяемой памяти» с применением NVMe-устройств, доступных по сети, обсуждены текущие проблемы, ограничения и перспективы. Особое внимание будет уделено практическим способам измерения производительности ввода-вывода с учётом задачи, решаемой подсистемой хранения.
Продольный спуск судна на воду в ALE постановке. Работы с FSI и многофазными ...Yury NovozhilovПри решении некоторых сильно связанных задач механики и гидродинамики использование традиционных FSI подходов, объединяющих несколько вычислительных кодов может оказаться не эффективно. Большие деформации или динамическое перестроение сеток для выполнения гидро-газодинамических расчетов при подвижных границах расчетной области может потребовать дополнительных вычислительных мощностей и привести к неустойчивости решения.
В докладе описывается решение задачи продольного спуска атомного ледокола на воду в LS-DYNA. Решение выполняется методом конечных элементов в эйлеровой постановке. Используется явный решатель механики. Рассматриваются возможности моделирования многофазных жидкостей при подобных расчетах.
Железобетонные конструкции под воздействием ударных нагрузок в LS-DYNAYury NovozhilovДоклад посвящается основам расчетов железобетонных конструкций в междисциплинарном пакете LS-DYNA. Первая часть представляемых материалов представляет собой обзор моделей материалов, применяемых для моделирования бетона. При этом принимаются во внимание не только модели бетона, работающие для твердотельных конструкций, но и для конструкций, рассчитываемых в рамках оболочечной и балочной теории. Отдельное внимание уделяется технологиям учета армирования железобетонных конструкций.
Во второй части доклада будет разобрано решение модельной задачи в среде Workbench LS-DYNA ACT и сравнение с данными экспериментов. Будут рассмотрены особенности создания численных моделей, работа со сборками. Отдельное внимание будет уделено известным ограничениям и проблемам, возникающим при работе с Workbench LS-DYNA ACT.
Моделирование продольного спуска судна на водуYury Novozhilov“Продольный спуск судна на воду в ALE постановке. Работы с FSI и многофазными средами. Workbench LS-DYNA ACT.”
При решении некоторых сильно связанных задач механики и гидродинамики использование традиционных FSI подходов, объединяющих несколько вычислительных кодов может оказаться не эффективно. Большие деформации или динамическое перестроение сеток для выполнения гидро-газодинамических расчетов при подвижных границах расчетной области может потребовать дополнительных вычислительных мощностей и привести к неустойчивости решения.
В докладе описывается решение задачи продольного спуска атомного ледокола на воду в LS-DYNA. Решение выполняется методом конечных элементов в эйлеровой постановке. Используется явный решатель механики. Рассматриваются возможности моделирования многофазных жидкостей при подобных расчетах.
Конечно элементное исследование пространственного напряженного состояния прош...Yury NovozhilovКонечно элементное исследование пространственного напряженного состояния прошитых стекловолокнистых композитов
Конечно-элементный анализ прочности и долговечности узла телекоммуникационной...Yury NovozhilovКонечно-элементный анализ прочности и долговечности узла телекоммуникационной башни
Granary Square – King Cross Lighting MastYury NovozhilovThis document summarizes finite element analysis performed on the structural design of a lighting mast. The analysis included creating a 3D finite element model using shell elements to model different shell thicknesses. Modal and static analyses were conducted to determine the first eigenfrequency and mode, deformation and stress distributions under wind loading, and forces on bolts and reactions on the basement foundation. The analyses aimed to evaluate the structural performance of different shell thickness designs and identify areas for potential improvement through future optimization studies.
Прикладные задачи оптимизации формы и топологии конструкций в КЭ моделированииYury NovozhilovПрикладные задачи оптимизации формы и топологии конструкций в КЭ моделировании
ANSYS EKM – эффективное управление данными инженерных расчетов в процессе раз...Yury NovozhilovANSYS EKM – эффективное управление данными инженерных расчетов в процессе разработки новых изделий, интеграция с корпоративными PLM/PDM-системами
ANSYS EKM-based strategy for integrated multiphysics simulation workflow auto...Yury NovozhilovThis document discusses CADFEM's strategy for automating multiphysics simulation workflows using ANSYS' Enterprise Knowledge Manager (EKM). It provides examples of automated workflows developed for clients in various industries to reduce training time, ensure compatibility across versions, and protect intellectual property. The document outlines the benefits of automated workflows for both customers and CADFEM, including increased efficiency, simplified use, and new opportunities for consulting services and software sales.
Анализ собственных частот полого композитного валаYury NovozhilovСоздание КЭ модели слоистого трубчатого вала.
Произведем расчет эффективных механических характеристик слоистого композита при различных углах намотки и определим собственные частоты симметричных изгибных колебаний вала, соответствующих выбранным углам намотки.
Взаимодействие нестационарных упругой волны со сферической оболочкой средствамиYury NovozhilovРасчет взаимодействия нестационарных упругой волны со сферической оболочкой средствами.
Учет внешней статической нагрузки - гидравлического давления.
Верификация результатов на основе выкладок Э.И. Григолюк, А.Г. Горшков – “Нестационарная гидроупругость оболочек”, Издательство «Судостоение», Ленинград, 1974 год.
Взаимодействие нестационарных упругой волны со сферической оболочкой средствамиYury Novozhilov
Облачные технологии и решений ANSYS. Новые возможности ANSYS HPC
1. Облачные технологии и решений ANSYS
Новые возможности ANSYS HPC
Новожилов Юрий Владиславович
Руководитель направления HPC
yury.novozhilov@cadfem-cis.ru
2. Улучшения в работе решателей
Новые возможности платформы
Лицензионная политика HPC R18
3. Улучшения в работе решателей
Новые возможности платформы
Лицензионная политика HPC R18
4. 4
Классический DMP подход:
- каждому свой кусочек сетки
Новый DMP подход:
- каждому своя полоса частот (FREQ)
- каждому своя гармоника (CYCHI)
XIV Международная Конференция пользователей CADFEM/ANSYS, 2017
Новые типы доменной декомпозиции в R18
Вычислитель 1
Вычислитель 4
Вычислитель 3
Вычислитель 2
50 150100 250200 300 350 400
0
Частота, Гц
Вычислитель 1
Вычислитель 2
Вычислитель 3
Вычислитель 4
5. 5XIV Международная Конференция пользователей CADFEM/ANSYS, 2017
Новые типы доменной декомпозиции в R18
0
20
40
60
80
100
120
140
160
8 16 32 64 128 256
Количествовариантоввсутки
Количество CPU ядер
Полный гармонический
анализ
R18.0 (MESH) R18.0 (FREQ) Linear Scaling
0
20
40
60
80
100
0 16 32 48 64
Количествовариантоввсутки
Количество CPU ядер
Поиск собственных частот
и форм
R16.2 (MESH) R17.0 (MESH)
R18.0 (MESH) R18.0 (CYCHI)
Linear ScalingИдеально Идеально
x2.7
x2.6
6. 6
Статическая задача механики
Нелинейная постановка
Учет ползучести
6 миллионов уравнений
Прямой решатель
XIV Международная Конференция пользователей CADFEM/ANSYS, 2017
Mechanical 18.2 – еще больше ядер
0
50
100
150
200
250
300
350
128 256 512 1024 2048 4096
Количествовариантоввсутки
Количество процессорных ядер
R18.1 R18.2
• 16 million DOF; sparse solver
• Nonlinear transient analysis
• Linux cluster; each compute node
contains 2 Intel Xeon Gold 6148
processors, 192GB RAM, SSD, RHEL 7.3
• Intel Omnipath interconnect
Шариковые контакты
Упаковка чипа
PCB
7. 7
Nonlinear Adaptivity (NLAD) теперь поддерживается распределённым
(DMP) решателем – ускорение расчета в разы
XIV Международная Конференция пользователей CADFEM/ANSYS, 2017
Распределённый решатель R18 для нелинейных задач
0
1
2
3
4
5
6
2 4 8 16 32
Ускорениерасчета
Количество ядер CPU
Резиновый уплотнитель
SMP DMP
0
1
2
3
4
5
6
2 4 8 16 32
Ускорениерасчета
Количество ядер CPU
Прокатка метала
SMP DMP
x3.2 x3.2
8. 8
Сервер:
2x Intel Xeon E5-2698v3 2.3 ГГц 16 ядер
256 Гб RAM
4x NVIDIA Tesla P100 x4
ANSYS HPC Pack x2
XIV Международная Конференция пользователей CADFEM/ANSYS, 2017
ANSYS Fluent и NVIDIA Pascal
0
0.5
1
1.5
2
2.5
3
3.5
4
32 CPU ядра 28 CPU ядер +
4 Tesla P100
Ускорение,раз
х3.75
9. Улучшения в работе решателей
Новые возможности платформы
Лицензионная политика HPC R18
10. Улучшения в работе решателей
Новые возможности платформы
Лицензионная политика HPC R18
11. 11
Использование CentOS не лишает технической поддержки
XIV Международная Конференция пользователей CADFEM/ANSYS, 2017
Поддержка CentOS
ПЛАТФОРМА 18.0 18.1 18.2 19.0
CentOS 7.2 да да**
CentOS 7.3 да** да да
(**) Не для всех продуктов ANSYS
12. 12
ANSYS RSM – неотъемлемая часть ANSYS Workbench, позволяющая
упростить и автоматизировать работу с вычислительными ресурсами
XIV Международная Конференция пользователей CADFEM/ANSYS, 2017
ANSYS Remote Solver Manager
RSM
Параметрическое
исследование
Расчетныеточки
13. 13
В составе ANSYS теперь есть собственный бесплатный планировщик
очереди задач для кластера под Windows и Linux
RSM – интерфейс к ARC
XIV Международная Конференция пользователей CADFEM/ANSYS, 2017
ANSYS RSM Cluster (ARC)
14. 14
ANSYS RSM умеет интегрироваться в кластеры
• Windows HPC, PBS, UGE, Toque with MOAB, ARC
ANSYS RSM имеет новый интерфейс
• Встроенное приложение в Workbench, Mechanical и EKM
• Меньше настроек и трудностей с правами пользователя
Приложения ANSYS поддерживают RSM
• CFX, Fluent, Icepak, Mechanical/APDL, Explicit STR, Rigid Body
Dynamics, Polyflow, WB LS-DYNA (beta)
ANSYS Electromagnetics Suite умеет работать с ARC
• Запуск расчета только через EKM
XIV Международная Конференция пользователей CADFEM/ANSYS, 2017
Что умеет ANSYS RSM и ARC
15. Улучшения в работе решателей
Новые возможности платформы
Лицензионная политика HPC R18
16. Улучшения в работе решателей
Новые возможности платформы
Лицензионная политика HPC R18
17. 17
CFD Enterprise/Solver и CFD Premium/Solve
4 бесплатных ядра CPU
XIV Международная Конференция пользователей CADFEM/ANSYS, 2017
ANSYS CFD
26. Обновленный решатель Mechanical
параллелится более чем на 3000 ядер
ANSYS ARC – полноценный кластерный
планировщик очереди задач
4 ядра для CFD сейчас и новая
лицензионная политика для R19
#7: This slide demonstrates the improved scaling of Distributed ANSYS in R18.2 compared to R18.0.
This is a ball grid array (BGA) benchmark from MicroConsult in Germany involving a nonlinear transient analysis with creep material properties (no contact). The sparse solver is used to solve the 4 million equations. There is 1 load step with 12 substeps and a total of 25 iterations to reach convergence in the nonlinear analysis.
This model was solved on the Intel Endeavor cluster. Each compute node contains 2 Intel Xeon Gold 6148 (Skylake) processors, 192 GB of RAM, local SSD storage, and RHEL7.3. These runs were performed with the Intel Omnipath interconnect.
Here we are timing the “Elapsed time spent computing solution”. So this measures the entire solution (forming elements, solving the equations, computing stresses/strains, etc..), but does not include items such as resuming the database or combining files at the end of the solution.
One can easily see that with R18.0 the scaling stops at approximately 1000 cores. However, with R18.2 the scaling continues to at least 3072 cores.