RabbitMQ - обмен сообщениями, который просто работает

Apr 10, 2013Download as pptx, pdf

0 likes698 views

Доклад на 5-й конференции .NET разработчиков посвящён RabbitMQ, системе обмена сообщениями, которая обеспечивает простоту и масштабируемость в разработке приложений. Рассматриваются проблемы коммуникации, преимущества использования RabbitMQ и примеры его реализации в проектах. Даны рекомендации по оптимизации работы с очередями и предотвращению дублирования сообщений.

5-я конференция .NET разработчиков
21 октября 2012
www.dotnetconf.ru

RabbitMQ - обмен
сообщениями, который просто
работает
Руслан Сафин
ByndyuSoft
twitter.com/razonrus

Цели
• Познакомить с RabbitMQ
• Поделиться историями из жизни

RabbitMQ , РусланСафин 2

Проблема в коммуникации

RabbitMQ , РусланСафин 4

Коммуникация – вариант 1

. . .
Сервис 1 Сервис 2 Сервис N

RabbitMQ , РусланСафин 5

Ожидание
• Распределенная прозрачная архитектура
• Масштабируемость
• Отказоустойчивость

RabbitMQ , РусланСафин 6

Коммуникация – вариант 2

. . .
Сервис 1 Сервис 2 Сервис N

RabbitMQ , РусланСафин 9

Общая шина – и есть среда для
коммуникации.

RabbitMQ , РусланСафин 10

RabbitMQ
• Robust messaging for applications
• Easy to use
• Runs on all major operating systems
• Supports a huge number of developer
platforms
• Open source and commercially supported

RabbitMQ , РусланСафин 11

Демо

Лучше один раз увидеть код, чем сто раз
прочесть MSDN

RabbitMQ , РусланСафин 12

Еще примеры
• Отправка сообщения сразу нескольким
подписчикам за раз
• Выборочное получение сообщений
• Выборочное получение сообщений на
основе маски
• RPC (удаленный вызов процедуры)

RabbitMQ , РусланСафин 13

Как мы это применяли

RabbitMQ , РусланСафин 14

Сложившаяся ситуация

. . .
Сервис 1 Сервис 2 Сервис N

RabbitMQ , РусланСафин 15

1. Разгрузить БД

Сервис 1

Планировщик Репозиторий
Сервис 2

Сервис N

RabbitMQ , РусланСафин 16

2. Оптимизировать конвейер

Сервис Z

Планировщик Сервис 1 Сервис 2 Сервис N Репозиторий

RabbitMQ , РусланСафин 17

Результат
• Прозрачный, легко диагностируемый
конвейер
• Скорость
• Масштабируемость
• Бонусы

RabbitMQ , РусланСафин 20

Бонус 1: инициирование задач

Веб клиент
Сервис Z

Планировщик Сервис 1 Сервис 2 Сервис N Репозиторий

RabbitMQ , РусланСафин 21

Бонус 2: приоритеты задач

Сервис Z

Планировщик Сервис 1 Сервис 2 Сервис N Репозиторий

RabbitMQ , РусланСафин 22

Проблемы решения
• Возможность появления дублей в очередях
• Загруженность приоритетных очередей

RabbitMQ , РусланСафин 23

Check list
• Общая шина
• RabbitMQ
• Примеры построения архитектуры

RabbitMQ , РусланСафин 24

Спасибо за внимание

Руслан Сафин
ByndyuSoft
iruslansafin@gmail.com
twitter.com/razonrus

RabbitMQ , РусланСафин 25

Документ представляет собой материалы 5-й конференции .NET разработчиков, на которой Руслан Сафин обсуждает использование RabbitMQ для обмена сообщениями. Он приводит примеры его применения, акцентируя внимание на проблемах и преимуществах, связанных с архитектурой и производительностью. Основные темы включают масштабируемость, отказоустойчивость и практические примеры внедрения RabbitMQ в сервисы.

Золото ДраконаСветлана Разоренова

��

Документ описывает систему майнинга на основе доказательства доли (PoS) под названием 'золото дракона', позволяющую пользователям добывать криптовалюту на своем кошельке с возможностью пассивного дохода. Участвующие пользователи могут увеличивать свои монеты через коллективный майнинг, при этом описаны риски, связанные с потенциалом потери средств и безопасностью кошельков. Технические условия участия включают минимальные транзакции, сроки заморозки монет и методы получения дохода, а также анонимность и гибкость в способах обмена.

Blockchain introductionDmitry Meshkov

��

Документ рассматривает блокчейн как децентрализованную систему, описывая его плюсы и минусы, такие как надежность, неизменность данных и отсутствие цензуры, а также высокие затраты и низкую пропускную способность. Он также анализирует проблемы, такие как двойное расходование и централизация, и различные модели консенсуса, включая proof-of-work и proof-of-stake. Заключение подчеркивает, что блокчейн решает проблему двойного расходования в децентрализованных системах.

MikroTik MUM Russia 2015MikroTikSPW

��

Документ посвящен реализации multiwan на RouterOS, описывающей различные подходы к резервированию и балансировке нагрузки между несколькими интернет-каналами. Рассматриваются технологии active/backup, wan load balancing и policy based routing. Также обсуждаются проблемы, связанные с NAT и DHCP, и предлагаются решения для эффективной настройки сетевых маршрутов.

"Опыт миграции между дата-центрами" Сергей Бурладян и Михаил Тюрин (Avito)AvitoTech

��

Документ представляет основные аспекты миграции дата-центров, включая законодательные требования, технические особенности и методы минимизации даунтайма при переезде. Обсуждаются варианты репликации баз данных и оценка необходимой пропускной способности для успешной миграции. Включены результаты нагрузочных тестов и анализ производительности на различных версиях Debian.

Как не надо писать приложения, основанные на протоколе TCP (Артём Гавриченков)Ontico

��

Документ описывает проблемы и решения при разработке приложений на основе протокола TCP, акцентируя внимание на недостатках TCP в обеспечении гарантированной доставки данных. Обсуждаются важные аспекты, такие как проектирование таймаутов, контроль ресурсов и использование различных оптимизаций и опций TCP-сокетов. Также рассматриваются примеры атак, таких как Slowloris, и необходимость реализации обеспечивающих механизмов для улучшения производительности и надежности приложений.

What RabbitMQ Can Do For You (Nomad PHP May 2014)James Titcumb

��

101 способ приготовления RabbitMQ и немного о pipeline архитектуре / Филонов ...Ontico

��

Документ освещает 101 способ использования RabbitMQ в сочетании с архитектурой конвейера для эффективной обработки событий. В нем рассматриваются формальные требования к системе, проблемы выбора архитектурных шаблонов и нюансы, связанные с масштабированием и производительностью. Кроме того, документ предлагает решения для управления очередями и нагрузкой, а также подчеркивает значимость взвешенного подхода при выборе архитектуры.

Как разработать вычислительную инфраструктуру для большого кластера (Евгений ...Ontico

��

Документ описывает создание вычислительной инфраструктуры для больших кластеров, освещая важные аспекты архитектуры, доставки задач и их обработки. Приведены примеры эффективных и неэффективных архитектур, а также предложены решения для повышения надежности и производительности систем с использованием асинхронной коммуникации и eventual consistency. Рассматриваются проблемы, возникающие при работе с очередями задач и их влияние на производительность, а также важность мониторинга и логирования для отладки.

Сергей Яркин, Тензор — RabbitMQ. Насколько ценен мех и вкусно мясо?Dev_Party

��

Документ описывает RabbitMQ как мощную и гибкую систему обмена сообщениями, поддерживающую множество протоколов и платформ. Также обсуждаются преимущества и недостатки использования RabbitMQ, включая простоту настройки и возможные проблемы с памятью. В заключение представлены примеры использования RabbitMQ в компании 'Тензор' для обработки событий и управления уведомлениями.

Первые шаги с RabbitMQAlexander Svetkin

��

Документ представляет собой руководство по началу работы с RabbitMQ, брокером сообщений, описывающим его функционал, включая маршрутизацию сообщений, работу с очередями, обменами и подтверждениями доставок. Также рассматриваются основные этапы применения RabbitMQ в задачах, таких как асинхронное выполнение и распределение задач, и приводятся примеры использования. В конце содержится список ресурсов для дальнейшего изучения RabbitMQ.

Технологии и подходы в разработке высоконагруженных приложенийOlga Lavrentieva

��

Документ описывает технологии и подходы к разработке высоконагруженных приложений, акцентируя внимание на брокерах сообщений и их архитектурных шаблонах. Основное внимание уделяется различным протоколам, таким как AMQP, и характеристикам, включая надежность, масштабируемость и управление очередями сообщений. Также рассматриваются вопросы интеграции и взаимодействия между системами, а также лучшие практики для эффективного построения распределенных систем.

Как разработать вычислительную инфраструктуру для большого кластераEugene Kirpichov

��

Документ описывает создание вычислительной инфраструктуры для обработки больших кластеров, включая архитектуру, доставку задач и анализ производительности. Рассматривается использование асинхронной коммуникации и реализация отказоустойчивости, а также обсуждаются проблемы, возникающие в процессе реализации, и методы их решения, такие как применение очередей и управления ресурсами. Основное внимание уделяется корректности и надежности системы, а также необходимости оптимизации производительности.

Rabbit mqAlexandr Fedorov

��

RabbitMQ - это система обмена сообщениями, использующая протокол AMQP для взаимодействия между компонентами. Она обеспечивает независимость системы, надежность очередей и Асинхронную обработку с возможностью масштабирования. Разработанная на языке Erlang, RabbitMQ поддерживает множество клиентских библиотек и гарантирует доставку сообщений даже в случае сбоев.

Использование асинхронной очереди сообщений в высоконагруженном проекте / Анд...Ontico

��

В документе обсуждаются методы асинхронной обработки данных с использованием технологий, таких как RabbitMQ и Comet. Описаны преимущества и недостатки различных архитектур, включая гарантии доставки сообщений и управление очередями. Также рассматривается обработка сообщений и взаимодействие с пользователями через различные уведомления.

Асинхронная обработка данных: RabbitMQ, CometАндрей Федоровский

��

Документ обсуждает асинхронную обработку данных с использованием различных технологий, таких как RabbitMQ и Comet, упоминая их производительность и особенности. Описываются архитектурные решения, включая гарантии доставки сообщений и обработку в условиях высоких нагрузок. В конце подчеркиваются преимущества асинхронных решений для клиент-серверного взаимодействия и упоминаются требования к надежности и масштабируемости систем.

Выбор backend для messaging в 2016 годуVoximplant

��

Документ освещает выбор подходящих технологий для построения месседжинга с учетом требований к скорости, надежности, безопасности и функциональности. Рассматриваются различные протоколы, такие как XMPP, MQTT и AMQP, их преимущества и недостатки, а также примеры реализации и применения в таких сервисах, как WhatsApp и Facebook Messenger. Основное внимание уделяется необходимости создания масштабируемого и доступного решения с поддержкой интеграции и новых возможностей.

В поисках эффективного middlewareAlexander Gerasiov

��

Документ рассматривает эффективность использования middleware в программировании, фокусируясь на взаимодействии компонентов через передачу сообщений и различные паттерны, такие как request-reply и publish-subscribe. Также обсуждаются особенности библиотеки ZeroMQ, её возможности, включая нулевую задержку и кросс-платформенность, и приводятся фрагменты кода для иллюстрации работы с сокетами. В дополнение, документ упоминает историю разработки протоколов AMQP и ZeroMQ, подчеркивая их преимущества и архитектурные решения.

Об очередях (AMQP)Ilya Chesnokov

��

Документ описывает процесс генерации уменьшенных изображений клиентами и взаимодействие с сервером для доставки этих изображений, а также управление почтовыми ящиками при покупке хостинга. Он подробно рассматривает системы очередей сообщений, их свойства и реализации, включая различные типы обменников и способы передачи сообщений. Также предложены примеры кода на Perl для отправки и получения сообщений через систему RabbitMQ.

Windows Azure Service BusPavel Revenkov

��

Документ содержит информацию о Windows Azure Service Bus и его механизмам обмена сообщениями, включая сравнение очередей и тем. Описаны технические детали, такие как размеры сообщений и очередей, время жизни сообщений и механизмы управления. Также представлены ссылки на дополнительные руководства и материалы по использованию Service Bus.

Модернизация телекоммуникационной и сетевой инфраструктуры Национального бан...Nick Turunov

��

Документ описывает модернизацию телекоммуникационной и сетевой инфраструктуры Национального банка Украины. Основное внимание уделяется созданию безопасной и управляемой корпоративной сети связи с использованием современных технологий и механизмов защиты. Также подчеркиваются требования к электронной почте и правила ее работы в новой системе для обеспечения безопасности и защиты информации.

Отказоустойчивость и производительностьOpenStackRU

��

Документ описывает решения по отказоустойчивости и производительности различных компонентов OpenStack, включая базы данных MySQL, RabbitMQ и службы Nova. Упоминаются стратегии активного/пассивного управления, балансировка нагрузки и высокая доступность для различных сервисов, таких как nova-api, nova-scheduler и nova-volume. Также рассматриваются альтернативные решения, включая использование Zeromq для повышения производительности и устойчивости системы.

Kubasov 1 7_deploykuchinskaya

��

Документ описывает решение проблемы деплоя тысяч серверов с использованием системы управления задачами и программного обеспечения, разработанного для автоматизации процесса. Основные компоненты включают API, статические демоны и управление через веб-интерфейс, а также использование пакетных менеджеров и контроль ошибок. В конце упоминается о процессе автоматизации горизонтального масштабирования, позволяющем быстро вводить новые серверы в эксплуатацию.

Варианты развертывания проектов на M3Bars Group

��

Документ обсуждает варианты развертывания проектов на платформе M3 для электронного правительства, включая различные конфигурации с использованием Apache и Nginx. Также рассматриваются аспекты взаимодействия между компонентами системы с точки зрения клиентов и администраторов. В заключение анонсируются мастер-классы по развертыванию системы и настройке балансировки нагрузки.

Анализ рынка MQ: когда простые решения слишком дешёвые, ведь тратить больше -...Ирония безопасности

��

Документ предоставляет всесторонний анализ рынка брокеров очередей сообщений, акцентируя внимание на текущем состоянии и перспективах роста, а также основных игроках, таких как RabbitMQ и Apache Kafka. Он также рассматривает уязвимости различных брокеров, указывая на специфические проблемы безопасности и производительности. Этот анализ полезен для специалистов в области безопасности и других заинтересованных сторон, принимающих решения в области распределённых систем.

Архитектура масштабируемых приложений. Микросервисы, CQRS, ESBPavel Treshnikov

��

Документ обсуждает архитектуру масштабируемых приложений с акцентом на микросервисы, их преимущества и недостатки. Рассматриваются проблемы монолитных приложений и основные концепции, такие как CQRS и CAP-теорема. Большое внимание уделяется взаимодействию между микросервисами, их характеристикам и современным практикам автоматизации и развертывания.

Инструменты высоконагруженных проектов - кэширование и очереди, Вячеслав Моск...Ontico

��

Документ описывает инструменты для высоконагруженных проектов, включая кеширование с помощью memcached и redis, а также обработку очередей с использованием rabbitmq. Приведены основные различия между memcached и redis, их преимущества и ограничения, а также практические примеры их использования. Также рассматриваются ключевые понятия и термины, связанные с rabbitmq, и их функционал в проектах.

Очереди и блокировки. Теория и практика / Александр Календарев (ad1.ru)Ontico

��

Документ рассматривает использование очередей и блокировок в веб-архитектуре, описывая причины и места применения очередей, а также подробности о различных протоколах, таких как AMQP и их реализациях через RabbitMQ и Tarantool. Также обсуждаются структуры данных и подходы, такие как Redis и Kafka, для обработки сообщений и синхронизации процессов. В заключение подчеркиваются важность мониторинга и баланс между скоростью и надежностью систем.

RabbitMQ - обмен сообщениями, который просто работает

1. 5-я конференция .NET разработчиков 21 октября 2012 www.dotnetconf.ru RabbitMQ - обмен сообщениями, который просто работает Руслан Сафин ByndyuSoft twitter.com/razonrus

2. Цели • Познакомить с RabbitMQ • Поделиться историями из жизни RabbitMQ , РусланСафин 2

3. Проблема RabbitMQ , РусланСафин 3

4. Проблема в коммуникации RabbitMQ , РусланСафин 4

5. Коммуникация – вариант 1 . . . Сервис 1 Сервис 2 Сервис N RabbitMQ , РусланСафин 5

6. Ожидание • Распределенная прозрачная архитектура • Масштабируемость • Отказоустойчивость RabbitMQ , РусланСафин 6

7. Реальность RabbitMQ , РусланСафин 7

8. RabbitMQ , РусланСафин 8

9. Коммуникация – вариант 2 . . . Сервис 1 Сервис 2 Сервис N RabbitMQ , РусланСафин 9

10. Общая шина – и есть среда для коммуникации. RabbitMQ , РусланСафин 10

11. RabbitMQ • Robust messaging for applications • Easy to use • Runs on all major operating systems • Supports a huge number of developer platforms • Open source and commercially supported RabbitMQ , РусланСафин 11

12. Демо Лучше один раз увидеть код, чем сто раз прочесть MSDN RabbitMQ , РусланСафин 12

13. Еще примеры • Отправка сообщения сразу нескольким подписчикам за раз • Выборочное получение сообщений • Выборочное получение сообщений на основе маски • RPC (удаленный вызов процедуры) RabbitMQ , РусланСафин 13

14. Как мы это применяли RabbitMQ , РусланСафин 14

15. Сложившаяся ситуация . . . Сервис 1 Сервис 2 Сервис N RabbitMQ , РусланСафин 15

16. 1. Разгрузить БД Сервис 1 Планировщик Репозиторий Сервис 2 Сервис N RabbitMQ , РусланСафин 16

17. 2. Оптимизировать конвейер Сервис Z Планировщик Сервис 1 Сервис 2 Сервис N Репозиторий RabbitMQ , РусланСафин 17

18. Результат RabbitMQ , РусланСафин 18

19. RabbitMQ , РусланСафин 19

20. Результат • Прозрачный, легко диагностируемый конвейер • Скорость • Масштабируемость • Бонусы RabbitMQ , РусланСафин 20

21. Бонус 1: инициирование задач Веб клиент Сервис Z Планировщик Сервис 1 Сервис 2 Сервис N Репозиторий RabbitMQ , РусланСафин 21

22. Бонус 2: приоритеты задач Сервис Z Планировщик Сервис 1 Сервис 2 Сервис N Репозиторий RabbitMQ , РусланСафин 22

23. Проблемы решения • Возможность появления дублей в очередях • Загруженность приоритетных очередей RabbitMQ , РусланСафин 23

24. Check list • Общая шина • RabbitMQ • Примеры построения архитектуры RabbitMQ , РусланСафин 24

25. Спасибо за внимание Руслан Сафин ByndyuSoft iruslansafin@gmail.com twitter.com/razonrus RabbitMQ , РусланСафин 25

�ݺ�ߣ

RabbitMQ - обмен сообщениями, который просто работает

Recommended

More Related Content

Similar to RabbitMQ - обмен сообщениями, который просто работает (20)

RabbitMQ - обмен сообщениями, который просто работает