Использование SOA для построения сложных веб проектов - Виталий Глибин, PyCon RU 2014
3 likes919 views
![Preprocessors
class MobilePageHandler(tortik.page.RequestHandler):
preprocessors = [
session,
pagedata
]
34](https://image.slidesharecdn.com/pycon2014-soa-140616040328-phpapp02/85/SOA-PyCon-RU-2014-34-320.jpg)
![Postprocessors
class MobilePageHandler(tortik.page.RequestHandler):
postprocessors = [
template,
translation
]
37](https://image.slidesharecdn.com/pycon2014-soa-140616040328-phpapp02/85/SOA-PyCon-RU-2014-37-320.jpg)
![Отправка запросов на бэкенды
self.fetch_requests([
self.make_request(
name='vacancies',
method='GET',
full_url='https://api.hh.ru/vacancies/8252535'),
...
], callback=self.complete)
38](https://image.slidesharecdn.com/pycon2014-soa-140616040328-phpapp02/85/SOA-PyCon-RU-2014-38-320.jpg)
![Отправка запросов на бэкенды
self.fetch_requests([
('vacancies', 'https://api.hh.ru/vacancies/8252535'),
...
], callback=_cb)
39](https://image.slidesharecdn.com/pycon2014-soa-140616040328-phpapp02/85/SOA-PyCon-RU-2014-39-320.jpg)
![Отправка запросов на бэкенды
def _cb():
response = self.responses['vacancies']
data = response.data # json или xml
# плюс автоматический
# self.add('vacancies', response.data)
self.complete()
40](https://image.slidesharecdn.com/pycon2014-soa-140616040328-phpapp02/85/SOA-PyCon-RU-2014-40-320.jpg)
More Related Content
What's hot (19)
Viewers also liked (9)
Similar to Использование SOA для построения сложных веб проектов - Виталий Глибин, PyCon RU 2014 (20)
More from it-people (20)
Использование SOA для построения сложных веб проектов - Виталий Глибин, PyCon RU 2014
- 1. Использование SOA для построения сложных веб проектов Виталий Глибин, HeadHunter
- 3. Обычный сайт (монолитная архитектура) /index View DB Controller Получить сессию Загрузить отклики … Загрузить список резюме 3
- 4. Проблемы 1. Один репозиторий, много разработчиков 2. Рост кодовой базы 3. Ограничения в использовании языка программирования 4. Внешние подрядчики 5. ... to be counted 4
- 5. Сервис-ориентированная архитектура (SOA) модульный подход к разработке программного обеспечения, основанный на использовании распределённых, слабо связанных заменяемых компонентов со стандартизированными интерфейсами и протоколам взаимодействия. Источник: Wikipedia 5
- 6. SOA-based сайт /index Controller View Сессия Сервис откликов Сервис резюме DB1 DB2 DB3 protobuf JSON XML Cloud Service 6
- 7. Компонент системы в разработке • Один сервис - один репозиторий • Свобода выбора языка программирования • Возможность отдать на аутсорс 7
- 8. Контролируемая деградация • Лучше показать часть информации, чем упасть с 500 • Лучше показать самое важное за 100мс—1с, чем все за 10 секунд 8
- 11. Почему это важно • 47% людей ожидают, что страница будет загружаться менее двух секунд • 40% закрывают страницу, если она загружается более трех секунд • 52% считают важным скорость загрузки страницы Источник: Akamai 11
- 13. Разные требования к сервисам • Не все сервисы должны работать под большой нагрузкой • Некоторые могут и "полежать" • Оптимизируем только там, где это нужно 13
- 14. Виртуализация • На одной машине один сервис • Легче мониторить • Легче деплоить • Можно добавлять/удалять машины по необходимости 14
- 15. Дополнительный слой кеширования /index Controller View Сессия Сервис откликов Сервис резюме DB1 DB2 DB3 protobuf JSON XML memcached, redis, …varnish, nginx (proxy_cache) Cloud Service 15
- 16. Много платформ Основной сайт hh.ru API api.hh.ru Мобильный сайт m.hh.ru Сессия Сервис откликов Сервис резюме Облако сервисов 16
- 17. Проблемы
- 18. Сеть • TCP / HTTP overhead • Задержки между виртуальными машинами (используем SR-IOV) 18
- 19. Эксплуатация • Больше конфигов • Больше деплоя • Больше мониторинга 19
- 20. Разработка • Стало проще? • Усложнение поддержки тестовых и development стендов • Был один лог - стало много 20
- 21. Уникальный идентификатор запроса (request_id) • Генерируется на nginx (ngx_http_requestid_module) • Пробрасывается http-заголовком (X-Request-Id) на все сервисы • Каждая запись в логе содержит request_id • Все логи сливаем на graylog2 21
- 25. 25
- 26. 26
- 27. 27
- 28. 28
- 29. Frontik • Изначально был заточен под XML/XSLT (сейчас умеет и JSON) • Работает на нашей патченной Tornado 2.0 (https://github.com/hhru/tornado) • Требует libcurl, собранный с c-ares (https://github.com/tornadoweb/tornado/pull/1017) • Мало документации и примеров https://github.com/hhru/frontik 29
- 30. Что хотелось • Уменьшить количество многоуровневых запросов • Иметь бо́льшую свободу в выборе шаблонизатора • Чтобы работало и на upstream Tornado 30
- 31. Tortik
- 32. Preprocessors backend1 backend2 backend3 Postprocessors User request HTML/JSON or cool debug page Request Handler 32
- 33. Preprocessors • Набор асинхронных обработчиков (например, получение сессии) • Выполняются до начала выполнения обработчика запроса def session(handler, callback): def _session_callback(session): handler.session = session callback() session_client.get_session(_session_callback, ...) 33
- 34. Preprocessors class MobilePageHandler(tortik.page.RequestHandler): preprocessors = [ session, pagedata ] 34
- 35. Request Handler • Стандартные обработчики Tornado (get, post, ...) с @asynchronous • Выходные данные формируются через self.add('name', data) - аналог self.doc.put() во Frontik'е • Можно и сразу self.complete({'name': data}) def get(self): self.add('server_time', int(time.time)) self.add('data', {...}) self.complete() 35
- 36. Postprocessors • Набор последовательных обработчиков над выходными данными • Выполняются после выполнения обработчика запроса (RequestHandler) def template(handler, data, callback): out = template_engine.render(handler.template_name, data=handler.get_data()) callback(handler, out) 36
- 37. Postprocessors class MobilePageHandler(tortik.page.RequestHandler): postprocessors = [ template, translation ] 37
- 38. Отправка запросов на бэкенды self.fetch_requests([ self.make_request( name='vacancies', method='GET', full_url='https://api.hh.ru/vacancies/8252535'), ... ], callback=self.complete) 38
- 39. Отправка запросов на бэкенды self.fetch_requests([ ('vacancies', 'https://api.hh.ru/vacancies/8252535'), ... ], callback=_cb) 39
- 40. Отправка запросов на бэкенды def _cb(): response = self.responses['vacancies'] data = response.data # json или xml # плюс автоматический # self.add('vacancies', response.data) self.complete() 40
- 41. Этапы обработки запроса • получение сессии • обработка запроса (отправка запросов на сервисы и т.п.) • шаблонизация 41
- 42. Этапы обработки запроса handler.log.stage_started('render') # do some hard render stuff handler.log.stage_complete('render') 42
- 44. Этапы обработки запроса MONIK handler=hhmobile.pages.Page method=GET code=200 total=93 session=13.98 page=47.14 render=21.77 translation=7.30 44
- 45. Этапы обработки запроса MONIK handler=hhmobile.pages.Page method=GET code=200 total=93 session=13.98 page=47.14 render=21.77 translation=7.30 45
- 46. Этапы обработки запроса MONIK handler=hhmobile.pages.Page method=GET code=200 total=93 session=13.98 page=47.14 render=21.77 translation=7.30 46
- 47. Этапы обработки запроса MONIK handler=hhmobile.pages.Page method=GET code=200 total=93 session=13.98 page=47.14 render=21.77 translation=7.30 47
- 48. Мониторинг 48
- 49. Мониторинг 49
- 50. Спасибо! Виталий Глибин, HeadHunter @glibin, glibin.ru https://github.com/hhru/tortik https://github.com/hhru/frontik 50