«Ещё один Поиск Яндекса» Александр Кошелев, Яндекс
0 likes400 views
Выступление на PYCON RUSSIA 2017
![ParallelStep
class ParallelStep(CompoundStep):
@gen.coroutine
def execute(self, state, requester):
steps = self.get_steps(state)
if not state.errors and steps:
responses = yield [step.get_future(state, requester)
for step in steps]
for response, step in zip(responses, steps):
step.process_response(response)]
self.process_response(state, responses)](https://image.slidesharecdn.com/201-anothersearchpdf-170724083924/85/-17-320.jpg)
![ChainStep
class ChainStep(CompoundStep):
@gen.coroutine
def execute(self, state, requester):
data = []
steps = self.get_steps(state)
for step in steps:
if state.errors:
break
response = yield step.get_future(state, requester)
data.append(response)
step.process_response(state, response)
self.process_response(state, data)](https://image.slidesharecdn.com/201-anothersearchpdf-170724083924/85/-18-320.jpg)
![Использование
class IntraSearchHandler(BaseSearchHandler):
def create_steps(self):
return steps.ChainStep([
steps.AuthStep(),
steps.ParallelStep([
steps.FormulasStep(),
steps.ExternalWizardStep(),
steps.ErrataStep(),
]),
steps.ParallelStep([
steps.FeaturesStep(),
steps.RevisionsStep(),
]),
steps.DeciderStep(),
steps.FullSearchStep(),
steps.ParallelStep([
steps.FacetsStep(),
steps.FullGroupAttrs(),
]),
])](https://image.slidesharecdn.com/201-anothersearchpdf-170724083924/85/-19-320.jpg)
More Related Content
What's hot (20)
Similar to «Ещё один Поиск Яндекса» Александр Кошелев, Яндекс (20)
More from it-people (20)
«Ещё один Поиск Яндекса» Александр Кошелев, Яндекс
- 2. Александр Кошелев, PyCon Russia 2017 Ещё один поиск Яндекса
- 3. Общее описание Ещё один поиск Яндекса
- 4. Поиск по Интранету › Десятки сервисов –Вики, Трекер, Код и т.п. › Сотни миллионов документов Поиск по сервисам внутри Яндекс Коннект › Тысячи организаций Продукты 4
- 6. 〉Python 2 〉Django, Tornado, Gunicorn 〉Celery 〉PostgreSQL, MongoDB, Redis 〉Docker Технологии 6
- 8. Инфраструктура индексации Ещё один поиск Яндекса
- 9. 〉Два брокера › MongoDB – глобальные распределенные очереди › Redis –локальные очереди на одной машине 〉Отдельные ноды и очереди для каждой стадии Celery 9
- 10. Конвейер индексации 10 setup walk fetch create store
- 11. Индексатор class Source(BaseIndexer): def do_setup(self): for user in users: self.next('walk', user=user) def do_walk(self, user): for opponent in get_user_opponents(user): self.next('fetch', user=user, opponent=opponent)
- 12. def do_fetch(self, user, opponent): for messages in get_messages(user, opponent): self.next('create', message=message) def do_create(self, message): doc = self.create_document(...) doc.emit_snippet(...) doc.emit_body(..) doc.emit_facet_attr('date', ...) doc.emit_search_attr('author', ...) self.next('store', document=doc, body_format='json')
- 13. Инфраструктура поиска Ещё один поиск Яндекса
- 14. Tornado › Асинхронный поход в API › Простая агрегация данных Django › Удобное окружение › ORM › REST API Почему Django и Tornado 14
- 15. Базовый степ class Step(object): def get_future(self, state, requester): """ Переопределяется в наследниках, возвращает таску с основной логикой степа. Не переопределяется для тех, у кого нет хождений по http """ moment = gen.Future() moment.set_result(None) return moment
- 16. @gen.coroutine def execute(self, state, requester): """ Метод который запускает выполнение таски из self.get_future """ if not state.errors: res = yield self.get_future(state, requester) self.process_response(state, res) def process_response(self, state, response): """ Переопределяется в наследниках. По умолчанию не делает ничего. """ pass
- 17. ParallelStep class ParallelStep(CompoundStep): @gen.coroutine def execute(self, state, requester): steps = self.get_steps(state) if not state.errors and steps: responses = yield [step.get_future(state, requester) for step in steps] for response, step in zip(responses, steps): step.process_response(response)] self.process_response(state, responses)
- 18. ChainStep class ChainStep(CompoundStep): @gen.coroutine def execute(self, state, requester): data = [] steps = self.get_steps(state) for step in steps: if state.errors: break response = yield step.get_future(state, requester) data.append(response) step.process_response(state, response) self.process_response(state, data)
- 19. Использование class IntraSearchHandler(BaseSearchHandler): def create_steps(self): return steps.ChainStep([ steps.AuthStep(), steps.ParallelStep([ steps.FormulasStep(), steps.ExternalWizardStep(), steps.ErrataStep(), ]), steps.ParallelStep([ steps.FeaturesStep(), steps.RevisionsStep(), ]), steps.DeciderStep(), steps.FullSearchStep(), steps.ParallelStep([ steps.FacetsStep(), steps.FullGroupAttrs(), ]), ])
- 20. Деплой Ещё один поиск Яндекса
- 21. 〉Все компоненты в одном образе 〉У компонента свой набор процессов 〉Контроль процессов с помощью supervisord 〉Для разработки docker-compose Docker 21