ݺߣ

ݺߣShare a Scribd company logo
Как принять хорошее решение,
когда нет монетки?
Александр Садовский
Руководитель отдела веб-поиска
СтуДень, Новосибирск, 24 сентября 2010
Решения о продукте
1. Интуиция
2. Экспертная оценка
Прогноз будущего по прошлому
3. Статистика поведения
Прогноз будущего по прошлому
3. Статистика поведения
Близость регионов Украины
Пример
Поисковые подсказки Украины
Пример
4. Тестировать по-живому
• На Яндексоидах
• На 2-4%
пользователей
• β-версия
• Тестовая и контрольная группа.
• Одно изменение за раз.
• Статистически надёжное измерение.
Правила экспериментов
Измерение: подвох №1
«Типичных значений» не бывает.
Смотрите тренды.
Измерение: подвох №2
Усреднённость – враг.
Изучайте лучших и худших.
Измерение: подвох №3
Один тренд можно
интерпретировать по-разному.
Измеряйте много метрик.
Прямая
Обратная связь
Косвенная (поведение)
Обратная связь
• Доля некликнутых результатов
• Позиция первого клика
• Доля коротких сессий
• Доля «длинных» кликов
Поиск
Измеряем поведение!
Главная (ласково «Морда»)
Измеряем поведение!
Запуск регионализации
Пример
Доля некликнутых упала – хорошо
Пример
Чаще стали угадывать регион сайта
Пример
Решения внутри продукта
Прогноз будущего по прошлому
Статистика поведения
Когда показать картинки?
Когда показать картинки?
Примеры критериев
Когда показывать картинки?
• Маркеры [фото], [схема] и др.
• Чаще спрашивают или кликают в
поиске по картинкам,
чем в поиске по вебу.
• Ассоциация к картиночному
запросу.
Управленческие решения
Искусство или наука?
Управление
• Не воспроизводим результат.
• Плохая измеримость.
• Нет школ управления.
• Теорий много, область
применения их ограничена.
Недетерминированность
Трудности управления
• Люди
• Изменчивость среды
Объекты руководства
• Люди
• Продукт
• Процессы
Разброс результативности
Почему люди?
Влияние на вашу карьеру
Почему люди?
Функции руководителя
Друкер:
«Руководитель — работник,
который должен принимать
решения, оказывающие
значительное воздействие на
результат работы всей
организации»
Функции руководителя
Честер Барнард:
«…обеспечение деятельности
организации — поддержание
системы кооперативных усилий…»
Принятие решений
• (теория) Рациональное
• (практика) Ограниченная
рациональность
Все ли решения принимать?
• Только важные
• Родовые vs. уникальные
• Матрица Эйзенхауэра
Что нужно знать про решения
• Умение просчитывать
ситуации
• Обратимость
• Здравый смысл
• Экологичность
Руководитель отдела веб-поиска
119021, Россия, Москва,
ул. Льва Толстого, 16
+7 (495) 739-00-00
+7 (495) 739-70-70 — факс
funsad@yandex-team.ru
Александр Садовский
Ad

Recommended

Shigapoff family presentation
Shigapoff family presentation
SHIGAPOFF DIGITAL AGENCY
Санкции поисковых систем — новый виток борьбы. IBC Russia, Севальнев Дмитрий
Санкции поисковых систем — новый виток борьбы. IBC Russia, Севальнев Дмитрий
Дмитрий Севальнев
Изменения в санкциях поисковых систем 2015
Изменения в санкциях поисковых систем 2015
Дмитрий Севальнев
WUD2014: Ю.Ветров — Фоновые исследования. Как много читать, знать и не офигевать
WUD2014: Ю.Ветров — Фоновые исследования. Как много читать, знать и не офигевать
Yury Vetrov
Как научить роботов тестировать веб-интерфейсы. Артем Ерошенко, Илья Кацев, Я...
Как научить роботов тестировать веб-интерфейсы. Артем Ерошенко, Илья Кацев, Я...
yaevents
Тема для WordPress в БЭМ. Владимир Гриненко, Яндекс
Тема для WordPress в БЭМ. Владимир Гриненко, Яндекс
yaevents
Построение сложносоставных блоков в шаблонизаторе bemhtml. Сергей Бережной, Я...
Построение сложносоставных блоков в шаблонизаторе bemhtml. Сергей Бережной, Я...
yaevents
i-bem.js: JavaScript в БЭМ-терминах. Елена Глухова, Варвара Степанова, Яндекс
i-bem.js: JavaScript в БЭМ-терминах. Елена Глухова, Варвара Степанова, Яндекс
yaevents
Дом из готовых кирпичей. Библиотека блоков, тюнинг, инструменты. Елена Глухов...
Дом из готовых кирпичей. Библиотека блоков, тюнинг, инструменты. Елена Глухов...
yaevents
Модели в профессиональной инженерии и тестировании программ. Александр Петрен...
Модели в профессиональной инженерии и тестировании программ. Александр Петрен...
yaevents
Администрирование небольших сервисов или один за всех и 100 на одного. Роман ...
Администрирование небольших сервисов или один за всех и 100 на одного. Роман ...
yaevents
Мониторинг со всех сторон. Алексей Симаков, Яндекс
Мониторинг со всех сторон. Алексей Симаков, Яндекс
yaevents
Истории про разработку сайтов. Сергей Бережной, Яндекс
Истории про разработку сайтов. Сергей Бережной, Яндекс
yaevents
Разработка приложений для Android на С++. Юрий Береза, Shturmann
Разработка приложений для Android на С++. Юрий Береза, Shturmann
yaevents
Кросс-платформенная разработка под мобильные устройства. Дмитрий Жестилевский...
Кросс-платформенная разработка под мобильные устройства. Дмитрий Жестилевский...
yaevents
Сложнейшие техники, применяемые буткитами и полиморфными вирусами. Вячеслав З...
Сложнейшие техники, применяемые буткитами и полиморфными вирусами. Вячеслав З...
yaevents
Сканирование уязвимостей со вкусом Яндекса. Тарас Иващенко, Яндекс
Сканирование уязвимостей со вкусом Яндекса. Тарас Иващенко, Яндекс
yaevents
Масштабируемость Hadoop в Facebook. Дмитрий Мольков, Facebook
Масштабируемость Hadoop в Facebook. Дмитрий Мольков, Facebook
yaevents
Контроль зверей: инструменты для управления и мониторинга распределенных сист...
Контроль зверей: инструменты для управления и мониторинга распределенных сист...
yaevents
Юнит-тестирование и Google Mock. Влад Лосев, Google
Юнит-тестирование и Google Mock. Влад Лосев, Google
yaevents
C++11 (formerly known as C++0x) is the new C++ language standard. Dave Abraha...
C++11 (formerly known as C++0x) is the new C++ language standard. Dave Abraha...
yaevents
Зачем обычному программисту знать языки, на которых почти никто не пишет. Але...
Зачем обычному программисту знать языки, на которых почти никто не пишет. Але...
yaevents
В поисках математики. Михаил Денисенко, Нигма
В поисках математики. Михаил Денисенко, Нигма
yaevents
Using classifiers to compute similarities between face images. Prof. Lior Wol...
Using classifiers to compute similarities between face images. Prof. Lior Wol...
yaevents
Поисковая технология "Спектр". Андрей Плахов, Яндекс
Поисковая технология "Спектр". Андрей Плахов, Яндекс
yaevents
Julia Stoyanovich - Making interval-based clustering rank-aware
Julia Stoyanovich - Making interval-based clustering rank-aware
yaevents
Mike Thelwall - Sentiment strength detection for the social web: From YouTube...
Mike Thelwall - Sentiment strength detection for the social web: From YouTube...
yaevents
Evangelos Kanoulas — Advances in Information Retrieval Evaluation
Evangelos Kanoulas — Advances in Information Retrieval Evaluation
yaevents

More Related Content

More from yaevents (20)

Дом из готовых кирпичей. Библиотека блоков, тюнинг, инструменты. Елена Глухов...
Дом из готовых кирпичей. Библиотека блоков, тюнинг, инструменты. Елена Глухов...
yaevents
Модели в профессиональной инженерии и тестировании программ. Александр Петрен...
Модели в профессиональной инженерии и тестировании программ. Александр Петрен...
yaevents
Администрирование небольших сервисов или один за всех и 100 на одного. Роман ...
Администрирование небольших сервисов или один за всех и 100 на одного. Роман ...
yaevents
Мониторинг со всех сторон. Алексей Симаков, Яндекс
Мониторинг со всех сторон. Алексей Симаков, Яндекс
yaevents
Истории про разработку сайтов. Сергей Бережной, Яндекс
Истории про разработку сайтов. Сергей Бережной, Яндекс
yaevents
Разработка приложений для Android на С++. Юрий Береза, Shturmann
Разработка приложений для Android на С++. Юрий Береза, Shturmann
yaevents
Кросс-платформенная разработка под мобильные устройства. Дмитрий Жестилевский...
Кросс-платформенная разработка под мобильные устройства. Дмитрий Жестилевский...
yaevents
Сложнейшие техники, применяемые буткитами и полиморфными вирусами. Вячеслав З...
Сложнейшие техники, применяемые буткитами и полиморфными вирусами. Вячеслав З...
yaevents
Сканирование уязвимостей со вкусом Яндекса. Тарас Иващенко, Яндекс
Сканирование уязвимостей со вкусом Яндекса. Тарас Иващенко, Яндекс
yaevents
Масштабируемость Hadoop в Facebook. Дмитрий Мольков, Facebook
Масштабируемость Hadoop в Facebook. Дмитрий Мольков, Facebook
yaevents
Контроль зверей: инструменты для управления и мониторинга распределенных сист...
Контроль зверей: инструменты для управления и мониторинга распределенных сист...
yaevents
Юнит-тестирование и Google Mock. Влад Лосев, Google
Юнит-тестирование и Google Mock. Влад Лосев, Google
yaevents
C++11 (formerly known as C++0x) is the new C++ language standard. Dave Abraha...
C++11 (formerly known as C++0x) is the new C++ language standard. Dave Abraha...
yaevents
Зачем обычному программисту знать языки, на которых почти никто не пишет. Але...
Зачем обычному программисту знать языки, на которых почти никто не пишет. Але...
yaevents
В поисках математики. Михаил Денисенко, Нигма
В поисках математики. Михаил Денисенко, Нигма
yaevents
Using classifiers to compute similarities between face images. Prof. Lior Wol...
Using classifiers to compute similarities between face images. Prof. Lior Wol...
yaevents
Поисковая технология "Спектр". Андрей Плахов, Яндекс
Поисковая технология "Спектр". Андрей Плахов, Яндекс
yaevents
Julia Stoyanovich - Making interval-based clustering rank-aware
Julia Stoyanovich - Making interval-based clustering rank-aware
yaevents
Mike Thelwall - Sentiment strength detection for the social web: From YouTube...
Mike Thelwall - Sentiment strength detection for the social web: From YouTube...
yaevents
Evangelos Kanoulas — Advances in Information Retrieval Evaluation
Evangelos Kanoulas — Advances in Information Retrieval Evaluation
yaevents
Дом из готовых кирпичей. Библиотека блоков, тюнинг, инструменты. Елена Глухов...
Дом из готовых кирпичей. Библиотека блоков, тюнинг, инструменты. Елена Глухов...
yaevents
Модели в профессиональной инженерии и тестировании программ. Александр Петрен...
Модели в профессиональной инженерии и тестировании программ. Александр Петрен...
yaevents
Администрирование небольших сервисов или один за всех и 100 на одного. Роман ...
Администрирование небольших сервисов или один за всех и 100 на одного. Роман ...
yaevents
Мониторинг со всех сторон. Алексей Симаков, Яндекс
Мониторинг со всех сторон. Алексей Симаков, Яндекс
yaevents
Истории про разработку сайтов. Сергей Бережной, Яндекс
Истории про разработку сайтов. Сергей Бережной, Яндекс
yaevents
Разработка приложений для Android на С++. Юрий Береза, Shturmann
Разработка приложений для Android на С++. Юрий Береза, Shturmann
yaevents
Кросс-платформенная разработка под мобильные устройства. Дмитрий Жестилевский...
Кросс-платформенная разработка под мобильные устройства. Дмитрий Жестилевский...
yaevents
Сложнейшие техники, применяемые буткитами и полиморфными вирусами. Вячеслав З...
Сложнейшие техники, применяемые буткитами и полиморфными вирусами. Вячеслав З...
yaevents
Сканирование уязвимостей со вкусом Яндекса. Тарас Иващенко, Яндекс
Сканирование уязвимостей со вкусом Яндекса. Тарас Иващенко, Яндекс
yaevents
Масштабируемость Hadoop в Facebook. Дмитрий Мольков, Facebook
Масштабируемость Hadoop в Facebook. Дмитрий Мольков, Facebook
yaevents
Контроль зверей: инструменты для управления и мониторинга распределенных сист...
Контроль зверей: инструменты для управления и мониторинга распределенных сист...
yaevents
Юнит-тестирование и Google Mock. Влад Лосев, Google
Юнит-тестирование и Google Mock. Влад Лосев, Google
yaevents
C++11 (formerly known as C++0x) is the new C++ language standard. Dave Abraha...
C++11 (formerly known as C++0x) is the new C++ language standard. Dave Abraha...
yaevents
Зачем обычному программисту знать языки, на которых почти никто не пишет. Але...
Зачем обычному программисту знать языки, на которых почти никто не пишет. Але...
yaevents
В поисках математики. Михаил Денисенко, Нигма
В поисках математики. Михаил Денисенко, Нигма
yaevents
Using classifiers to compute similarities between face images. Prof. Lior Wol...
Using classifiers to compute similarities between face images. Prof. Lior Wol...
yaevents
Поисковая технология "Спектр". Андрей Плахов, Яндекс
Поисковая технология "Спектр". Андрей Плахов, Яндекс
yaevents
Julia Stoyanovich - Making interval-based clustering rank-aware
Julia Stoyanovich - Making interval-based clustering rank-aware
yaevents
Mike Thelwall - Sentiment strength detection for the social web: From YouTube...
Mike Thelwall - Sentiment strength detection for the social web: From YouTube...
yaevents
Evangelos Kanoulas — Advances in Information Retrieval Evaluation
Evangelos Kanoulas — Advances in Information Retrieval Evaluation
yaevents

Как принять хорошее решение, когда нет монетки?

Editor's Notes

  • #2: Почему я читаю этот доклад. Не потому что в очках и умный. <number>
  • #4: <number>
  • #5: <number>
  • #6: Вот почему не верят астрологам… <number>
  • #7: <number>
  • #8: <number>
  • #9: <number>
  • #10: Сложность работы с людьми. Измерения тоже не догма, фокус-группы не дадут решение. Привыкание – пример с главной страницей и адаптацией за 1,5 месяца. Ebay и полутона страницы. <number>
  • #11: Сложность работы с людьми. Измерения тоже не догма, фокус-группы не дадут решение. Привыкание – пример с главной страницей и адаптацией за 1,5 месяца. Ebay и полутона страницы. <number>
  • #12: Анекдоты или порно vs. магазин – сотни страниц просмотра вместо единиц <number>
  • #13: 97 унылых, 3 маньяка – в среднем картина кажется позитивной. <number>
  • #14: Поменяли дизайн – уменьшилось время нахождения на сайте. Стало всё непонятно и начали отвергать или, наоборот, стали быстрее находить? Если количество просмотренных страниц не падало, хорошо. <number>
  • #15: Нормативы в 1 и 3 дня. <number>
  • #16: <number>
  • #17: Не только в поиске, конечно. <number>
  • #18: Не только в поиске, конечно. <number>
  • #19: Не только в поиске, конечно. <number>
  • #20: Не только в поиске, конечно. <number>
  • #21: Не только в поиске, конечно. <number>
  • #23: <number>
  • #24: <number>
  • #25: <number>
  • #26: <number>
  • #28: <number>
  • #29: Пример с анекдотом про рыбьи головы и социальной технологией, меняющейся от применения. <number>
  • #30: <number>
  • #31: <number>
  • #32: <number>
  • #33: Анекдоты или порно vs. магазин – сотни страниц просмотра вместо единиц <number>
  • #34: Анекдоты или порно vs. магазин – сотни страниц просмотра вместо единиц <number>
  • #35: <number>
  • #36: <number>
  • #37: Просчитывать ситуации – как рыбак, сумма мелочей. Экологичность – пример с донорством органов; Петренко и networking. <number>