Пересекающиеся эксперименты: как мы навели порядок в A/B-тестах
Habr ·
Привет! Меня зовут Кирилл Кочнев , я руковожу продуктовой аналитикой в hh.ru и веду «Статзначимый подкаст» . Каждый месяц мы в компании запускаем больше сотни A/B-экспериментов, и со временем тесты начали пересекаться: разные команды одновременно меняли связанные части пользовательских сценариев, из-за чего результаты искажались. В этой статье расскажу, как мы подошли к управлению пересекающимися экспериментами: выстроили процесс согласования между командами и бизнес-владельцами, доработали платформу A/B-тестов и превратили это не только в техническое изменение, но и в способ развивать культуру планирования экспериментов. Читать далее
Привет! Меня зовут Кирилл Кочнев , я руковожу продуктовой аналитикой в hh.ru и веду «Статзначимый подкаст» . Каждый месяц мы в компании запускаем больше сотни A/B-экспериментов, и со временем тесты начали пересекаться: разные команды одновременно меняли связанные части пользовательских сценариев, из-за чего результаты искажались. В этой статье расскажу, как мы подошли к управлению пересекающимися экспериментами: выстроили процесс согласования между командами и бизнес-владельцами, доработали платформу A/B-тестов и превратили это не только в техническое изменение, но и в способ развивать культуру планирования экспериментов. Читать далее