AB or not AB? Нужно ли вам АБ-тестирование

АБ-тестирование – мощный инструмент, позволяющий значительно улучшить качество решений, принимаемых в компании. Если раньше принятие решений на основании АБ-тестов было чем-то нишевым, применяемым фарма-компаниями или интернет-гигантами, то сейчас у огромного количества компаний появилось достаточно данных и возможностей для проведения АБ-экспериментов. Ниже приведены ответы на главные вопросы, которые могут возникнуть у вас, если вы думаете как внедрить АБ-тестирование в вашей компании.

Нужны ли вам АБ-тесты

Первый очевидный вопрос, который должен возникнуть – это а нужны ли вам АБ-тесты в принципе? И ответ не обязательно да.

Опять же первый очевидный подход к АБ-тестированию в компании – это никакого АБ-тестирования. Не стоит излишне критиковать этот подход. Именно он подходит небольшим и очень быстро развивающимся компаниям – данных для экспериментов в этом случае мало, а решения нужно принимать быстро. Таким образом, если вы только в начале пути и хотите бежать очень быстро – не замедляйте себя АБ-тестами.

Следующий шаг в развитии компании – улучшения приносят уже меньший эффект, цена ошибки растет – неправильные решения могут привести к ощутимым финансовым потерям. Возможно, пришло время принимать решения на основании данных.

Нужен ли вам аналитик

Если вы приняли решение, что вам нужны АБ-тесты, следующий вопрос, на который вам предстоит ответить – это кто будет оценивать их результат?  Будет ли это человек, который понимает как это работает?

Иногда лучше не проводить никаких АБ-тестов, чем проводить их неправильно – это может создать ложную уверенность в неправильных результатах.

Таким образом, главная рекомендация на этом этапе – наймите аналитика. Пусть это даже не будет выделенная роль, но как и в любой другой области, без понимания процесса, не стоит ожидать результата, вызывающего доверия.

Какие инструменты использовать

У этой статьи нет задачи рекомендовать какие-либо конкретные коробочные решения. Ограничусь лишь тем фактом, что их сейчас много, какие-то решения встроены в системы аналитики для сайтов и приложений, какие-то являются отдельными продуктами. Для небольших компаний использование таких сторонних решений более, чем целесообразно, однако, возвращаясь к прошлому пункту, очень важно понимать как работают все black box решения – нельзя слепо им доверять.

На каком-то этапе (особенно если вы делаете что-то нестандартное) может возникнуть вопрос – не нужно ли сделать свою систему для тестирования, которая будет покрывать все задачи бизнеса. Правильного ответа нет – стоит взвешивать затраты и потенциальную выгоду. При этом не стоит переоценивать сложность построения такой системы – это не космические технологии и вы можете это сделать.

Какие математические подходы применять и как

Ответ на первый вопрос требует больше абзаца текста. Хорошие ответы, можно найти, например, в цикле статей на ab.guru либо, если вы остановились на готовом решении, в документации этого продукта. Вас должно интересовать то какие применяются статистические тесты для определение значимости, как пользователи разбиваются на группы, как определяется размер выборки и срок проведения эксперимента.

Неочевидный теоретический вопрос, ответ на который для вашего случая вы не найдете нигде, и должны ответить на него сами – с каким p value принимать эксперименты? Порог на уровне 0.05 – не более, чем дань традиции.

Низкие значения порога p-value ведут к хорошей точности решений, таким образом, вредные изменения с наибольшей вероятностью не попадут в продакшн, однако часть изменений, которые объективно полезны, не будут запущены из-за того, что не смогли достигнуть порога значимости.

Выбор уровня значимости – важное решение, которое основывается на стратегии развития продукта и аппетита к риску.

Вместо заключения

АБ-тесты – это большая сила и большая ответственность. Культура принятия решений на основании данных в компании – это скорее хорошо, но

важно помнить, что АБ-тесты – это инструмент оптимизации, а не путь к прорывным решениям. Важно не попасть в ловушку оптимизации метрик, которые проще измерять в моменте, и всегда помнить о долгосрочных приоритетах.