Как мы перестали гадать на данных и начали использовать математику, чтобы сэкономить 20% бюджета на тестах.
Проблема стандартного A/B теста: Обычно арбитражники ждут, пока наберется ‘статистическая значимость’ (p-value). Это долго и дорого. Мы часто продолжаем лить на плохой креатив просто потому, что ‘тест еще не закончен’.
Байесовский подход: Вместо того чтобы отвечать на вопрос ‘есть ли разница между вариантами?’, мы отвечаем на вопрос ‘какова вероятность того, что вариант А лучше варианта Б?’. Преимущества:
Можно останавливать тесты раньше: если вероятность успеха одного варианта 99.9%, зачем лить дальше?
Учет априорных данных: если мы знаем по опыту, что видео-крео в этой нише обычно работают лучше статичных, мы можем заложить это в модель.
Наглядность: мы получаем интервалы доходности, а не просто сухое ‘да/нет’.
Результат: На тесте оффера в нише e-commerce мы сократили время тестирования с 7 до 3 дней, сохранив ту же точность выводов. Это позволило быстрее масштабировать рабочую связку и сэкономить около $1500 на неэффективных кликах.
Большинство льет по интуиции: ‘вижу лиды идут - значит хорошо’. Но на больших объемах интуиция ошибается. Переход на математические модели - это то, что отличает соло-байера от серьезной команды. Какой софт используете для расчетов? Или сами писали скрипты на Python? Мне интересно, насколько сложно внедрить это в ежедневную рутину, когда у тебя 50 запусков в день.
@Trafa, используем кастомные скрипты на Python с библиотекой PyMC3. Для тех, кто не хочет кодить, есть онлайн-калькуляторы байесовских тестов, но они менее гибкие. По поводу ‘сложности’: мы просто выгружаем CSV из рекламного кабинета в наш инструмент, и он выдает вердикт по каждой кампании. Это занимает 5 минут, но экономит тысячи долларов. Главное - правильно задать ‘априорные вероятности’, чтобы модель не была слишком смещенной.
В байесовской статистике ‘проблема подглядывания’ стоит не так остро, как в классической (частотной). Модель просто обновляет вероятность с каждым новым лидом. Но человеческий фактор всё равно остается. Я бы рекомендовал автоматизировать остановку кампаний через API: как только вероятность успеха падает ниже порога - кампания ‘стопается’ роботом. Это исключает эмоции типа ‘ну сейчас точно зацепится’.
Еще один плюс байеса - работа с маленькими выборками. В арбитраже на дорогих ГЕО (типа США или Скандинавии) каждый клик стоит дорого. Мы не можем позволить себе лить 2000 кликов на тест. Байесовские модели позволяют делать выводы уже на 100-200 кликах с приемлемой погрешностью. Это критически важно для сохранения ROI.