Калькулятор доверительного интервала

Зачем нужен доверительный интервал

Конверсия 3,2% на выборке из 6 240 посетителей — это оценка, а не точное значение. Если бы на сайт пришли другие 6 240 человек, результат был бы немного другим. Доверительный интервал показывает диапазон, в котором с заданной вероятностью находится истинная конверсия. Чем больше выборка, тем он уже.

Без этого легко принять случайное колебание за результат: «конверсия выросла с 3,2% до 3,5%» на нескольких сотнях визитов почти всегда шум.

Как считает калькулятор

Интервал строится по методу Уилсона. В отличие от простой формулы «± z·√(p(1−p)/n)», он корректно работает при малых выборках и конверсиях, близких к 0 или 100%, и никогда не уходит в отрицательные значения.

Для сравнения двух версий используется двусторонний z-тест для долей. Калькулятор выдаёт p-value — вероятность получить такую или большую разницу, если на самом деле версии одинаковы. Если p-value меньше 0,05 при уровне 95%, разница считается статистически значимой.

Как не ошибиться с A/B-тестом

• Определите размер выборки заранее и не останавливайте тест в момент, когда «стало значимо», — так растёт доля ложных побед.
• Тестируйте полные недели: поведение в будни и выходные отличается.
• Значимо — не значит важно. Разница в 0,1 п. п. на огромном трафике может быть значимой, но не окупить затраты на изменение.

Частые вопросы

Другие инструменты

Все инструменты для разработчиков