Обсуждение:A/B тестирование

Материал из MachineLearning.

Использование LLM

Для подготовки первоначального варианта статьи использовалась модель GPT-5.5 Thinking.

Промпт

Нужно написать статью для MachineLearning.ru по теме «A/B-тестирование» в стиле учебной энциклопедической статьи по машинному обучению, анализу данных и математической статистике.

Требования:
* использовать вики-разметку MachineLearning.ru;
* начать статью с предупреждения {{well|Статья написана с использованием LLM '''GPT-5.5 Thinking''' и проверена участником [[Участник:Vladimir Garanin|Vladimir Garanin]] ~~~~}};
* дать определение A/B-тестирования;
* объяснить основную идею случайного разделения пользователей на контрольную и экспериментальную группы;
* формально ввести постановку задачи через случайные величины, распределения и математические ожидания;
* описать нулевую и альтернативную гипотезы;
* объяснить необходимость случайного распределения пользователей;
* описать выбор целевой метрики и привести пример с конверсией;
* объяснить понятие размера эффекта и различие между статистической и практической значимостью;
* описать основные статистические критерии, применяемые в A/B-тестировании;
* объяснить смысл p-value;
* рассказать о доверительных интервалах;
* объяснить ошибки первого и второго рода, уровень значимости и мощность теста;
* описать расчёт необходимого размера выборки;
* объяснить проблему множественных сравнений и основные способы её решения;
* описать последовательное тестирование (Sequential Testing);
* перечислить наиболее распространённые ошибки проведения A/B-тестов;
* рассказать о применении A/B-тестирования при оценке моделей машинного обучения;
* описать основные ограничения метода;
* максимально использовать внутренние ссылки MachineLearning.ru на связанные статистические понятия и методы;
* добавить разделы «См. также» и «Литература»;
* использовать простые однострочные формулы в <tex>, совместимые со старым вики-рендерером MachineLearning.ru;
* использовать реальные научные источники и книги по A/B-тестированию, включая работы Ron Kohavi;
* текст должен быть достаточно содержательным, но читаться как статья энциклопедии MachineLearning.ru;
* избегать следов генерации LLM и слишком общих популярных объяснений.

Полученный текст был проверен, отредактирован, дополнен внутренними ссылками и адаптирован под стиль MachineLearning.ru. — Vladimir Garanin 15:57, 10 июля 2026 (MSD)