Симулятор A/B-тестов

ФОТО ДОСТАВКА ОТЗЫВЫ ▼ Подробнее

81 100 ₽

В МАГАЗИНKarpov.courses

Найдено в: Karpov.courses

Найти похожие на AliExpress

в Джум +

Описание

Научитесь проводить A/B-тесты, приносящие пользу бизнесу, на симуляторе.

Характеристики

Дополнительная категория300
Цена по скидке57750
Оплата в рассрочку24
Ежемесячная цена3379
Ближайшая дата2026-10-15
Продолжительность3
ПланСможете распознавать ситуации, когда рост сводной метрики обманчив. Выстраивать порядок рассуждения при интерпретации дельты CTR в условиях колебаний. И на основе этого разграничивать корректные и некорректные объяснения смены лидера в A/B‑тесте.
ПланБудете подбирать набор метрик под продуктовую гипотезу, разрешать конфликты между ними и проверять защитные метрики. А затем сможете аргументированно принять решение о «выкате».
ПланСможете определять соотношение сигнал/шум по готовым числам. Выявлять случаи, когда наблюдаемая разница объясняется случайной нестабильностью среднего. И объяснять, как размер выборки и окно агрегации влияют на стандартную ошибку.
ПланПо описанию продуктовой задачи сможете выбрать корректную единицу рандомизации, распознать в типовых кейсах spillover и сетевые эффекты. А также освоите отличие причинного вопроса от корреляционного.
ПланКорректно сформулируете нулевую и альтернативную гипотезы до запуска теста. Сможете интерпретировать p‑value без типичных ошибок и оценивать риски ошибок I и II рода в контексте конкретной бизнес‑задачи.
ПланСможете рассчитать необходимый размер выборки и длительность теста под заданный минимальный эффект (MDE). Применять sequential‑подход для легитимного промежуточного анализа и предотвращать подглядывание (peeking). И определять ситуации, когда A/B‑тест неприменим.
ПланПо типу метрики и характеристикам распределения выберите подходящий критерий: t‑test, Welch, z‑test, χ², Манна-Уитни или bootstrap. Сможете применять дерево решений для выбора теста в типовых кейсах и выявлять ситуации, в которых выбранный критерий даст некорректный результат.
ПланСможете классифицировать метрику по типу: доля, поюзерная, ratio. Корректно рассчитывать дисперсию для ratio‑метрик через delta‑метод. И применять линеаризацию для CTR и аналогичных метрик.
ПланПроверите баланс групп и SRM до начала анализа. Попробуете выявить смещение при распределении (assignment bias) в структуре эксперимента. А также заполните чек‑лист дизайна эксперимента перед его запуском.
ПланСможете интерпретировать результаты A/A‑теста и распределение p‑value под нулевой гипотезой. Формулировать корректную интерпретацию доверительного интервала для размера эффекта. И разграничивать статистическую и бизнес‑значимость при принятии решения о «выкате».
ПланПримените стратификацию и пост‑стратификацию, реализуете метод CUPED с историческими ковариатами и попробуете скомбинировать его со стратификацией. Потренируетесь в очистке данные от выбросов перед анализом.
ПланСможете по числу одновременных тестов выбирать корректную поправку на множественные сравнения: Бонферрони или Бенджамини-Хохберга. Определять ситуации, требующие switchback или geo‑эксперимента. И выявлять нарушения ортогональности слотов.
ПланПо описанию продуктовой задачи попробуете выбрать между классическим A/B‑тестом и многоруким бандитом. Сможете интерпретировать апостериорное распределение (P (B>A)) для принятия решений и распознавать паттерны поведения Thompson sampling и UCB на графиках распределения трафика.
ПланСможете подобрать метод квазиэксперимента под задачу: Diff‑in‑Diff, Causal Impact или PSM. А затем применить их к реальным данным. Сможете оценивать пределы достоверности полученного причинного вывода.
ПланПроведете эксперимент end‑to‑end: проверите SRM и баланс, выберите метрики и критерий, рассчитаете эффект и доверительные интервалы для ratio‑метрик. Будете интерпретировать результаты с учётом защитных метрик и аргументированно обосновывать решение о «выкате». Защитите финальный проект — полный пайплайн A/B-теста в Jupyter Notebook.
ПланПознакомитесь с архитектурой автоматизированной системы оценки A/B‑тестов. Узнаете, как с помощью ИИ-инструмента генерировать аналитический пайплайн под типовые шаги анализа. Сможете проектировать прототип системы от загрузки данных до отчёта.
Формат обученияСамостоятельно
Есть вебинарыfalse
Есть домашние работыtrue
Есть видеоурокиtrue
Есть текстовые урокиtrue
Есть тренажерыtrue
Есть сообществоtrue
СложностьДля опытных
Тип обученияКурс
Есть бесплатная частьfalse
Результат обученияСертификат
Часы в неделю6
Наименование Симулятор A/B-тестов
Категория Аналитика/Аналитика данных
Продавец Karpov.courses
Актуальность 17.10.2026