Симулятор A/B-тестов
Найти похожие
на AliExpress
в Джум
+
Описание
Научитесь проводить A/B-тесты, приносящие пользу бизнесу, на симуляторе.
Характеристики
- Дополнительная категория300
- Цена по скидке57750
- Оплата в рассрочку24
- Ежемесячная цена3379
- Ближайшая дата2026-10-15
- Продолжительность3
- ПланСможете распознавать ситуации, когда рост сводной метрики обманчив. Выстраивать порядок рассуждения при интерпретации дельты CTR в условиях колебаний. И на основе этого разграничивать корректные и некорректные объяснения смены лидера в A/B‑тесте.
- ПланБудете подбирать набор метрик под продуктовую гипотезу, разрешать конфликты между ними и проверять защитные метрики. А затем сможете аргументированно принять решение о «выкате».
- ПланСможете определять соотношение сигнал/шум по готовым числам. Выявлять случаи, когда наблюдаемая разница объясняется случайной нестабильностью среднего. И объяснять, как размер выборки и окно агрегации влияют на стандартную ошибку.
- ПланПо описанию продуктовой задачи сможете выбрать корректную единицу рандомизации, распознать в типовых кейсах spillover и сетевые эффекты. А также освоите отличие причинного вопроса от корреляционного.
- ПланКорректно сформулируете нулевую и альтернативную гипотезы до запуска теста. Сможете интерпретировать p‑value без типичных ошибок и оценивать риски ошибок I и II рода в контексте конкретной бизнес‑задачи.
- ПланСможете рассчитать необходимый размер выборки и длительность теста под заданный минимальный эффект (MDE). Применять sequential‑подход для легитимного промежуточного анализа и предотвращать подглядывание (peeking). И определять ситуации, когда A/B‑тест неприменим.
- ПланПо типу метрики и характеристикам распределения выберите подходящий критерий: t‑test, Welch, z‑test, χ², Манна-Уитни или bootstrap. Сможете применять дерево решений для выбора теста в типовых кейсах и выявлять ситуации, в которых выбранный критерий даст некорректный результат.
- ПланСможете классифицировать метрику по типу: доля, поюзерная, ratio. Корректно рассчитывать дисперсию для ratio‑метрик через delta‑метод. И применять линеаризацию для CTR и аналогичных метрик.
- ПланПроверите баланс групп и SRM до начала анализа. Попробуете выявить смещение при распределении (assignment bias) в структуре эксперимента. А также заполните чек‑лист дизайна эксперимента перед его запуском.
- ПланСможете интерпретировать результаты A/A‑теста и распределение p‑value под нулевой гипотезой. Формулировать корректную интерпретацию доверительного интервала для размера эффекта. И разграничивать статистическую и бизнес‑значимость при принятии решения о «выкате».
- ПланПримените стратификацию и пост‑стратификацию, реализуете метод CUPED с историческими ковариатами и попробуете скомбинировать его со стратификацией. Потренируетесь в очистке данные от выбросов перед анализом.
- ПланСможете по числу одновременных тестов выбирать корректную поправку на множественные сравнения: Бонферрони или Бенджамини-Хохберга. Определять ситуации, требующие switchback или geo‑эксперимента. И выявлять нарушения ортогональности слотов.
- ПланПо описанию продуктовой задачи попробуете выбрать между классическим A/B‑тестом и многоруким бандитом. Сможете интерпретировать апостериорное распределение (P (B>A)) для принятия решений и распознавать паттерны поведения Thompson sampling и UCB на графиках распределения трафика.
- ПланСможете подобрать метод квазиэксперимента под задачу: Diff‑in‑Diff, Causal Impact или PSM. А затем применить их к реальным данным. Сможете оценивать пределы достоверности полученного причинного вывода.
- ПланПроведете эксперимент end‑to‑end: проверите SRM и баланс, выберите метрики и критерий, рассчитаете эффект и доверительные интервалы для ratio‑метрик. Будете интерпретировать результаты с учётом защитных метрик и аргументированно обосновывать решение о «выкате». Защитите финальный проект — полный пайплайн A/B-теста в Jupyter Notebook.
- ПланПознакомитесь с архитектурой автоматизированной системы оценки A/B‑тестов. Узнаете, как с помощью ИИ-инструмента генерировать аналитический пайплайн под типовые шаги анализа. Сможете проектировать прототип системы от загрузки данных до отчёта.
- Формат обученияСамостоятельно
- Есть вебинарыfalse
- Есть домашние работыtrue
- Есть видеоурокиtrue
- Есть текстовые урокиtrue
- Есть тренажерыtrue
- Есть сообществоtrue
- СложностьДля опытных
- Тип обученияКурс
- Есть бесплатная частьfalse
- Результат обученияСертификат
- Часы в неделю6
- Наименование Симулятор A/B-тестов
- Категория Аналитика/Аналитика данных
- Продавец Karpov.courses
- Актуальность 17.10.2026
Еще в этой категории
Другие интернет-магазины
