2022-06-18 12:00:43
#How_to_заботать
Гут Шабес. Выражаю огромную благодарность, кто продолжает отправлять контесты: спасибо, что делаете прогнившую корпоративную культуру хоть чуточку ярче
Тем временем уже стартуют первые собесы на стажёров от Тинькофф Старт. Вспоминаем, как готовиться на проадкт-аналтика (+материалы). Времени не так много, поэтому в честь праздника подгон по каждому акту АВ теста, чтобы получить хоть какое-то представление об этой науке.
Если кратенько, то процесс АБ теста следующий: есть новое предложение, как улучшить метрики и его нужно протестить; берём репрезентативную выборку из генеральной совокупности, разбиваем ее на тест и контроль: на тест воздействуем, на контроль нет. Смотрим на получившиеся метрики, выбираем тест, чтобы проверить стат значимость и затем делаем вывод можем ли мы выкатывать фичу (в совковых учебниках пишут, что если нет стат значимости, то отвергаем альтернативу, но на практике обычно все посложнее).
Начнем с конца:
1. Какой тест выбрать для проверки двух гипотез? Если у нас уже есть разбитая выборка на тест и контроль (А и Б)
{
https://vkteam.medium.com/practitioners-guide-to-statistical-tests-ed2d580ef04f}
2. Как разбить репрезентативную выборку на тест и контроль (А и Б)?
{https://habr.com/ru/company/avito/blog/571096/}
3. Как определить какой размер репрезентативной выборки нам нужен? Которую мы затем разбиваем
{
}
4. Как из всей генеральной совокупности взять репрезентативную выборку (чтобы ее можно было экстраполировать на всю генеральную совокупность)? И вообще как обрабатывать данные перед тестом
{https://habr.com/ru/company/avito/blog/571094/
https://habr.com/ru/company/avito/blog/571096/
https://habr.com/ru/company/uchi_ru/blog/500918/}
Делимся замечаниями и материалами в комментах. Тетрадки лежат там же
2.1K viewsedited 09:00
П
