В этот четверг проведем очередной митап @leands.
Что, если АБ тест провести просто невозможно? Как провести проверку модели?
19:00 - 20:00
тема:
Жизнь без A/B: как ещё сравнивать версии ML-систем? спикер: Евгений Никитин, Head of AI, АО Калуга Астрал
Как понять, что новая версия ML-системы будет работать лучше, чем предыдущая? Обычно достаточно провести офлайн-валидацию (померить метрики) и онлайн-тест (например, в формате A/B). А что делать, если проведение онлайн-теста невозможно по техническим, юридическим или экономическим причинам? В этом докладе на примере медицинских ML-систем мы попробуем разобраться как минимизировать риск деплоя плохих моделек, когда с онлайн-тестами всё сложно.
— — —
14 октября, начало в 19:00 мск, четверг
ОНЛАЙН
Регистрация на мероприятие тут
Добавляйте в календарь, ссылка придет на почту перед началом митапа
