Сегодня многие постят новость про то, как Яндекс опубликовал д | Левашов

Сегодня многие постят новость про то, как Яндекс опубликовал датасет для конкурса Shifts Challenge, но как-то не лучшим образом, на мой взгляд, объясняют, чем он крут.
Поэтому попробую объяснить по-своему, дело там не в цифрах — а история реально крутая.
Человек (по себе знаю) способен предсказывать движение транспорта даже в незнакомой и отличающейся от привычной обстановке. Простыми словами это означает, что сев за руль в незнакомой стране ты сразу замечаешь, что водят они как-то по-другому и непривычно — но при этом ты не попадаешь немедленно в ДТП, потому что имеющегося опыта и некоторой неосознанной способности к экстраполяции хватает, чтобы научиться предугадывать поведение других участников дорожного движения и успешно доехать куда надо. «Сдвиг» стиля вождения и некоторых правил — это то, что мы умеем учитывать.
Для машинного обучения это серьёзный вызов: обучить алгоритм так, чтобы в ситуации, которая далека от обучающей выборки, выдать не совсем бредовый прогноз, правильно учесть сдвиг относительно обучающей выборки. Ну, например, если модель учили на выборке, где на круговом движении все пропускают движущихся по кругу, она не должна спровоцировать ДТП или впасть в ступор в стране, где это правило игнорируют.
Поскольку беспилотники Яндекса набирались опыта и собирали данные в России, Израиле и США, где и правила, и манеры водителей отличаются сильно (как и погодные условия, в которых приходится управлять автомобилем), удалось собрать уникальный по разнообразию (наличию разных сдвигов) датасет. Появилась возможность выложить его фрагменты для одних разнообразных условий, а проверить, насколько хорошо модель отрабатывает неожиданности — на других. Вот именно такой челлендж на NeurIPS 2021 и проведут исследователи из Яндекса вместе с коллегами из Оксфорда и Кембриджа, предоставив реально уникальный датасет и уникальный же способ сравнить качество предложенных участниками моделей. Это одновременно и очень крутая, и очень прикладная наука.
Вот самый внятный из текстов на русском https://habr.com/ru/company/yandex/blog/568672/ а вот на английском https://medium.com/yandex-self-driving-car/yandex-publishes-industrys-largest-av-dataset-launches-prediction-challenge-at-neurips-28d6bdfde78d