2022-10-16 20:43:14
NeuralMarker: A Framework for Learning General Marker CorrespondenceМоя любимая MMLab и не менее любимая Nvidia ещё в сентябре выпустили пейпер про
NeuralMarker, который позволяет переносить изображение или видео на выбранную область в другом видеопотоке с учётом сильных деформаций, условий освещения и т.д.. Или, как пишут авторы, осущевляется оценка соответствий одного маркера, к примеру, постера фильма, с изображением, которое фиксирует этот маркер.
Архитектура данной модели состоит из двух частей. Первая часть вычисляет карты признаков маркера и референсного изображения через
Siamese Image Feature Encoder, далее оценивается корреляция для измерения их внешнего сходства. Чтобы полностью задействовать всю информацию о признаках маркера, авторы использовали Twins-SVT. Вторая часть представляет собой модуль
ConvGRU для итеративной регрессии движения на основе корреляции и контекстных признаков.
Для обучения авторы использовали синтетический датасет
FlyingMarkers, специально созданный для этой модели. Содержит 176167 семплов для обучения.
Так как датасет FlyingMarkers является синтетическим и не имеет большого разнообразия хотя бы по условиям освещения, то есть модель, обученная на нём, будет не устойчива, было предложено использовать
Symmetric Epipolar Distance (SED), новую функцию потерь, работающую на основе "weakly supervised training" с реальными изображениями и ракурсами камеры, которые оцениваются с помощью
Structure-from-Motion.
Скоро как раз должны выложить код и модели. Следим за их репозиторием на GitHub.
А больше примеров работы смотрите на сайте их проекта.
655 viewsedited 17:43
С
