Authentic Volumetric Avatars from a Phone ScanSIGGRAPH 2022
Коллеги из Meta Reality Labs выпустили новый метод по
созданию реалистичных 3D аватаров c помощью телефона!
Грубо говоря, работает это так:
Человек берет айфон и сканирует свое лицо, корча разные гримасы. С помощью трекинга ключевых точек и multi-view геометрии строится мешь головы и соответствующая ей текстура. Так делают много раз, для разных гримас. Далее тренируется энкодер, который переводит текстуру и карту глубины определенной гримасы в скрытый код. Этот код подается на вход декодеру, который генерит уже отрендереный аватар головы.
Самое сложное здесь - это натренировать декодер. Он тренировался в лабе на очень качественных данных от 255 человек. Каждого из участников садили в сферу обвешанную сотней камер, которые синхронно снимают видео, и заставляли гримасничать. Самое крутое, что этот декодер получился универсальным и может рендерить лица, на которых он не был изначально натренирован.
❱❱ Полное видео о методе
❱❱ Папира
@ai_newz
