NVIDIA Создала 3D StyleGAN — EG3D: Efficient Geometry-aware 3D Generative Adversarial Networks
EG3D — нестоящее инженерное чудо. Ресерчеры взяли за основу StyleGAN 2 бэкбон, и вставили в середину графа гибридный neural rendering.
Nvidia создала новый
tri-plane-based 3D GAN framework. Ресерчеры показали, что NeRF в их случае медленный, а воксели не очень масштабируются по памяти с повышением разрешения.
После нейронного рендеринга в 128х128 следует каскад супер-резолюшена в 512х512. Затем low-res ещё раз апскейлится интерполяцией и после конкатенации с mid-res картинкой, единым тензором подается на двойной дискриминатор.
StyleGAN’ы интересны тем, что способны за относительно небольшой компьют (тут 8 Tesla V100 GPUs и 8.5 дней) построить реалистичную генеративную модель в одном домене.
EG3D позволяет сразу генерировать качественную 3D геометрию, которую сеть выучивает самостоятельно!
Как же чудесно будущее 3D графики!
Code
Project
Paper
YouTube
@мишин_лернинг
