AvatarCLIP: модель для zero-shot генерации анимированных 3D-аватаров Вводите текстовый запрос, и модель сгенерирует 3D-анимацию. С помощью текста можно менять пол/телосложение/внешность(текстуру) героя и то, какие движения или эмоции аватар будет выражать. Можно сгенерить толстого Iron Man, грустного Стива Джобса и много всего другого. Примеры запросов и сгенерированных аватаров — на гифке к посту.
Работает это все внутри на связке CLIP для генерации формы аватара + еще несколько нейронок для генерации текстур и движений.
Полученных из модели аватаров можно скачать в .fbx формате и загрузить в Blender или Unity. Ну круто же!
Ссылки:
Статья на arxiv
Код на GitHub
Галерея готовых аватаров (можно скачать)
Демка на colab (только генерация формы и текстуры, motion пока нельзя)
