Многие уже успели оценить возможности нейросети DALL-E и подобных ей разработок, способных выдавать впечатляющие по детализации изображения на основе текстового описания. Пришел через видео. Этим вопросом занимается Google, который представил систему Imagen Video, способной создавать видеоряд на основе текста.
Система способна работать в заданной стилистике и жанрах (пример в видео).
В основе лежит «каскад» моделей, которые на основе текстового описания создают прототип ролика (16 кадров в разрешении 24×48 пикселей с частотой 3 кадра в секунду). Далее он в несколько шагов преобразуется в видео высокого разрешения с более высокой частотой кадров.
Пока можно увидеть только ряд примеров, но работа продолжается. Одной из причин, по которой исходный код пока не находится в открытом доступе, является вероятность генерирования неприемлемого контента. Над устранением этой проблемы сейчас и ведется работа.
А какие идеи использования данной технологии приходят вам на ум в первую очередь?
