HalloHallo — это ИИ утилита для высокореалистичной генерации видео говорящей головы по заданному аудио.
Hallo применяет энд-ту-энд диффузионный подход и внедряет иерархический аудио-управляемый модуль синтеза визуальных образов. Этот модуль улучшает точность согласования аудио-входов и визуальных выходов, охватывая движение губ, выражения лица и позы.
Hallo недавно выпустил свою первую версию на GitHub, а также распространяет предварительно обученные модели из репозитория HuggingFace.
https://github.com/fudan-generative-vision/hallo
HuggingFace: https://huggingface.co/fudan-generative-ai/hallo
