Не так давно диффузионные модели приобрели популярность в генерации картинок. Гугловская многозадачная диффузионная модель Palette даже побила SOTA сразу на четырех бенчмарках! О Palette мы писали в посте выше.
А вот только что вышла статья Pseudo Numerical Methods For Diffusion Models on Manifolds, которая
ускоряет генерацию изображений диффузионными моделями в 20 раз! Ускорение достигается за счёт нового взгляда на диффузионные модели: авторы предлагают смотреть на них как на дифференциальные уравнения. А решаются диффуры программно довольно быстро с помощью численных методов.
В статье довольно сложная математика. Если вы не знакомы с тем, как работают диффузионные модели, перед чтением статьи рекомендую это изучить. Вот, например, прекрасная статья с описанием принципа работы diffusion models.
К статье Pseudo Numerical Methods For Diffusion Models on Manifolds уже сделали колаб. Картинка к посту — результаты генерации по запросу "flower bouquet in a vase" (100 итераций). Генерит реально быстро!
