Я недавно писал про проекты по генерации картинки по тексту с помощью сетки CLIP, а тут я решил попробовать обратную схему: собрал поиск точки в пространстве сети Optimus (это такой текстовый VAE), оптимальной с точки зрения близости к картинке в CLIP-пространстве. В целом, получилось довольно плохо, судя по всему, из-за характеристик самого пространства Optimus, буду думать и пробовать ещё. Но на сдачу получился простой скрипт, который просто выбирает подпись к картинке из заранее фиксированного пула текстов.
В качестве базы для экспериментов я взял ~8000 заголовков сатирического новостного агентства The Onion (это такой англоязычный прообраз ИА Панорама), и внезапно получилось очень смешно. Вот вам 4 примера на картинке и колаб, где можете попробовать сами с любой своей картинкой (а чуть поправив код -- и со своей базой текстов).
