Понемногу возвращаемся к AI-новостям =) Давно вот эту новость | DLStories | Нейронные сети и ИИ

Понемногу возвращаемся к AI-новостям =) Давно вот эту новость задолжали:

Помните, как в Сбере запилили русскую версию DALL-E? Если вдруг пропустили, то мы об этом писали тут, а вот тг-бот, где можно играться: вводить текстовое описание на русском и получать картинки от ruDALL-E.

В этом посте расскажу о двух новых модельках, которые натренировали в Сбере:

ruDALL-E Emojich — тг-бот с версией ruDALL-E, которая умеет генерировать стикеры. Пользоваться просто: вводите текстовое описание на русском языке, бот выдает вам на него 36 вариантов стикеров. Далее вы можете выбрать лучшие картинки и сделать из них стикерпак =)
Ссылки:
- тг-бот
- статья на Хабре о том, как обучали модель

ruCLIP — в Сбере обучили и русскоязычную версию CLIP. CLIP — это нейросеть, которая выучивает общее пространство эмбеддингов для изображений и текста. Это позволяет ей, в частности, оценивать, насколько текстовое описание соответствует изображению. Подробно о CLIP мы писали тут.
ruCLIP — отличное дополнение к ruDALL-E. Если вы уже игрались с ruDALL-E, вы знаете, что ruDALL-E генерирует несколько изображений на каждый текстовый запрос (обычно 16 штук). Из этих 16 сгенерированных картинок некоторые — огонь , а некоторые — треш и стыд). И раньше отделять классные картинки от страшных нужно было самому. Теперь же ruCLIP может помочь в этом: после генерации 16 изображений с помощью ruDALL-E нужно просто прогнать эти картинки и текст, по которому они сгенерированы, через CLIP. CLIP поставит каждой паре (картинка, описание) оценку: чем оценка выше, тем более, по мнению CLIP, картинка соответствует описанию. А значит, тем более эта картинка "адекватная".
Как говорят в Сбере, "если ruDALL-E - это художник, то ruCLIP - это критик".
Ссылки:
- статья на Хабре о ruCLIP (с объяснениями принципов работы CLIP)
- еще статья на Хабре о ruCLIP и некоторых версиях ruDALL-E
- GitHub с кодом и моделями ruCLIP