​Знакомьтесь, DALL-E! Нейросеть, которая умеет генерировать и | SA lab x daily

​Знакомьтесь, DALL-E!

Нейросеть, которая умеет генерировать изображения на основе текста или дорисовывать потерянные фрагменты.

Особенности:
→ использует датасет из пар текст-изображение
→ работает с английским языком
→ понимает разные комбинации слов
→ может генерировать стилистически разные решения
→ с лёгкостью проходит тесты на IQ, в которых нужно понять закономерности и найти правильный ответ
→ построена на архитектуре GPT 3
→ правдоподобно объединяет несвязные понятия, вроде, «иллюстрация маленькой редьки-дайкона в балетной пачке, выгуливающей собаку»

Как это работает?
→ это магия какая-то
→ в нейросети есть 2 блока
→ в первый необходимо ввести текст, например, «гостиная с 2 белыми креслами и картиной Колизея, которая висит над современным камином»
→ во втором появляются варианты со множеством интерпретаций
→ любопытно, что все предметы стилистически разные
→ опционально есть 3 блок, куда можно ввести референсное изображение или фрагмент, который нужно дорисовать

Название DALL-E - это микс имени художника Сальвадора Дали и робота WALL-E из мультика Pixar.

Если сейчас напряглись только графические дизайнеры, загляните в примеры. Возможности действительно поражают: логотипы, иллюстрации, фото и т.д. DALL-E умеет генерировать любой визуал бесконечно.

Для тех, кто хочет проверить нейросеть — гоу в GitHub.

#SAlab_soft