Жалкие низкочастотники

2021-01-28 11:52:19 Немного напишу про CLIP, как это работает и что с ним можно сделать.

Как все уже слышали, OpenAI в начале января анонсировала (но не выложила и даже пока толком не описала) модель DALL-E, которая (судя по отобранным примерам) очень неплохо рисует картинки по текстовому описанию. Поиграть с отобранными примерами можно на странице проекта, но это не так интересно. Интереснее, что они выложили отдельную модель CLIP, которую использовали в DALL-E. Этот самый CLIP умеет переводить тексты и картинки в вектора одного общего латентного многомерного пространства. Другими словами, он сопоставляет любой картинке или любому тексту вектор чисел фиксированной длины, причём так, что у надписи, подходящей к картинке, числа будут близкими к числам самой картинки. Вот тут можно посмотреть на случайные области картинок в этом пространстве.

С момента публикации народ начал пытаться использовать CLIP для генерации картинок. В открытом доступе есть много неплохих GAN-моделей, использующих своё собственное латентное многомерное пространство, каждой точке которого соответствует картинка, а близким точкам -- близкие картинки. (Там бывают и осмысленные направления, о которых пишутся научные статьи, но нам сейчас это не так важно.) К сожалению, пространства CLIP и какого-нибудь GAN никак не связаны. Но всё равно можно организовать поиск подходящей картинки, упрощённо говоря, так: начинаем из любой точки пространства GAN, делаем из неё картинку, картинку отдаём CLIP и смотрим, насколько далеко мы от точки в пространстве CLIP, заданной целевым текстом, и куда надо сдвинуться в пространстве GAN. И так ползём в сторону текста.

Самое бодрое из таких попыток, что я видел за этот месяц — проект Райена Мёрдока The Big Sleep на базе BigGAN. Народ вроде собирается поднять для проекта отдельный сайт, а пока можно поиграться в авторский колаб (или в русскую адаптацию колаба от @bomze). Работает оно жутко медленно и довольно криво, и конкретные объекты (особенно не из ImageNet-а) ему даются плохо. Но если проявить воображение и набрасывать абстрактные запросы, то можно наловить неплохих картинок.

В следующей пачке картинок одна — от автора модели ("a cityscape in the style of Van Gogh"), остальные — мои: "8-bit forest", "Escher's space", "Sierpinski hat" и "Hokusai Christmas". Открыть/Комментировать

2021-01-25 16:29:39 Что-то все молчат про ThisAnimeDoesNotExist. Много их уже было, но тут качество заметно выше предыдущих, и есть классный видео режим прямо на сайте. Автор модели Aydao, фронт от NearCyan, подробный разбор технической части от Gwern. Открыть/Комментировать

2021-01-19 14:14:24 Внезапно: Star Wars мод для Microsoft Flight Simulator. Страница проекта. Открыть/Комментировать

2021-01-17 17:24:30 Напишу немного про создание языков. Я уже как-то упоминал про Interslavic, но есть и другие странные штуки. На сленге специально рассчитанные языки называются conlangs (constructed languages), а люди, которые их делают — conlangers. Самый известный conlanger, конечно, Толкиен, но есть и другие. Например, Дэвид Питерсон — он, в частности, создал пару языков для Игры Престолов. У Дэвида есть неплохая книга "Искусство создания языков", я её ещё не дочитал, но посмотрел запись его прошлогодней лекции "сделаем язык за час" в лектории Гугла. А для тех, кому не хочется самостоятельно разбираться с построением непротиворечивой системы фонетики, морфологии и так далее, есть готовые генераторы, например, рекомендую посмотреть систему Vulgar.

Ну или можно просто сыграть в игру "отличи имя персонажа Толкиена от названия антидепрессанта" или почитать про проект перевода фразы "мойте руки" на 500 обычных человеческих языков. Открыть/Комментировать

2021-01-08 14:41:35 Эффект uncanny valley в гостях у рубрики "странные роботы": аниматронический "ребёнок" от британской компании johnnolanstudio, занимающейся спецэффектами к разным блокбастерам. Источник — инстаграм дизайнера Карла Галливана, но в твиттере есть отличная озвученная версия от фанатов, рекомендую. Открыть/Комментировать

2021-01-06 16:45:03 Есть у меня хороший товарищ, Дима Крюков, человек разнообразных интересов: транспортный энтузиаст, меломан, спортивный журналист, поэт, собиратель интересной живописи и прочее. Когда-то мы с ним работали вместе, подружились и с тех пор иногда пересекаемся по разным проектам и просто так.

Я давно знал, что один из проектов Димы это его собственная коллекция "интервью с интересными людьми" (не на youtube, а по старинке, буковками). Но не ожидал, что он позовёт поговорить меня — в списке интервьюируемых я непонятно как оказался в компании, например, Леонида Фёдорова, Максима Поташёва и кучи других интересных людей. Так или иначе, некоторое время назад разговор состоялся, и вчера Дима опубликовал его у себя на сайте. С одной стороны всё это довольно забавно, учитывая, что я так ничего особо умного там и не рассказал, но с другой стороны, текст получился честный и с кучей каких-то занятных мелочей, включая, в частности, историю возникновения и наименования этого канала

В общем, если на каникулах у вас есть время на лонгрид — почитать можно тут :) Открыть/Комментировать

2020-12-31 17:59:54 Однажды, несколько лет назад, я наделал для друзей самодельных новогодних открыток из древнего ASCII-арта (рисовал не я, откопал в старых архивах).

Недавно наткнулся на них и решил сегодня поделиться с вами. С наступающим! :) Открыть/Комментировать

2020-12-28 15:31:48 На выходных дошли руки разобрать работы NaNoGenMo этого года. Вот мой личный топ интересных проектов:

1. Banalified Moby-Dick — используют generic BERT для определения наименее ожидаемых слов в тексте и замены их на более вероятные согласно модели. Общая perplexity текста падает, текст при этом довольно интересно деградирует. Есть примеры результатов с Моби Диком, Гамлетом и Портретом художника в юности.

2. This Comic Does Not Exist — автор собрал большой датасет horror-комиксов, порезал на кадры и доучил на них StyleGAN2. Затем нагенерировал много новых кадров и собрал из них pdf-книгу на 55 листов. Получилось очень крипово.

3. Simple Dialogues — простые диалоги, в которых произнесение каждого звука автоматически детализировано до подробного описания движения губ, языка, связок и всего речевого аппарата.

Не вошли в топ, но привлекла внимание ещё пара проектов:

4. Activity logs — автоматическая генерация рабочих отчётов ("...затем 15 минут писал ответ клиенту..."), про похожую историю я тут уже когда-то писал.

5. NaNoGenMo Generated Stories Continued by AI Dungeon — GPT-2 дообученная на датасете Writing Prompts придумывает затравки для историй, а GPT-3 через интерфейс AI Dungeon их продолжает. Результат немного похож на cherry picking, но всё равно очень неплохо. Открыть/Комментировать

2020-12-26 15:58:43 Конец года вышел очень плотным, так что ни на что особо не хватает времени. На каникулах постараюсь исправиться, и написать что-нибудь осмысленное и интересное.

А пока, по традиции, вот вам куча разных безумных ссылок с однострочными комментариями:

1. Танцевальная визуализация разных алгоритмов сортировки в исполнении различных народных ансамблей.
2. GAN-генератор спутниковых снимков несуществующих городов.
3. Научная статья о математической классификации, кодировании и генерации паттернов традиционного индийского рисунка Колам.
4. MinecraftHDL — aвтоматическая генерация из описания алгоритма схем на базе minecraft redstone circuits.
5. Стыковка с МКС для чайников — 30-минутный ролик на базе космического эмулятора, описывающий кучу практических деталей процесса.
6. Добротный обзор алгоритмов генерации лабиринтов с примерами.
7. Подборка magic numbers, часто встречающихся на практике чисел вроде 2130706433 или 10080 с разъяснениями.
8. Проект по созданию моноширинного шрифта на базе Comic Sans, отлично подойдёт для вашей консоли. Надо бы сделать русскую версию.
9. Эээ... В общем, это безумный арт проект, в котором плесень постепенно пожирает книгу, а камера распознаёт оставшийся текст и автоматически твиттит его.

И подборка ссылок от друзей и читателей:

* Загрузка FreeDOS на PC с винилового диска, прислал Саня Молоканов.
* Модуль, позволяющий писать Perl-код на латыни, ссылка от Димы Шемятихина.
* Подборка эмуляторов всякой хтони для запуска в браузере, подсказал Паша Гертман.
* Система классификации Горнбостеля-Сакса, для присвоения номеров любым музыкальным инструментам, показал Борислав Козловский.
* В 19 веке православная миссия в Китае создала новые «иероглифы» для транскрипции русских слов, via linguopunk_ru.
* Иван Дианов прислал ссылки движки для 3d-рендера на SQL и на ДНК, автор обоих Ярослав Сергиенко. Открыть/Комментировать

2020-11-22 18:05:00 Читатели подсказывают: есть аналогичный проект на русских новостных корпусах, можно посмотреть на динамику смысла прямо на сайте https://shiftry.rusvectores.org/ Открыть/Комментировать