Шрёдингер Кота

2022-10-12 16:05:55 Друзья, всем привет!)

Хочу поделиться с вами приятной новостью - сегодня у меня первый рабочий день в качестве Team Lead’а в SberDevices

Я очень рад присоединиться к новой команде, чувствую себя заряжено и мотивировано, готов к новым свершениям Открыть/Комментировать

2022-10-06 09:38:47 Друзья, всем привет)

Вчера наткнулся на статью, опубликованную в одном из самых престижных журналов Nature, которая меня очень сильно удивила и впечатлила

С помощью обучения с подкреплением DeepMind открыли новый, более быстрый способ умножения матриц, одной из фундаментальных задач алгебры

Проблема нахождения более быстрого алгоритма была открытой 50 лет

Не хочу делать громких заявлений, но лично я считаю это огромным шагом (бОльшим даже для искусственного интеллекта, нежели для самой алгебры) и чуть ли не началом новой эры, так как появляется инструментарий для исследования других фундаментальных задач на предмет нахождения более эффективных алгоритмов

Интересно, стали ли мы ближе к решению вопроса о равенстве классов P и NP

Blog | Paper | GitHub Открыть/Комментировать

2022-10-05 10:41:46 Друзья, всем привет!

Хочу поделиться с вами интересным опытом, а именно участием в хакатоне ETHOnline 2022

Мы собрались командой из 5 человек и за 3 недели (да, это не был классический хакатон на выходных) нам нужно было придумать и разработать проект на базе блокчейна Ethereum (или его сайдчейнов)

Идея нашего проекта заключалась в разработке агрегатора новостей, дающего пользователям надежную и достоверную информацию путем механизма валидации правдивости новостей (fact or fake)

За три недели нам удалось:

— разработать backend на Python с использованием FastAPI и PostgreSQL, а именно:
— архитектуру приложения и интерфейсы взаимодействия
— архитектуру базы данных
— скрипты по парсингу и агрегации новостей из различных источников
— NLP модель для классификации новостей по тематикам

— реализовать web3 составляющую проекта, а именно:
— написать смарт-контракты на Solidity
— интегрировать Worldcoin - децентрализованую проверку от ботов (Sybil Attack Resistance)
— разработать скрипты для размещения фейковых новостей в виде NFT на IPFS
— добавить систему децентрализованых уведомлений EPNS
— защитить голосования от абуза с помощью Commit-Reveal Scheme

— сверстать frontend на React.js

По итогу нам удалось победить в номинации «Worldcoin — Honorable mention»

Ссылка на страницу с проектом и исходным кодом:
https://ethglobal.com/showcase/denews-djqvk Открыть/Комментировать

2022-10-03 12:02:07 Друзья, всем привет!

Прошло более двух недель с моего последнего поста, никак не мог собраться с мыслями о том, что я хочу сказать, и хочу ли / могу ли я вообще что-то говорить

Сейчас, немного подуспокоевшись и высвободив голову, хочу выразить всем слова поддержки, надеюсь у вас все хорошо, за всех и каждого держу кулачки

Всем добра Открыть/Комментировать

2022-09-15 12:52:50 Diffusion Models: A Comprehensive Survey

Отличная обзорная статья с таксономией диффузионных моделей и всех видов сэмплирования. Тут даже есть сравнение диффузии с остальными генеративными подходами (см. картинку).

Статья Открыть/Комментировать

2022-09-15 12:52:50 В последнее время все чаще и чаще слышу про диффузионные модели, а после выхода Stable Diffusion закрывать глаза на факт их существования становится просто невозможно

Когда говорят о диффузионных моделях, особенно в обзорных статьях, часто упоминают вариационные автокодировщики (VAE) и генеративно-состязательные сети (GAN)

У меня есть как понимание работы и устройства последних двух, так и опыт работы с ними, а узнать, что находится под капотом у диффузионных моделей, я пока еще не успел

В связи с этим, хочу поделиться с вами обзорной статьей про диффузионные модели, которую сам уже начал читать

P.S. В дополнение хочу оставить еще одну статью на эту же тему из шикарного блога замечательной Лилиан Венг:

https://lilianweng.github.io/posts/2021-07-11-diffusion-models/ Открыть/Комментировать

2022-09-13 11:45:51 Друзья, всем привет!)

Хочу поздравить всех с днем программиста и пожелать как можно меньше багов в коде и как можно больше успешных релизов в пром Открыть/Комментировать

2022-09-09 12:12:36 Друзья, всем привет!)

Мой вчерашний доклад на тему «Из модели в сервис: Flask + Gunicorn + Docker» уже доступен на YouTube:



Открыть/Комментировать

2022-09-07 09:08:08 Cегодня прочитал Transformer Circuits и это прямо хорошо

Основная идея - представить трансформер как последовательность матричных и тензорных произведений и использовать свойства тензорного произведения чтобы построить эквивалетную сеть, которую проще интерпретировать.

Теперь немного конкретнее про те вещи которые мне показались интересными.

Проще думать о том как работает трансформер, если смотреть на residual сеть как на основную. Остальные слои от неё отбранчовываются и добавляют/убирают информацию.

Attention heads — независимые друг от друга операторы (даже с учётом mixing matrix) которые переносят информацию из одних токенов в другие.

Дальше работают с упрощённым трансформером без LayerNorm и FFN.

Однослойный transformer можно (нестрого) интерпретировать как биграмную и скип-триграмную языковую модель. Что такое скип-триграммы? Например если у вас есть текст twitter.com/username/status, то [twitter, ..., /] может быть скиптриграммой в которой пропущено /username Авторы показали что в обученной модели такая скиптриграмма сильно повышает вероятность status.

Такой подход позволяет показать ограничения однослойной модели. Например так как триграмма [keep, ...., in] повышает вероятность mind а [keep, ..., at] вероятность bay, то модель также должна повышать верояности [keep, ..., at] -> mind и [keep, ..., in] -> bay. И несколько таких "багов" модели даже нашли. Открыть/Комментировать

2022-09-07 09:08:08 Наткнулся сегодня на интересную статью и пост, хочу с вами поделиться) Открыть/Комментировать