Шрёдингер Кота

Друзья, всем привет!)

Хочу поделиться с вами приятной новостью - сегодня у меня первый рабочий день в качестве Team Lead’а в SberDevices

Я очень рад присоединиться к новой команде, чувствую себя заряжено и мотивировано, готов к новым свершениям

Друзья, всем привет)

Вчера наткнулся на статью, опубликованную в одном из самых престижных журналов Nature, которая меня очень сильно удивила и впечатлила

С помощью обучения с подкреплением DeepMind открыли новый, более быстрый способ умножения матриц, одной из фундаментальных задач алгебры

Проблема нахождения более быстрого алгоритма была открытой 50 лет

Не хочу делать громких заявлений, но лично я считаю это огромным шагом (бОльшим даже для искусственного интеллекта, нежели для самой алгебры) и чуть ли не началом новой эры, так как появляется инструментарий для исследования других фундаментальных задач на предмет нахождения более эффективных алгоритмов

Интересно, стали ли мы ближе к решению вопроса о равенстве классов P и NP

Blog | Paper | GitHub

Друзья, всем привет!

Хочу поделиться с вами интересным опытом, а именно участием в хакатоне ETHOnline 2022

Мы собрались командой из 5 человек и за 3 недели (да, это не был классический хакатон на выходных) нам нужно было придумать и разработать проект на базе блокчейна Ethereum (или его сайдчейнов)

Идея нашего проекта заключалась в разработке агрегатора новостей, дающего пользователям надежную и достоверную информацию путем механизма валидации правдивости новостей (fact or fake)

За три недели нам удалось:

— разработать backend на Python с использованием FastAPI и PostgreSQL, а именно:
— архитектуру приложения и интерфейсы взаимодействия
— архитектуру базы данных
— скрипты по парсингу и агрегации новостей из различных источников
— NLP модель для классификации новостей по тематикам

— реализовать web3 составляющую проекта, а именно:
— написать смарт-контракты на Solidity
— интегрировать Worldcoin - децентрализованую проверку от ботов (Sybil Attack Resistance)
— разработать скрипты для размещения фейковых новостей в виде NFT на IPFS
— добавить систему децентрализованых уведомлений EPNS
— защитить голосования от абуза с помощью Commit-Reveal Scheme

— сверстать frontend на React.js

По итогу нам удалось победить в номинации «Worldcoin — Honorable mention»

Ссылка на страницу с проектом и исходным кодом:
https://ethglobal.com/showcase/denews-djqvk

Друзья, всем привет!

Прошло более двух недель с моего последнего поста, никак не мог собраться с мыслями о том, что я хочу сказать, и хочу ли / могу ли я вообще что-то говорить

Сейчас, немного подуспокоевшись и высвободив голову, хочу выразить всем слова поддержки, надеюсь у вас все хорошо, за всех и каждого держу кулачки

Всем добра

Diffusion Models: A Comprehensive Survey

Отличная обзорная статья с таксономией диффузионных моделей и всех видов сэмплирования. Тут даже есть сравнение диффузии с остальными генеративными подходами (см. картинку).

Статья

В последнее время все чаще и чаще слышу про диффузионные модели, а после выхода Stable Diffusion закрывать глаза на факт их существования становится просто невозможно

Когда говорят о диффузионных моделях, особенно в обзорных статьях, часто упоминают вариационные автокодировщики (VAE) и генеративно-состязательные сети (GAN)

У меня есть как понимание работы и устройства последних двух, так и опыт работы с ними, а узнать, что находится под капотом у диффузионных моделей, я пока еще не успел

В связи с этим, хочу поделиться с вами обзорной статьей про диффузионные модели, которую сам уже начал читать

P.S. В дополнение хочу оставить еще одну статью на эту же тему из шикарного блога замечательной Лилиан Венг:

https://lilianweng.github.io/posts/2021-07-11-diffusion-models/

Друзья, всем привет!)

Хочу поздравить всех с днем программиста и пожелать как можно меньше багов в коде и как можно больше успешных релизов в пром

Друзья, всем привет!)

Мой вчерашний доклад на тему «Из модели в сервис: Flask + Gunicorn + Docker» уже доступен на YouTube:

Cегодня прочитал Transformer Circuits и это прямо хорошо

Основная идея - представить трансформер как последовательность матричных и тензорных произведений и использовать свойства тензорного произведения чтобы построить эквивалетную сеть, которую проще интерпретировать.

Теперь немного конкретнее про те вещи которые мне показались интересными.

Проще думать о том как работает трансформер, если смотреть на residual сеть как на основную. Остальные слои от неё отбранчовываются и добавляют/убирают информацию.

Attention heads — независимые друг от друга операторы (даже с учётом mixing matrix) которые переносят информацию из одних токенов в другие.

Дальше работают с упрощённым трансформером без LayerNorm и FFN.

Однослойный transformer можно (нестрого) интерпретировать как биграмную и скип-триграмную языковую модель. Что такое скип-триграммы? Например если у вас есть текст twitter.com/username/status, то [twitter, ..., /] может быть скиптриграммой в которой пропущено /username Авторы показали что в обученной модели такая скиптриграмма сильно повышает вероятность status.

Такой подход позволяет показать ограничения однослойной модели. Например так как триграмма [keep, ...., in] повышает вероятность mind а [keep, ..., at] вероятность bay, то модель также должна повышать верояности [keep, ..., at] -> mind и [keep, ..., in] -> bay. И несколько таких "багов" модели даже нашли.

Наткнулся сегодня на интересную статью и пост, хочу с вами поделиться)

Друзья, всем привет!)

Последнее время на канале было много longread постов, и мне захотелось разбавить их чем-то простым

Сегодня пост красивых цифр в GitHub

@SBERLOGABIG online seminar on data science:
Дани Эль-Айясс (Sber) «Из модели в сервис: Flask + Gunicorn + Docker»
Четверг 08 сентября, 18.00 по Москве

В real-world задачах почти всегда бывает недостаточно просто обучить sklearn / pytorch модель и сделать ее dump в .pickle / .joblib / .pth.
Нужно подготовить полноценный сервис в рамках изолированного окружения, который будет ждать запросы пользователя, обрабатывать их и возвращать обратно результат работы модели.

В этом нам могут помочь:
— фреймворки для создания web-приложений / API, такие как Flask / Django / FastAPI
— WSGI, такие как Gunicorn / uWSGI
— Docker для создания контейнеров

В рамках данного доклада / workshop’а хочется рассмотреть связку Flask + Gunicorn + Docker и обсудить следующие вопросы:
— зачем все это нужно в ML
— поговорить о внедрении моделей / сервисов

Ссылка на репозиторий: https://github.com/dayyass/ml-as-service

P.S. Подписывайтесь на канал докладчика: @cats_shredinger - самые интересные сюжеты о NLP и DS

Добавить в календарь: Google | Outlook

Ссылка на зум будет доступна в канале: https://t.me/sberlogabig ближе к началу доклада.

Друзья, всем привет!)

В этот четверг я выступаю с докладом / workshop’ом в Sberloga, приглашаю всех послушать)

Нелюдим @neludim_bot организует random coffee для сообщества @natural_language_processing.

Как это работает?
- Участник чата @natural_language_processing запускает бота, заполняет анкету. Админ чата @alexkuk читает анкеты, объединяет людей в пары.
- Раз в неделю бот присылает каждому участнику контакт собеседника и его анкету. Люди договариваются о времени, созваниваются или встречаются вживую.
- В конце недели бот спрашивает "Как прошла встреча? Будешь участвовать на следующей неделе?".

В чем польза?
- Посоветоваться как решать задачу. Проверить идею. Рассказать над чем работаешь, про проблемы, послушать релевантный опыт. У коллег взгляд бывает замылен.
- Поменторить. Помочь разобраться в сложной ситуации. Приложить свой опыт к новой задаче. Способ учиться, когда в учебниках уже мало нового.
- Найти новую работу. Узнать кто где какие задачи решает, как работается в компании. Коллега в частной беседе расскажет больше, чем HR.
- Найти новых сотрудников. Рассказать про свою компанию, расспросить про навыки.
- Поработать бесплатно. Найти волонтеров. В чате EMNLP 2018 кто-то написал "гоу портировать BERT на PyTorch", так начался HuggingFace.

Кто участвует?
- Александр Кукушкин @alexkuk — грепал логи в Яндексе, открыл свою Лабу https://lab.alexkuk.ru теперь грепает логи там, автор Наташи https://github.com/natasha.
- Давид Дале @cointegrated — учил чат-ботов материться, уехал в Meta Research делать машинный перевод, решает вопросики в @natural_language_processing.
- Илья Гусев @YallenGusev — работал в Яндекс Новостях, сделал проект про суммаризацию https://habr.com/ru/post/595517.
- Сергей Аверкиев @averkij — верстает параллельные книги https://habr.com/ru/post/564944/, автор Градиента обреченного @doomgrad.
- Дани Эль-Айясс @dayyass - работал в {Sber,MTS,Tinkoff} AI, по ночам комитит в http://github.com/dayyass, автор Шрёдингера Кота @cats_shredinger.

Фидбек
В бета-тестировании поучаствовало 10 человек. После встреч Нелюдим собрал фидбек, оценки: 5, 5, 5, 5, 5, 5, 5, 4, 4, 4.

Как присоединиться?
Запустить бота @neludim_bot, заполнить короткую анкету.

Чем отличается от https://random-coffee.ru?
- Недюдим бесплатный. У RC подписка 750р в месяц.
- В RC есть бот для Data Science, отдельно NLP нет.
- RC рассылают через бота рекламу нетворкинг-сессий.

Друзья, всем привет)

В канале @natural_language_processing появилась классная инициатива для членов сообщества - Random Coffee

Раз в неделю можно познакомится с новым собеседником, расширить свой нетворк, классно пообщеться и провести время, вместе подумать над решением той или иной проблемы

Я сам уже поучатсовал в одной встрече с автором данного канала и сообщества Александром Кукушкиным и могу сказать, что Random Coffee - это крутой формат, мы здорово пообщались и подискутировали на разные темы

Всем рекомендую поучатсвовать

P.S. Я планирую и дальше регулярно участвовать в данном мероприятии

Друзья, всем привет!

Я сейчас нахожусь в поисках сильного FrontEnd’ера в свою продуктовую команду в Сбере
В двух словах, работаем над Single Page приложением модульной архитектуры с динамической отрисовкой компонентов

Стек технологий:
— HTML, CSS, JavaScript
— Vue.js / React / Angular
— HTTP, REST API, Web Sockets
— Git

Плюсом будет:
— опыт создания веб-приложений
— опыт мобильной верстки и разработки
— наличие проектов на GitHub

По всем вопросам и за подробностями пишите в ЛС:
@dayyass

Материалы:
Татьяна Шаврина (AIRI, Sberdevices) «Многоязычное приключение или как мы учили mGPT: многоязычная модель GPT-3 для 61 языка мира»
Видео:


Абстракт: https://t.me/sberlogabig/137

@SBERLOGABIG online seminar on data science:
Татьяна Шаврина (AIRI, Sberdevices) «Многоязычное приключение или как мы учили mGPT: многоязычная модель GPT-3 для 61 языка мира»
Четверг 25 августа, 18.00 по Москве

В докладе мы расскажем о проблемах, которые возникали во время обучения мультиязычной модели, посмотрим ее архитектуру, способы оценки — и дальнейшее развитие.

О докладчике: Татьяна Шаврина,
Главный эксперт по технологиям, RnD NLP, SberDevices
Руководитель исследовательских проектов, AI Research Institute.
Автор тг канала: @rybolos_channel - подписывайтесь !

Google calendar link

Ссылка на зум будет доступна на канале: https://t.me/sberlogabig перед началом доклада - подписывайтесь!

Друзья, сегодня в 18:00 с интересным докладом выступает Татьяна Шаврина, в связи с чем приглашаю всех заинтересовавшихся присоединиться и послушать)

BEiT-3: Image as a Foreign Language (by Microsoft)

Представлена новая мультимодальная Foundation модель, которая побила сразу 12 рекордов! (см. картинку)

Секрет успеха прост — нужно токенизировать картинки при помощи VQ-VAE и интерпретировать визуальные токены как текст на иностранном языке (авторы назвали его «Imglish»), а пары картинка-текст превращаются в параллельные предложения. Дальше всё это обучается на куче картинок, текстов и их парах через обычный MLM (как BERT).

Примечательно, что для обучения использовались только открытые данные.

Статья, GitHub