Love. Death. Transformers.

2022-06-23 19:22:20 Пришёл с ретро и лежит так уже два часа. жесть Открыть/Комментировать

2022-06-23 17:31:00 Сегодня все радостно репостят, что Яндекс выложил свою Зелибобу в открытый доступ.
https://habr.com/ru/company/yandex/blog/672396/
Это языковая модель, у которой только веса занимают 200 гигабайт.
Может это, скинемся на аренду железа и дистиллируем её во что-нибудь пристойного размера? Открыть/Комментировать

2022-06-23 14:55:38 Исследователи AIRI обучили нейросетевую модель на самой полной на сегодняшний день сборке генома человека

Модель GENA_LM, выложена в open source и доступна биологам по всему миру. В данный момент в мире уже представлен набор достаточно хороших моделей для последовательностей белков (например, ESM), но для последовательностей ДНК публично доступна только разработанная коллективом ученых из США модель DNABERT.

GENA_LM – первая в мире языковая модель ДНК, обученная на самой полной версии генома человека (T2T-CHM13), которая была опубликована в конце марта 2022 года. Она может обрабатывать последовательности в 6 раз длиннее, чем DNABERT.

Опубликованная модель – это первый шаг исследования. Впереди эксперименты по применению трансформерных архитектур с памятью, которые позволят увеличить размер входной последовательности ещё в несколько раз.

Репозитории с моделью GENA_LM:
Hugging Face
GitHub Открыть/Комментировать

2022-06-23 11:04:44 Яндекс выложил YALM на 100b параметров.
И да, это самая большая open source модель на данный момент

Для запуска нужно:
- 4а100/8v100
-200gb диска

Habr
Github


вопрос во что пихать это встает сильно Открыть/Комментировать

2022-06-23 09:56:09 Открыть/Комментировать

2022-06-23 09:51:15 Открыть/Комментировать

2022-06-22 20:47:12 #чтивонаночь
Новая генеративная моделька от гугла, снова на VQGAN в качестве декодируемых токенов, снова AR, но теперь на трейне используем VIT чтобы получать еще больше информации из картинки, ну и строго говоря это dalle mini 2



blogpost
github Открыть/Комментировать

2022-06-22 19:55:15 Ну мы все знаем что в России можно жить двумя способами: либо дружить с государством, либо лежать головой на западе. Второе очень характерно для gamedev, когда есть офис с разработчиками в Москве и головной офис на Кипре/Мальте.

Но мы живём в России, у нас тут каждые ~10лет принято устраивать апокалипсис, что и случилось несколько месяцев назад. Всякие Abby/jetbrains массово релоцировали сотрудников из России в промежуточные локации и прочие солнечные Ереваны.

Для тех кто не в курсе - Яндекс головой лежал в Нидерландах, в связи с чем многие команды получили автономность, кто то спиздил технологию и начал строить свой стартап на основе (neurodub.ai).

Послушать два часа подкаста про то как Яндекс будет жить в новой реальности можно тут. Открыть/Комментировать

2022-06-22 14:43:28 Вы не поверите, но AI сгенерировал это Открыть/Комментировать

2022-06-22 12:05:02 Открыть/Комментировать