Получи случайную криптовалюту за регистрацию!

Love. Death. Transformers.

Логотип телеграм канала @lovedeathtransformers — Love. Death. Transformers. L
Логотип телеграм канала @lovedeathtransformers — Love. Death. Transformers.
Адрес канала: @lovedeathtransformers
Категории: Софт, приложения
Язык: Русский
Количество подписчиков: 8.63K
Описание канала:

❤️☠️🤗
Ебашит вообще адовый ресерч, вот рецепт примерно усредненный....
Люди часто спрашивают его, знаю ли я алекса вортегу....
По всем вопросам: @alexeyderden

Рейтинги и Отзывы

3.33

3 отзыва

Оценить канал lovedeathtransformers и оставить отзыв — могут только зарегестрированные пользователи. Все отзывы проходят модерацию.

5 звезд

0

4 звезд

2

3 звезд

0

2 звезд

1

1 звезд

0


Последние сообщения 7

2022-06-09 19:54:38
Какой то странный блогпост Open ClosedAi с обзором существующих решений обучения моделей на кластере, но без упоминаний решений
open ai blogpost

Все тоже самое, но больше и подробнее, с пояснением методов работы каждого из, описанием улучшений хардвера для долгих тренировок, сравнение качества работы, сравнения NVLINK vs PCIe и конфигами запуска.
hf blogpost

рандомные статьи и репы по теме

Megratron LM - как сунуть ананас в жопу 175б модель на обучение, идейно очень крутое как все у NVIDIA, но сложно использовать

Deepspeed - вероятно лучшее что есть сейчас для обучения гиганстких моделек на кластерах, а еще нативно интегрирован в torch lightning, accelerate, huggingface trainer и позволяет без особо гемороя например раскидывать градиенты/оптимайзер на RAM + куча имплементаций разных статей внутри

GShard - авто шардирование модельки

Megatron deepspeed - медленно умирающий бранч комбинирующий deepspeed Zero и Megratron LM


История facebook про OPT и то как они чинили ломающийся кластер
1.4K viewsedited  16:54
Открыть/Комментировать
2022-06-09 17:11:53 Товарищи NLPшники и сочувствующие, вопрос к вам: ищу статьи про multilang модельки с эксперементами где для разных языкоы используют разные головы/спецтокены/...
1.4K viewsedited  14:11
Открыть/Комментировать
2022-06-08 20:54:33
Mem by @gradientdip
1.9K views17:54
Открыть/Комментировать
2022-06-08 19:48:52 Отсутсвие сожаления о решениях

Основываясь на трех сезонах джоджо и опыте собственной рефлексии хотелось бы сказать следующее - если ты сам принял решение на основе всей доступной на данной момент информации и при этом твое решение оказалось ошибочным - не вини себя.

Я сам очень люблю загоняться по поводу решений которые принял в силу каких либо причин N лет/месяцев/недель назад, рассуждая на тему - а вот если бы я оценил информацию по другому я бы мог принять правильное решение и не ошибиться, не потерять что то важное.
1.6K viewsedited  16:48
Открыть/Комментировать
2022-06-08 16:03:38
1.5K views13:03
Открыть/Комментировать
2022-06-08 11:09:34 Вчера у меня прошёл последний семинар по машинному обучению на ФКН в этом сезоне. Семинарить у самого Жени Соколова было большой честью.

Коли курсера закрыта, курсы ещё не особо куда-то переехали, а на дворе лето — лучшее время для самообразования, держите плейлисты с видосами с курса.

лекции МО-1 лекции МО-2 мои семинары репозиторий

Знать всё невозможно. Поэтому в течение курса я узнал что-то, что не знал раньше. Хочу поделиться с вами самыми крупными открытиями. Некоторые из них довольно стыдные:

- Я очень мало знал про обучение эмбеддингов на графах. Семинарист Ильдус сделал про это богоподобный конспект [ru] и тетрадку в питоне.

- Я вообще ничего не знал про differential privacy и то, как можно добавить эту штуку в свои модели.

пост 1 [en] пост 2 [en] статья от apple [en]

- У нас был классный семинар про бустинг с ручными задачками [ru]. Кажется, что я перешёл в его понимании на какой-то качественно новый уровень.

- Я ничего не знал про uplift-моделирование и никогда не встречался с ним на практике. Узнал чуть больше из обзорной статьи [en]

- Я вообще ничего не знал о спектральной кластеризации. Ни разу не слышал о таком методе, а он есть даже в sklearn.

лекция [ru] семинар [ru] туториал [en]

- Я никогда не уважал ядра и SVM. После курса стал относиться к ним немного получше.
1.5K views08:09
Открыть/Комментировать
2022-06-08 10:59:26
1.6K views07:59
Открыть/Комментировать
2022-06-07 21:36:15
-
мультиязычные модели работают хуже моноязычных, нет смысла пытаться выбить нормальные результаты
-
1.6K viewsedited  18:36
Открыть/Комментировать
2022-06-07 16:48:58 Кстати действительно неплохая лекция галопом по всей мультимодалке.

лекция
youtube
Большое спасибо Артему, автору @nn_for_science за приглашение)
1.7K viewsedited  13:48
Открыть/Комментировать
2022-06-07 11:43:11
2.0K views08:43
Открыть/Комментировать