Получи случайную криптовалюту за регистрацию!

Яндекс выложил в открытый доступ крупнейшую в мире GPT-подобну | Черное облако

Яндекс выложил в открытый доступ крупнейшую в мире GPT-подобную нейросеть

Вчера Meta (запрещена в РФ) выложили свою модель на 66 млрд. параметров, и объявила её крупнейшей, но меньше чем за сутки этот рекорд был побит Яндексом. Речь о языковой модели YaLM 100B на 100 млрд параметров. Модели YaLM применяются, например, в Алисе.

YaLM 100B обученна на почти 2 ТБ русских и английских текстов. Причём не только на Википедии/новостных статьях/книгах, но и на коде и научных статьях.

Теперь исходный код доступен на Github, а на Хабре можно почитать об истории создания и обучения. Спойлер: без суперкомпьютеров не обошлось