Исследователей из Сбера и SberDevices научились
уменьшать размер языковых моделей без потерь в эффективности и обучили искусственный интеллект орфографии на уровень выше зарубежных аналогов.Об этом разработчики рассказали на 18-й Европейской конференции по компьютерной лингвистике (EACL 2024) на Мальте.
Представители Института AIRI и исследовательских команд Сбера работали над изменением ключевых характеристик эмбеддингов в двух различных типах архитектур больших языковых моделей, широко применяемых в обработке естественного языка. Полученные ими результаты помогут уменьшить размеры моделей, сохранив высокое качество ответов и оптимизировать вычислительные затраты.
Команда AGI NLP в R&D SberDevices NLP ML-специалисты Сбера разработали методику исправления орфографических ошибок и создали наборы данных и серию генеративных моделей, обученных коррекции текста. Их модель превзошла по качеству существующие открытые решения и модели OpenAI.
